я вааще не спец по html, но "посмотреть могу". Посмотрел википедию (http://en.wikipedia.org/wiki/Noindex).

В стандарте html5 есть метатэг noindex, он ставится на страницу целиком. Его должны понимать все.

Яндекс сделал расширение стандарта (http://en.wikipedia.org/wiki/Noindex#Russian_.3Cnoindex.3E_tag), в котором тэг noindex ставится на кусок текста на странице. Никто кроме яндекса понимать это не подписывался.

Гугл сделал свой googleoff / googleon комментарий, для тех же целей.