На западном форуме для вебмастеров Google Webmaster Help один из пользователей поднял вопрос о взаимодействии кнопки Google +1 и файла robots.txt.

Он поинтересовался, следует ли кнопка директивам для робота Google. Если роботу запрещено обходить какой-то контент, а при этом пользователь Google нажал на +1, одобряя контент данной страницы, индексируется ли этот контент поисковиком?

Вопрос не праздный, особенно в свете прошедшей недавно в рунете череды случаев утечки персональной информации пользователей в поисковые системы. Напомним, основной удар пришелся на Яндекс как самую популярную систему рунета. Яндекс также признал, что утечки могли происходить в ряде случаев с участием счетчика Я.Метрика, который действовал подобно кнопке +1, обсуждаемой сейчас в западном сообществе вебмастеров. Метрика узнавала о страницах, на которые обычным путем роботы попасть не могут, благодаря тому, что на них заходили пользователи (например, генерируемые со сложным урлом страницы в интернет-магазинах, на которые пользователь переходит только со своего email). Затем Метрика передавала информацию о страницах основному индексу, а поскольку эти страницы не были специально запрещены для индексации в файле robots.txt, дальше они оказывались уже в общедоступной выдаче.

По поводу кнопки Google+1 представитель компании Дженни Мерфи ответила, что кнопка +1 взаимодействует с robots.txt и другими директивами для роботов интересным образом.

Цитата:

«Поскольку кнопка +1 может применяться не только для открытых страниц, мы можем посетить страницу в момент клика по кнопке, чтобы определить, является ли она публичной. Эта проверка игнорирует директивы для роботов. Однако это не влияет на поведение поисковых роботов Google и на то, как они взаимодействуют с файлом robots.txt»,
— пояснила Мерфи.

На словах все это выглядит очень логично: все что запрещено в robots.txt, останется недоступно для общего индекса. Однако, как мы убедились на примере рунета, далеко не всегда конфиденциальные страницы оказываются скрыты от индексации (вебмастера тоже люди и тоже ошибаются), а растущее количество различных счетчиков и кнопок, которые получают информацию о посещенных пользователем страницах, на сайтах постоянно увеличивается.