Google якобы блокировал закрытые для его робота страницы

В группах пользователей, организованных в сервисе «Рекомендации веб-мастерам», появились сообщения о блокировании страниц. Информация находилась в отчетах, касающихся индексации — Index Status report.

Сначала специалисты Google недоумевали, но анализ ситуации показал, что блокирования не было. Просто отчеты содержали некорректную информацию. Она касалась, кстати, страниц закрытых в robots.txt. Ряд пользователей удалил эти страницы, но последующие отчеты об индексации, продолжали сообщать о блокировании.

google index status

Разъяснение Джона Мюллера, представлявшего в форумах разработчиков Google, нельзя назвать полным. Его версия случившегося выглядит следующим образом — робот воспринимает ситуацию, будто страницы «однажды» выпали из индекса. Однако повторно он их проиндексировал.

Невнятность объяснения, Мюллер скомпенсировал обещанием, что некорректные отчеты продолжатся некоторое время. Оптимизаторов, по его словам, это не должно беспокоить — ранжирование от этого не зависит.