В конце прошлого месяца на форуме Google Webmaster Central Help обсуждался интересный вопрос: как изменить скорость сканирования для большого количества поддоменов сразу.

Полностью вопрос выглядел так:

«У нас есть 1000 разных поддоменов (*.mydomain.com), работающих на базе одной и той же серверной фермы. Google сканирует наш сайт 8 млн раз в день, что вызывает проблемы с нагрузкой. Есть ли какой-то способ изменить скорость сканирования для всех 1000 поддоменов сразу? В Search Console таких настроек нет. Чтобы изменить скорость сканирования для каждого поддомена, мне нужно вручную поменять настройки 1000 раз, а через 90 дней сделать то же самое, что попросту невозможно».

В ответ представитель поиска Джон Мюллер посоветовал обратиться к команде, отвечающей за сканирование, отправив запрос. По его словам, они занимаются такого рода вопросами и могут помочь.

Также можно настроить сервер так, чтобы он возвращал код ответа 503. Наконец, не помешает проверить, какие URL обрабатывает поисковый робот. Во многих случаях высокая скорость сканирования наблюдается по тем сайтам, которые имеют проблемную структуру URL. В частности, если она включает множество уникальных страниц с аналогичным (или очень похожим) контентом.