Google Search Advocate помогает диагностировать проблемы сканирования, рекомендует проверять общую инфраструктуру, если затрагивает несколько доменов.
- Общая инфраструктура (например, CDN) часто является первопричиной, когда Google перестает сканировать несколько доменов.
- Данные Search Console могут помочь отличить проблемы DNS от неудачных запросов.
- Кратковременные сбои в сканировании, которые продолжаются только часы, не влияют на рейтинги поиска.
Защитник поиска Google, Джон Мюллер, поделился мнениями о диагностике распространенных проблем сканирования.
Эти указания были опубликованы в ответ на сбой, о котором сообщил Адриан Шмидт на LinkedIn. Работа Google&rsquo прекратила доступ к нескольким его доменам одновременно.
Несмотря на перерыв, Шмидт отметил, что живые тесты через Search Console продолжали работать без сообщений об ошибках.
Исследования показали отсутствие увеличения ошибок 5xx или проблем с запросами robots.txt.
В чем может быть проблема?
Ответ Мюллера
Обращаясь к ситуации, Мюллер указал на общую инфраструктуру как на вероятную причину:
“Если он общий для нескольких доменов и сосредоточен на чем-то вроде сканирования, это, вероятно, проблема с общей частью инфраструктуры. Если оно уже восстанавливается, по крайней мере это уже не срочно, и у вас есть немного времени, чтобы просмотреть последние изменения/журналы инфраструктуры.~~~~~~~~~~
Исследование инфраструктуры
Все пострадавшие сайты использовали Cloudflare как CDN, что вызвало удивление.
Отвечая на вопрос об отладке, Мюллер рекомендовал проверить данные Search Console, чтобы определить, вызывают ли проблему DNS или неудачные запросы.
Мюллер заявил:
“Статистика сканирования в Search Console также будет показывать немного больше, возможно, поможет определиться между, скажем, DNS или ошибкой запросов. >
Он также отметил, что ключевой подсказкой является время:
“Если это’все в одно и то же время, это будет не robots.txt и, вероятно, не DNS.&rdquo ;
Влияние на результаты поиска
Что касается проблем видимости поиска, Мюллер заверил, что такой тип сбоев не повлечет за собой никаких проблем:
“Если это сегодняшний день и это длилось всего несколько часов, я бы’не ожидал видимых проблем в поиске.”
Почему это важно
Когда Googlebot внезапно прекращает сканировать несколько сайтов одновременно, может быть сложно определить первопричину.
Хотя временные приостановки сканирования могут не сразу повлиять на поисковый рейтинг, они могут нарушить способность Google&ar;rsquo;обнаруживать и индексировать новое содержимое.
Инцидент подчеркивает уязвимость, с которой могут столкнуться организации, не осознавая этого, особенно те, что полагаются на общую инфраструктуру.
Как это может вам помочь
Если робот Googlebot прекратит сканирование ваших сайтов:
- Проверьте, не возникает ли проблема одновременно на нескольких сайтах
- Сначала посмотрите на общую инфраструктуру
- Используйте данные Search Console, чтобы сузить причину
- Не исключайте DNS только потому, что обычный трафик выглядит хорошо
- Следите за своими журналами
Для тех, кто использует несколько сайтов по CDN, убедитесь, что вы:
- Настройте хорошее журналирование
- Следите за скоростью сканирования
- Знай, кому звонить, когда дела пойдут насмарку
- Следите за своим поставщиком инфраструктуры