Google ограничивает поддержку robots.txt четырьмя полями, объясняя свою позицию относительно неподдерживаемых директив.
- Google поддерживает только четыре определенных поля robots.txt.
- Неподдерживаемые директивы в файле robots.txt будут игнорироваться.
- Подумайте о проверке файлов robots.txt в свете этого обновления.
В недавнем обновлении документации Search Central компания Google уточнила свою позицию относительно неподдерживаемых полей в файлах robots.txt.
Обновление ключа
Google заявил, что его веб-сканеры не поддерживают поля, не перечисленные в его документации robots.txt.
Это разъяснение является частью усилий Google ; предоставить однозначные указания владельцам веб-сайтов и разработчикам.
Google утверждает:
“Иногда мы получаем вопросы относительно полей, которые не явно не указаны как поддерживаемые, и мы хотим объяснить, что они не’нет. ”
Это обновление должно устранить путаницу и помешать веб-сайтам полагаться на неподдерживаемые директивы.
Что это означает:
<ол>
Поддерживаемые поля:
Согласно обновленной документации, Google официально поддерживает такие поля в файлах robots.txt:
- агент пользователя
- разрешить
- запретить
- карта сайта
Примечательные пропуски:
Это разъяснение, несмотря на то, что это четко не указано, означает, что Google не поддерживает такие общеупотребительные директивы, как “crawl-delay< /strong>, ” хотя другие поисковые системы могут их распознать.
Кроме того, стоит отметить, что Google постепенно прекращает поддержку ‘noarchive‘ директива.
См. также: 9 советов по оптимизации бюджета сканирования для SEO
Взгляд вперед:
<стр.>Это обновление является напоминанием о том, чтобы быть в курсе официальных указаний и лучших практик.
Это подчеркивает необходимость использования задокументированных функций вместо предположения поддержки недокументированных директив.
Обратитесь к официальной документации Центра поиска Google, чтобы получить более подробную информацию о внедрении robots.txt и лучшие практики.