Google объясняет лучшие методы работы с файлом robots.txt и объясняет, когда использовать директивы robots.txt и теги noindex для SEO.
- Не совмещайте запрет robots.txt с тегами noindex.
- Используйте noindex, если вы хотите, чтобы страница сканировалась, но не была в результатах поиска.
- Используйте запрет robots.txt для страниц, которые никогда не следует сканировать.
См. также: Ошибка кодирования заставляет Google игнорировать директиву Noindex