Google не всегда мгновенно просматривает каждую страницу сайта. Иногда это может занять недели. Это может помешать вашим поисковым поискам. Ваша только что оптимизированная целевая страница может не быть проиндексирована. На этом этапе пора оптимизировать ваш бюджет сканирования. В этой статье мы рассмотрим, что такое &бюджет сканирования’ и что вы можете сделать, чтобы его оптимизировать.
Что такое бюджет сканирования?
Бюджет сканирования – это количество страниц, которые Google просканирует на вашем сайте в любой день. Это число несколько меняется каждый день, но в целом оно относительно стабильно. Google может сканировать шесть страниц вашего сайта каждый день; он может просканировать 5000 страниц; он даже может сканировать 4 000 000 страниц ежедневно. Количество страниц, сканированных Google, ваш ‘бюджет,’ обычно определяется размером вашего сайта, ‘здоров'ям’ вашего сайта (сколько ошибок Google встречает) и количество ссылок кваш сайт. На некоторые из этих факторов вы можете влиять; мы дойдем до этого чуть позже.
Как работает сканер?
Сканер, как Googlebot, получает список URL для сканирования сайта. Он систематически просматривает этот перечень. Он время от времени захватывает ваш файл robots.txt, чтобы убедиться, что ему все еще разрешено сканировать каждый URL-адрес, а затем сканирует URL-адреса отдельно. Как только паук просканирует URL-адрес и проанализирует содержимое, он добавляет новые URL-адреса, найденные на этой странице, которые он должен просканировать обратно в список дел.
Несколько событий могут заставить Google почувствовать, что URL-адрес нужно просканировать. Возможно, он нашел новые ссылки, указывающие на содержимое, или кто-то написал это в Twitter, или он мог быть обновлен в XML-карте сайта и т.д. Нет способа составить список всех причин, почему Google сканирует URL-адрес, но когда решает, что это нужно, он добавляет его в список дел.
Когда бюджет сканирования является проблемой?
Бюджет сканирования не является проблемой, если Google должен сканировать много URL на вашем сайте и выделил много сканирования. Но, например, ваш сайт имеет 250 000 страниц, а Google сканирует 2 500 страниц на этом конкретном сайте ежедневно. Некоторые (например, домашнюю страницу) будут сканироваться чаще других. Если вы не примете мер, может пройти до 200 дней, прежде чем Google заметит определенные изменения на ваших страницах. Бюджет сканирования сейчас проблема. С другой стороны, если он сканирует 50 000 в день, проблемы вообще нет.
Выполните следующие действия, чтобы определить, имеет ли ваш сайт проблему с бюджетом сканирования. Это предполагает, что ваш сайт имеет относительно небольшое количество URL-адресов, которые Google сканирует, но не индексирует (например, потому, что вы добавили цель noindex).
<ол>
‘Статистика сканирования’ отчет Google Search Console
Какие URL сканирует Google?
Вы действительно должны знать, какие URL-адреса Google сканирует на вашем сайте. Серверные журналы вашего сайта являются единственными настоящими ‘#8217; способ познания. Для больших сайтов вы можете использовать что-то вроде Logstash+Kibana. Для небольших сайтов ребята из Screaming Frog выпустили инструмент SEO Log File Analyzer.
Получите журналы вашего сервера и просмотрите их
В зависимости от вашего типа хостинга, вы не всегда можете получить файлы журнала. Однако если вы даже думаете вам нужно поработать над оптимизацией бюджета сканирования, поскольку ваш сайт велик, вы должны их получить. Если ваш хост не позволяет вам их получить, пора сменить хоста.
Исправление бюджета сканирования вашего сайта похоже на ремонт автомобиля. Вы не можете исправить это, глядя на внешнюю сторону; Вам придется открыть этот двигатель. Смотреть на бревна поначалу будет страшно. Вы быстро обнаружите, что в журналах есть многиешума. Вы найдете много распространенных ошибок 404, которые, по вашему мнению, являются чепухой. Но у вас~е, чтобы их исправить. Вы должны пробраться сквозь шум и убедиться, что ваш сайт не утонул в тоннах старых 404.
Увеличьте свой&бюджет
Давайте посмотрим на то, что улучшает количество страниц, которые Google может просканировать на вашем сайте.
Обслуживание веб-сайта: уменьшить количество ошибок
Первым шагом к просканированию большего количества страниц является убеждение, что просканированные страницы возвращают один из двух возможных кодов возврата: 200 (для “OK”) или 301 (для & ;#8220;Вместо этого перейдите сюда”). Все остальные коды возврата не OK. Чтобы понять это, посмотрите на журналы сервера вашего сайта. Google Analytics и большинство других аналитических пакетов будут отслеживать только страницы, обслуживающие 200. Поэтому вы не найдете много ошибок на своем сайте.
Получив журналы сервера, найдите и исправьте типичные ошибки. Самый простой способ – получить все URL-адреса, которые не вернули 200 или 301, а затем упорядочить по частоте доступа к ним. Устранение ошибки может означать, что вам придется исправить код. Или вам, возможно, придется перенаправить URL-адрес в другое место. Если вы знаете, что вызвало ошибку, вы также можете попытаться исправить источник.
Еще одним хорошим источником для поиска ошибок является Google Search Console. Прочитайте наше руководство Search Console, чтобы узнать больше об этом. Если у вас есть Yoast SEO Premium, вы можете легко перенаправлять их с помощью менеджера перенаправлений.
Блокировать части вашего сайта
Если у вас есть разделы вашего сайта, которым не обязательно быть в Google, заблокируйте их с помощью robots.txt. Конечно, делайте это только если вы знаете, что делаете. Одной из распространенных проблем, которые мы видим на больших сайтах электронной коммерции, есть множество способов фильтрации продуктов. Каждый фильтр может добавлять новые URL для Google. В таких случаях нужно убедиться, что вы позволяете Google использовать только один или два из этих фильтров, а не все.
Уменьшить цепочки перенаправления
Когда вы 301 перенаправляете URL, происходит что-то странное. Google увидит этот новый URL-адрес и добавит его в список дел. Он всегда следует сразу; он добавляет это в свой список дел и продолжает. Когда вы используете цепные перенаправления, например, когда вы перенаправляете не-www на www, а затем http на https, у вас везде есть два перенаправления, поэтому все сканируется дольше.
Получить больше ссылок
Это легко сказать, но трудно сделать. Чтобы получить больше ссылок, нужно не только быть замечательным, но и убедиться, что другие знают вы прекрасный. Это вопрос хорошего PR и хорошего взаимодействия в социальных сетях. Мы’много писали о создании ссылок; мы’рекомендуем прочитать эти три публикации:
<ол>
Если у вас возникла острая проблема индексации, вам следует сначала просмотреть ошибки сканирования, заблокировать части вашего сайта и исправить цепочки перенаправления. Создание ссылок – это очень медленный способ увеличить бюджет сканирования. С другой стороны, создание ссылок должно быть частью вашего процесса, если вы собираетесь создать большой сайт.
TL;DR: оптимизация бюджета сканирования сложная
Оптимизация бюджета сканирования не для слабонервных. Если вы’хорошо обслуживаете свой сайт’или ваш сайт относительно мал, это’ вероятно, не требуется. Если ваш сайт среднего размера и хорошо обслуживается, это достаточно легко сделать с помощью приведенных выше приемов.
Оцените свою техническую готовность к SEO
Оптимизация вашего бюджета сканирования является частью вашего технического SEO. Вам интересно, как общая техническая оптимизация поисковых систем (SEO) вашего сайта соответствует ? Мы создали технический тест на фитнес для оптимизации поисковых систем, который поможет вам понять, над чем вам нужно работать!