Узнайте, как оптимизировать бюджет сканирования вашего веб-сайта и предотвратить использование ценных ресурсов сканирования результатами фильтрации.
Сегодня’вопрос о поисковой оптимизации от Михала из Братиславы, который спрашивает:
“У меня есть клиент, который имеет веб-сайт с фильтрами на основе расположения на карте. Когда посетитель делает движение на карте, создается новый URL с фильтрами. Их нет на карте сайта. Однако в Search Console имеется более 700 000 URL-адресов (не проиндексированных), которые тратят бюджет сканирования.
Каким бы был лучший способ избавиться от этих URL? Моя идея состоит в том, чтобы сохранить базовое расположение ‘index, follow’ и вновь созданные URL-адреса окруженной области с фильтрами переключаются на ‘noindex, no follow’. Также отметьте окруженные области каноническими в базовое расположение + отклоните нежелательные ссылки.&6;
Прекрасный вопрос, Михале, и хорошие новости! Ответ прост в реализации.
Во-первых, давайте посмотрим, что вы пытаетесь, и применим это к другим ситуациям, например электронной коммерции и издателям. Таким образом, больше людей могут извлечь пользу. Затем перейдите к своим стратегиям выше и закончите решением.
Что такое бюджет сканирования и как создаются параметры, которые расходуют его
Если вы’не уверены, что имеет в виду Михал с бюджетом сканирования, это термин, который используют некоторые профессионалы SEO используйте, чтобы объяснить, что Google и другие поисковые системы просканируют только столько страниц вашего веб-сайта, прежде чем остановятся.
Если ваш бюджет сканирования используется на малоценных, тонких или неиндексированных страницах, ваши хорошие страницы и новые страницы могут быть найдены во время сканирования.
Если они не найдены, они могут не быть проиндексированы или обновлены. Если они не проиндексированы, они не могут принести вам SEO трафик.
Вот почему оптимизация бюджета сканирования для эффективности важна.
Михал поделился примером того, как <сильный>“тонкий” URL-адреса с точки зрения SEO создаются, когда клиенты используют фильтры.
Взаимодействие с пользователем добавляет ценность, но с точки зрения SEO страница на основе местоположения была бы лучше. Это также касается электронной коммерции и издателей.
Магазины электронной коммерции будут искать такие цвета, как красный или зеленый, и товары, такие как футболки и картофельные чипсы.
Это создает URL с параметрами так же, как фильтр поиска мест. Их также можно создать, используя фильтры по размеру, полу, цвету, цене, вариации, совместимости и т.п. в процессе покупки.
Отфильтрованные результаты помогают конечному пользователю, но конкурируют непосредственно со страницей коллекции, и коллекция будет <сильной>“нетонкой” версия.
У издателей то же самое. Кто-то может быть на SEJ и искать SEO или PPC в открывшемся окне поиска и получить отфильтрованный результат. Отфильтрованный результат будет содержать статьи, но категория публикации, вероятно, лучший результат для поисковой системы.
Эти отфильтрованные результаты можно проиндексировать, поскольку они опубликованы в социальных сетях или кто-то добавляет их как комментарий в блоге или на форуме, создавая обратную ссылку для сканирования. Это также может быть ответ сотрудника службы поддержки клиентов на вопросы в блоге компании или другими способами.
Сейчас цель состоит в том, чтобы поисковые системы не тратили время на сканирование “тонких” версий, поэтому вы можете получить максимум от своего бюджета сканирования.
Разница между индексированием и сканированием
Есть еще одна вещь, о которой следует узнать, прежде чем мы перейдем к предложенным идеям и решениям – разница между индексированием и сканированием.
Страницы можно сканировать, но не индексировать. Проиндексированные страницы, вероятно, сканировались и, скорее всего, будут сканированы снова, чтобы найти обновления и ответы сервера.
Но не все проиндексированные страницы привлекут трафик или попадут на первую страницу, поскольку они могут быть не лучшим ответом на поисковые запросы.
Теперь давайте перейдем к эффективному использованию бюджетов сканирования для этих типов решений.
Использование Meta Robots или X Robots
Первым решением, на которое указал Михал, была директива “index,follow”. Это сообщает поисковику проиндексировать страницу и переходить по ссылкам на ней. Это хорошая идея, но только если отфильтрованный результат является идеальным.
Из того, что я вижу, это не так, поэтому я бы рекомендовал сделать “noindex,follow.”
Noindex сказал бы: “Это не официальная страница, но привет, продолжайте сканировать мой сайт,’вы найдете здесь хорошие страницы.”
И если у вас правильно настроены главное меню и навигационные внутренние ссылки, паук, надеюсь, продолжит их сканировать.
Canonicals для решения вопроса о потерянном бюджете сканирования
Канонические ссылки используются, чтобы помочь поисковым системам узнать, какая официальная страница для индексирования.
Если продукт существует в трех категориях на трех отдельных URL-адресах, только один должен быть “официальной”версия, поэтому два дубликата должны иметь каноническое указание на официальную версию. Официальный должен иметь каноническую ссылку, указывающую на него самого. Это касается отфильтрованных мест.
Если поиск местоположения приведет к нескольким страницам города или района, результат, скорее всего, будет дубликатом официальной, которую вы имеете на карте сайта.
Пусть отфильтрованные результаты направляют канонический выход на главную страницу фильтрации вместо самоссылки, если содержимое на странице остается таким же, как и в оригинальной категории.
Если содержимое привлекает вашу локализованную страницу с теми же местами, вместо этого укажите каноническую страницу.
В большинстве случаев отфильтрованная версия наследует страницу, с которой вы искали или отфильтровали, поэтому именно на нее должна указывать каноническая версия.
Если вы выполняете и noindex, и имеете каноническую самоссылку, что является чрезмерным, это становится конфликтным сигналом.
То же касается случаев, когда кто-то ищет продукт под названием на вашем веб-сайте. Результат поиска может конкурировать с фактической страницей продукта или услуги.
Этим решением вы рассказываете пауку не индексировать эту страницу, поскольку она не стоит индексации, но это также официальная версия. Это не имеет смысла делать.
Вместо этого используйте каноническую ссылку, как я упоминал выше, или не индексируйте результат и указывайте каноническую ссылку на официальную версию.
Отказаться для повышения эффективности сканирования
Отказ не имеет ничего общего с эффективностью сканирования, если пауки поисковой системы не находят ваш “<сильный>тонкий& ” страницы через спам-обратные ссылки.
Инструмент отклонения от Google – это способ сказать: “Эй, эти обратные ссылки являются спамом, и мы не’не хотим, чтобы они нанесли нам вред. Пожалуйста, не причисляйте их к полномочиям нашего сайта.
В большинстве случаев это не имеет значения, поскольку Google хорошо обнаруживает спам-ссылки и игнорирует их.
Вы не хотите добавлять свой собственный сайт и собственные URL-адреса в инструмент отклонения. Вы’сообщаете Google, что ваш собственный сайт является спамом и ничего не стоит.
Кроме того, отправка обратных ссылок на отклонения не помешает пауку увидеть то, что вы хотите, и не хочет, чтобы его сканировали, поскольку это лишь для того, чтобы сказать, что ссылка с другого сайта является спамом.
Отказ не поможет повысить эффективность сканирования или сэкономить бюджет сканирования.
Как сделать бюджеты сканирования более эффективными
Ответ: robots.txt. Вот как вы сообщаете определенным поисковым системам и паукам, что сканировать.
Вы можете включить папки, которые вы хотите, чтобы они сканировали, рекламируя их как “разрешить,” и вы можете сказать <сильный>“запрет” в отфильтрованных результатах, запретив “?” или “&” символ или другой, который вы используете.
Если некоторые из этих параметров нужно просканировать, добавьте главное слово, например “?filter=location” или конкретный параметр.
Robots.txt – это то, как вы определяете пути сканирования и работаете над эффективностью сканирования. После того, как вы оптимизировали, просмотрите свои внутренние ссылки. Ссылка с одной страницы вашего сайта на другую.
Это помогает паукам найти ваши важнейшие страницы, одновременно узнавая, о чем каждая.
Внутренние ссылки включают:
Вы также можете использовать карту сайта, если у вас большой сайт, и пауки не находят нужные страницы с приоритетом.
Надеюсь, это поможет ответить на ваш вопрос. Это то, что я получаю многое – вы’не единственный, кто попал в такую ситуацию.