Google блокирует сканирование результатов поиска, вызывая глобальные сбои в службах отслеживания рейтингов и ключевых слов
Google расправился с веб-скребками, собирающими данные результатов поиска, вызвав глобальные сбои во многих популярных инструментах отслеживания рейтинга, таких как SEMRush, которые зависят от предоставления свежих данных со страниц результатов поиска.
Что произойдет, если поисковые запросы Google полностью заблокированы? Определенное количество данных, предоставленных службами отслеживания, уже давно экстраполируется алгоритмами из разных источников данных. Вполне возможно, что одним из способов обойти текущий блок является экстраполяция данных из других источников.
Заблокированные инструменты SEO
То, что Google делает, все еще сильно влияет на свежесть данных, которые могут предоставлять инструменты SEO. Есть много инструментов SEO, которые испытывают перебои в работе с данными, которые обычно можно получить путем анализа страниц результатов поисковой системы Google (SERP).
“Безусловно также влияет на мои инструменты – поскольку мы используем поставщика данных третьей стороны, и все основные из них были заблокированы вчера. Многое еще”
<цитата>
“Со вчерашнего дня кажется, что они ввели новую систему предотвращения считывания также в SERP, которая строже. Они становятся очень тяжелыми для соскабливания. …Как собака садовода, я не буду’продавать вам данные или позволять вам их получить.”
SEMRush, вероятно, наиболее используемый инструмент, данные которого не обновлялись. Популярный инструмент SEO, SE Ranking, является еще одной службой, терпящей потери свежих данных.
Полное сообщение на скриншоте:
<цитата>
“Отслеживание позиции снова в сети. Отслеживание функций SERP до сих пор недоступно из-за технических проблем. Наша команда уже работает над решением проблемы и как можно быстрее предоставляет вам данные.~~
Скачка поисковой выдачи запрещена Google
Правила Google’давно запрещали автоматизированную проверку рейтинга в результатах поиска, но, очевидно, Google также позволил многим компаниям очищать свои результаты поиска и взимать плату за доступ к данным рейтинга с целью отслеживания ключевых слов и рейтингов .
В соответствии с указаниями Google’s:
<цитата>
“Машиногенерированный трафик (также называемый автоматическим трафиком) относится к практике отправки автоматических запросов в Google. Это включает копирование результатов для проверки рейтинга или других типов автоматизированного доступа к поиску Google без прямого разрешения. Трафик, созданный машиной, потребляет ресурсы и мешает нашей способности лучше всего обслуживать пользователей. Такие действия нарушают нашу политику по спаму и Общие положения и условия Google.~~~~~~~~~~~~~~~
Блокировка скребков сложная
Блокировка скребков требует больших ресурсов, особенно потому, что они могут реагировать на блокировку, изменяя IP-адрес и пользовательский агент, чтобы обойти любые блоки. Другой способ заблокировать скребки – это нацелить на конкретное поведение, например, сколько страниц запрашивает пользователь. Чрезмерное количество запросов страниц может привести к блокировке. Проблема такого подхода состоит в том, что он может стать ресурсоемким для отслеживания всех заблокированных IP-адресов, которые могут быстро насчитываться миллионами.
Отчеты в социальных сетях
Публикация в приватной группе Facebook Signals Lab SEO объявила, что Google активно борется с веб-скребками, причем один участник отметил, что инструмент Scrape Owl не работает для них, а другие ссылались на то, что SEMRush& rsquo;данные не обновлены.
Другая публикация, на этот раз на LinkedIn, отметила несколько инструментов, которые не обновляли свое содержимое, но также отметила, что блокировка не повлияла на всех поставщиков данных, отметив, что Sistrix и MonitorRank все еще работают. Кто-то из компании HaloScan сообщил, что они внесли изменения, чтобы возобновить сбор данных с Google и возобновились, а кто-то другой сообщил, что другой инструмент под названием MyRankingMetrics все еще сообщает данные.
Что бы ни делал Google, пока это не влияет на все скребки. Возможно, Google нацеливается на определенное поведение копирования, учится на ответах и улучшает способность блокировать. В ближайшие недели может оказаться, что Google улучшает свою способность блокировать скребки или нацеливается лишь на самые большие из них.
блокировка может в конечном итоге привести к увеличению ресурсов и сборов, взимаемых с конечных пользователей инструментов SaaS SEO.
Наталья Витчик (профиль в LinkedIn) предложила такие идеи через LinkedIn:
“Последнее обновление: Google начинает усиливать свои меры против сканирования, вводя более строгие средства защиты, такие как блокировка IP-адресов и CAPTCHA. Это влияет на такие популярные инструменты SEO, как Semrush, SE Ranking.
Этот шаг от Google делает извлечение данных более сложным и дорогостоящим. Как следствие, пользователи могут столкнуться с более высокой платой за подписку.
Кто-то из вас видит проблемы с данными в своих инструментах SEO?
РЕДАКТИРОВАТЬ: Ahrefs утверждает, что сбоев нет, поэтому я удалил их название с первого абзаца, однако некоторые пользователи сообщили о задержках данных. Sistrix, кажется, не повлиял.”
Райан Джонс твитнул:
“Кажется, прошлой ночью Google сделал обновление, которое блокирует большинство скребков и много API.
Google, просто предоставите нам платный API для результатов поиска. вместо этого мы заплатим вам.”
Нет сообщений Google
Пока не было никаких сообщений от Google, но может быть, что онлайн-разговор может заставить кого-то из Google рассмотреть возможность сделать заявление.