Мартин Сплитт из Google поделился тем, как оптимисты для оптимизации поисковых систем и владельцы сайтов могут противостоять вредоносным работам и улучшить производительность сайта
Представитель Google’Мартин Сплитт ответил на вопрос о вредоносных ботах, которые влияют на производительность , которые должен знать каждый SEO и владелец сайта.
Вредные боты являются проблемой SEO
Многие специалисты по оптимизации поисковых систем, проверяющие сайты, обычно не обращают внимания на безопасность и трафик ботов в рамках своих проверок, поскольку цифровые маркетологи не очень понимают, что события безопасности влияют на эффективность сайта и могут объяснить, почему сайт неадекватно мимо. Улучшение основных веб-показателей не улучшит производительность сайта, если плохая безопасность способствует низкой производительности сайта. 500 ошибку сервера” код ответа, который сигнализирует о неспособности обслуживать веб-страницы и препятствует Google’сканировать веб-страницы.
Как защититься от атак ботов
Человек, который задает вопросы, спрашивает совет Google относительно того, как бороться с волнами скребковых ботов, влияющих на производительность их сервера.
Этот вопрос:
<цитата>
“Наш веб-сайт испытывает значительные сбои из-за целенаправленного сканирования автоматизированным программным обеспечением, что приводит к проблемам с производительностью, увеличению нагрузки на сервер и потенциальным проблемам с безопасностью данных. Несмотря на блокировку IP и другие профилактические меры, проблема не исчезает. Что мы можем сделать?”
Мартин Сплитт из Google’ предложил определить службу, являющуюся источником атак, и сообщить их о злоупотреблении их службами. Он также рекомендовал возможности брандмауэра CDN (Сеть доставки содержимого).
Мартин ответил:
“Это похоже на проблему распределенного отказа в обслуживании, если сканирование настолько агрессивно, что приводит к снижению производительности.
Вы можете попытаться идентифицировать владельца сети, откуда поступает трафик, поблагодарить “их хостер&rd; и отправить уведомление о нарушении. Обычно для этого можно использовать информацию WHOIS.
Как альтернатива, CDN часто имеют функции для обнаружения трафика ботов и его блокировки, и по определению они забирают трафик с вашего сервера и хорошо его распределяют, так что это выигрыш. Большинство CDN распознают законных ботов поисковых систем и не блокируют их, но если это для вас серьезное беспокойство, спросите их, прежде чем начать их использовать.~~~~~
Сработают ли советы Google?
Добрым советом является определение облачного поставщика или серверного центра обработки данных, на котором размещаются злонамеренные работы. Но есть много сценариев, когда это не сработает.
Три причины, почему связь с поставщиками ресурсов не работает
1. Много ботов скрыто
Боты часто используют сети VPN и “Tor” сети, скрывающие источник ботов, препятствуя всем попыткам идентификации облачных служб или веб-хоста, предоставляющего инфраструктуру для ботов. Хакеры также прячутся за скомпрометированные домашние и рабочие компьютеры, которые называются ботнетами, чтобы совершать свои атаки. Нет способа их идентифицировать.
2. Боты переключают IP-адреса
Некоторые боты реагируют на блокировку IP, мгновенно переключаясь на другую сеть, чтобы немедленно возобновить атаку. Атака может возникнуть с немецкого сервера, и в случае блокировки она переключится на сетевого провайдера в Азии.
3. Неэффективное использование времени
Связываться с сетевыми провайдерами в отношении пользователей-злоумышленников бесполезно, когда источник трафика скрыт или из сотен источников. Многие владельцы сайтов и поисковиков могут быть удивлены, узнав, насколько интенсивны атаки на их веб-сайты. Даже принятие мер против небольшой группы правонарушителей является неэффективным использованием времени, поскольку существуют буквально миллионы других ботов, которые заменят заблокированных облачным провайдером.
А как насчет ботнетов, состоящих из тысяч скомпрометированных компьютеров по всему миру? Думаю, у вас есть время сообщить всем этим провайдерам?
Это три причины, почему оповещение поставщиков инфраструктуры не является жизнеспособным подходом к остановке ботов, влияющих на производительность сайта. Реально говоря, это бесполезное и неэффективное использование времени.
Используйте WAF для блокировки ботов
Использование брандмауэра веб-приложений (WAF) является хорошей идеей, и это функция, которую предлагает Мартин Сплитт, когда упоминает об использовании CDN (сети доставки содержимого). CDN, как и Cloudflare, посылает браузерам и сканерам запрашиваемую веб-страницу с ближайшего к ним сервера, что ускоряет работу сайта и уменьшает ресурсы сервера для владельца сайта.
CDN также имеет WAF (брандмауэр веб-приложений), который автоматически блокирует вредоносные боты. Предложение Мартина по использованию CDN, безусловно, является хорошим вариантом, особенно потому, что она имеет дополнительное преимущество улучшения производительности сайта.
Вариант, о котором Мартин не упомянул, — это использование плагина WAF для WordPress, например Wordfence. Wordfence имеет WAF, который автоматически отключает ботов на основе их поведения. К примеру, если бот запрашивает смешное количество страниц, он автоматически создаст временный IP-блок. Если бот возвращается на другой IP-адрес, он определит поведение сканирования и снова заблокирует его.
Еще одно решение, которое стоит рассмотреть, — это платформа SaaS, например Sucuri, которая предлагает WAF и CDN для ускорения производительности. И Wordfence, и Sucuri являются надежными поставщиками безопасности WordPress и поставляются с ограниченными, но эффективными бесплатными версиями.
Прослушайте вопросы и ответ на 6:36 минуте подкаста Google SEO Office Hours: