<стр.>Узнайте об эволюции роли ботов в открытом Интернете и потенциале помощников искусственного интеллекта в улучшении работы людей онлайн.
Как быстрый рост ботов изменяет открытую сеть?
Больше половины веб-трафика поступает от ботов:
- Отчет Imperva Bad Bot Report 2024 показывает, что почти 50% общего интернет-трафика не был человеческим в 2024 году. Тенденция: снижение.1
- Радар Cloudflare&s; показывает ~70% человеческого трафика и 30% от ботов.2
- Аками сообщает, что 42% трафика в Интернете поступает от ботов.3
Пока боты собирали информацию, которая делает программы лучше для людей. Но растет популяция нового вида: агентурных ботов.
В течение двух десятилетий мы оптимизировали сайты для GoogleBot.
Мы уже оптимизировали для BotNet с помощью схемы и каналов продуктов в Google Merchant Center.
На следующем уровне мы могли бы иметь отдельные веб-сайты или API для агентских ботов с совершенно новым маркетинговым полем.
Автор изображения: Lyna ™
Agentic Web
Поскольку мы приближаемся к тому, чтобы получить больше трафика ботов, чем людей в открытом Интернете, важно помнить, что примерно 65% трафика ботов считается злонамеренным. 62~
К хорошим ботам относятся скребки из поисковых систем, инструменты для оптимизации поисковых систем, средства защиты безопасности и, конечно, сканеры ИИ. /p>
Сравнивая последние шесть месяцев, сканеры ИИ выросли на 18%, а поисковые системы замедлились на 10%.
Однако сканер Google с искусственным интеллектом компенсировал это прибавкой на 1,4%. GPT Bot был самым активным сканером AI, с 3,8% всех запросов – и вырос на 12%.
Искусственный сканер Google’вырос на 62% и отвечает за 3,7% всех запросов ботов. Учитывая текущие темпы роста, ШИ-сканер Google&rsquo вскоре станет самым активным в сети.4
Авторство изображения: Кевин Индиг
Сегодня боты ИИ имеют три цели:
<ол>
Но сейчас все крупные разработчики искусственного интеллекта работают над агентами, которые просматривают веб-страницы и выполняют действия для пользователей:
- Claude был первым со своим “использованием компьютера” Функция продукта: “Разработчики могут направлять Клода использовать компьютеры так, как это делают люди&m;mdash;смотря на экран, перемещая курсор, нажимая кнопки и вводя текст.”5
- Джарвис Google’, “полезный компаньон, который просматривает веб-страницы вместо вас,” случайно запущен в магазине Chrome на мгновение.6
- OpenAI работает на “Operator,” также агент, который выполняет действия за вас.7
Я вижу три возможных результата:
<ол>
Я думаю, что сочетание всех трех наиболее вероятным, в результате чего трафик ботов значительно возрастет.
Если это окажется правдой, компании все чаще будут создавать отдельные версии своих сайтов для ботов, ориентированных на скорость и структурированные данные. Просто сосредоточьтесь на пользователе. .”
В определенном смысле &ChatGPT Search уже является агентом, который просматривает и управляет веб-страницами для людей. Но если агенты сдержат свое обещание, вы можете ожидать гораздо большего.
Генеральный директор OpenAI Сэм Альтман сказал в своем недавнем Reddit AMA, я думаю, что следующим гигантским прорывом будут агенты. ”
Пока боты завоевывают Интернет, что делают люди?
Принятие Интернета
Авторство изображения: Кевин Индиг
Маловероятно, что люди полностью перестанут просматривать веб-страницы.
Даже с ответами искусственного интеллекта в Поиске и функциями поиска в чат-ботах искусственного интеллекта люди все равно хотят проверять заявления искусственного интеллекта, получать случайное вдохновение (серендипити) или искать ответы у других людей (Reddit).
Но процесс просмотра для поиска, вероятно, растворится в подсказках, если боты станут достаточно хорошими.
Существует пространство для роста человеческого трафика: 70% населения мира имели доступ в Интернет в 2023 году. При нынешних темпах (~7% г/г) весь мир имел бы доступ к Интернету до 2030 года. Однако, несмотря на рост распространения Интернета, человеческий трафик в течение последних трех лет не изменялся (см. статистику Cloudflare). Искусственные сканеры растут гораздо быстрее (18%), а агенты могут ускорить их еще больше.
Авторство изображения: Кевин Индиг
Запросы людей в Википедию, крупнейший веб-сайт, стагнировали с 2019 года.8
Причина в том, что внимание людей перемещается на социальные платформы, особенно для молодых поколений. Когда боты захватывают открытую сеть, люди бегут в места для боевых действий.
Маркетинг
Автор изображения: Кевин Индиг
В далеком будущем хорошие боты могут стать равноправными гражданами открытой веб-страны, поскольку все больше людей проводят время на закрытых социальных платформах, а агентские LLM увеличивают и без того быстрый рост трафика ботов. Если эта теория подойдет, что это означает для маркетинга и, в частности, для SEO?
Представьте, что вы забронировали поездку. Вместо того чтобы просматривать Google или Booking, вы сообщаете своему агенту, куда вы планируете поехать и когда.
Грунтуясь на том, что ему известно о ваших предпочтениях, ваш агент выбирает три варианта авиарейсов и отелей из выбранной вами платформы.
Когда вы выбираете рейс , он прилагается к вашему календарю, а билеты появляются в вашей папке «Входящие». Вам не нужно рассчитываться. Агент делает все за вас. Вы можете применить тот же сценарий к электронной коммерции или программному обеспечению.
Учитывая, что такие компании, как Google, уже имеют возможности для создания этого сегодня, стоит подумать о том, что останется постоянным, что изменится, а что станет более и менее важным в этом видении.
Константа
Ботам не требуется CSS или изображение героев. Нет недостатков в маскировке вашего сайта для сканеров LLM, поэтому существует вероятность того, что веб-сайты будут показывать ботам базовую версию.
Набор навыков, который остается постоянным в будущем, — это техническая оптимизация поисковых систем: сканирование, скорость (сервера), внутренние связи и структурированные данные.
Изменить
Открытая сеть агентов предлагает гораздо лучшие возможности нацеливания рекламы, поскольку боты знают своих владельцев изнутри.
Люди будут принимать решения о покупке гораздо быстрее, поскольку их агенты предоставляют им всю необходимую информацию и знают их предпочтения.
Расходы на рекламу существенно снижаются, а доходы еще выше, чем сегодня.
Поскольку боты могут перевести за считанные секунды, локализация и международные продажи больше не являются проблемой. Люди могут покупать у любого и где угодно – только ограничения по доставке и инвентарю. Мировая экономика открывается еще дальше.
Если мы все сделаем правильно, агенты могут быть лучшими охранниками конфиденциальности: ни у кого нет столько данных о вас, как у них, но вы можете контролировать, какой информацией они предоставляют доступ.
Агенты знают вас, но им не нужно делиться этой информацией с другими. Мы могли бы поделиться с ними еще большим количеством данных, поворачивая маховик данных → понимание → результаты &rar; данные &rar;rar; значение &rar;rar; результаты &rar; и т.д.
С другой стороны, нам нужно создать защиту от мошеннических ботов, переосмыслив, что работам разрешено производить в формате robots.txt 2.0. Кибербезопасность стала еще более важной, но и более сложной, поскольку плохие боты могут гораздо лучше имитировать хороших.
Нам нужно будет выяснить влияние на окружающую среду большего потребления энергии через больший трафик ботов.
Надеемся, боты будут более эффективными и, следовательно, повлечет за собой меньше общего веб-трафика, чем люди. Это по крайней мере несколько компенсирует энергетическое ущелье, которое уже вызывают LLM.
Важно
Наиболее удобным для ботов форматом информации является необработанный и структурированный: XML, RSS и API-каналы. Мы уже отправили каналы продуктов и XML-карты сайта в Google, но агенты захотят больше.
Веб-дизайн будет менее важным в будущем, и, возможно, это нормально, поскольку большинство сайтов все равно выглядят очень похожими.
Дизайн канала становится важнее: какую информацию включать в каналы, сколько, как часто ее обновлять и какие запросы посылать ботам.
Маркетологи тратят гораздо больше времени на обратное проектирование того, как выглядят разговоры с чат-ботами. Боты, вероятно, будут черным ящиком, как алгоритм Google’, но реклама может прояснить то, о чем люди спрашивают больше всего.
Отношения
В агентском будущем трудно заставить клиентов перейти на другой бренд, который им нравится, пока они не получат плохого опыта. будет побуждать клиентов попробовать ваш бренд с помощью таких кампаний, как скидки и эксклюзивные предложения.
Если у вас есть убеждения и сигнал, что ваш продукт лучше, квест становится убеждением пользователей попробовать его. Очевидно, это уже работает сегодня.
С таким количеством возможностей рекламировать и органически склонять пользователей к конкретному продукту, прежде чем они будут покупать, мы имеем гораздо большее влияние на покупку.
Но в будущем агенты смогут делать такой выбор вместо пользователей. Маркетологи будут тратить больше времени на налаживание отношений, повышение узнаваемости бренда и влияние на маркетинговые факторы старой школы, такие как ценообразование, распространение (доставка) и дифференциация.
1 Отчет о плохом боте 2024
2 Радар Cloudflare: Тенденции трафика
3 Боты составляют 42% общего веб-трафика; Почти две трети являются злонамеренными
4 Cloudflare Radar: Data Explorer
5 Знакомство с использованием компьютера, новый сонет Claude 3.5 и хайку Claude 3.5
6 Существование расширения Jarvis AI Google’ просочилось в магазин Chrome
7 OpenAI приближается к запуску инструмента AI Agent для автоматизации задач для пользователей
8 Анализ просмотров сайтов< /em>