Brave отвечает на вопрос об их новой поисковой системе с искусственным интеллектом и предлагает информацию о том, что должны знать оптимисты по оптимизации поисковых систем и онлайн-бизнеса
Brave анонсировала свою новую поисковую систему AI, ориентированную на конфиденциальность, под названием Answer with AI, которая работает с собственным поисковым индексом миллиардов веб-сайтов. Их нынешняя поисковая система уже обслуживает 10 миллиардов поисковых запросов в год, что означает, что поисковая система Brave’ на основе искусственного интеллекта сейчас является одной из крупнейших поисковых систем ИИ в Интернете.
Многие участники поискового маркетинга и электронной коммерции выражают обеспокоенность по поводу будущего Интернета через поисковые системы ИИ. Поисковая система с искусственным интеллектом Brave&rsquo все еще показывает ссылки, и, что самое важное, она по умолчанию не отвечает на коммерческие или транзакционные запросы с помощью искусственного интеллекта, что должно быть хорошей новостью для поисковых систем и онлайн-бизнеса. Brave ценит веб-экосистему и будет следить за моделями посещения веб-сайтов.
Search Engine Journal пообщался с Хосепом М. Пухолем, руководителем отдела поиска в Brave, который ответил на вопрос о поисковом индексе, как он работает с искусственным интеллектом и, что самое важное, он поделился тем, что нужно знать оптимистам и владельцам бизнеса, чтобы улучшить рейтинг.
Ответ с помощью искусственного интеллекта на основе Brave
В отличие от других поисковых решений с искусственным интеллектом, поисковая система с искусственным интеллектом Brave&rsquo полностью работает на основе собственного поискового индекса просканированных и ранжированных веб-сайтов. Вся базовая разработка, от поискового индекса до огромных языковых моделей (LLM) и даже технологии Retrieval Augmented Generation (RAG), разработана Brave. Это особенно хорошо с точки зрения конфиденциальности, а также делает результаты поиска Brave уникальными, еще больше отличая их от других альтернатив поисковых систем «я тоже».
Технология поиска< /h2>
Самая поисковая система создана собственными силами. По словам Хосепа М. Пуйоля, руководителя поисковой службы Brave:
“Мы имеем доступ при запросе ко всем нашим индексам, более 20 миллиардов страниц, что означает, что мы извлекаем произвольную информацию в режиме реального времени (схемы, таблицы) , фрагменты, описания и т.д.). Кроме того, мы очень подробно определяем, какие данные использовать, от целых абзацев или текстов на странице до отдельных предложений или строк в таблице.
Учитывая, что в нашем распоряжении есть целая поисковая система, внимание сосредоточено не на поиске, а на выборе и рейтинге. Кроме того, к страницам в нашем индексе мы имеем доступ к той же информации, которая используется для рейтинга, таких как баллы, популярность и т.д. Это жизненно важно, чтобы помочь выбрать, какие источники являются более релевантными.&6;~~~~~
Retrieval Augmented Generation (RAG)
Поисковая система работает так: у нее есть поисковый индекс и большие языковые модели, а также технология Retrieval Augmented Generation (RAG), которая поддерживает актуальность ответов и базируется на фактах. Я спросил о RAG, и Джозеп подтвердил, как это работает.
Он ответил:
“Вы правы, что наша новая функция использует RAG. Фактически мы уже использовали эту технику в нашей предыдущей функции Summarizer, выпущенной в марте 2023 года. Однако в этой новой функции мы расширяем как количество, так и качество данных, используемых в содержимом подсказка.
Использованы большие языковые модели
Я спросил о языковых моделях, которые используются в новой поисковой системе искусственного интеллекта, и о том, как они разворачиваются.
“Модели разворачиваются на экземплярах AWS p4 с VLLM.
Мы используем комбинацию Mixtral 8x7B и Mistral 7B как основную модель LLM.
Однако мы также запускаем несколько специально обученных моделей трансформаторов для вспомогательных задач, таких как семантическое сопоставление и ответы на вопросы. Эти модели намного меньше из-за жестких требований к задержке (10-20 мс).
Эти вспомогательные задачи являются решающими для нашей функции, поскольку они выполняют выбор данных, которые в конечном счете попадут в конечную подсказку LLM; эти данные могут зависеть от запроса фрагментами текста, схемами, табличными данными или внутренними структурированными данными, поступающими из наших расширенных фрагментов. Дело не в том, чтобы получить большое количество данных, а в том, чтобы выбрать кандидатов, которые будут добавлены в контекст запроса.
Например, запрос “президенты Франции за партиями” обрабатывает 220 КБ необработанных данных, включая 462 строки, выбранные из 47 таблиц, 7 схем. Размер подсказки составляет примерно 6500 токенов, а конечный ответ – всего 876 байт.
Короче говоря, можно сказать, что с помощью “Ответить с помощью ИИ” мы переходим от 20 миллиардов страниц до нескольких тысяч токенов.”
Как ИИ работает с результатами локального поиска
Потом я спросил о том, как новая поисковая система будет отображать локальный поиск. Я спросил Хосепа, мог ли он поделиться некоторыми сценариями и примерами запросов, в которых механизм ответов искусственного интеллекта будет открывать местные предприятия. Например, если я спрашиваю лучшие гамбургеры в Сан-Франциско, система ответов ИИ ответит на этот вопрос и ссылку на нее? Будет ли это полезно для людей, которые планируют деловые поездки или путешествия в отпуск?
Джозеп ответил:
“Индекс Brave Search содержит более 1 миллиарда схем на основе расположения, из которых мы можем получить более 100 миллионов компаний и других объектов.
Ответ с помощью искусственного интеллекта – это общий термин для Поиска + LLM + нескольких специализированных моделей машинного обучения и служб для получения, ранжирования, очистки, объединения и представления информации. Мы вспоминаем об этом, потому что магистратуры не принимают все решения. На данный момент мы используем их преимущественно для синтеза неструктурированной и структурированной информации, происходящей как в автономных операциях, так и при выполнении запросов.
Иногда кажется, что конечный результат сильно зависит от LLM (это случай, когда мы считаем, что ответ на вопросы пользователя является одной точкой интереса, например “checkin faro cuisine”, и иногда их работа более тонкая (например, & rdquo;лучшие бургеры sf”), генерируя описание бизнеса через различные веб-ссылки или консолидируя категорию для бизнеса в согласованной таксономии. ~h2>Советы по хорошему рейтингу
Далее я спросил, было ли использование структурированных данных Schema.org полезным для улучшения рейтинга сайта в Brave, и есть ли у него какие-то другие советы по SEO и онлайн-бизнесу.
Он ответил:
“Конечно, мы уделяем особое внимание структурированным данным schema.org при создании контекста подсказки LLM. Лучше всего иметь структурированные данные о своем бизнесе (стандартные схемы из schema.org). Чем полнее будут эти схемы, тем точнее будет ответ.
Тем не менее, наш ответ с искусственным интеллектом также сможет выводить данные о бизнесе не в этих схемах, но всегда желательно повторять информацию в разных форматах.
Некоторые компании полагаются только на агрегаторы (Yelp, Tripadvisor, Yellow Pages) для своей бизнес-информации. Существуют преимущества добавления схем на бизнес-веб-сайт, даже если только для сканирующих роботов.~~~~~~~~~~~~~~~~
Планы по ШИ-поиску в Brave Browser
Brave поделился, что в какой-то момент в ближайшем будущем они интегрируют новую функцию поиска AI непосредственно в Brave Browser.
Джозеп объяснил:
<цитата>
“Вскоре мы планируем интегрировать систему ответов AI с Brave Leo (помощник AI, встроенный в браузер Brave). Пользователи смогут отправить ответ Лео и продолжить сеанс там.~~~~~~~~~~~~~~~~~~~~~~~~
Другие факты
Объявление Brave’ также поделило эти факты о новой поисковой системе:
“Отважный поиск’генеративные ответы — это не просто текст. Глубокая интеграция между индексом и моделью позволяет нам сочетать онлайновые, контекстуальные, именуемые обогащения сущностей (процесс, придающий больше контексту человеку, месту или вещи) при генерации ответа. Это означает, что ответы сочетают генеративный текст с другими типами медиа, включая информационные карты и изображения.
Система ответов Brave Search может даже сочетать данные из индекса и геолокальных результатов, чтобы предоставить полную информацию об интересных местах. На сегодняшний день индекс Brave Search содержит более 1 миллиарда схем на основе местоположения, из которых мы можем получить более 100 миллионов компаний и других объектов интереса. Эти списки больше, чем любой общедоступный набор данных, означают, что система ответов может предоставить богатые мгновенные результаты для объектов интереса во всем мире. ~/blockquote>
Попробуйте новый поиск AI на http://search.brave.com/