Обновление GraphRAG улучшает результаты поиска ИИ с помощью конкретных и исчерпывающих ответов и больше ссылок на исходные материалы
Microsoft объявила об обновлении GraphRAG, которое улучшает поисковые системы ИИ’ способность предоставлять конкретные и исчерпывающие ответы, используя меньшее количество ресурсов. Это обновление ускоряет обработку LLM и повышает точность.
Разница между RAG и GraphRAG
RAG (Retrieval Augmented Generation) объединяет большую языковую модель (LLM) с поисковым индексом (или базой данных) для создания ответов на поисковые запросы. Поисковый индекс обосновывает языковую модель свежими и релевантными данными. Это уменьшает вероятность того, что поисковая система ИИ предоставит устаревшие или галлюцинированные ответы.
GraphRAG улучшает RAG, используя граф знаний, созданный из поискового индекса, чтобы затем генерировать итоги, которые называются отчетами сообщества.
GraphRAG использует двухэтапный процесс:
Шаг 1: Механизм индексирования
Механизм индексирования сегментирует поисковый индекс на тематические сообщества, сформированные вокруг родственных тем. объединены сущностями (например, людьми, местами или понятиями) и связями между ними, образуя иерархический граф знаний. Затем LLM создает итог для каждого сообщества, который называется отчетом сообщества. Это иерархический граф знаний, создающий GraphRAG, где каждый уровень иерархической структуры представляет итог.
Существует заблуждение, что GraphRAG использует графы знаний. Хотя это отчасти верно, но не упоминается самая важная часть: GraphRAG создает графики знаний по неструктурированным данным, например веб-страницы, на шаге Indexing Engine. Этот процесс преобразования необработанных данных в структурированные знания — это то, что отличает GraphRAG от RAG, который полагается на получение и обобщение информации без построения иерархического графика.
Шаг 2: Шаг запроса
На втором шаге GraphRAG использует созданный им граф знаний, чтобы предоставить контекст LLM, чтобы он мог точнее ответить на вопросы.
Microsoft объясняет, что Retrieval Augmented Generation (RAG) трудно получить информацию, которая базируется на теме, поскольку она рассматривает только семантические связи.
GraphRAG превосходит RAG, сначала превращая все документы в своем поисковом индексе в граф знаний, иерархически организующий темы и подтемы (темы) во все более специфические слои. В то время как RAG полагается на семантические связи для поиска ответов, GraphRAG использует тематическое сходство, что позволяет находить ответы, даже если в документе отсутствуют семантически связанные ключевые слова.
Вот как это объясняется в оригинальном сообщении GraphRAG:
“Базовый RAG трудно справляется с запросами, требующими агрегирования информации в наборе данных для создания ответа. Такие запросы, как “Какие 5 самых популярных тем в данных?” работает ужасно, поскольку базовый RAG полагается на векторный поиск семантически схожего текстового содержимого в наборе данных. В запросе нет ничего, что направляет его к правильной информации.
Однако с помощью GraphRAG мы можем ответить на следующие вопросы, поскольку структура графа знаний, созданного LLM, рассказывает нам о структуре (и, следовательно, теме) набора данных в целом. Это позволяет организовать частный набор данных в значимые предварительно суммируемые семантические кластеры. LLM использует эти кластеры для обобщения этих тем во время ответа на запрос пользователя.”
Обновить в >
Подытожим: GraphRAG создает граф знаний из поискового индекса. “сообщество” ссылается на группу связанных сегментов или документов, сгруппированных на основе тематического сходства, а “отчет сообщества” это свод, созданный LLM для каждого сообщества.
Оригинальная версия GraphRAG была неэффективна, поскольку она обрабатывала все отчеты сообщества, включая нерелевантные итоги более низкого уровня, независимо от их соответствия поисковому запросу. Microsoft описывает это как “статическое” подход, поскольку он не имеет динамической фильтрации.
Обновленный GraphRAG представляет “динамический выбор сообщества,” оценивающий релевантность каждого отчета сообщества. Нерелевантные отчеты и их подсообщества удаляются, улучшая эффективность и точность, сосредотачиваясь только на релевантной информации.
Microsoft объясняет:
<цитата>
“Здесь мы представляем динамический выбор сообщества для глобального алгоритма поиска, использующего структуру графа знаний проиндексированного набора данных. Начиная с корня графа знаний, мы используем LLM, чтобы оценить, насколько релевантен отчет сообщества для ответа на вопросы пользователя. Если отчет будет признан нерелевантным, мы просто удалим его и его узлы (или подсообщества) из поиска. Не считая того, если отчет считается подходящим, мы переходим к его дочерним узлам и повторяем операцию. Наконец, только релевантные отчеты передаются в операцию уменьшения карты для создания ответа пользователю. “
Выводы: результаты обновленного GraphRAG
Microsoft протестировала новую версию GraphRAG и пришла к выводу, что это привело к 77% снижению вычислительных затрат, в частности стоимости токена при обработке LLM. Токены – это основные единицы текста, которые обрабатываются LLM. Улучшенный GraphRAG может использовать меньший LLM, что дополнительно снижает затраты без ущерба для качества результатов.
Позитивное влияние на качество результатов поиска:
- Динамический поиск дает ответы с более конкретной информацией.
- Ответы содержат больше ссылок на исходный материал, что повышает доверие к ответам.
- Результаты более исчерпывающие и специфические для запроса пользователя, что помогает избежать предложения слишком большого количества информации.
Динамический выбор сообщества в GraphRAG улучшает качество результатов поиска, генерируя ответы, которые являются более конкретными, релевантными и подкрепленными исходным материалом.