Поставщик графовых баз данных Neo4j заявляет, что графовые технологии могут предотвратить генерацию галлюцинаций, фабрикаций и ложных ответов моделями и агентами ИИ на запросы пользователей.
Компания сослалась на недавнюю академическую работу, опубликованную на arXiv в июне, под названием «Снижение галлюцинаций при сложном ответе на вопросы с использованием простого графового поиска с дополненной генерацией» (Reducing Hallucinations in Complex Question Answering using Simple Graph-based Retrieval-Augmented Generation), которая подтверждает ее утверждение.
В аннотации к статье отмечается, что исследование изучает применение легкой графовой структуры с простой схемой графа для поддержки подсистемы RAG (Retrieval-Augmented Generation — поиск с дополненной генерацией) с помощью специализированного набора инструментов. Исследовательская группа создала агентную систему, оснащенную разнообразными инструментами векторного поиска и графовых запросов, работающую на структурированных данных, полученных из тщательно отобранных статей английской Википедии. Производительность системы оценивалась на сложных вопросах из MoNaCo, сложного бенчмарка Википедии для задач ответа на сложные запросы.
Исследователи поставили перед LLM сложный вопрос: «Можете ли вы назвать все битвы между голландцами и англичанами в Первой, Второй и Третьей англо-голландских войнах и перечислить победителя каждой битвы?»
Ответ на этот вопрос требует сложных возможностей поиска и рассуждений, включая одновременное многосущностное, многошаговое рассуждение и доступ к нескольким документам. Исследование указывает на то, что такие сложные запросы представляют серьезные проблемы для современных систем на основе LLM.
Команда протестировала вопрос на трех конфигурациях LLM и проанализировала результаты:
1. Векторный+графовый RAG: использует унифицированную векторную и графовую базу данных с предопределенными инструментами для оптимизации поиска во внешней базе знаний.
2. Простой векторный RAG
3. LLM без дополнительных улучшений RAG (Zero-shot LLM)
Результаты работы подтверждают, что интеграция базовой графовой базы знаний и соответствующих инструментов в стандартный векторный RAG может существенно снизить количество галлюцинаций ИИ, хотя и не устранить их полностью. Показатель грубой правдивости улучшился примерно с -127 для LLM без дополнительных улучшений до -49 для векторного+графового RAG.
Более того, гибридный подход значительно превосходит автономный векторный RAG. При включении частично правильных ответов в оценку, векторный+графовый RAG достигает наивысшего показателя среди трех тестовых сценариев. Его показатель точной правдивости на 80 процентов выше, чем у чистого векторного RAG, а точность и полнота фактических данных более чем вдвое превышают показатели системы, использующей только векторный RAG.
В целом, предложенное решение повышает как точность, так и полноту, одновременно сокращая количество галлюцинаций, предлагая жизнеспособный путь к повышению надежности и достоверности систем ответов на вопросы на основе LLM.
Прочтите оригинальную статью для получения исчерпывающих технических деталей исследования.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Global Strategy Director
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Website: www.qianxingdata.com/www.storagesserver.com
Направление бизнеса:
Дистрибуция ИКТ-продукции/Системная интеграция и услуги/Инфраструктурные решения
Обладая более чем 20-летним опытом дистрибуции ИТ, мы сотрудничаем с ведущими мировыми брендами, чтобы поставлять надежные продукты и профессиональные услуги.
«Используя технологии для построения интеллектуального мира» Ваш надежный поставщик услуг ИКТ-продукции!
Ваше сообщение должно содержать от 20 до 3000 символов!
Russian
