Бородулин И.В.
УВЕЛИЧЕНИЕ ТОЧНОСТИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ С ПОМОЩЬЮ РАСШИРЕННОЙ ПОИСКОВОЙ ГЕНЕРАЦИИ *
Аннотация:
в последние годы большие языковые модели (LLM) стали ключевым элементом в разработке систем искусственного интеллекта, предназначенных для обработки естественного языка. Однако несмотря на значительные успехи, точность и надежность их ответов остаются предметом для улучшений. В данной статье предлагается методика увеличения точности LLM с использованием технологии расширенной поисковой генерации (RAG), которая позволяет динамически интегрировать информацию из внешних источников данных при генерации ответа. Проведено исследование демонстрирующее, как RAG улучшает качество и релевантность ответов LLM, обеспечивая более точную и информативную генерацию текста.
Ключевые слова:
искусственный интеллект, обработка естественного языка, большие языковые модели, расширенная поисковая генерация, генерация текста, моделирование знаний, векторное хранилище, поисковые системы
Введение. Большие языковые модели (LLM) в последнее время стали революционным шагом в области искусственного интеллекта [1], предоставив возможность генерировать тексты, близкие к человеческим по качеству и смыслу. Тем не менее ограничения в точности и актуальности информации, предоставляемой этими моделями, вызывают необходимость в поиске новых подходов к улучшению их эффективности [2].Расширенная поисковая генерация. Расширенная поисковая генерация (RAG) представляет собой метод, позволяющий языковым моделям дополнять свои знания [2] за счет поиска и интеграции информации из внешних баз данных в реальном времени. Это позволяет значительно увеличить точность и актуальность генерируемых ответов.Большие языковые модели, такие как GPT, Gemini, PaLM, Llama, Claude, обучаются на огромных объемах текстовых данных, что позволяет им генерировать текст, имитирующий естественный человеческий язык. Основной недостаток этих моделей заключается в их статичности: они полагаются исключительно на информацию, полученную в ходе первоначального обучения, и не способны обновлять свои знания или адаптироваться к новым данным.Расширенная поисковая генерация (RAG) предполагает интеграцию LLM с механизмом поиска по специальным векторным базам данных, чтобы обогатить процесс генерации текста актуальной информацией. В основе RAG лежит двухэтапный процесс: сначала выполняется поиск по ключевым словам из запроса пользователя для извлечения релевантной информации, затем полученные данные используются для генерации ответа с помощью LLM. Структурная схема применения RAG вместе с LLM представлена на рисунке 1.Рис. 1. Процесс генерации текста с помощью RAG.Для реализации механизма RAG критически важно эффективно интегрировать процесс поиска внешних данных с генерацией текста языковой моделью. Основным инструментом для этого являются векторные представления текста (Embeddings), которые позволяют оценить семантическую близость между запросом пользователя и информацией в базе данных [3].Процесс генерации ответа на запрос пользователя с использованием векторных представлений происходит следующим образом:Для каждого запроса пользователя создается векторное представление с использованием предварительно обученной языковой модели (например, BERT или GPT). Данные вектора отражают семантическое содержание запроса.Аналогичным образом создаются векторные представления для каждого документа в базе данных, которая может использоваться для поиска дополнительной информации. С помощью различных метрик [4] рассчитывается сходство между embeddings запроса и embeddings в базе данных. Это позволяет определить наиболее релевантные фрагменты данных к запросу пользователя.Фрагменты данных упорядочиваются на основе их сходства с запросом. Высокоранжированные данные считаются наиболее релевантными и выбираются для последующей генерации ответа.Таким образом, выбранные на основе векторов фрагменты данных используются как дополнительный контекст для языковой модели при генерации ответа. Это позволяет модели генерировать ответы, которые не только семантически связаны с запросом пользователя, но и обогащены актуальной информацией из внешних источников.Исследование. Для демонстрации влияния технологии RAG на точность LLM было проведено сравнительное исследование. Целью исследования было выявить различия в точности ответов, генерируемых моделью с использованием и без использования RAG, на примере задачи ответов на вопросы.Исследование базировалось на двух сценариях:LLM генерировала ответы на вопросы исключительно на основе своих внутренних знаний, полученных в ходе обучения.Перед генерацией ответов LLM интегрировалась с RAG для поиска и интеграции актуальной информации из внешних баз данных.В качестве модели для исследования была использована GPT-3 и набор вопросов, требующих актуальной информации для ответа по нескольким категориям, например, медицинские данные, актуальные новости, научные открытия [5, 6, 7, 8].Результаты исследования сравнения точности ответов модели по различным категориям вопросов представлены в таблице 1.Таблица 1. Сравнение достоверности ответов модели. Анализ результатов. Результаты исследования показали значительное улучшение в точности ответов при использовании RAG по всем категориям вопросов. Особенно заметное улучшение наблюдается в категориях, требующих актуальной информации, таких как "Актуальные события" и "Финансовые новости", где улучшение составило 30% и 35% соответственно. Также стоит отметить, что даже в категориях, где предполагалось, что LLM могут обладать достаточным количеством внутренних знаний, таких как "Исторические факты", использование RAG привело к улучшению точности ответов на 10%. Это указывает на то, что даже в областях с относительно стабильной информацией доступ к актуальным данным может улучшить качество ответов.Заключение. Исследование подтверждает, что использование расширенной поисковой генерации значительно повышает точность ответов больших языковых моделей на вопросы, за счет обеспечения доступа к самой актуальной и точной информации, которая может отсутствовать во внутренних обучающих данных. Это особенно важно для ответов на вопросы, требующих знаний о недавних событиях или данных, которые часто обновляются. Технология RAG открывает новые возможности для улучшения качества и надежности систем искусственного интеллекта, основанных на обработке естественного языка.
Номер журнала Вестник науки №3 (72) том 3
Ссылка для цитирования:
Бородулин И.В. УВЕЛИЧЕНИЕ ТОЧНОСТИ БОЛЬШИХ ЯЗЫКОВЫХ МОДЕЛЕЙ С ПОМОЩЬЮ РАСШИРЕННОЙ ПОИСКОВОЙ ГЕНЕРАЦИИ // Вестник науки №3 (72) том 3. С. 400 - 405. 2024 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/13398 (дата обращения: 17.05.2024 г.)
Вестник науки СМИ ЭЛ № ФС 77 - 84401 © 2024. 16+