В статье рассматриваются проблемы и ограничения наивной (простой) реализации Retrieval-Augmented Generation (RAG) - подхода, объединяющего генеративные нейронные сети с внешним поиском по базе знаний. Несмотря на значительный прогресс в области больших языковых моделей (LLM), их зависимость от статических данных приводит к устареванию знаний и генерации недостоверной информации. RAG решает данную проблему, дополняя процесс генерации результатами поиска релевантных документов в проиндексированной базе знаний, однако наивная версия данного метода сталкивается с рядом теоретических и практических ограничений. В работе анализируются ключевые уязвимости RAG-архитектуры: ошибки поиска, потери релевантных фрагментов, ограничения одновекторных эмбеддингов и некорректная интеграция контекста при генерации. Особое внимание уделяется теоретическим пределам одновекторных представлений, снижающим полноту поиска в больших базах данных. Рассматриваются современные методы преодоления описанных проблем - гибридная архитектура поиска, механизмы постобработки и реранжирования, а также многовекторные модели индексации. В статье сделан акцент на необходимости перехода от простых реализаций RAG к продвинутым архитектурам, сочетающим точность, масштабируемость и качество генерируемого контента.
The article examines the problems and limitations of the naive implementation of Retrieval-Augmented Generation (RAG), an approach that combines generative neural networks with external knowledge retrieval. Despite the significant progress in large language models (LLMs), their reliance on static training data leads to outdated knowledge and the generation of unreliable information. RAG addresses this issue by augmenting the generation process with retrieved results from an indexed knowledge base; however, the naive version of this method faces several theoretical and practical constraints. The paper analyzes key vulnerabilities of RAG architectures, including retrieval errors, loss of relevant fragments, limitations of single-vector embeddings, and incorrect integration of context during generation. Particular attention is given to the theoretical limits of single-vector representations, which reduce retrieval completeness in large databases. The study also reviews modern methods for overcoming these challenges, such as hybrid retrieval architectures, post-processing and re-ranking mechanisms, and multi-vector indexing models. The article emphasizes the necessity of moving from simple RAG implementations toward advanced architectures that combine accuracy, scalability, and high-quality content generation.