RAG (Retrieval-Augmented Generation) — це сучасна архітектура, яка дозволяє генеративним моделям (на кшталт ChatGPT/LLM) користуватися вашою локальною базою знань. Інакше кажучи, ви можете завантажити свої документи і спілкуватися з ChatGPT, яка володітиме всіма наданими їй знаннями.
RAG поєднує дві складові: генеративну модель (LLM), яка “вміє красиво говорити”, і зовнішню базу знань, яка “знає, де що лежить”. Ідея проста: коли модель не має потрібної інформації, вона спершу робить запит до бази, знаходить релевантні фрагменти тексту (retrieval), а потім формує відповідь на їхній основі (generation).
Виглядає перспективно й корисно. Але в чому ж тоді проблема?
Сучасні RAG нагадують людину з поганою пам’яттю, яка шукає способи компенсувати свою ваду. Вона починає впорядковувати знання: все записує, все класифікує. Ось у цій шухляді — інформація про ліки, які я приймаю, у тій — комунальні платежі, а десь там — переписка з друзями. Але ця організація не вирішує головної проблеми. Бо незрозуміло, яка саме інформація взагалі є. Через недосконалу структуру даних людина може шукати відповідь не в тій шухляді — або просто не помітити потрібне.
Переходимо від метафори до технічної реальності:
1. Модель не “пам’ятає”, а лише “запитує”
LLM у RAG не має справжньої пам’яті: кожен запит обробляється незалежно від попередніх. У моделі немає відчуття контексту розмови, історії користувача чи стратегічної мети. Вона нічого не згадує — лише витягує уривки з індексу.
2. Пошук працює як сліпа інтуїція
Пошуковий компонент обирає фрагменти за схожістю, а не за точністю. У складних або багатозначних запитах це призводить до витягів “ні про