RAG: AI, která odpovídá z vašich dat

Rychlé shrnutí

RAG neboli retrieval-augmented generation je přístup, při kterém jazykový model nejdříve vyhledá relevantní pasáže ve vašich firemních dokumentech a teprve z nich složí odpověď. Díky tomu odpovídá na základě vašich skutečných dat a může ke každé informaci uvést zdroj, takže si tvrzení snadno ověříte sami.

• Odpovědi z vašich dokumentů, ne z obecných znalostí — model čerpá výhradně z materiálů, které mu zpřístupníte, a ignoruje, co se naučil během obecného tréninku.
• Každá odpověď uvádí zdroj k ověření — dostanete konkrétní odkaz na pasáž dokumentu, ze které informace pochází, a nemusíte pátrat, odkud model čerpal.
• Omezuje halucinace — protože se odpověď skládá z dohledaného textu a nikoli z paměti modelu, výrazně klesá riziko smyšlených nebo zkreslených tvrzení.
• Data zůstávají pod vaší kontrolou — dokumenty se nemusí odesílat do veřejných cloudových služeb, a pokud zvolíte lokální běh, zůstávají trvale ve vaší infrastruktuře.

Jak RAG funguje

Když tradičnímu velkému jazykovému modelu položíte otázku, odpovídá pouze z toho, co se naučil při tréninku — vaše interní dokumenty nezná, a pokud odpověď neví, může si ji domyslet. RAG tento princip obrací: model nejdříve prohledá vaše dokumenty a teprve poté odpovídá.

V praxi to znamená, že se vaše dokumenty rozdělí na menší sémantické celky a převedou do podoby takzvaných vektorových reprezentací, které popisují jejich význam. Tyto reprezentace se uloží do vektorové databáze. Když pak položíte dotaz, systém v databázi vyhledá pasáže významově nejbližší vaší otázce. Model z těchto pasáží složí souvislou odpověď a automaticky připojí odkaz na zdrojový dokument. Výsledkem je odpověď, která stojí na vašich datech a je okamžitě dohledatelná — žádné dohady, žádné domýšlení.

Proč RAG omezuje halucinace

Halucinace modelu vznikají především tehdy, když se odpověď generuje výhradně z jeho vnitřní paměti — model se snaží tipovat, co zní pravděpodobně, a nemá se o co opřít. Při nasazení RAG dostává model ke každému dotazu konkrétní textový kontext, ze kterého smí čerpat. Odpověď tak vzniká řízenou syntézou existujícího obsahu, nikoli generováním od nuly. Zároveň platí, že pokud se v dodaném kontextu odpověď nenachází, lze model nastavit tak, aby tuto skutečnost přiznal, místo aby si vymýšlel. Člověk navíc může u každé informace okamžitě zkontrolovat původní zdroj — odpověď přestává být černou skříňkou.

Kde se RAG ve firmě vyplatí

Největší přínos přináší RAG tam, kde firma pracuje s velkým objemem nestrukturovaných textů, ke kterým potřebuje rychlý a důvěryhodný přístup. Typicky jde o situace, kdy hledání informace trvá minuty až desítky minut nebo vyžaduje znalost napříč několika systémy.

• Interní znalostní báze — směrnice, provozní manuály, technická dokumentace a firemní wiki přístupné v přirozeném jazyce bez zdlouhavého procházení.
• Vyhledávání ve smlouvách a právní dokumentaci — okamžité nalezení konkrétního ustanovení či termínu napříč stovkami dokumentů včetně odkazu na přesnou pasáž.
• Podpora zákaznického a servisního týmu — operátor položí dotaz přirozeně a získá syntézu z návodů, známých řešení a servisní historie, včetně zdroje.
• Chytré vyhledávání v archivech — vytěžení letitých archivů e-mailů, zápisů, projektové dokumentace a technických zpráv, ve kterých se běžným fulltextem obtížně hledá.
• Podklady pro návrhy odpovědí — model připraví koncept odpovědi na výběrové řízení, technický dotaz nebo reklamaci opřený o existující podklady a číselná data z dokumentace.

Jak RAG nasadíme bezpečně

Nasazení stavíme tak, aby odpovídalo vaší bezpečnostní politice a abyste měli jasno v tom, kudy data tečou a kde zůstávají.

1. Výběr a příprava zdrojů dat — identifikujeme dokumenty, které budou do systému indexovány, nastavíme přístupová práva tak, aby každý uživatel viděl jen to, na co má oprávnění, a rozhodneme o četnosti aktualizace indexu.
2. Volba modelu a lokální běh — model vybíráme podle charakteru dat a požadavků na latenci. Může běžet ve vaší infrastruktuře nebo v naší privátní GPU laboratoři v Brně, takže data neopouštějí známé prostředí a nesvěřujete je anonymnímu cloudu.
3. Nastavení citací a pravidel odmítnutí — definujeme formát citací zdrojů a hranice, za kterými model nesmí odpovídat, aby nepřebíral domněnky z obecných znalostí.
4. Pilot na vašich datech a přechod do provozu — spustíme ověřovací provoz na reálných dotazech, změříme přesnost odpovědí a teprve po vyhodnocení předáme systém do rutinního provozu, kde o něj můžete sami pečovat, nebo jej dál provozujeme my.

Proč ITHOPE

Za osmnáct let jsme si v Brně vybudovali vlastní GPU laboratoř a tým, který rozumí nejen modelům, ale i celému okolnímu provoznímu řetězci. RAG u nás neznamená outsourcing do černé skříňky — postavíme řešení tak, abyste mu rozuměli a mohli ho auditovat.

• Vlastní GPU laboratoř v Brně — modely běží lokálně na našem hardwaru, který plně spravujeme, a vaše data nemusejí cestovat do veřejných cloudových prostředí.
• Rozumíme datům i provozu — řešíme celý kontext: od správy dokumentů a jejich zálohování přes řízení přístupů až po bezpečnostní politiky, takže výsledek zapadne do vašeho IT prostředí.
• Postavíme i provozujeme — podle potřeby dodáme jednorázový implementační projekt, nebo přebíráme dlouhodobý dohled a údržbu, včetně aktualizací modelů a reindexace dat.
• Člověk ve smyčce a férové doporučení — nevěříme na automatické nasazení bez ověření. Pokud zjistíme, že RAG je pro váš případ příliš složitý nástroj a postačí jednodušší vyhledávání, řekneme to na rovinu.

Domluvme si konzultaci

Nabízíme nezávaznou konzultaci, při které společně projdeme vaše současné dokumenty, jejich formát, objem a typické dotazy, které od systému očekáváte. Smyslem není hned nasazovat technologii, ale nejprve zjistit, zda vám RAG skutečně ušetří čas, nebo zda bude stačit jiný přístup.

Pokud vás zajímá širší pohled na nasazení AI ve firmě nebo chcete lépe rozumět nákladům, podívejte se na článek Kolik stojí AI pro firmu — a pak se nám ozvěte.