Data, RAG & backend
Tisíce stran směrnic, smluv a dokumentace, a odpověď do pár vteřin, doložená citací zdroje. Postavím vám privátní RAG architekturu, ze které data nikdy neodejdou a nikdy nic netrénují.
Pro koho to dává smysl
- Znalosti firmy leží v dokumentech, které nikdo nedokáže rychle prohledat
- Compliance zakazuje posílat interní data do veřejných AI nástrojů
- Nováčci se zaučují měsíce, protože „to ví jen Franta z účtárny"
Co dostanete
- Privátní vektorovou databázi nad vašimi dokumenty, směrnice, smlouvy, wiki, e-maily
- Každou odpověď s odkazem na zdrojový dokument, plná auditovatelnost
- Řízení přístupů: kdo nesmí číst dokument, nedostane z něj ani odpověď
- API bez retence dat, nebo open-source model kompletně ve vašem cloudu
Jak to funguje
Dokumenty se rozdělí na významové bloky a uloží do vektorové databáze ve vaší infrastruktuře. Dotaz najde relevantní pasáže a jazykový model z nich složí odpověď, nikdy neodpovídá z „vlastní hlavy". Když odpověď v dokumentech není, systém to řekne na rovinu.
Kde to firmám reálně pomáhá
Podpora a helpdesk
Operátor se ptá vlastní dokumentace místo toho, aby listoval ve třech systémech. Odpověď přijde i s odkazem na směrnici, takže se dá zákazníkovi rovnou citovat a nikdo si nic nedomýšlí.
Zaučení nových lidí
Nováček se první měsíce ptá kolegů na věci, které jsou sepsané, jen se nedají najít. RAG tuhle zátěž sundá ze zkušených lidí, aniž by se muselo cokoli přepisovat do nové wiki.
Smlouvy a compliance
Otázky typu jakou máme s tímhle dodavatelem výpovědní lhůtu se dnes řeší hledáním v PDF. S citací zdroje u každé odpovědi je to dohledatelné a auditovatelné, což je v regulovaných oborech podmínka, ne bonus.
Proč RAG a ne dotrénovaný model
Nejčastější dotaz z prvních hovorů. Dotrénování modelu na firemních datech zní lákavě, ale v praxi u znalostní báze prohrává skoro ve všem.
- Aktuálnost. Změněnou směrnici stačí u RAG nahrát znovu. U dotrénovaného modelu se musí trénovat celý znovu.
- Dohledatelnost. RAG ukáže, ze kterého dokumentu odpověď vzal. Dotrénovaný model odpovídá z paměti a nedoloží nic.
- Řízení přístupů. U RAG se dá filtrovat podle oprávnění uživatele. Model, který data pojal do vah, je pojal pro všechny.
- Cena. Rozdíl bývá řádový, a to jak při nasazení, tak při každé změně.
Dotrénování dává smysl u stylu a formátu odpovědí, ne u faktů. Když na to narazíme, řeknu to.
Kdy vám RAG rozmluvím
- Když dokumenty neexistují. RAG umí odpovídat jen z toho, co je napsané. Když znalosti žijí v hlavách, první práce je sepsat je.
- Když je dokumentů málo. Do zhruba stovky stran bývá levnější a rychlejší pořádné fulltextové vyhledávání.
- Když si dokumenty odporují. Tři verze téže směrnice udělají z RAG generátor sporných odpovědí. Nejdřív úklid, pak nasazení.
Parametry
Časté dotazy
Trénuje se model na našich datech?+
Ne. RAG model netrénuje, dokumenty se prohledávají až v momentě dotazu. Používám API bez retence dat, nebo model běžící kompletně u vás.
Zvládne to češtinu a naše oborové názvosloví?+
Ano. Součástí nasazení je vyhodnocovací sada z vašich reálných dotazů, kvalitu odpovědí v češtině i oborové terminologii měřím před předáním i průběžně.
Kolik stojí nasazení RAG?+
Od 25 000 Kč, termín 4 až 6 týdnů. Cenu určuje hlavně objem a stav dokumentů, protože úklid podkladů je běžně třetina práce, dále počet zdrojů a to, jestli je potřeba řízení přístupů. K tomu počítejte provoz, tedy platby za volání modelu. Celý ceník je na samostatné stránce.
V jakých formátech mohou být dokumenty?+
PDF včetně naskenovaných, Word, Excel, wiki, Confluence, SharePoint, e-maily i obyčejné textové soubory. U skenů se před zpracováním pouští rozpoznávání textu. Formát není překážka, překážkou bývá spíš to, že tentýž dokument existuje ve třech verzích na třech místech.
Jaký je rozdíl mezi RAG a AI agentem?+
RAG je vrstva, která umí najít odpověď ve vašich dokumentech a doložit ji zdrojem. AI agent tuhle vrstvu používá a navíc umí jednat, tedy založit případ, změnit termín nebo zapsat něco do systému. Skoro každý agent, kterého stavím, má pod sebou RAG. Samotný RAG se hodí tam, kde má systém jen odpovídat.
Související
- AI agenti & LLM aplikace, když má systém nad daty i jednat, ne jen odpovídat
- AI automatizace procesů, čtení dokumentů a rozhodování v procesu
- RAG v praxi, jak dát modelu firemní data, aniž by je viděl celý internet
- Ceník, ceny a termíny všech služeb na jednom místě
Přineste tři otázky, na které dnes hledáte odpověď v dokumentech ručně, a ukážu vám, jak je zodpoví RAG.
Napište mi, ozvu se do pár hodin.