Czym jest RAG na dokumentach firmy i kiedy ma sens

RAG to sposób na to, żeby asystent AI odpowiadał na podstawie dokumentów Twojej firmy, a nie z ogólnej wiedzy modelu. Zamiast uczyć model od nowa, podsuwamy mu w momencie pytania kilka fragmentów Twoich materiałów i każemy odpowiedzieć wyłącznie na ich podstawie, z podaniem źródła. Dzięki temu aktualizacja wiedzy sprowadza się do podmiany pliku, a nie do kolejnego wdrożenia. Poniżej tłumaczymy, jak to działa, gdzie się sprawdza i ile kosztuje.

RAG w jednym zdaniu

Skrót RAG pochodzi od „retrieval augmented generation”, czyli generowania wspieranego wyszukiwaniem. Składa się z dwóch kroków.

Najpierw wyszukiwanie: pytanie użytkownika trafia do wyszukiwarki, która przegląda Twoje dokumenty i wybiera kilka najbardziej pasujących fragmentów. Potem generowanie: model językowy dostaje pytanie razem z tymi fragmentami i układa z nich odpowiedź zwykłym językiem.

To trochę tak, jakby nowy pracownik odpowiadał klientowi, mając przed sobą otwarty cennik i procedurę. Nie musi znać ich na pamięć. Musi umieć czytać i pisać, a resztę ma podane.

Dlaczego to lepsze niż „wytrenowanie modelu na naszych danych”

W rozmowach o AI wciąż wraca pomysł, żeby „nauczyć model naszej firmy”. Brzmi rozsądnie, ale w praktyce rzadko jest tym, czego potrzebujesz.

• Aktualność. Wiedza wpisana w model zostaje w nim taka, jaka była w dniu treningu. Zmiana cennika oznaczałaby powtórzenie całej procedury. Przy RAG podmieniasz plik i od następnego pytania obowiązuje nowa wersja.
• Źródła. Model wytrenowany na Twoich tekstach nie potrafi wskazać, skąd wziął to zdanie. Asystent oparty na wyszukiwaniu podaje dokument i fragment, więc człowiek może sprawdzić odpowiedź w kilka sekund.
• Koszt i czas. Trening albo dostrajanie modelu to osobny projekt z własnym budżetem. Wyszukiwanie po dokumentach uruchamiasz w kilka tygodni.
• Kontrola dostępu. Wiedzy wtopionej w model nie da się łatwo ograniczyć do wybranych osób. W RAG wystarczy, że wyszukiwarka nie pokaże pracownikowi dokumentów, do których nie ma prawa.
• Zmyślanie. Model, który odpowiada z pamięci, prędzej czy później coś wymyśli. Instrukcja „odpowiadaj wyłącznie na podstawie poniższych fragmentów, a jeśli ich nie ma, powiedz, że nie wiesz” mocno to ogranicza.

Dostrajanie modelu ma sens, gdy zależy Ci na stylu wypowiedzi albo na bardzo wąskim, powtarzalnym zadaniu. Do firmowej wiedzy prawie zawsze lepszy jest RAG.

Co dzieje się pod spodem

Tyle technicznych szczegółów, ile przyda się przy podejmowaniu decyzji.

Podział na fragmenty. Dokumenty tniemy na kawałki po kilkaset słów, tak żeby każdy był zrozumiały sam z siebie. Stąd bierze się praktyczny wniosek: dokument z sensownymi nagłówkami da się pociąć dobrze, a skan umowy bez warstwy tekstowej trzeba najpierw przepuścić przez rozpoznawanie znaków.

Zamiana na wektory. Każdy fragment dostaje swój zapis liczbowy, tak zwane osadzenie, który opisuje jego znaczenie. Dwa fragmenty o podobnym sensie mają podobne zapisy, nawet jeśli nie mają wspólnych słów.

Wyszukiwanie wektorowe. Pytanie zamieniamy na taki sam zapis i szukamy fragmentów leżących najbliżej. Dlatego pytanie „do kiedy mogę oddać towar” trafia na procedurę zwrotów, choć nie ma w niej słowa „oddać”. W praktyce łączymy to z klasycznym wyszukiwaniem po słowach, bo numery katalogowe i nazwy własne lepiej znajduje zwykłe dopasowanie tekstu.

Złożenie odpowiedzi. Wybrane fragmenty trafiają do modelu razem z instrukcją i pytaniem. Model pisze odpowiedź i dopisuje, z którego dokumentu pochodzi.

Nie musisz tego pamiętać. Musisz wiedzieć jedno: jakość odpowiedzi zależy przede wszystkim od tego, czy Twoje dokumenty są aktualne i uporządkowane.

Gdzie RAG się sprawdza

Oferty i cenniki

Handlowiec pyta o warunki dla wybranego klienta i dostaje odpowiedź z aktualnego cennika oraz z wcześniejszych ofert. Zamiast szukać po dysku, weryfikuje jedną odpowiedź ze wskazanym źródłem.

Procedury i wdrażanie nowych osób

Instrukcje, regulaminy, opisy stanowisk, zasady rozliczeń. Nowa osoba pyta zwykłym językiem, zamiast przerywać pracę koledze. To zwykle pierwszy proces, w którym efekt widać najszybciej, bo pytania powtarzają się od lat.

Umowy i dokumentacja

Wyszukanie warunków wypowiedzenia, terminów, kar umownych czy zapisów o poufności w zbiorze kilkuset plików. Asystent wskazuje dokument i paragraf, a decyzję podejmuje człowiek.

Wsparcie klienta

Asystent na stronie albo w skrzynce mailowej odpowiada na powtarzalne pytania o godziny, warunki, dostawę i gwarancję, korzystając z Twoich materiałów. Trudniejsze sprawy przekazuje człowiekowi. Jeśli klient rozmawia z AI, powinien o tym wiedzieć. Piszemy o tym szerzej w tekście o tym, od czego zacząć AI w firmie.

Kiedy RAG nie jest odpowiedzią

• Wiedza siedzi w głowach, nie w plikach. Najpierw trzeba ją spisać. Asystent nie wymyśli procedury, której nie ma.
• Dokumenty są sprzeczne. Trzy wersje cennika w trzech folderach dadzą trzy różne odpowiedzi. Porządkowanie materiałów to część wdrożenia, nie jego skutek uboczny.
• Liczy się wyliczenie, a nie tekst. Marże, rabaty i terminy licz zwykłym kodem albo w systemie. Model językowy nie jest kalkulatorem.
• Pytanie dotyczy danych z systemu. Status zamówienia czy saldo klienta bierzemy przez integrację z Twoim systemem, a nie z dokumentów.

Bezpieczeństwo danych

To pytanie pada na każdym spotkaniu.

Domyślnie dokumenty zostają u Ciebie. Baza wiedzy stoi na Twoim serwerze albo na infrastrukturze, którą kontrolujesz. Do modelu w momencie pytania trafiają tylko te fragmenty, które są potrzebne do odpowiedzi.

Uprawnienia odwzorowujemy. Asystent pokazuje tylko te dokumenty, do których zalogowana osoba i tak ma dostęp w Twoich systemach. Dokumenty kadrowe nie mają prawa pojawić się w odpowiedzi dla handlowca ani tym bardziej w chatbocie na stronie.

Trenowanie na Twoich danych. Anthropic i OpenAI w swoich interfejsach API domyślnie nie wykorzystują przesyłanych treści do trenowania modeli. Darmowe konta konsumenckie mogą mieć inne zasady, a warunki dostawców się zmieniają, więc przed wdrożeniem sprawdzamy je razem z Tobą i zapisujemy ustalenia.

RODO. Jeśli w dokumentach są dane osobowe, obowiązuje RODO w całości: umowa powierzenia z dostawcą, minimalizacja danych i informacja o tym, gdzie są przetwarzane. To nie jest porada prawna. Przy wrażliwych zbiorach warto zapytać prawnika.

Ile to kosztuje

Asystenta AI albo chatbota na danych firmy przygotowujemy od 3 900 zł netto, a dobrym wstępem jest warsztat AI dla firmy od 990 zł netto. Do tego dochodzą opłaty za korzystanie z modelu, zależne od liczby zapytań. Szacujemy je z góry, żeby rachunek nie był zaskoczeniem. Ceny pozostałych usług znajdziesz w cenniku.

Wdrożenie asystenta zajmuje zwykle 3–6 tygodni, a warsztat jeden dzień.

Jak zaczynamy

Warsztat. Jeden dzień z osobami, które znają procesy od środka. Wybieramy pytania, które się powtarzają, i sprawdzamy, czy stoją za nimi dokumenty nadające się do użycia.

Pilotaż na wycinku. Bierzemy jeden obszar, na przykład procedury jednego działu, i ograniczoną grupę użytkowników. Przed startem zbieramy listę prawdziwych pytań i na nich testujemy odpowiedzi.

Ocena i rozwój. Po kilku tygodniach patrzymy, ile odpowiedzi trzeba było poprawić, ile spraw trafiło do człowieka i czy ktoś z tego korzysta. Dopiero potem dokładamy kolejne zbiory dokumentów.

Taki porządek ma jedną zaletę: jeśli okaże się, że wiedzy do wyszukiwania po prostu nie ma, dowiesz się tego po kilku tygodniach, a nie po pół roku.

Porozmawiajmy o Twoich dokumentach

Budujemy asystentów na danych firmy w oparciu o modele Claude (Anthropic) i OpenAI, z panelem do aktualizacji wiedzy i wskazywaniem źródeł odpowiedzi. Zobacz, co obejmują integracje AI, albo napisz do nas i opisz, gdzie Twój zespół najczęściej szuka informacji.

Ceny netto, doliczamy 23% VAT.