Kurz gesagt
RAG steht für Retrieval-Augmented Generation: erst abrufen, dann antworten. Ein Sprachmodell kennt Ihr Unternehmen nicht. Darum sucht das System bei jeder Frage die relevanten Passagen aus Ihren eigenen Dokumenten und gibt sie mit. Das Modell antwortet dann auf Basis Ihrer Daten, mit Quellenangabe.
Warum weniger Kontext besser funktioniert
Es ist verlockend, einem Modell einfach alles zu geben: das ganze Dossier, alle Handbücher. Aber je mehr Text, desto grösser die Gefahr, dass das Modell den wichtigen Satz übersieht oder Dinge verwechselt. In unseren eigenen Messungen ging eine Frage, die mit einem vollständigen Dossier falsch beantwortet wurde, gut, als das Modell nur die wenigen relevanten Fakten erhielt, und das in einem Bruchteil der Zeit.
Der Bibliothekar
Wir arbeiten mit dem Bild eines Bibliothekars:
- Ihre Daten werden in Karteikarten zerlegt: jede Karte eine Aussage, mit einem Verweis auf das ursprüngliche Buch (das Dokument).
- Bei einer Frage wählt der Bibliothekar die Karten, die zählen, und zeigt bei Bedarf auf das Buch, das das Modell lesen soll.
- Das Modell erhält also einige tausend Wörter statt Zehntausender.
Suchen: nicht nur nach Bedeutung
Die bekannte Art der Suche ist die nach Bedeutung (Embeddings): Texte, die sich ähneln, liegen nahe beieinander. Das funktioniert für allgemeine Fragen, verfehlt aber oft die eine Tatsache, die zählt. In einem Test stand die entscheidende Karte mit reiner Bedeutungssuche auf Platz 533 von gut 5500. Mit einer festen Rangfolge (zuerst exakte Namen und Begriffe aus der Frage, dann die Zuverlässigkeit der Quelle, erst danach die Bedeutung) stand sie zuoberst.
Worauf Sie achten sollten
- Zerlegen Sie Ihre Daten so, dass ein Stück eine Sache sagt, und bewahren Sie den Verweis auf die Quelle.
- Kombinieren Sie Suchmethoden; verlassen Sie sich nicht nur auf die Bedeutungssuche.
- Lassen Sie das Modell seine Quellen nennen, damit ein Mensch sie prüfen kann.
- Geht es um eine Fähigkeit statt um Wissen, etwa eine Programmiersprache oder einen festen Schreibstil? Dann ist Fine-Tuning oft besser als RAG.
Wünschen Sie Beratung zu RAG? Fordern Sie ein kostenloses Beratungsgespräch an.
Aktualisiert am