Zum Inhalt

RAG richtig gemacht: Der Bibliothekar zeigt, das Buch wird gelesen

Bei RAG sucht ein System zuerst die relevanten Stellen aus Ihren eigenen Dokumenten und gibt nur diese an das Sprachmodell weiter. Findet das System die richtigen Stellen, kann das Modell seine Antwort darauf stützen.

Kurz gesagt

RAG steht für Retrieval-Augmented Generation: erst abrufen, dann antworten. Ein Sprachmodell kennt Ihr Unternehmen nicht. Darum sucht das System bei jeder Frage die relevanten Passagen aus Ihren eigenen Dokumenten und gibt sie mit. Das Modell antwortet dann auf Basis Ihrer Daten, mit Quellenangabe.

Warum weniger Kontext besser funktioniert

Es ist verlockend, einem Modell einfach alles zu geben: das ganze Dossier, alle Handbücher. Aber je mehr Text, desto grösser die Gefahr, dass das Modell den wichtigen Satz übersieht oder Dinge verwechselt. In unseren eigenen Messungen ging eine Frage, die mit einem vollständigen Dossier falsch beantwortet wurde, gut, als das Modell nur die wenigen relevanten Fakten erhielt, und das in einem Bruchteil der Zeit.

Der Bibliothekar

Wir arbeiten mit dem Bild eines Bibliothekars:

  • Ihre Daten werden in Karteikarten zerlegt: jede Karte eine Aussage, mit einem Verweis auf das ursprüngliche Buch (das Dokument).
  • Bei einer Frage wählt der Bibliothekar die Karten, die zählen, und zeigt bei Bedarf auf das Buch, das das Modell lesen soll.
  • Das Modell erhält also einige tausend Wörter statt Zehntausender.

Suchen: nicht nur nach Bedeutung

Die bekannte Art der Suche ist die nach Bedeutung (Embeddings): Texte, die sich ähneln, liegen nahe beieinander. Das funktioniert für allgemeine Fragen, verfehlt aber oft die eine Tatsache, die zählt. In einem Test stand die entscheidende Karte mit reiner Bedeutungssuche auf Platz 533 von gut 5500. Mit einer festen Rangfolge (zuerst exakte Namen und Begriffe aus der Frage, dann die Zuverlässigkeit der Quelle, erst danach die Bedeutung) stand sie zuoberst.

Worauf Sie achten sollten

  • Zerlegen Sie Ihre Daten so, dass ein Stück eine Sache sagt, und bewahren Sie den Verweis auf die Quelle.
  • Kombinieren Sie Suchmethoden; verlassen Sie sich nicht nur auf die Bedeutungssuche.
  • Lassen Sie das Modell seine Quellen nennen, damit ein Mensch sie prüfen kann.
  • Geht es um eine Fähigkeit statt um Wissen, etwa eine Programmiersprache oder einen festen Schreibstil? Dann ist Fine-Tuning oft besser als RAG.

Wünschen Sie Beratung zu RAG? Fordern Sie ein kostenloses Beratungsgespräch an.

Aktualisiert am

Weiterlesen

Alle Artikel zu KI
KI

Personendaten in der KI-Cloud: Wer liest mit?

Ein Gespräch mit einem KI-Dienst in der Cloud ist nicht von selbst privat. Ein Fall in Kanada zeigt, was ein Anbieter sehen und weitergeben kann. Was heisst das für das Schweizer Datenschutzgesetz und die DSGVO?