Das Problem
Ein Sprachmodell sagt Wörter voraus. Meist ergibt das eine gute Antwort. Manchmal erfindet es aber eine Tatsache, eine Quelle oder einen Betrag, mit derselben Überzeugung. Das nennt man halluzinieren. Solche Halluzinationen kommen überall vor: Gerichte weltweit hatten schon Hunderte Male mit Eingaben zu tun, in denen erfundene Urteile oder Quellen standen.
Warum es immer wieder vorkommt
- Ein Modell weiss nicht, was es nicht weiss.
- Zu viel oder zu wenig Kontext erhöht das Risiko von Fehlern.
- Eine Antwort klingt gleich sicher, ob sie stimmt oder nicht. Deshalb fällt der Fehler nicht auf.
Unser Vorgehen
- Die richtigen Informationen mitgeben. Nicht das ganze Dossier, sondern die wenigen relevanten Fakten, mit Quelle. Das senkt das Risiko erfundener Angaben.
- Rechnen und Nachschlagen per Code. Beträge, Daten und Fakten kommen aus der Quelle, nicht aus dem Gedächtnis des Modells.
- Antworten prüfen lassen. Ein Modell kann auf dieselbe Frage unterschiedliche Antworten geben. Wir lassen ein anderes Modell diese Antworten prüfen. So erhalten wir einen Querschnitt. Bei Zahlenantworten kann deren Durchschnitt ein Bild geben.
- Eskalieren, wenn nötig. Ist die Prüfung nicht eindeutig, sucht das System mehr Belege oder lässt ein stärkeres Modell nachprüfen. Das nennt man Modelleskalation.
- Ehrlich zweifeln. Bleibt ein Zweifel, sagt das System das, statt zu raten.
Worauf Sie achten sollten
- Verlangen Sie immer Quellen, und prüfen Sie diese bei Entscheidungen, auf die es ankommt.
- Lassen Sie den Menschen entscheiden, wo Fehler Geld oder Ruf kosten.
- Messen Sie die Qualität mit einem festen Satz von Testfragen. So sehen Sie, ob eine Änderung es besser oder schlechter macht.
Wünschen Sie Beratung zu zuverlässiger KI? Fordern Sie ein kostenloses Beratungsgespräch an.
Quellen
Aktualisiert am