Zum Inhalt

Modelleskalation: klein anfangen, gross nur wenn nötig

Bei der Modelleskalation beantwortet zuerst ein kleines KI-Modell die Frage. Ein grösseres Modell übernimmt nur, wenn die Antwort bei der Prüfung ungenügend abschneidet.

Kurz gesagt

Nicht jede Frage braucht das schwerste KI-Modell. Bei der Modelleskalation geht eine Frage zuerst an das kleinste Modell, das sie wahrscheinlich bewältigt. Ein zweites Modell prüft die Antwort. Ist diese noch nicht sicher und vollständig, skaliert das System hoch: Es sucht mehr Belege oder lässt ein grösseres Modell die Antwort verbessern.

Wie es funktioniert

  1. Beurteilen. Bevor etwas beantwortet wird, bestimmt das System, was für eine Frage es ist: kurz oder komplex, geschlossen oder offen, mit oder ohne aktuelle Informationen. Was sich berechnen oder nachschlagen lässt, erledigt der Code selbst: deterministisch zuerst.
  2. Weiterleiten. Die Frage geht an das kleinste passende Modell. Das ist schnell und günstig.
  3. Prüfen. Ein Prüfmodell bewertet die Antwort. Weil ein KI-Modell nicht jedes Mal dasselbe sagt (Nichtdeterminismus), lassen wir bei mehreren Antworten ein anderes Modell diese Antworten prüfen. Wir betrachten den Querschnitt der Ergebnisse.
  4. Hochskalieren oder abschliessen. Ist die Bewertung zu tief, wählt das System den besten nächsten Schritt: breiter in den eigenen Quellen suchen, gezielt etwas nachschlagen oder ein stärkeres Modell überarbeiten lassen. Kann nur der Benutzer das Fehlende liefern, stellt es eine Rückfrage.

Warum das funktioniert

Die meisten Fragen in einem Unternehmen lassen sich mit einem kleinen Modell gut beantworten, sofern es die richtigen Informationen erhält. In unseren eigenen Messungen ging eine Frage, die mit einem ganzen Dossier als Kontext falsch beantwortet wurde, gut, als das Modell nur die wenigen relevanten Fakten erhielt. Das war zudem um ein Vielfaches schneller. Diese Messung zeigt, dass gezielteres Suchen manchmal schon genügt und Hochskalieren nicht nötig ist.

Worauf Sie achten sollten

  • Legen Sie fest, wann eine Antwort "gut genug" ist. Eine geschlossene Frage verlangt Sicherheit, eine Meinung nicht.
  • Machen Sie jeden Schritt sichtbar: welches Modell, welche Bewertung, warum hochskaliert wurde. Dann ist es keine Blackbox.
  • Lieber eine Antwort mit einem ehrlichen Hinweis auf Zweifel als eine selbstsichere Vermutung. So halten Sie Halluzinationen im Griff.

Modelleskalation macht lokale KI auf eigener Hardware machbar: Die schweren Modelle laufen nur, wenn es wirklich nötig ist.

Wünschen Sie Beratung zur Wahl von KI-Modellen? Fordern Sie ein kostenloses Beratungsgespräch an.

Aktualisiert am

Weiterlesen

Alle Artikel zu KI
KI

Personendaten in der KI-Cloud: Wer liest mit?

Ein Gespräch mit einem KI-Dienst in der Cloud ist nicht von selbst privat. Ein Fall in Kanada zeigt, was ein Anbieter sehen und weitergeben kann. Was heisst das für das Schweizer Datenschutzgesetz und die DSGVO?