Zum Inhalt

Warum dasselbe KI-Modell nicht immer dieselbe Antwort gibt

Dieselbe Frage, dasselbe Modell, dieselben Einstellungen und sogar derselbe Seed, und trotzdem eine andere Antwort. Im Versuch, den wir hier beschreiben, spielte die Rundung in den Rechenkernen eine Rolle. Für Tests, Kontrollen und Nachvollziehbarkeit sollten Sie das wissen.

Das Problem

Wer KI für Kontrollen, Berichte oder Entscheide einsetzt, möchte, dass dieselbe Frage dieselbe Antwort gibt: um zu testen, um Ergebnisse zu prüfen und um erklären zu können, warum etwas so entschieden wurde. Deshalb stellt man die «Temperatur» tief ein oder gibt einen festen Seed mit. Doch das ist keine Garantie. Anbieter nennen einen Seed selbst «best-effort»: ein Versuch, kein Versprechen. Dieses Phänomen heisst Nichtdeterminismus.

Wie Rundung einen Unterschied verursachen kann

Ein Sprachmodell rechnet mit Milliarden von Zahlen, und Computer runden dabei. Die Reihenfolge, in der Additionen geschehen, bestimmt, wie diese Rundung genau ausfällt. Rechenkerne teilen ihre Arbeit anders auf, je nachdem, wie viel Arbeit gleichzeitig anfällt. Ein winziger Unterschied kann früh in der Antwort ein anderes Wort ergeben, und danach verläuft der Rest der Antwort anders. Das Forschungsunternehmen Thinking Machines Lab zeigte 2025, wie die Reihenfolge der Berechnungen zu unterschiedlichen Ergebnissen führen kann. Auch llama.cpp, der Motor unter Ollama, warnt davor: Mit eingeschaltetem Prompt-Cache sind Ergebnisse nicht garantiert bitgenau gleich.

Was wir selbst beobachtet haben

In unserem eigenen lokalen KI-Gateway haben wir denselben Aufruf immer wieder ausgeführt, mit festen Einstellungen und einem festen Seed:

  • Direkt nach dem Laden des Modells kam jedes Mal wörtlich dieselbe Antwort.
  • Als zweiter Aufruf auf dem bereits geladenen Modell kam eine andere Antwort, aber auch diese war jedes Mal dieselbe.
  • Der Unterschied: Beim zweiten Aufruf kamen zwei Teile der Frage aus dem Cache des Modells. Der Rest wurde deshalb in anderen Blöcken berechnet und anders gerundet.

Die Antwort hängt also nicht nur von der Frage und dem Seed ab, sondern auch davon, was das Modell unmittelbar davor getan hat.

Der Unterschied liegt oft in einem einzigen Wort. Wählt das Modell früh in der Antwort ein anderes Wort, wegen des Caches oder weil Teile des Prompts aufeinander einwirken, verläuft alles danach anders. Damit ist KI weniger vorhersehbar und weniger reproduzierbar, als es scheint. Fast zurück bei der Lochkarte, wo ein verschobenes Zeichen ebenfalls alles veränderte.

Was das bedeutet

  • Kontrollen schwanken. Eine Kontrolle, die dieselbe Antwort einmal gutheisst und einmal ablehnt, ist nicht unbedingt unzuverlässig: Sie läuft womöglich einfach auf einem Modell, das kurz davor etwas anderes getan hat.
  • Tests vergleichen Äpfel mit Birnen. Zwei Testläufe sind nur vergleichbar, wenn sie im selben Zustand beginnen.
  • Mehrere Messungen sind nicht automatisch unabhängig. Wer dreimal misst, vergleicht manchmal Ergebnisse aus drei verschiedenen Zuständen.

Unser Vorgehen

  • Deterministisch zuerst. Alles, was gewöhnlicher Code berechnen oder nachschlagen kann, erledigt der Code; dort spielt das keine Rolle.
  • Nie eine einzelne Messung. Bei wichtigen Fragen betrachten wir einen Querschnitt mehrerer Antworten. Ein anderes Modell prüft die Antworten. Wir wissen jetzt auch, dass diese Messungen im selben Zustand beginnen müssen.
  • Testen im selben Zustand. Bei vergleichenden Tests laden wir das Modell neu, damit jeder Lauf gleich startet.
  • Festhalten und messen. Jede Erkenntnis kommt in ein Protokoll, mit Messungen und Quellen. So bleibt die KI erklärbar.
  • Ehrlich darüber, was noch offen ist: wie jeder wichtige Aufruf günstig im selben Zustand beginnt. Neu laden funktioniert, kostet aber Zeit.

Worauf Sie achten sollten

  • Ein fester Seed ist keine Garantie für dieselbe Antwort.
  • Lassen Sie wichtige Entscheide nicht von einer einzigen KI-Antwort abhängen.
  • Wenn Sie Ergebnisse wiederholen können wollen, halten Sie auch den Zustand fest: welches Modell, welche Einstellungen und was unmittelbar davor geschah.

Wünschen Sie Beratung zum Verhalten von KI-Modellen? Fordern Sie ein kostenloses Beratungsgespräch an.

Quellen

Aktualisiert am

Weiterlesen

Alle Artikel zu KI
KI

Personendaten in der KI-Cloud: Wer liest mit?

Ein Gespräch mit einem KI-Dienst in der Cloud ist nicht von selbst privat. Ein Fall in Kanada zeigt, was ein Anbieter sehen und weitergeben kann. Was heisst das für das Schweizer Datenschutzgesetz und die DSGVO?