Zum Inhalt

Ein offenes KI-Modell nachtrainieren: LoRA und Quantisierung

Mit LoRA bringen Sie einem offenen KI-Modell Ihr eigenes Fachgebiet bei, ohne es ganz neu zu trainieren, und mit Quantisierung machen Sie es klein genug für Ihre eigene Hardware.

Kurz gesagt

Offene KI-Modelle können Sie kostenlos verwenden und auf eigener Hardware betreiben. Sie wissen viel, aber nicht alles über Ihr Fachgebiet. Zwei Techniken machen sie für den eigenen Einsatz tauglich: LoRA, um sie nachzutrainieren, und Quantisierung, um sie kompakt zu machen.

Fine-Tuning und LoRA

Fine-Tuning heisst, ein bestehendes Modell mit Ihren eigenen Beispielen weiterzutrainieren. Das ganze Modell anzupassen braucht viel Rechenleistung. LoRA (Low-Rank Adaptation) lässt das Basismodell unverändert und trainiert nur eine kleine Ergänzung, oft weniger als ein Prozent der Grösse. Diese Ergänzung können Sie später in das Modell übernehmen.

Was das in der Praxis bedeutet: Ein Modell mit sieben Milliarden Parametern lässt sich auf einem einzigen leistungsstarken Arbeitsplatz in wenigen Stunden nachtrainieren.

Quantisierung

Ein Modell besteht aus Milliarden von Zahlen. Die Quantisierung speichert sie mit weniger Genauigkeit, zum Beispiel mit 4 statt 16 Bit. Das verkleinert die Modelldatei. Was das für Tempo und Qualität bedeutet, können Sie auf Ihrer eigenen Hardware und mit Ihren eigenen Testfragen messen. Ein Modell von 14 GB passt so in etwa 4,5 GB. Gängige Formate sind GGUF (unter anderem für Ollama und llama.cpp) mit Varianten wie Q4_K_M.

Fine-Tuning oder RAG?

  • RAG (Dokumente nachschlagen und mitgeben) für Wissen, das sich ändert: Tarife, Kunden, Abläufe.
  • Fine-Tuning für Fähigkeiten und feste Formen: eine Programmiersprache, einen Schreibstil, ein festes Antwortformat.

Oft ist die Kombination am stärksten. Wir trainieren zum Beispiel ein kleines Modell darauf, ABAP zu schreiben, während das aktuelle Wissen über das SAP-System über das Nachschlagen hereinkommt.

Worauf Sie achten sollten

  • Gute Beispiele sind wichtiger als viele Beispiele. Prüfen Sie sie, am besten automatisch.
  • Messen Sie vorher und nachher mit einem festen Satz von Testfragen.
  • Achten Sie auf die Lizenz des Basismodells: Nicht jedes offene Modell darf geschäftlich genutzt werden.

Wünschen Sie Beratung zum Nachtrainieren von KI-Modellen? Fordern Sie ein kostenloses Beratungsgespräch an.

Aktualisiert am

Weiterlesen

Alle Artikel zu KI
KI

Personendaten in der KI-Cloud: Wer liest mit?

Ein Gespräch mit einem KI-Dienst in der Cloud ist nicht von selbst privat. Ein Fall in Kanada zeigt, was ein Anbieter sehen und weitergeben kann. Was heisst das für das Schweizer Datenschutzgesetz und die DSGVO?