Kurz gesagt
Ollama macht lokale KI einfach. Sie installieren es auf einem Computer oder Server, wählen ein offenes Modell (etwa Gemma, Llama, Qwen oder Mistral) und starten dieses Modell auf der eigenen Maschine. Applikationen sprechen mit Ollama über eine einfache Web-API auf der eigenen Maschine, vergleichbar mit den APIs der grossen KI-Anbieter. Bei vollständig lokaler Verarbeitung bleiben die Eingaben und die Antworten in Ihrer eigenen Umgebung.
Wie es funktioniert
- Modelle mit einem Befehl herunterladen, in einem kompakten Format (GGUF), das auch auf gewöhnliche Hardware passt.
- Auf der Grafikkarte oder Apple Silicon laufen lassen, für mehr Tempo. Auf einem Mac mit viel Arbeitsspeicher laufen auch grosse Modelle gut.
- Mehrere Modelle nebeneinander, wobei der verfügbare Speicher bestimmt, welche Modelle gleichzeitig geladen bleiben können.
Was Sie brauchen
Der Arbeitsspeicher bestimmt, welche Modelle passen. Ein kleines Modell mit einigen Milliarden Parametern läuft auf einem gewöhnlichen Laptop. Modelle mit zwanzig bis dreissig Milliarden Parametern brauchen einen Arbeitsplatzrechner oder Server mit viel Speicher. Rechnen Sie neben dem Modell selbst auch Platz für den Kontext ein: Je länger die Texte, die Sie mitgeben, desto mehr Speicher.
Wofür Sie es nutzen
- Ein interner Assistent, der Fragen zu Ihren eigenen Dokumenten beantwortet.
- Texte zusammenfassen, übersetzen oder prüfen.
- Daten aus Dokumenten auslesen.
- Als Motor hinter einer eigenen KI-Anwendung, zum Beispiel mit Modell-Eskalation zwischen kleinen und grossen Modellen.
Worauf Sie achten sollten
- Wählen Sie das Modell passend zur Aufgabe. Ein kleines Modell ist schnell, erfindet aber eher Dinge.
- Achten Sie auf die Lizenz jedes Modells.
- Richten Sie den Betrieb sauber ein: Welche Modelle sind geladen, wie lange bleiben sie im Speicher, und wer darf die API nutzen?
Wünschen Sie Beratung zu Ollama? Fordern Sie ein kostenloses Beratungsgespräch an.
Aktualisiert am