Zum Inhalt

Was ist Ollama?

Ollama ist kostenlose Open-Source-Software, mit der Sie KI-Sprachmodelle auf Ihrem eigenen Computer oder Server betreiben, ohne Cloud und ohne Kosten pro Anfrage.

Kurz gesagt

Ollama macht lokale KI einfach. Sie installieren es auf einem Computer oder Server, wählen ein offenes Modell (etwa Gemma, Llama, Qwen oder Mistral) und starten dieses Modell auf der eigenen Maschine. Applikationen sprechen mit Ollama über eine einfache Web-API auf der eigenen Maschine, vergleichbar mit den APIs der grossen KI-Anbieter. Bei vollständig lokaler Verarbeitung bleiben die Eingaben und die Antworten in Ihrer eigenen Umgebung.

Wie es funktioniert

  • Modelle mit einem Befehl herunterladen, in einem kompakten Format (GGUF), das auch auf gewöhnliche Hardware passt.
  • Auf der Grafikkarte oder Apple Silicon laufen lassen, für mehr Tempo. Auf einem Mac mit viel Arbeitsspeicher laufen auch grosse Modelle gut.
  • Mehrere Modelle nebeneinander, wobei der verfügbare Speicher bestimmt, welche Modelle gleichzeitig geladen bleiben können.

Was Sie brauchen

Der Arbeitsspeicher bestimmt, welche Modelle passen. Ein kleines Modell mit einigen Milliarden Parametern läuft auf einem gewöhnlichen Laptop. Modelle mit zwanzig bis dreissig Milliarden Parametern brauchen einen Arbeitsplatzrechner oder Server mit viel Speicher. Rechnen Sie neben dem Modell selbst auch Platz für den Kontext ein: Je länger die Texte, die Sie mitgeben, desto mehr Speicher.

Wofür Sie es nutzen

  • Ein interner Assistent, der Fragen zu Ihren eigenen Dokumenten beantwortet.
  • Texte zusammenfassen, übersetzen oder prüfen.
  • Daten aus Dokumenten auslesen.
  • Als Motor hinter einer eigenen KI-Anwendung, zum Beispiel mit Modell-Eskalation zwischen kleinen und grossen Modellen.

Worauf Sie achten sollten

  • Wählen Sie das Modell passend zur Aufgabe. Ein kleines Modell ist schnell, erfindet aber eher Dinge.
  • Achten Sie auf die Lizenz jedes Modells.
  • Richten Sie den Betrieb sauber ein: Welche Modelle sind geladen, wie lange bleiben sie im Speicher, und wer darf die API nutzen?

Wünschen Sie Beratung zu Ollama? Fordern Sie ein kostenloses Beratungsgespräch an.

Aktualisiert am

Weiterlesen

Alle Artikel zu KI
KI

Personendaten in der KI-Cloud: Wer liest mit?

Ein Gespräch mit einem KI-Dienst in der Cloud ist nicht von selbst privat. Ein Fall in Kanada zeigt, was ein Anbieter sehen und weitergeben kann. Was heisst das für das Schweizer Datenschutzgesetz und die DSGVO?