Kurz gesagt
Bei lokaler KI steht das Modell auf einem Server oder einer Workstation, die Sie selbst verwalten. Fragen und Dokumente gehen nicht an einen externen Dienst.
Wann Sie sich dafür entscheiden
- Sie arbeiten mit vertraulichen Daten, etwa Dossiers oder der Buchhaltung
- Sie wollen feste Kosten statt Bezahlung pro Anfrage
- Sie wollen nicht von den Bedingungen eines einzigen Anbieters abhängig sein
Was Sie brauchen
Eine Maschine mit genügend Arbeitsspeicher, ein Sprachmodell, das auf diese Maschine passt, und Software, die das Modell für Ihre Anwendungen verfügbar macht. Je grösser das Modell, desto mehr Speicher braucht es. Ein geeigneter Grafikprozessor kann die Verarbeitung beschleunigen. Ein geeigneter Grafikprozessor kann die Verarbeitung beschleunigen.
Nicht nur Text: Auch Spracherkennung, etwa das Protokollieren von Sitzungen, funktioniert vollständig lokal.
Wünschen Sie Beratung zu lokaler KI? Fordern Sie ein kostenloses Beratungsgespräch an.
Aktualisiert am