Local AI: Wichtige Begriffe und was sie wirklich bedeuten

  • Beitrags-Autor:
  • Beitrag veröffentlicht:
  • Beitrags-Kategorie:Linux News
  • Beitrags-Kommentare:0 Kommentare

Die Welt der lokal betriebenen KI-Modelle ist schnelllebig – und das Fachvokabular ist oft verwirrend. Dieser Artikel erklärt die zentralen Begriffe (Tokens, Quantisierung, Harness u. a.) knapp und praxisnah, damit Sie beim Arbeiten mit Tools wie llama.cpp oder Ollama sicherer werden.

WeiterlesenLocal AI: Wichtige Begriffe und was sie wirklich bedeuten

Ollama lokal auf Fedora mit Podman betreiben: Containerisierte LLMs ohne Host-Overhead

Mit Ollama lassen sich große Sprachmodelle lokal ausführen — praktisch für Entwicklung, Datenschutz und Offline-Tests. Auf Fedora empfiehlt sich Podman, um Ollama isoliert in einem Container zu betreiben, Modellspeicher persistent zu halten und die Host-Umgebung sauber zu lassen.

WeiterlesenOllama lokal auf Fedora mit Podman betreiben: Containerisierte LLMs ohne Host-Overhead