Local-First-Workflows f\u00fcr Large Language Models (LLMs) gewinnen an Bedeutung: Entwicklerinnen und Entwickler sch\u00e4tzen die Kontrolle \u00fcber Daten, die M\u00f6glichkeit f\u00fcr Offline-Experimente und geringere Abh\u00e4ngigkeit von externen Diensten. Ollama ist ein Framework, das das Laden, Verwalten und Ausf\u00fchren von LLMs lokal vereinfacht. Auf Fedora l\u00e4sst sich Ollama komfortabel in einem Podman-Container betreiben \u2014 so bleiben Systembibliotheken, Python-Umgebungen und gro\u00dfe Modellgewichte getrennt vom Basissystem.<\/p>\n
Ollama b\u00fcndelt Modellgewichte, Konfigurationen und Metadaten und stellt eine lokale API zum Generieren von Texten bereit. Ein Container bietet mehrere Vorteile: reproduzierbare Laufumgebungen, einfache Bereitstellung und Trennung der Abh\u00e4ngigkeiten von der Host-Installation. Insbesondere bei gro\u00dfen Modellen erspart ein Containermanagement das wiederholte Herunterladen und vermeidet das \u201eVerschmutzen“ der Systemumgebung durch verschiedene Bibliotheksversionen.<\/p>\n
Podman ist die empfohlene Containerl\u00f6sung auf Fedora. Auf Fedora Workstation ist Podman in der Regel bereits vorhanden; fehlt es, l\u00e4sst es sich mit dem Paketmanager nachinstallieren:<\/p>\n
sudo dnf install podman -y<\/code><\/pre>\nWer Fedora Silverblue verwendet, kann Podman direkt aus dem unver\u00e4nderlichen Basissystem nutzen, ohne zus\u00e4tzliche Schritte.<\/p>\n
Persistenten Speicher f\u00fcr Modellgewichte anlegen<\/h2>\n
Modelldateien k\u00f6nnen sehr viel Platz ben\u00f6tigen \u2014 je nach Architektur mehrere Gigabyte bis dutzende Gigabyte. Um zu vermeiden, dass die Gewichte bei jedem Neustart des Containers neu gezogen werden, legt man ein benanntes Podman-Volume an und speichert dort die Daten dauerhaft:<\/p>\n
podman volume create ollama_storage<\/code><\/pre>\nDieses Volume kann bei jedem Containerstart wieder angeh\u00e4ngt werden, sodass die Modelle persistent bleiben und nicht erneut heruntergeladen werden m\u00fcssen.<\/p>\n
Ollama-Container starten<\/h2>\n
Den Ollama-Dienst starten Sie \u00fcber einen einzelnen podman run-Aufruf, der das vorher erzeugte Volume einbindet und den API-Port auf den Host freigibt. Beispiel:<\/p>\n
podman run -d \n -v ollama_storage:\/root\/.ollama \n -p 11434:11434 \n --name ollama \n ollama\/ollama<\/code><\/pre>\nDamit l\u00e4uft Ollama im Hintergrund. Der Dienst h\u00f6rt standardm\u00e4\u00dfig auf Port 11434; dieser Port wird in obigem Beispiel auf die Hostmaschine durchgeleitet, sodass lokale Tools und Skripte auf die API zugreifen k\u00f6nnen.<\/p>\n
GPU-Beschleunigung<\/h3>\n
Die Standardausf\u00fchrung nutzt die CPU. Wer eine Nvidia-GPU an den Container durchreichen m\u00f6chte, ben\u00f6tigt das passende Container-Toolkit f\u00fcr die Hardware und kann die GPU-Ger\u00e4teoption hinzuf\u00fcgen. Bei Nvidia-Systemen wird typischerweise die Device-Option verwendet, zum Beispiel:<\/p>\n
--device nvidia.com\/gpu=all<\/code><\/pre>\nDamit kann Ollama die GPU zur Beschleunigung beim Inferenzlauf nutzen. Voraussetzung ist eine korrekt konfigurierte GPU-Umgebung auf dem Host.<\/p>\n
Modelle herunterladen und starten<\/h2>\n
Sobald der Container l\u00e4uft, l\u00e4sst sich ein Modell aus der Ollama-Umgebung herausladen und ausf\u00fchren. Ein praktisches Beispiel ist Llama 3 als lokal ausf\u00fchrbares Modell; den Download und Start \u00fcbernimmt der Ollama-Client innerhalb des Containers, etwa per podman exec. Beim ersten Start werden die Gewichte in das gebundene Volume geschrieben und stehen f\u00fcr sp\u00e4tere Starts sofort zur Verf\u00fcgung.<\/p>\n
Lokale API anfragen und in Apps integrieren<\/h2>\n
Ollama stellt eine REST-API bereit, \u00fcber die lokale Anwendungen oder Skripte Anfragen an das Modell senden k\u00f6nnen. Die API-Endpunkte akzeptieren JSON-Payloads mit Angaben zum Modell und Prompt und liefern strukturierte JSON-Antworten zur\u00fcck. Auf diese Weise lassen sich lokale Modelle unkompliziert in Webanwendungen, Command-Line-Tools oder Editor-Extensions integrieren, ohne dass eine Internetverbindung n\u00f6tig ist.<\/p>\n
Containerverwaltung und Monitoring<\/h2>\n
Die \u00fcblichen Podman-Kommandos helfen beim Betrieb:<\/p>\n
\n- podman ps \u2014 laufende Container auflisten<\/li>\n
- podman logs ollama \u2014 Server-Logs einsehen<\/li>\n
- podman stop ollama \u2014 Container anhalten<\/li>\n
- podman rm ollama \u2014 Container entfernen<\/li>\n<\/ul>\n
Wenn der Container gestoppt wird, bleibt das Modell-Volume erhalten. Beim n\u00e4chsten Start mit demselben Volume sind die heruntergeladenen Modelle sofort wieder verf\u00fcgbar, sodass keine erneuten Downloads notwendig sind.<\/p>\n
Tipps und Einschr\u00e4nkungen<\/h2>\n\n- Speicherbedarf: Planen Sie ausreichend Plattenplatz ein \u2014 Modellgewichte k\u00f6nnen je nach Variante mehrere Gigabyte bis deutlich mehr einnehmen.<\/li>\n
- GPU-Unterst\u00fctzung: F\u00fcr echte Inferenzbeschleunigung ist eine korrekt konfigurierte GPU-Toolchain auf dem Host erforderlich.<\/li>\n
- Isolierung: Container sch\u00fctzen das Basissystem vor Bibliothekskonflikten, ersetzen aber kein vollst\u00e4ndiges Deployment-Management f\u00fcr Produktion.<\/li>\n<\/ul>\n
Fazit<\/h2>\n
Die Kombination aus Ollama und Podman ist auf Fedora eine pragmatische L\u00f6sung, um LLMs lokal und reproduzierbar zu betreiben. Sie erm\u00f6glicht Entwicklung unter vollst\u00e4ndiger Kontrolle \u00fcber Daten und Infrastruktur, h\u00e4lt das Host-System sauber und macht es einfach, gro\u00dfe Modelle dauerhaft auf dem Rechner zu halten. F\u00fcr Entwicklerinnen und Entwickler, die lokale Experimente, Offline-Nutzung oder Datenschutzanforderungen priorisieren, ist dies eine praktikable und leichtgewichtige Methode.<\/p>\n