Ein eigenes LLM feinjustieren mit Charmed Kubeflow und Feast

••5 Min. Lesezeit

Feinabstimmung (Fine‑Tuning) großer Sprachmodelle (LLM) muss nicht zwingend in einer Cloud‑AI‑Factory stattfinden. Mit Charmed Kubeflow von Canonical, dem Feature‑Store Feast und KServe lässt sich ein kompletter MLOps‑Workflow im Homelab oder auf einem leistungsfähigen Laptop aufbauen. Dieser Artikel beschreibt die wichtigsten Schritte: Systemanforderungen, Installation, Datentransfer in Feast, Start eines Trainingsjobs und schließlich das Hosten des Modells über KServe.

Was Sie benötigen

Für das hier beschriebene Setup sollten Sie mindestens folgende Voraussetzungen erfüllen:

  • Ubuntu 24.04 LTS (oder neuer) als Betriebssystem
  • Rechner mit rund 32 GB RAM und etwa 16 CPU‑Kernen – mehr Ressourcen beschleunigen Training und I/O
  • Stabile Internetverbindung, um Images, Modelle und Datensätze herunterzuladen
  • Grundkenntnisse in Linux, Kubernetes und der Kommandozeile
  • Account bei Hugging Face für den Zugriff auf das Dataset nampdn-ai/tiny-webtext

Grundinstallation: MicroK8s, Juju und Terraform

Für ein kompaktes, lokal betriebenes Kubernetes empfiehlt sich MicroK8s. Canonical nutzt in seiner Anleitung MicroK8s, Juju als Operator‑Manager und Terraform zur Orchestrierung der Charmed‑Kubeflow‑Installation. In groben Zügen besteht der Ablauf aus:

  • Installation von MicroK8s und Aktivierung von Basis‑Addons (Storage, DNS, Metallb für LoadBalancer‑IPs)
  • Installation von Juju und Hinzufügen des Kubernetes-Clusters als Ziel
  • Bootstrap von Juju auf dem Cluster
  • Installation von Terraform, Klonen des Charms‑Repositories und Checkout des passenden Tracking‑Branches (z. B. track/1.11‑rc)
  • Ausführen von terraform init und terraform apply unter Angabe kurzer Konfigurationsvariablen (z. B. statisches Dex‑Login und welche Komponenten aktiviert werden sollen)

Der Terraform‑Plan startet die Charmed‑Kubeflow‑Komponenten. Entscheidend für diesen Workshop ist, dass Feast (Feature Store), KServe (Model Serving) und Trainer v2 aktiviert sind; weitere Module wie Katib oder TensorBoard können deaktiviert werden, wenn sie nicht benötigt werden.

Erste Anmeldung und Notebook‑Umgebung

Sobald die Deployments verfügbar sind, meldet man sich am Kubeflow‑Dashboard an. In der Weboberfläche legen Sie ein Jupyter‑Notebook an. Achten Sie beim Anlegen auf ausreichend Ressourcen für den Notebook‑Pod (mindestens einige CPU‑Kerne und mehrere GiB RAM) und aktivieren Sie die Zugriffsoptionen für Kubeflow Pipelines sowie Feast. Diese Einstellungen geben dem Notebook Zugriff auf die nötigen Services und Umgebungsvariablen.

Datenpipeline: Dataset aus Hugging Face in Feast laden

Als Trainingsdaten wurde in der Beispielanleitung das Dataset nampdn-ai/tiny-webtext verwendet. Der Ablauf zur Ingestion im Überblick:

  • Klonen des Begleit‑GitHub‑Repos mit allen Skripten und Manifests.
  • Die Offline‑Datenbank für Feast ist ein Postgres‑Backend; die Verbindungsdaten liegen in der Datei /feast/feature_store.yaml im Notebook‑Pod. Diese Werte müssen als Umgebungsvariablen gesetzt werden, damit die Ingest‑Skripte die Datenbank erreichen.
  • In der Notebook‑Umgebung fehlende Python‑Abhängigkeiten installieren (con‑da/pip) und die requirements aus dem Repo einspielen.
  • Hugging‑Face‑Login autorisieren und gegebenenfalls die Nutzungsbedingungen des Datasets bestätigen.
  • Das mitgelieferte Ingest‑Skript herunterladen und starten; es lädt das Dataset von Hugging Face und schreibt die Features in die Postgres‑Offline‑Store‑Tabelle.

Nach erfolgreicher Ingestion registriert man die Feature‑Definitionen bei Feast. Dazu werden die Feast‑Konfigurationsdateien ins Arbeitsverzeichnis kopiert und feast apply ausgeführt, wodurch die Features im Store bekannt gemacht werden.

Training: Job auf Kubernetes ausführen

Das Training wird über einen Kubernetes‑Job gestartet, der den Trainingscode (train.py) nutzt. Praktische Punkte:

  • Der Trainingscode und die Konfigurationen werden als ConfigMap ins Cluster geladen oder als Teil des Job‑Manifests eingebunden.
  • Vor dem Start muss eine PersistentVolumeClaim (PVC) angelegt werden, damit Checkpoints und fertige Modellgewichte dauerhaft gespeichert werden.
  • Der eingereichte Job verwendet ein torch‑distributed‑Setup; in der Beispielanleitung läuft zunächst nur eine Trainingsinstanz.
  • Die Laufzeit hängt stark von Modellgröße und Hardware ab. Auf einer CPU‑Maschine kann das Finetuning eines größeren Modells einen ganzen Tag oder länger dauern.

Logs des Jobs lassen sich per kubectl logs überwachen. Am Ende schreibt das Training die Modellgewichte in die PVC, die später beim Serving wiederverwendet wird.

Serving mit KServe und OpenAI‑kompatiblem Endpoint

Ist das Modell trainiert, wird es mit KServe als InferenceService bereitgestellt. KServe kann ein OpenAI‑ähnliches REST‑Interface anbieten, sodass Clients ähnlich wie bei ChatGPT Anfragen an den Dienst senden können. Wichtige Details:

  • Der InferenceService verweist über storageUri auf den PVC‑Pfad, in dem die Checkpoints liegen (Beispielname im Workshop: pvc://model-checkpoint-pvc/).
  • Für den Testbetrieb lässt sich die Service‑IP intern im Cluster abfragen und mit einem einfachen curl‑Aufruf die Chat‑API ansprechen.
  • Mit einfachen Prompt‑Anfragen können Sie das Verhalten Ihres feinjustierten Modells begutachten; die Qualität hängt stark vom verwendeten Basis‑Model ab.

Im Beispiel wurde als Ausgangsmodell ein frühes Modell (GPT‑2) verwendet. Als Alternative lässt sich ein moderneres Modell wie Qwen/Qwen2.5-0.5B-Instruct als Basis angeben – das resultierende Verhalten ist deutlich anders, kostet aber auch erheblich mehr Rechenzeit beim Fine‑Tuning.

Praxis‑Tipps und Grenzen

  • Das hier gezeigte Setup ist gedacht als Proof‑of‑Concept oder für Forschung im eigengenutzten Umfeld. Für produktive, großskalige Trainings benötigen Sie verteilte GPU‑Cluster, schnelle Netzwerke und spezialisierte Storage‑Layouts.
  • Feast macht die Wiederverwendung und Reproduzierbarkeit von Features einfacher. Achten Sie auf saubere Feature‑Definitionen und Versionierung.
  • Behalten Sie Ressourcennutzung der Pods im Blick; Notebook‑Pods und Trainingsjobs können schnell viel RAM und CPU brauchen.
  • Wenn Sie ein anderes Basis‑Model nutzen wollen, prüfen Sie Lizenz‑ und Nutzungsbedingungen auf Hugging Face.

Fazit

Mit Canonicals Charmed Kubeflow, Feast und KServe lässt sich ein vollständiger Finetuning‑Workflow auf einer lokalen Kubernetes‑Installation realisieren. Die vorgestellten Schritte decken Installation, Daten‑Ingestion, Training und Serving ab und zeigen, wie sich aus einem einfachen Dataset ein nutzbares, eigenerstelltes LLM formen lässt. Für sehr große Modelle oder produktive Deployments empfiehlt sich jedoch eine skalierbare Infrastruktur mit GPU‑Beschleunigung.

Kommentar schreiben

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert