Lokale KI auf einem 62-GB-Mini-PC

Die Frage kommt in fast jedem Gespräch über KI-Automatisierung: Muss das in die Cloud? Bei Verträgen, Personalakten, Kundenkorrespondenz oder allem, was unter Berufsgeheimnis fällt, ist das keine akademische Frage. Also habe ich mir einen Rechner hingestellt und nachgemessen, was lokal wirklich geht.

Die Maschine

Ein Mini-PC mit AMD Ryzen AI Max+ 395 (Strix Halo, 16 Kerne / 32 Threads) und integrierter Radeon 8060S. Der entscheidende Punkt ist nicht die CPU, sondern der Speicher: 62 GB Unified Memory, den sich Prozessor und Grafik teilen. Eine Consumer-Grafikkarte bringt 16 oder 24 GB — und was nicht hineinpasst, läuft gar nicht. Hier passen Modelle hinein, für die man sonst Rechenzentrums-Hardware braucht.

Darauf läuft Ollama mit derzeit 14 Modellen, vom 274-MB-Embedder bis zu einem 80-GB-Brocken. Aktuell im Bestand unter anderem Qwen 3.6 (27B und 35B), GPT-OSS 20B, Gemma 4 31B, Nemotron 3 33B, ein Vision-Modell sowie bge-m3 und nomic-embed-text für Embeddings — letztere sind die eigentliche Basis für Dokumentensuche und RAG.

Die überraschende Messung

Erwartbar wäre: mehr Parameter, langsamer. Gemessen wurde das Gegenteil. Gleicher Prompt, gleiche Maschine, Ausgabegeschwindigkeit in Token pro Sekunde:

Modell	Größe	Tokens/s
Qwen 3 14B (dense)	9,3 GB	23,3
GPT-OSS 20B (MoE)	13 GB	43,4
Qwen 3.6 35B (MoE)	23 GB	53,4

Das 35-Milliarden-Modell ist mehr als doppelt so schnell wie das 14-Milliarden-Modell. Der Grund ist die Architektur: Mixture-of-Experts aktiviert pro Token nur einen Bruchteil der Gewichte, während ein dichtes Modell jedes Mal komplett durchgerechnet wird. Auf einer Plattform mit viel, aber vergleichsweise langsamem Unified Memory schlägt „wenig rechnen, viel im Speicher halten" das klassische Verhältnis.

Die praktische Konsequenz: Bei lokaler KI ist die Parameterzahl die falsche Kennzahl. Wer nach „möglichst kleines Modell, damit es schnell läuft" sucht, optimiert am Problem vorbei. Zum Vergleich: 53 Token/s liegen deutlich über Lesegeschwindigkeit — das fühlt sich in der Bedienung nicht nach Kompromiss an.

Zwei Details, die in Benchmarks gern untergehen: Das erstmalige Laden eines Modells kostet 8 bis 16 Sekunden, danach liegt es im Speicher. Und die Prompt-Verarbeitung läuft mit 170 bis 340 Token/s um ein Vielfaches schneller als die Ausgabe — lange Eingaben wie ein komplettes Dokument sind also günstiger, als man denkt.

Wofür das reicht

Alles, was Text sichtet, sortiert und zusammenfasst, statt ihn zu erfinden: Dokumente klassifizieren, E-Mails vorsortieren, Protokolle zusammenfassen, interne Wissensdatenbanken durchsuchbar machen, Belege auslesen. Also genau die Fälle, in denen die Daten das Haus ohnehin nicht verlassen sollten.

Wofür es nicht reicht: die Spitze der Modellqualität. Für schwierige Schlussfolgerungen, anspruchsvolles Programmieren oder wirklich lange Kontexte sind die großen Cloud-Modelle weiterhin eine andere Liga. Die ehrliche Antwort ist deshalb selten „alles lokal", sondern eine Aufteilung: sensible Routine lokal, das Schwierige und Unkritische in der Cloud.

Stand

Laufender Aufbau. Die Modelle stehen, Anbindung an Automatisierungs-Workflows und eine lokale Dokumentensuche sind in Arbeit. Die Messwerte oben stammen aus dem realen Betrieb, nicht aus einem Datenblatt — und genau darum geht es bei dem Projekt: belastbare Zahlen zu haben, wenn jemand fragt, ob es auch ohne Cloud geht.