GPU-RATGEBER · AKTUALISIERT AM 11. NOVEMBER 2026

KI-Server für lokale LLMs: Wie viel GPU-Speicher brauchen Sie?

Ein eigener KI-Server für Sprachmodelle hält Ihre Daten im Haus und macht die Kosten planbar. Die erste Frage ist immer dieselbe: Wie viel GPU-Speicher braucht das Modell? Dieser Ratgeber zeigt die Rechnung, eine Tabelle zur Dimensionierung und die passende Hardware für jede Stufe – von einer einzelnen 32GB-Karte bis zum Server mit acht GPUs.

Die zwei Werte, die den GPU-Speicher bestimmen

1. Die Modellgewichte. Multiplizieren Sie die Anzahl der Parameter mit den Bytes pro Parameter der verwendeten Genauigkeit:

  • 16 Bit (FP16/BF16): etwa 2 Bytes pro Parameter;
  • 8 Bit (FP8/INT8): etwa 1 Byte pro Parameter;
  • 4 Bit (zum Beispiel die Formate GPTQ, AWQ oder GGUF Q4): etwa 0,5–0,6 Bytes pro Parameter.

Ein Modell mit 70 Milliarden Parametern braucht also etwa 140GB in 16 Bit, 70GB in 8 Bit und 35–42GB in 4 Bit – bevor irgendetwas anderes geladen ist.

2. Der Kontext (KV-Cache). Jedes Token im Kontextfenster hält Keys und Values im GPU-Speicher, und zwar für jeden gleichzeitig bedienten Nutzer. Bei einem 70B-Modell vom Typ Llama 3 mit Grouped-Query Attention sind das in 16 Bit etwa 0,3MB pro Token – rund 10GB für ein Gespräch mit 32.000 Token. Zehn Nutzer mit langen Kontexten können für den KV-Cache mehr Speicher brauchen als für das Modell selbst.

Rechnen Sie 10–20 % Reserve für Laufzeitumgebung, Aktivierungen und Speicherfragmentierung hinzu.

Tabelle zur Dimensionierung

Ungefährer Speicherbedarf nur für die Modellgewichte. Planen Sie zusätzlich Platz für KV-Cache und Laufzeitumgebung ein.

Modellgröße 16 Bit 8 Bit 4 Bit
8B ~16GB ~8GB ~5GB
14B ~28GB ~14GB ~8GB
32B ~64GB ~32GB ~18GB
70B ~140GB ~70GB ~40GB
120B ~240GB ~120GB ~65GB
400B ~800GB ~400GB ~220GB
670B ~1.340GB ~670GB ~370GB

Mixture-of-Experts-Modelle (MoE) aktivieren pro Token nur einen Teil ihrer Parameter und sind dadurch schneller, aber alle Experten müssen trotzdem im Speicher liegen. Dimensionieren Sie sie nach der Gesamtzahl der Parameter.

Welche Hardware für welche Modelle?

NodeX-Richtpreise in US-Dollar laut unserer Website am 10. November 2026; Mehrwertsteuer, Lieferung und Verfügbarkeit bestätigen wir in Ihrem schriftlichen Angebot.

GPU-Speicher Beispiel-Hardware Passt bequem
32GB RTX 5090 32GB (4.690 $ pro Karte) 8B–14B in 8 oder 16 Bit; 32B-Klasse in 4 Bit mit kurzem Kontext
48GB RTX 4090 48GB (4.000 $) oder RTX 3090 48GB (2.000 $) 32B-Klasse in 8 Bit; 70B in 4 Bit mit mittlerem Kontext
96GB RTX PRO 6000 Blackwell (11.900 $) oder 2× 48GB-Karten 70B in 8 Bit; MoE um 120B in 4 Bit
141GB H200 NVL (29.490 $) 70B in 8 Bit mit langen Kontexten und vielen Nutzern
192–384GB 2–4× RTX PRO 6000 in einem Server 70B in 16 Bit; 120B-Klasse in 8 Bit; mehrere Modelle gleichzeitig
768GB Server mit 8× RTX PRO 6000 (ab 121.384 $, Englisch) 400B-Klasse in 8 Bit; 670B-Klasse in 4 Bit

Wird ein Modell auf mehrere GPUs verteilt (Tensor- oder Pipeline-Parallelität), tauschen die GPUs ständig Daten aus. Karten ohne NVLink kommunizieren über PCIe; das funktioniert für Inferenz gut, kostet aber etwas Effizienz. Die Abwägung beschreibt unser Vergleich RTX PRO 6000 vs. H200 NVL.

Der Speicher entscheidet, was passt – die Bandbreite, wie schnell es läuft

Für einen einzelnen Nutzer begrenzt vor allem die Speicherbandbreite die Geschwindigkeit der Textgenerierung, weil die Gewichte für jedes Token gelesen werden. Deshalb generiert eine H200 NVL (4,8 TB/s) schneller als eine RTX PRO 6000 (1,6 TB/s), und deshalb ist auch eine geringere Genauigkeit schneller: Ein 4-Bit-Modell muss nur ein Viertel der Bytes eines 16-Bit-Modells lesen. Bei vielen gleichzeitigen Nutzern werden durch Batching Rechenleistung und KV-Cache zur Grenze, und Serving-Software wie vLLM oder SGLang nutzt die GPU weit besser aus als Werkzeuge für einzelne Nutzer.

Checkliste für die Planung

  1. Modelle festlegen

    Listen Sie die Modelle auf, die Sie jetzt und im nächsten Jahr betreiben wollen, in der Genauigkeit, die für Ihre Qualität ausreicht.

  2. Nutzer und Kontext schätzen

    Gleichzeitige Nutzer und Kontextlänge bestimmen den KV-Cache. Lange Dokumente und Agenten brauchen deutlich mehr als ein Chat.

  3. Reserve einplanen

    Neue Modelle werden eher größer. Ein Server mit freien Steckplätzen erlaubt es, später GPUs in derselben Plattform nachzurüsten.

  4. Den Standort planen

    GPU-Server ziehen mehrere Kilowatt und sind laut. Entscheiden Sie früh zwischen eigenen Räumen und Colocation.

KI-Server für lokale LLMs von NodeX

GPU-Server NodeX NX-G8 Dual SP3 als KI-Server für lokale LLMs
NX-G8 Dual SP3: bis zu 8 GPUs mit zwei AMD EPYC SP3 Prozessoren und DDR4 ECC Arbeitsspeicher.

Wir bauen in Bulgarien GPU-Server für private KI-Inferenz, von einzelnen 48GB-Karten bis zu Systemen mit acht GPUs, und organisieren auf Wunsch Colocation und die Einrichtung des Betriebssystems. Nennen Sie uns die geplanten Modelle, Nutzer und Kontextlängen – auf Deutsch oder Englisch –, und wir schlagen eine Konfiguration mit schriftlichem Angebot vor.

Häufige Fragen

Reicht eine Quantisierung auf 4 Bit aus?

Für viele Chat- und Assistenzaufgaben liegen gut gemachte 4-Bit-Versionen großer Modelle nah am Original, und ein größeres Modell in 4 Bit schlägt oft ein kleineres in 16 Bit. Für präzise Aufgaben wie Code oder strukturierte Extraktion testen Sie vor der Entscheidung auch 8 Bit.

Eignet sich ein KI-Server für zuhause?

Für eine oder zwei GPUs ja, etwa als Workstation. Ein Server mit vier bis acht GPUs zieht mehrere Kilowatt und ist laut; dafür sind ein Technikraum mit passender Stromversorgung und Kühlung oder Colocation in einem Rechenzentrum die bessere Wahl.

Kann ich einen KI-Server selbst bauen?

Ja. Entscheidend sind genug GPU-Speicher für Ihre Modelle, eine Plattform mit genügend PCIe-Lanes für alle Karten sowie ausreichende Stromversorgung und Kühlung. Wir liefern konfigurierte und getestete Systeme, bei denen diese Punkte im Angebot geprüft und bestätigt sind.

Kann ich verschiedene GPUs in einem Server kombinieren?

Technisch ja, aber wird ein Modell auf verschiedene GPU-Modelle verteilt, begrenzen die langsamste Karte und der kleinste Speicher das Ganze. Identische GPUs sind einfacher zu betreiben und zu erweitern.

Brauche ich Server-CPUs und ECC-Speicher?

Für einen produktiven Server ja: Serverplattformen bieten genug PCIe-Lanes für mehrere GPUs mit voller Bandbreite, viele Speicherkanäle und ECC-Speicher für einen zuverlässigen Betrieb.

Quellen

Technische Daten und Plattformangaben stammen aus den unten verlinkten Quellen (auf Englisch). Die Preise stammen aus unserem Konfigurator zum Datum oben auf dieser Seite.