GPU-RATGEBER · AKTUALISIERT AM 10. NOVEMBER 2026
RTX PRO 6000 vs. H200 NVL: Welche GPU für Ihren KI-Server?
Die NVIDIA RTX PRO 6000 Blackwell Server Edition und die H200 NVL sind die beiden PCIe-GPUs, die für ernsthafte KI-Server vor Ort am häufigsten in die engere Wahl kommen. Die eine bietet 96GB und Blackwell-Funktionen zu einem niedrigeren Preis, die andere 141GB HBM3e und die dreifache Speicherbandbreite. Dieser Ratgeber vergleicht beide anhand der Zahlen, die in echten Projekten entscheiden.
Die kurze Antwort
- Wählen Sie die RTX PRO 6000 für die meisten Inferenz-, Fine-Tuning-, Rendering- und gemischten Anwendungen, bei denen 96GB pro GPU reichen – besonders, wenn Sie FP4 nutzen wollen oder Grafikfunktionen brauchen. Zu unseren Richtpreisen kostet sie pro Karte etwa 40 % einer H200 NVL.
- Wählen Sie die H200 NVL, wenn Speicherbandbreite oder -kapazität der Engpass ist: große Modelle für viele Nutzer, lange Kontexte, Modelle, die mit NVLink auf mehrere GPUs verteilt werden, oder wissenschaftliches Rechnen in FP64.
- Erwägen Sie die RTX 5090 oder RTX-Karten mit 48GB, wenn das Budget knapp ist und Ihre Modelle in 32–48GB pro GPU passen.
RTX PRO 6000 vs. H200 NVL: technische Daten im Vergleich
Die Werte stammen aus den veröffentlichten Angaben von NVIDIA. NVIDIA kennzeichnet die Tensor-Core-Werte der H200 NVL als „mit Sparsity“, bei der RTX PRO 6000 aber nicht – vergleichen Sie diese Werte also mit Vorsicht. Die Preise sind NodeX-Richtpreise in US-Dollar, wie sie am 10. November 2026 auf unserer Website standen; Mehrwertsteuer, Lieferung und Verfügbarkeit bestätigen wir in Ihrem schriftlichen Angebot.
| RTX PRO 6000 Blackwell Server Edition | H200 NVL | |
|---|---|---|
| Architektur | Blackwell | Hopper |
| GPU-Speicher | 96GB GDDR7 mit ECC | 141GB HBM3e |
| Speicherbandbreite | 1.597 GB/s | 4,8 TB/s |
| FP4 Tensor-Core | 4 PFLOPS | Keine FP4-Unterstützung (FP8 ist die niedrigste Genauigkeit) |
| FP8 Tensor-Core | 2 PFLOPS | 3.341 TFLOPS (mit Sparsity) |
| FP16 / BF16 Tensor-Core | 1 PFLOPS | 1.671 TFLOPS (mit Sparsity) |
| FP32 | 120 TFLOPS | 60 TFLOPS |
| FP64 | Nicht für FP64-Berechnungen ausgelegt | 30 TFLOPS |
| Maximale Leistungsaufnahme | Bis zu 600W, konfigurierbar | Bis zu 600W, konfigurierbar |
| Multi-Instance GPU | Bis zu 4 Instanzen | Bis zu 7 Instanzen mit je 16,5GB |
| Verbindung zwischen den GPUs | PCIe 5.0 | NVLink-Brücke für 2 oder 4 GPUs mit 900 GB/s pro GPU, dazu PCIe 5.0 |
| Bauform | Dual-Slot, passiv | Dual-Slot, passiv |
| Grafik und Video | RT-Cores, 4 Video-Encoder, 4 Video-Decoder | Keine RT-Cores; nicht für Grafik ausgelegt |
| NVIDIA AI Enterprise | Bei Bedarf separat lizenziert | Enthalten |
| Richtpreis bei NodeX | 11.900 $ | 29.490 $ |
| Preis pro GB GPU-Speicher | Etwa 124 $ | Etwa 209 $ |
Der Speicher entscheidet, welche Modelle Sie betreiben können
Wenn ein LLM Text erzeugt, muss es für jedes neue Token die Modellgewichte aus dem GPU-Speicher lesen. Die Speicherkapazität bestimmt deshalb, wie groß Modell und Kontext sein können, und die Speicherbandbreite setzt die Obergrenze für die Erzeugungsgeschwindigkeit.
- Ein Modell mit 70 Milliarden Parametern in 8 Bit braucht allein für die Gewichte etwa 70GB. Es passt auf eine RTX PRO 6000 mit etwas Platz für den Kontext oder auf eine H200 NVL mit viel mehr Platz für lange Kontexte und gleichzeitige Nutzer.
- Die etwa dreimal höhere Bandbreite der H200 NVL erzeugt Tokens deutlich schneller, wenn ein Modell durch den Speicher begrenzt ist.
- Mit der FP4-Unterstützung von Blackwell betreibt die RTX PRO 6000 4-Bit-Modelle mit Hardwarebeschleunigung und halbiert den Speicher pro Parameter gegenüber FP8 – ein praktischer Weg, größere Modelle in 96GB unterzubringen.
Server mit acht GPUs
Beide Karten sind passiv gekühlte Dual-Slot-Karten und nehmen bis zu 600W auf. Allein die GPUs eines Servers mit 8 GPUs können also etwa 4,8 kW aufnehmen, ohne Prozessoren, Arbeitsspeicher und Datenspeicher. Planen Sie Strom, Kühlung und Colocation-Kapazität, bevor Sie sich entscheiden.
| Server mit 8 GPUs | GPU-Speicher gesamt | GPUs zum Richtpreis |
|---|---|---|
| 8× RTX PRO 6000 Server Edition | 768GB | 95.200 $ |
| 8× H200 NVL | 1.128GB | 235.920 $ |
Diese Summen gelten nur für die GPUs. Plattform, Prozessoren, Arbeitsspeicher, Datenspeicher, Netzwerk, Montage und Garantie kommen im Angebot hinzu. Beide GPUs nutzen PCIe 5.0, das AMD-EPYC-Prozessoren der Serie 9004 (SP5) unterstützen – zum Beispiel in unserem NX-G8 Dual SP5 mit DDR5-Speicher. Generation und Breite der Steckplätze bestätigen wir für Ihre Konfiguration im Angebot.
H200-NVL-Karten lassen sich mit NVLink-Brücken in Gruppen von zwei oder vier mit 900 GB/s pro GPU verbinden. Das hilft, wenn ein Modell auf mehrere GPUs verteilt wird. Die RTX PRO 6000 kommuniziert nur über PCIe.
Welche GPU sollten Sie für Ihr Projekt kaufen?
Private LLM-Inferenz für ein Team
RTX PRO 6000. 96GB pro GPU reichen für die meisten offenen Modelle in 8 oder 4 Bit, zu deutlich geringeren Kosten pro GPU.
LLM-Betrieb mit hoher Last
H200 NVL, wenn Durchsatz pro GPU, lange Kontexte oder sehr große Modelle wichtiger sind als die Hardwarekosten.
Fine-Tuning und Forschung
RTX PRO 6000 für die meisten LoRA- und mittelgroßen Trainings; H200 NVL mit NVLink für größere Modelle, die auf mehrere GPUs verteilt werden.
Rendering, Simulation und Grafik
RTX PRO 6000 mit RT-Cores und Video-Engines. Die H200 NVL eignet sich stattdessen für wissenschaftliches Rechnen in FP64.
GPU-Vermietung
Nachfrage und Mietpreise unterscheiden sich je nach GPU-Modell und ändern sich mit der Zeit. Vergleichen Sie vor der Wahl aktuelle Marktplatzdaten; siehe unseren Ratgeber zum Hosting bei Vast.ai.
Kleineres Budget
RTX 5090 mit 32GB (4.690 $ Richtpreis) oder modifizierte Karten RTX 4090 48GB (4.000 $ Richtpreis).
Beide GPUs mit NodeX konfigurieren

Wir bauen in Bulgarien 4U-GPU-Server mit RTX PRO 6000, H200 NVL und anderen NVIDIA-GPUs. Ihr schriftliches Angebot bestätigt Kompatibilität, Stromversorgung und Kühlung, Lieferung und Garantie. Auf Wunsch organisieren wir Colocation in Bulgarien und die Einrichtung der Plattform. Anfragen nehmen wir auf Deutsch oder Englisch entgegen.
Häufige Fragen
Ist die RTX PRO 6000 Workstation Edition dasselbe wie die Server Edition?
Beide nutzen dieselbe Blackwell-GPU mit 96GB GDDR7. Die Server Edition ist passiv gekühlt und auf den Luftstrom des Servers von vorne nach hinten angewiesen; die Workstation Edition hat eigene Lüfter für Desktop-Workstations. Unser Konfigurator nennt für die Server Edition 11.900 $ und für die Workstation Edition 12.400 $ (Richtpreise).
Passt die H200 NVL in jeden Server?
Nein. Sie braucht einen Server, der für passive GPUs mit 600W ausgelegt ist und genug Luftstrom und Leistung bietet, und NVLink-Brücken brauchen einen passenden Steckplatzabstand. Das bestätigen wir für Ihre Plattform im Angebot.
Was ist mit der H100 NVL oder der B200?
Die H100 NVL hat weniger Speicher (94GB) als die H200 NVL. B200-Systeme sind SXM-Server mit GPU-Baseboard statt PCIe-Karten – eine andere Systemklasse. Sprechen Sie uns an, wenn Ihr Projekt diese Größenordnung braucht.
Quellen
Technische Daten und Plattformangaben stammen aus den unten verlinkten Quellen (auf Englisch). Die Preise stammen aus unserem Konfigurator zum Datum oben auf dieser Seite.
