GPU-RATGEBER · AKTUALISIERT AM 10. NOVEMBER 2026

RTX PRO 6000 vs. H200 NVL: Welche GPU für Ihren KI-Server?

Die NVIDIA RTX PRO 6000 Blackwell Server Edition und die H200 NVL sind die beiden PCIe-GPUs, die für ernsthafte KI-Server vor Ort am häufigsten in die engere Wahl kommen. Die eine bietet 96GB und Blackwell-Funktionen zu einem niedrigeren Preis, die andere 141GB HBM3e und die dreifache Speicherbandbreite. Dieser Ratgeber vergleicht beide anhand der Zahlen, die in echten Projekten entscheiden.

Die kurze Antwort

  • Wählen Sie die RTX PRO 6000 für die meisten Inferenz-, Fine-Tuning-, Rendering- und gemischten Anwendungen, bei denen 96GB pro GPU reichen – besonders, wenn Sie FP4 nutzen wollen oder Grafikfunktionen brauchen. Zu unseren Richtpreisen kostet sie pro Karte etwa 40 % einer H200 NVL.
  • Wählen Sie die H200 NVL, wenn Speicherbandbreite oder -kapazität der Engpass ist: große Modelle für viele Nutzer, lange Kontexte, Modelle, die mit NVLink auf mehrere GPUs verteilt werden, oder wissenschaftliches Rechnen in FP64.
  • Erwägen Sie die RTX 5090 oder RTX-Karten mit 48GB, wenn das Budget knapp ist und Ihre Modelle in 32–48GB pro GPU passen.

RTX PRO 6000 vs. H200 NVL: technische Daten im Vergleich

Die Werte stammen aus den veröffentlichten Angaben von NVIDIA. NVIDIA kennzeichnet die Tensor-Core-Werte der H200 NVL als „mit Sparsity“, bei der RTX PRO 6000 aber nicht – vergleichen Sie diese Werte also mit Vorsicht. Die Preise sind NodeX-Richtpreise in US-Dollar, wie sie am 10. November 2026 auf unserer Website standen; Mehrwertsteuer, Lieferung und Verfügbarkeit bestätigen wir in Ihrem schriftlichen Angebot.

RTX PRO 6000 Blackwell Server Edition H200 NVL
Architektur Blackwell Hopper
GPU-Speicher 96GB GDDR7 mit ECC 141GB HBM3e
Speicherbandbreite 1.597 GB/s 4,8 TB/s
FP4 Tensor-Core 4 PFLOPS Keine FP4-Unterstützung (FP8 ist die niedrigste Genauigkeit)
FP8 Tensor-Core 2 PFLOPS 3.341 TFLOPS (mit Sparsity)
FP16 / BF16 Tensor-Core 1 PFLOPS 1.671 TFLOPS (mit Sparsity)
FP32 120 TFLOPS 60 TFLOPS
FP64 Nicht für FP64-Berechnungen ausgelegt 30 TFLOPS
Maximale Leistungsaufnahme Bis zu 600W, konfigurierbar Bis zu 600W, konfigurierbar
Multi-Instance GPU Bis zu 4 Instanzen Bis zu 7 Instanzen mit je 16,5GB
Verbindung zwischen den GPUs PCIe 5.0 NVLink-Brücke für 2 oder 4 GPUs mit 900 GB/s pro GPU, dazu PCIe 5.0
Bauform Dual-Slot, passiv Dual-Slot, passiv
Grafik und Video RT-Cores, 4 Video-Encoder, 4 Video-Decoder Keine RT-Cores; nicht für Grafik ausgelegt
NVIDIA AI Enterprise Bei Bedarf separat lizenziert Enthalten
Richtpreis bei NodeX 11.900 $ 29.490 $
Preis pro GB GPU-Speicher Etwa 124 $ Etwa 209 $

Der Speicher entscheidet, welche Modelle Sie betreiben können

Wenn ein LLM Text erzeugt, muss es für jedes neue Token die Modellgewichte aus dem GPU-Speicher lesen. Die Speicherkapazität bestimmt deshalb, wie groß Modell und Kontext sein können, und die Speicherbandbreite setzt die Obergrenze für die Erzeugungsgeschwindigkeit.

  • Ein Modell mit 70 Milliarden Parametern in 8 Bit braucht allein für die Gewichte etwa 70GB. Es passt auf eine RTX PRO 6000 mit etwas Platz für den Kontext oder auf eine H200 NVL mit viel mehr Platz für lange Kontexte und gleichzeitige Nutzer.
  • Die etwa dreimal höhere Bandbreite der H200 NVL erzeugt Tokens deutlich schneller, wenn ein Modell durch den Speicher begrenzt ist.
  • Mit der FP4-Unterstützung von Blackwell betreibt die RTX PRO 6000 4-Bit-Modelle mit Hardwarebeschleunigung und halbiert den Speicher pro Parameter gegenüber FP8 – ein praktischer Weg, größere Modelle in 96GB unterzubringen.

Server mit acht GPUs

Beide Karten sind passiv gekühlte Dual-Slot-Karten und nehmen bis zu 600W auf. Allein die GPUs eines Servers mit 8 GPUs können also etwa 4,8 kW aufnehmen, ohne Prozessoren, Arbeitsspeicher und Datenspeicher. Planen Sie Strom, Kühlung und Colocation-Kapazität, bevor Sie sich entscheiden.

Server mit 8 GPUs GPU-Speicher gesamt GPUs zum Richtpreis
8× RTX PRO 6000 Server Edition 768GB 95.200 $
8× H200 NVL 1.128GB 235.920 $

Diese Summen gelten nur für die GPUs. Plattform, Prozessoren, Arbeitsspeicher, Datenspeicher, Netzwerk, Montage und Garantie kommen im Angebot hinzu. Beide GPUs nutzen PCIe 5.0, das AMD-EPYC-Prozessoren der Serie 9004 (SP5) unterstützen – zum Beispiel in unserem NX-G8 Dual SP5 mit DDR5-Speicher. Generation und Breite der Steckplätze bestätigen wir für Ihre Konfiguration im Angebot.

H200-NVL-Karten lassen sich mit NVLink-Brücken in Gruppen von zwei oder vier mit 900 GB/s pro GPU verbinden. Das hilft, wenn ein Modell auf mehrere GPUs verteilt wird. Die RTX PRO 6000 kommuniziert nur über PCIe.

Welche GPU sollten Sie für Ihr Projekt kaufen?

Private LLM-Inferenz für ein Team

RTX PRO 6000. 96GB pro GPU reichen für die meisten offenen Modelle in 8 oder 4 Bit, zu deutlich geringeren Kosten pro GPU.

LLM-Betrieb mit hoher Last

H200 NVL, wenn Durchsatz pro GPU, lange Kontexte oder sehr große Modelle wichtiger sind als die Hardwarekosten.

Fine-Tuning und Forschung

RTX PRO 6000 für die meisten LoRA- und mittelgroßen Trainings; H200 NVL mit NVLink für größere Modelle, die auf mehrere GPUs verteilt werden.

Rendering, Simulation und Grafik

RTX PRO 6000 mit RT-Cores und Video-Engines. Die H200 NVL eignet sich stattdessen für wissenschaftliches Rechnen in FP64.

GPU-Vermietung

Nachfrage und Mietpreise unterscheiden sich je nach GPU-Modell und ändern sich mit der Zeit. Vergleichen Sie vor der Wahl aktuelle Marktplatzdaten; siehe unseren Ratgeber zum Hosting bei Vast.ai.

Kleineres Budget

RTX 5090 mit 32GB (4.690 $ Richtpreis) oder modifizierte Karten RTX 4090 48GB (4.000 $ Richtpreis).

Beide GPUs mit NodeX konfigurieren

GPU-Server NodeX NX-G8 Dual SP5 für RTX PRO 6000 oder H200 NVL
NX-G8 Dual SP5: bis zu 8 GPUs mit zwei AMD EPYC SP5 Prozessoren und DDR5 ECC Arbeitsspeicher.

Wir bauen in Bulgarien 4U-GPU-Server mit RTX PRO 6000, H200 NVL und anderen NVIDIA-GPUs. Ihr schriftliches Angebot bestätigt Kompatibilität, Stromversorgung und Kühlung, Lieferung und Garantie. Auf Wunsch organisieren wir Colocation in Bulgarien und die Einrichtung der Plattform. Anfragen nehmen wir auf Deutsch oder Englisch entgegen.

Häufige Fragen

Ist die RTX PRO 6000 Workstation Edition dasselbe wie die Server Edition?

Beide nutzen dieselbe Blackwell-GPU mit 96GB GDDR7. Die Server Edition ist passiv gekühlt und auf den Luftstrom des Servers von vorne nach hinten angewiesen; die Workstation Edition hat eigene Lüfter für Desktop-Workstations. Unser Konfigurator nennt für die Server Edition 11.900 $ und für die Workstation Edition 12.400 $ (Richtpreise).

Passt die H200 NVL in jeden Server?

Nein. Sie braucht einen Server, der für passive GPUs mit 600W ausgelegt ist und genug Luftstrom und Leistung bietet, und NVLink-Brücken brauchen einen passenden Steckplatzabstand. Das bestätigen wir für Ihre Plattform im Angebot.

Was ist mit der H100 NVL oder der B200?

Die H100 NVL hat weniger Speicher (94GB) als die H200 NVL. B200-Systeme sind SXM-Server mit GPU-Baseboard statt PCIe-Karten – eine andere Systemklasse. Sprechen Sie uns an, wenn Ihr Projekt diese Größenordnung braucht.

Quellen

Technische Daten und Plattformangaben stammen aus den unten verlinkten Quellen (auf Englisch). Die Preise stammen aus unserem Konfigurator zum Datum oben auf dieser Seite.