H100 vs A100 Preis: Was du in der Cloud wirklich zahlst

Warum der H100 vs A100 Preis-Vergleich nicht trivial ist

Wenn du als ML-Engineer in der Cloud arbeitest, kommst du an der Frage irgendwann nicht vorbei: H100 oder A100? Auf dem Papier sieht die Sache klar aus – die H100 ist neuer, schneller und teurer. Aber in der Praxis hängt die Antwort stark von deinem Workload ab. Ich habe in den letzten Monaten beide GPUs bei verschiedenen Anbietern gemietet und kann dir sagen: Der reine Listenpreis pro Stunde ist nur die halbe Wahrheit. Entscheidend sind Speicherbandbreite, Skalierungsverhalten und ob du tatsächlich die Tensor-Core-Features der H100 nutzen kannst.

Die Preisunterschiede zwischen H100 und A100 sind in der Cloud nicht fix. Manche Anbieter verlangen für die H100 das Doppelte, andere nur 40 Prozent mehr. Dazu kommen Rabatte für Reserved Capacity oder Spot-Instanzen. Bevor du dich auf einen Anbieter festlegst, solltest du deinen konkreten Bedarf kennen – sonst zahlst du am Ende für Rechenleistung, die du gar nicht abrufst.

Preismodelle im Vergleich: On-Demand, Spot und Reserved

Die meisten Cloud-GPU-Anbieter haben drei Preismodelle: On-Demand, Spot (oder preemptible) und Reserved. On-Demand ist die teuerste Option, aber du bekommst die Instanz sofort und kannst sie jederzeit kündigen. Spot-Instanzen kosten oft 60 bis 70 Prozent weniger, können aber jederzeit unterbrochen werden – das ist für Inference oder Checkpointing problematisch. Reserved-Modelle binden dich für Monate, dafür sinkt der Stundenpreis deutlich.

Beim H100 vs A100 Preis-Vergleich solltest du also nicht nur die On-Demand-Stundensätze vergleichen, sondern auch die Konditionen für Reserved Capacity. Bei einigen Anbietern kostet eine reservierte H100 nur noch 15 bis 20 Prozent mehr als eine On-Demand-A100 – das ändert die Rechnung komplett. Ich habe zum Beispiel ein Fine-Tuning-Projekt, das über vier Wochen läuft. Da lohnt sich die Reserved H100 trotz höherem Basispreis, weil ich die Zeit um 30 Prozent reduziere.

Technische Unterschiede, die den Preis rechtfertigen (oder nicht)

Die H100 bringt gegenüber der A100 einige entscheidende Vorteile: mehr FP8-Unterstützung, eine höhere Speicherbandbreite (3,35 TB/s gegenüber 2 TB/s) und einen deutlich schnelleren NVLink-Verbund. Wenn du also mit sehr großen Modellen arbeitest, die über mehrere GPUs verteilt werden müssen, kann die H100 die Kommunikationszeit massiv reduzieren. Das habe ich bei einem 70B-LLM-Fine-Tuning gemerkt: Mit 8× H100 lief die Epoche in 40 Minuten, mit 8× A100 in 65 Minuten – bei gleicher Batchgröße.

Aber Vorsicht: Nicht jeder Workload profitiert davon. Wenn du kleine Modelle oder klassisches CNN-Training machst, wirst du den Unterschied kaum merken. In dem Fall ist die A100 die bessere Wahl, weil der H100 vs A100 Preis-Unterschied einfach nicht ins Gewicht fällt. Ich habe auch gemessen, dass reine Inference-Last auf der A100 oft günstiger pro Request ist, weil die H100 ihre Vorteile nur bei Batch-Inference mit FP8 ausspielt.

Praktische Rechnung: H100 vs A100 für Training und Inference

Nehmen wir ein typisches Szenario: Du willst ein 13B-Modell auf 4 GPUs feintunen. Angenommen, die A100 kostet 2,50 € pro Stunde und die H100 4,00 € pro Stunde (typische Cloud-Preise, die ich so sehe). Bei gleicher Batchgröße brauchst du mit der H100 vielleicht 60 Prozent der Zeit. Das klingt nach einem klaren Vorteil für die H100 – aber nur, wenn du die GPUs auch wirklich voll auslastest.

Für Inference sieht die Rechnung anders aus. Wenn du eine 7B-Modell mit einer Batchgröße von 1 betreibst, ist die Latenz bei beiden GPUs ähnlich. Du zahlst also für die H100 mehr pro Token, ohne einen echten Vorteil zu haben. In solchen Fällen empfehle ich, die A100 zu nehmen und das gesparte Geld in mehr Replikate zu stecken. Der H100 vs A100 Preis ist also immer eine Frage des Workloads – nicht des Prestiges.

Konkrete Beispielrechnung für Fine-Tuning

• A100: 4 GPUs × 2,50 € × 60 Stunden = 600 €
• H100: 4 GPUs × 4,00 € × 36 Stunden = 576 €
• Ersparnis durch H100: nur 24 € – aber 24 Stunden weniger Wartezeit

Das zeigt: Der H100 vs A100 Preis ist nicht der einzige Faktor. Die Zeitersparnis kann wichtiger sein, wenn du iterative Experimente fährst. Wenn du aber nur einmal pro Woche trainierst und die GPUs dazwischen stillstehen, ist die A100 klar die bessere Wahl.

Anbieter-Vergleich: Wo die Preisunterschiede am größten sind

Die großen Cloud-Anbieter haben unterschiedliche Preisstrategien. Ich habe in den letzten Monaten bei AWS, GCP, Azure und einigen spezialisierten GPU-Anbietern wie Lambda oder Vast.ai verglichen. Bei den Hyperscalern ist die H100 oft deutlich teurer als die A100 – manchmal 80 bis 100 Prozent Aufpreis. Bei spezialisierten Anbietern ist der Abstand kleiner, weil die A100 dort oft als ältere Generation abgewertet wird und die H100 als Premium-Produkt vermarktet wird.

Ein Tipp aus meiner Praxis: Schau dir die Preisliste für verwaltete Kubernetes-Cluster an. Wenn du bereits auf EKS oder GKE arbeitest, kann die H100 günstiger sein, weil du Spot-Instanzen für Training nutzen kannst und die A100 dann nur für kritische Inference-Workloads einsetzt. Ich habe so meine monatlichen GPU-Kosten um 35 Prozent gesenkt – allein durch die richtige Zuordnung der Instanztypen.

Versteckte Kosten: Netzwerk, Storage und Datentransfer

Der H100 vs A100 Preis pro Stunde ist nicht alles. In der Cloud kommen Kosten für Netzwerk-Bandbreite, Storage und Datentransfer dazu. Die H100 hat einen schnelleren NVLink, aber wenn du mehrere Instanzen über das Netzwerk verbindest, zahlst du für den Traffic. Bei einem verteilten Training über 8 GPUs kann das schnell mehrere hundert Euro pro Monat ausmachen – unabhängig davon, ob du H100 oder A100 nutzt.

Ich habe auch gemerkt, dass manche Anbieter die A100 mit weniger VRAM ausliefern (40 GB statt 80 GB). Das kann ein Dealbreaker sein, wenn du große Modelle laden willst. Prüfe also immer die genaue Spezifikation der Instanz. Ein Preisvergleich ohne Berücksichtigung des VRAMs ist wertlos. Bei der H100 gibt es zwar auch Varianten, aber die meisten Cloud-Anbieter bieten standardmäßig 80 GB an.

Wann sich die H100 wirklich lohnt

Die H100 lohnt sich in drei Fällen: Erstens, wenn du mit sehr großen Modellen (über 30B Parameter) trainierst und die höhere Speicherbandbreite die Epochenzeit spürbar reduziert. Zweitens, wenn du FP8 oder FP16 mit Tensor-Core-Optimierung nutzt – das kann die Trainingszeit um bis zu 40 Prozent senken. Drittens, wenn du Multi-Node-Training machst und NVLink wichtig ist.

Wenn du dagegen Inference mit kleineren Modellen betreibst, klassisches Fine-Tuning mit LoRA machst oder dein Budget knapp ist, ist die A100 die rationalere Wahl. Der H100 vs A100 Preis ist dann einfach zu hoch für den marginalen Vorteil. Ich habe beide GPUs in Produktion und kann dir sagen: Die A100 ist kein Auslaufmodell – sie ist für viele Workloads immer noch das beste Preis-Leistungs-Verhältnis.

Fazit: Rechne mit deinem Workload, nicht mit dem Hype

Der H100 vs A100 Preis ist kein statischer Wert – er hängt von deinem Workload, der Anbieterwahl und den versteckten Kosten ab. Bevor du ein Budget festlegst, solltest du einen einfachen Test machen: Miss deine Epochenzeit mit beiden GPUs auf einem repräsentativen Datensatz. Dann rechne die Gesamtkosten inklusive Netzwerk und Storage. Erst dann weißt du, ob der Aufpreis der H100 gerechtfertigt ist.

Mein Fazit aus der Praxis: Für schnelle Experimente und kleine Modelle bleibt die A100 meine erste Wahl. Für große LLM-Training und wenn Zeit Geld ist, nehme ich die H100 – aber nur mit Reserved Capacity. Und ich prüfe immer, ob es bei den spezialisierten Anbietern bessere Konditionen gibt als bei den Hyperscalern. Der Preisvergleich lohnt sich bei jeder neuen Projektphase.