H100 mieten Cloud: Der ehrliche Praxisleitfaden für ML-Teams

Wenn du mit großen Sprachmodellen arbeitest, kommst du an der H100 kaum vorbei. Aber niemand kauft sich für ein Wochenende Training eine 30.000-Euro-GPU. Deshalb ist h100 mieten cloud für die meisten ML-Teams der einzige realistische Weg. Ich miete seit über zwei Jahren wöchentlich Cloud-GPUs und habe dabei mehr Anbieter durchprobiert, als mir lieb ist. In diesem Guide geht es nicht um Marketing-Versprechen, sondern darum, worauf du beim Mieten wirklich achten musst – vom Stundenpreis bis zur Netzwerkbandbreite im Cluster.

Was kostet eine H100 in der Cloud wirklich?

Der h100 cloud gpu stundenpreis schwankt je nach Anbieter, Region und Vertragsmodell erheblich. On-Demand liegst du meist zwischen 2,50 und 4,50 US-Dollar pro Stunde und GPU. Klingt erstmal überschaubar. Aber bei einem 7B-Parameter-Modell über 100 Stunden Training sind das schnell 300 bis 450 Dollar – pro GPU. Wenn du ein 70B-Modell auf 64 GPUs trainierst, reden wir über fünfstellige Beträge pro Woche.

Was viele unterschätzen: Der Stundenpreis ist nur die halbe Wahrheit. Die h100 gpu cloud kosten setzen sich aus Rechenzeit, Speicher, Netzwerk und oft auch Egress-Gebühren zusammen. Ein Anbieter mit günstigem Stundenpreis kann am Ende trotzdem teurer sein, wenn er dir für die Datenübertragung das Geld aus der Tasche zieht. Ich habe schon Abrechnungen gesehen, da war der Egress teurer als die GPU selbst.

H100 mieten für LLM Training: Worauf es ankommt

Beim h100 mieten für llm training zählt vor allem eines: konstante Performance. Die H100 hat eine enorme Rechenleistung, aber die wird nur dann abgerufen, wenn Kühlung und Stromversorgung stimmen. Einige günstige Anbieter drosseln die Taktraten, wenn die Auslastung hoch ist. Das merkst du nicht sofort, aber deine Training-Time verlängert sich um 20 bis 30 Prozent.

Allgather und Netzwerk: Der versteckte Flaschenhals

Für verteiltes Training brauchst du mehr als nur einzelne GPUs. Du brauchst ein Cluster, das schnelle Kommunikation zwischen den Knoten ermöglicht. NVLink innerhalb eines Knotens ist Standard, aber die Interconnect-Bandbreite zwischen Knoten variiert massiv. Wenn du ein Modell mit Tensor Parallelism über mehrere Knoten verteilst, wird langsame Netzwerkbandbreite dein Flaschenhals. Frag also vor dem Mieten konkret nach der Interconnect-Geschwindigkeit, nicht nach der Anzahl der GPUs.

H100 cloud Anbieter vergleichen: Das solltest du checken

Wenn du h100 cloud anbieter vergleichen willst, reicht ein Blick auf die Preisseite nicht. Ich habe eine Checkliste, die ich bei jedem Anbieter durchgehe:

• Verfügbarkeit: Gibt es die H100 überhaupt als Einzel-GPU oder nur im Cluster? Manche Anbieter verkaufen keine einzelnen GPUs für Inference.
• Region: Wo steht das Rechenzentrum? Für Europa-Workloads willst du nicht unbedingt Daten in die USA schicken.
• Abrufmodell: On-Demand, Spot oder reserviert? Für langfristige Projekte sind reservierte Kapazitäten deutlich günstiger.
• Support: Was passiert, wenn eine GPU nach zwei Stunden ausfällt? Bekommst du Ersatz oder nur ein Ticket?
• Storage: Wie schnell ist der angeschlossene Speicher? Langsames Filesystem kann dein Training komplett ausbremsen.

Ein Punkt, den viele vergessen: Die Region beeinflusst auch die Latenz für h100 gpu mieten für inference. Wenn deine API-Antworten unter 200 Millisekunden bleiben sollen, hilft dir die schnellste GPU nichts, wenn der Anbieter in Oregon steht und deine Nutzer in Frankfurt.

H100 mieten für Fine Tuning: Wann sich das lohnt

Für h100 mieten für fine tuning brauchst du oft gar nicht die volle H100. Ein 7B-Modell mit LoRA passt problemlos auf eine einzelne H100 mit 80 GB VRAM. Aber wenn du ein 34B-Modell mit Full Fine-Tuning trainierst, wird es eng. Hier lohnt sich die H100 wegen ihrer FP8-Unterstützung und des schnellen Speichers.

Mein Tipp fürs Fine Tuning: Starte mit einer einzigen H100 und skaliere nur dann hoch, wenn du wirklich musst. Oft ist die teure Cluster-Miete gar nicht nötig. Ein gut konfiguriertes LoRA-Training auf einer H100 kostet dich für ein 7B-Modell vielleicht 30 bis 60 Dollar pro Lauf. Das ist ein Bruchteil dessen, was ein Full-Training im Cluster kosten würde.

H100 cluster mieten für KI: Skalierung ohne Reue

Wenn du h100 cluster mieten für ki willst, wird es richtig teuer. Ein 8-GPU-Knoten mit H100 kostet on-demand schnell 20 bis 35 Dollar pro Stunde. Für 64 GPUs sind das 160 bis 280 Dollar pro Stunde. Bei einem 48-Stunden-Training landest du schnell bei 7.000 bis 13.000 Dollar. Deshalb lohnt sich hier die Planung doppelt.

Spot-Instanzen: Risiko und Chance

Einige Anbieter geben Spot-Instanzen mit 60 bis 70 Prozent Rabatt auf den Stundenpreis. Das klingt verlockend, aber du musst damit rechnen, dass die Instanz jederzeit weggerissen wird. Für Checkpointing mit regelmäßigen Snapshots ist das machbar. Für ein langlaufendes Training ohne Unterbrechung ist es ein Roulettespiel. Ich nutze Spot nur für Experimente und Data-Preprocessing, nie fürs Haupttraining.

Kosten optimieren: Die besten Hebel

Die h100 gpu cloud kosten lassen sich mit ein paar Tricks deutlich senken. Der erste Hebel ist die Vertragslaufzeit. Wenn du für einen Monat im Voraus zahlst, bekommst du oft 30 bis 40 Prozent Rabatt gegenüber On-Demand. Der zweite Hebel ist das richtige Framework. Mit FP8 und optimierten Attention-Implementierungen schaffst du oft 20 Prozent mehr Tokens pro Sekunde – bei gleichem Stundenpreis.

Der dritte Hebel ist die Auslastung. Viele Teams mieten GPUs und lassen sie 20 Prozent der Zeit ungenutzt. Plane deine Jobs so, dass die GPUs durchlaufen. Nutze Warteschlangen, um Jobs zu bündeln, und stelle Jobs auf den Abend, wenn die Auslastung geringer ist. Das klingt banal, spart aber bei Cluster-Mieten schnell vierstellige Beträge.

Inference-Workloads: Nicht immer die H100

Für h100 gpu mieten für inference gibt es einen wichtigen Unterschied zum Training: Inference ist oft latency-sensitiv und nicht throughput-sensitiv. Eine H100 mit 80 GB VRAM kann ein großes Modell bedienen, aber wenn du nur 100 Anfragen pro Minute hast, ist sie überdimensioniert. In vielen Fällen reicht eine günstigere GPU für Inference, und die H100 ist die falsche Wahl.

Wenn du aber wirklich die H100 für Inference brauchst, achte auf das Batching. Moderne Inferenz-Server wie vLLM oder TensorRT-LLM können Anfragen bündeln und so den Durchsatz vervielfachen. Ich habe damit auf einer H100 das Vierfache an Tokens pro Sekunde erreicht gegenüber naivem Batching. Der Stundenpreis bleibt gleich, aber die Kosten pro Token sinken drastisch.

Meine Empfehlung für den Einstieg

Wenn du noch nie h100 gpu cloud mieten hast, starte klein. Miete eine einzelne H100 für 24 Stunden, teste deinen Workload und miss die reale Performance. Vergleiche die Ergebnisse mit den Benchmark-Werten des Anbieters. Erst wenn du weißt, wie viele Tokens pro Sekunde du wirklich bekommst, kannst du den Preis pro Token berechnen und Anbieter sinnvoll vergleichen.

Und ein letzter Punkt: Lies die AGBs. Manche Anbieter haben harte Limits bei der Datenübertragung oder verlangen Aufpreise für öffentliche IPs. Diese versteckten Kosten machen aus einem vermeintlich günstigen Angebot schnell ein teures. Wenn du die h100 cloud gpu stundenpreis vergleichst, rechne immer die Gesamtkosten für dein konkretes Projekt durch – nicht nur den Stundenpreis.