H100 günstig mieten: Der praktische Leitfaden für ML-Teams

Wenn du mit großen Modellen arbeitest, kennst du das Problem: Die H100 ist die Referenz für Training und Inference, aber der Listenpreis schreckt ab. Ich habe in den letzten Monaten diverse Anbieter durchprobiert – von großen Hyperscalern bis zu Nischen-Playern. Dabei habe ich gelernt: H100 günstig mieten heißt nicht, einfach den billigsten Stundentarif zu nehmen. Es heißt, die Gesamtkosten zu verstehen: Anbindung, Speicher, Datenübertragung und die versteckten Gebühren, die erst auf der Rechnung auftauchen. In diesem Leitfaden zeige ich dir, wie du als Praktiker wirklich Geld sparst – ohne an Performance zu verlieren.

Warum der Stundentarif nicht alles ist

Klar, der Blick geht zuerst auf den Preis pro Stunde. Aber wer nur danach geht, zahlt oft drauf. Ich habe mal bei einem Billiganbieter eine H100 für 1,80 €/h gemietet – und dann 40 Minuten mit dem Setup verloren, weil das Image nicht passte. Dazu kamen 0,15 €/GB für Egress. Am Ende war die teurere Stunde bei einem etablierten Anbieter günstiger.

Wichtig sind diese Kostenfaktoren:

• Mindestlaufzeit: Manche Anbieter verlangen 24 Stunden oder sogar eine Woche. Für kurze Experimente ist das ein Killer.
• Speicher: Schneller NVMe-Speicher ist oft nicht inklusive. Ein Checkpoint von 50 GB kann schnell teuer werden.
• Datenübertragung: Egress-Gebühren sind das klassische Ärgernis. Wer täglich mehrere GB aus der Cloud zieht, sollte das einrechnen.
• Setup-Zeit: Fertige Images mit CUDA und PyTorch sparen Stunden. Das ist oft mehr wert als 20 Cent pro Stunde.

Die richtige Anbieterwahl für dein Budget

Es gibt drei Kategorien von Anbietern, wenn du eine H100 günstig mieten willst:

Große Hyperscaler (AWS, GCP, Azure)

Die sind zuverlässig, aber teuer im On-Demand-Preis. Dafür bekommst du Reservierungen oder Spot-Instanzen. Wenn du flexible Workloads hast, kannst du mit Spot bis zu 60–70 % sparen. Aber: Spot kann jederzeit unterbrochen werden. Für Training mit Checkpointing okay, für interaktive Sessions ungeeignet.

Spezialisierte GPU-Clouds (z. B. Lambda, Vast.ai, RunPod)

Hier findest du oft die niedrigsten Stundentarife. Aber die Qualität variiert stark. Ich hatte bei Vast.ai mal eine H100 mit defektem HBM – die Fehlermeldungen sahen aus wie ein Software-Bug, waren aber Hardware. Also: Immer ein schnelles Benchmark-Skript laufen lassen, bevor du Stunden verbrennst.

Vermittler und Spot-Märkte (z. B. Salad, TensorDock)

Die sind wirklich günstig, aber du teilst die GPU mit anderen. Für Inference mit Batch-Jobs okay, für Training eher nicht. Die Latenz und der Durchsatz sind oft nicht reproduzierbar.

Mein Rat: Für 80 % der Fälle ist ein spezialisierter Anbieter mit gutem Support die beste Balance. Hyperscaler nur, wenn du ohnehin in deren Ökosystem hängst.

Kosten senken mit intelligentem Workload-Design

Bevor du überhaupt mietest, überlege, ob du die H100 wirklich brauchst. Bei vielen Aufgaben reicht eine A100 oder sogar eine L40S. Aber wenn du ein 70B-Modell fine-tunen willst, ist die H100 wegen der hohen Speicherbandbreite (3,35 TB/s) oft die einzig sinnvolle Wahl.

Drei konkrete Stellschrauben, um die Kosten zu drücken:

• Gradient-Checkpointing: Reduziert den VRAM-Bedarf massiv. Du kannst kleinere Batch-Sizes fahren und trotzdem effizient bleiben.
• Mixed Precision (BF16/FP8): Die H100 ist für niedrige Präzision gebaut. Wenn du auf FP8 umstellst, sparst du Speicher und Rechenzeit.
• Checkpointing-Strategie: Speichere nicht nach jeder Epoche, sondern nur bei Verbesserung des Validierungs-Loss. Das spart Speicher und Zeit.

Ein Beispiel aus meinem Alltag: Statt 10 Stunden auf einer H100 zu trainieren, nutze ich jetzt 6 Stunden mit FP8 und optimiertem DataLoader. Das sind 4 Stunden weniger Mietzeit – bei gleicher Modellqualität.

Wann sich Reserved Capacity lohnt

Wenn du regelmäßig trainierst, lohnt sich ein Blick auf reservierte Instanzen. Viele Anbieter geben 30–50 % Rabatt, wenn du dich für 1–3 Monate verpflichtest. Aber: Nur sinnvoll, wenn dein Workload planbar ist. Für Ad-hoc-Experimente ist das nichts.

Ich habe mal für ein Projekt eine H100 für 3 Monate reserviert – das war günstiger als jede On-Demand-Miete. Aber ich hatte das Glück, dass das Modell nicht ständig geändert wurde. Wenn du ständig die Architektur wechselst, bist du mit On-Demand flexibler.

Ein Tipp: Manche Anbieter bieten „Bursting“ an – du hast eine kleine Basis-Reservierung und skaliert bei Bedarf spontan hoch. Das ist ein guter Mittelweg, aber nicht alle Anbieter haben das im Programm.

Praktische Tipps für den ersten Mietvorgang

Bevor du die erste H100 mietest, solltest du diese Punkte checken:

1. Benchmark-Skript bereithalten: Ich nutze ein kleines PyTorch-Skript, das Matrix-Multiplikationen und einen Forward-Backward-Pass durchläuft. So sehe ich sofort, ob die GPU wirklich die volle Leistung bringt.
2. Datentransfer planen: Lade deine Daten vorher in die Cloud-Region hoch. Ein 100-GB-Datensatz über das Internet zu ziehen, kostet Zeit – und je nach Anbieter auch Geld.
3. SSH-Keys einrichten: Klingt banal, aber manche Anbieter setzen Passwort-Auth voraus. Das ist nicht nur unsicher, sondern auch nervig in der Automatisierung.
4. Abbruch-Regeln definieren: Wenn das Training divergiert, willst du die Instanz sofort stoppen können. Automatisiere das mit einem Watchdog-Skript.

Diese Vorbereitung hat mir schon hunderte Euro gespart, weil ich keine Stunden mit sinnlosem Debugging auf der teuren GPU verbracht habe.

Typische Fehler, die teuer werden

Ich habe schon genug Fehler gemacht, um dich davor zu bewahren. Hier die häufigsten:

• Zu viel VRAM reservieren: Wer das ganze 80 GB der H100 auslasten will, zahlt oft mehr, als nötig. Manche Workloads laufen auch mit 40 GB, wenn man sie clever aufteilt.
• Nicht auf Egress-Gebühren achten: Ein Modell mit 30 GB Gewicht runterzuladen, kann 5 € kosten – bei manchen Anbietern. Das ist oft mehr als die Mietstunde selbst.
• Anbieter ohne Support wählen: Wenn die GPU nachts um 3 ausfällt, willst du nicht auf ein Ticket warten. Ein guter Live-Chat ist Gold wert.
• Vergessen, die Instanz zu stoppen: Klingt dumm, passiert aber jedem mal. Ich habe schon eine H100 über das Wochenende laufen lassen – 80 € für nichts. Setze dir ein Timeout in deinem Skript.

Fazit: So mietest du die H100 wirklich günstig

Die H100 günstig zu mieten ist keine Kunst, sondern Handwerk. Der Schlüssel liegt nicht im billigsten Stundentarif, sondern in der Gesamtkostenrechnung. Wähle einen Anbieter, der zu deinem Workload passt, optimiere dein Training für die Hardware und automatisiere das Stoppen von Instanzen. Dann sparst du oft 30–50 % im Vergleich zum naiven Ansatz.

Und noch ein letzter Tipp: Teste immer erst mit einer kleinen Datenmenge, ob alles läuft, bevor du die große Trainingssession startest. Das hat mir mehrfach den Tag gerettet – und das Budget.