Ratgeber
H100 cloud mieten: Was du wirklich für LLM-Training und Inference zahlst
Wer in den letzten Monaten ein größeres Modell trainiert oder ein teures Fine-Tuning durchgezogen hat, kennt das Problem: Die eigene GPU-Ausstattung reicht nie, und die Cloud ist teuer. Ich habe in den letzten zwei Jahren regelmäßig h100 cloud mieten müssen – für alles von 7B-Parametern bis zu einem 70B-Instruct-Tuning. Der Markt ist unübersichtlich, die Preisunterschiede sind enorm, und viele Anbieter verkaufen dir das Blaue vom Himmel. Deshalb hier ein ehrlicher Überblick, was eine H100 wirklich kostet, worauf du beim Vergleich achten musst und wie du nicht unnötig Geld verbrennst.
Warum die H100 für LLM-Workloads weiterhin Standard ist
Die H100 ist für Training und Inference großer Sprachmodelle nach wie vor die Referenz. Mit 80 GB HBM3, FP8-Beschleunigung und NVLink ist sie für viele Teams die erste Wahl – vor allem, wenn du mit langen Kontexten arbeitest. Beim h100 mieten für llm training profitierst du von der hohen Speicherbandbreite (3,35 TB/s), die bei Transformer-Modellen oft der Flaschenhals ist, nicht die reine Rechenleistung. Für Inference sieht es ähnlich aus: Gerade bei Batch-Processing oder bei Modellen mit vielen Params ist die H100 effizienter als ältere Karten wie A100 oder A6000. Auch wenn die H200 oder die B200 inzwischen existieren, ist die H100 der Sweet Spot aus Verfügbarkeit und Preis – solange du nicht in den ganz großen Cluster-Bereich gehst.
H100 Preis pro Stunde: Wo liegen die realistischen Preise?
Der h100 preis pro stunde mieten variiert stark je nach Anbieter, Vertragslaufzeit und Region. Für On-Demand-Instanzen in Europa solltest du mit 3,50 bis 5,50 Euro pro Stunde rechnen. In den USA liegen die Preise oft etwas niedriger, aber dann kommen Netzwerklatenz und Datenübertragungskosten dazu. Bei Reserved Instances oder bei Anbietern, die überschüssige Kapazität verramschen, geht es auf 2,50 bis 3,20 Euro herunter – aber dann hast du oft keine Garantie auf Verfügbarkeit. Wichtig ist: Die meisten Anbieter rechnen pro Stunde ab, aber es gibt auch welche mit Sekundentaktung. Das klingt gut, ist aber für Training uninteressant, weil du sowieso stundenlang läufst. Für kurze Experimente oder Inference-Spitzen kann es aber relevant sein.
Typische Preisbeispiele für verschiedene Anbieter (Stand 2025)
| Anbieter | On-Demand / Stunde | Reserved (12 Monate) | Bemerkung |
|---|---|---|---|
| Hyperscale-Cloud A | ~4,20 € | ~3,10 € | Gute Verfügbarkeit, aber Netzwerk teuer |
| Spezialist für ML-Instanzen | ~3,80 € | ~2,80 € | Oft mit NVLink-Cluster |
| Discounter (Spot-artig) | ~2,90 € | nicht verfügbar | Keine SLA, nur für unterbrechbare Jobs |
Die Tabelle zeigt nur Richtwerte – die Preise ändern sich ständig. Aber du siehst das Muster: Wer flexibel ist, zahlt mehr. Wer langfristig plant, spart. Und wer nur experimentiert, sollte nicht auf Reserved Instances gehen.
H100 Cloud GPU mieten Vergleich: Worauf du wirklich achten musst
Der h100 cloud gpu mieten vergleich ist mehr als nur der Stundenpreis. Ich habe schon Anbieter gesehen, die 20% günstiger waren, aber dann hast du nur 3 GBit/s Netzwerk statt 400 GBit/s. Für verteiltes Training ist das ein K.O.-Kriterium. Achte auf diese Punkte:
- Interconnect: Brauchst du NVLink für Multi-GPU? Oder reicht Ethernet? Für h100 cluster mieten für llm ist NVLink-Switching oft Pflicht.
- Speicher: Lokale NVMe-SSDs sind wichtig, wenn du mit großen Datensätzen arbeitest. Manche Anbieter geben dir nur 200 GB, das ist zu wenig.
- Regionale Verfügbarkeit: EU-Datenschutz? Dann musst du auf einen europäischen Standort achten. Das treibt den Preis.
- Abrechnungsmodell: Sekundengenaue Abrechnung ist gut für Inference, aber für Training meist egal. Achte darauf, ob die Stunde bei 60 Minuten oder bei 30 Minuten anfängt.
Ein Tipp aus der Praxis: Mach einen kurzen Benchmark, bevor du dich langfristig bindest. Starte eine Instanz für eine Stunde, trainiere ein kleines Modell und miss die tatsächliche Token-Ausgabe. Oft weichen die realen Werte stark von den Marketing-Zahlen ab.
H100 mieten für Inference: Was sich lohnt und was nicht
Beim h100 mieten für inference ist die Rechnung anders als beim Training. Inference ist oft latenzkritisch, aber du hast weniger konstante Auslastung. Wenn du eine API für Kunden betreibst, willst du eine garantierte Kapazität – also eher On-Demand oder Reserved. Aber wenn du nur ab und zu Batch-Inference für eine Datenanalyse machst, dann nimm eine Spot-Instanz. Die Kosten pro Token sind bei der H100 deutlich niedriger als bei älteren GPUs, weil du mit FP8 und TensorRT hohe Durchsätze erreichst. Ein Beispiel: Ein 13B-Modell kann auf einer H100 mit Batch-Größe 32 etwa 1.500 Tokens pro Sekunde verarbeiten. Das reicht für viele Use-Cases. Aber für kleine Modelle (unter 1B) ist die H100 overkill – da reicht eine L4 oder sogar eine CPU. Überleg also genau, ob du wirklich eine H100 brauchst.
H100 Cluster mieten für LLM: Skalierung und Kostenfallen
Für größere Modelle ab 30B kommst du um einen Cluster nicht herum. H100 cluster mieten für llm bedeutet aber auch, dass du dich mit verteiltem Training auskennst. Die meisten Anbieter vermieten 8-GPU-Knoten mit NVLink, aber die Netzwerk-Topologie zwischen den Knoten ist entscheidend. Wenn du 4 Knoten (also 32 GPUs) mietest, brauchst du einen nicht-blockierenden Switch mit mindestens 400 GBit/s. Sonst skaliert dein Training nicht linear – und du zahlst für Leerlauf. Kostenfallen sind auch die Speicherpreise: Viele Anbieter verlangen das Fünffache pro GB, wenn du Daten länger als 24 Stunden auf dem Cluster speicherst. Ich habe schon mal 300 Euro extra gezahlt, nur weil das Checkpoint-Archiv auf dem Cluster liegen geblieben ist. Plane also einen Transfer zu S3 oder einen billigeren Storage ein. Und: Prüfe, ob der Anbieter eine garantierte Verfügbarkeit gibt. Bei Spot-Anbietern kann der ganze Cluster nach 3 Stunden gekillt werden – das ist für ein 20-Stunden-Training ein Desaster.
H100 für KI-Training mieten: Ein realistischer Workflow
Wenn du h100 für ki training mieten willst, geh systematisch vor. Ich starte immer mit einer einzelnen H100 für 1-2 Stunden, um den Datensatz und das Datenloading zu testen. Dann skaliere ich auf einen 8-GPU-Knoten und checke die Skalierungseffizienz. Erst wenn alles passt, buche ich einen Cluster für die volle Trainingszeit. Das klingt offensichtlich, aber ich habe schon zu viele Kollegen gesehen, die direkt einen Cluster für 24 Stunden buchen und dann feststellen, dass ihr Code nicht mit DDP funktioniert. Bei der Anbieterauswahl achte ich auch auf den Support – nicht auf den Vertrieb, sondern auf den technischen Ansprechpartner. Ein guter Anbieter gibt dir direkt die Kontaktdaten eines Engineers, der dir bei CUDA-Problemen hilft. Die großen Hyperscaler sind da oft schwerfällig. Und noch ein Punkt: Die Kosten für das Hochladen der Daten werden gerne unterschätzt. Bei 500 GB Datensatz und einer langsamen Upload-Verbindung kann das Stunden dauern – das kostet dich zwar nicht direkt, aber es verzögert deinen Start.
So entscheidest du dich richtig: On-Demand, Reserved oder Spot
Die Entscheidung hängt von deinem Workload ab. Für einmalige Trainingsläufe ist On-Demand die sicherste Wahl, auch wenn du mehr zahlst. Für wiederkehrende Trainings (z.B. wöchentliches Fine-Tuning) ist Reserved deutlich günstiger – du sparst oft 30-40%. Für unterbrechbare Jobs wie Hyperparameter-Suche oder Batch-Inference sind Spot-Instanzen ideal, aber du musst Checkpoints einplanen. Ein Beispiel: Ich trainiere ein kleines Modell (1B) jede Woche für 2 Stunden. Mit On-Demand zahle ich 8 Euro pro Woche – im Monat also 32 Euro. Mit Reserved sind es vielleicht 22 Euro im Monat, aber ich bin an einen Anbieter gebunden. Wenn die Preise woanders fallen, habe ich Pech. Deshalb: Kalkuliere nicht nur den Stundenpreis, sondern auch die Wechselkosten und die Flexibilität.
Am Ende kommt es auf deine genaue Situation an. Der h100 cloud mieten vergleich zeigt dir die Preisspanne, aber die Entscheidung hängt von deinen Prioritäten ab: maximale Performance, minimale Kosten oder maximale Flexibilität. Ich habe mich inzwischen auf einen spezialisierten ML-Anbieter eingeschossen, der ein gutes Preis-Leistungs-Verhältnis bietet und technisch kompetent ist. Aber das ist nur meine Erfahrung – du musst deine eigenen Benchmarks machen. Wenn du einmal den Dreh raus hast, ist das Mieten einer H100 kein großes Drama. Aber ohne die obigen Überlegungen wirst du wahrscheinlich zu viel zahlen – oder in einem miesen Moment ohne GPU dastehen.