Cloud GPU mieten: Der pragmatische Leitfaden für ML-Teams

Warum Cloud-GPUs mieten statt kaufen?

Wenn du ein ML-Team leitest oder allein an einem Modell trainierst, kennst du das Problem: Hardware ist teuer, veraltet schnell und bindet Kapital. Cloud GPU mieten umgeht genau diese Punkte. Du zahlst nur für die Stunden, die du wirklich nutzt – und kannst zwischen H100, A100 oder L40S wechseln, ohne ein Vermögen in Gehäuse und Kühlung zu stecken. Gerade für Cloud GPU für KI-Projekte mieten ist das ideal: Experimente, Fine-Tuning oder Inference-Spikes skalierst du einfach hoch und runter.

In Berlin habe ich schon mit Teams gearbeitet, die monatelang eine lokale Workstation mit zwei GPUs betrieben haben – bis die erste Batch-Normalisierung länger dauerte als der Kaffee danach. Der Umstieg auf Miet-Instanzen hat nicht nur die Wartezeit verkürzt, sondern auch die Planung vereinfacht. Du musst nicht mehr raten, wie viel VRAM dein nächstes Modell braucht, sondern mietest einfach eine größere GPU für ein paar Stunden.

Die wichtigsten Anbieter und Preismodelle

Es gibt zwei grundsätzliche Modelle: On-Demand-Instanzen mit festem Stundenpreis und Spot-Instanzen, die günstiger sind, aber unterbrochen werden können. Für GPU stundenweise in der Cloud mieten eignen sich On-Demand am besten, wenn du planbare Trainingsläufe hast. Spot ist eine Option für Experimente mit Checkpointing, aber nicht für kritische Produktion.

Die Preise variieren stark je nach Region und Anbieter. Eine A100 mit 80 GB VRAM kostet je nach Anbieter zwischen 1,50 und 3,00 US-Dollar pro Stunde. H100-GPUs liegen höher, oft zwischen 2,50 und 4,50 US-Dollar. Wichtig: Achte auf versteckte Kosten wie Datenübertragung oder Speicher. Manche Anbieter locken mit niedrigen GPU-Preisen, aber hohen Egress-Gebühren.

Ein praktischer Tipp: Prüfe, ob der Anbieter Cloud GPU mieten ohne Mindestlaufzeit erlaubt. Das ist nicht selbstverständlich – einige Plattformen verlangen mindestens 24 Stunden oder eine wöchentliche Buchung. Für schnelle Tests ist das unnötig. Ich habe selbst schon für 30 Minuten eine kleine GPU gemietet, nur um einen Batch zu validieren – das sollte überall möglich sein.

Wie du die richtige GPU für dein Training wählst

Nicht jedes Modell braucht eine H100. Für viele NLP-Aufgaben reicht eine A100 oder sogar eine L4. Die Entscheidung hängt von drei Faktoren ab: Modellgröße, Batch-Size und ob du LoRA oder volles Fine-Tuning machst. Bei LoRA kommst du oft mit 24 GB VRAM aus, während ein 7B-Modell mit vollem Training eher 80 GB braucht.

Ein Beispiel: Wenn du ein Llama-3-8B-Modell mit QLoRA auf einem Datensatz mit 10.000 Beispielen trainierst, brauchst du vielleicht 4-6 Stunden auf einer A100. Das kostet dich etwa 10-15 Euro. Mit günstige Cloud GPU für Machine Learning kommst du also oft günstiger weg, als du denkst – vorausgesetzt, du wählst die richtige Instanzgröße und optimierst dein Training.

Was die Anbieter unterscheidet

Neben dem reinen GPU-Preis spielen auch die Umgebung eine Rolle. Manche Plattformen bieten vorkonfigurierte Docker-Images mit PyTorch und CUDA, andere erwarten, dass du alles selbst einrichtest. Als Praktiker schätze ich Plattformen, die Jupyter-Lab direkt starten – das spart Zeit bei der Fehlersuche. Für Produktiv-Workloads sind dagegen Kubernetes-Integrationen wichtiger.

Ein weiterer Punkt ist die Verfügbarkeit. Große Anbieter wie AWS oder GCP haben fast immer Kapazität, aber die Preise sind höher. Spezialisierte GPU-Clouds sind oft günstiger, haben aber manchmal nur begrenzte Regionen. Ich habe beides genutzt: Für GPU Cloud für Startups mieten sind spezialisierte Anbieter oft attraktiver, weil sie flexible Stundentarife und einfache Abrechnung bieten.

Stundenweise mieten: Wann sich das lohnt

Das Schöne an der Cloud ist die Granularität. Du kannst eine GPU für 10 Minuten mieten, um einen Forward-Pass zu testen, oder für 100 Stunden, um ein Modell zu trainieren. Die Abrechnung erfolgt meist sekundengenau oder minutengenau – aber nicht immer. Manche Anbieter runden auf die volle Stunde auf. Das ist ein Detail, das du vorher prüfen solltest.

Ein häufiger Fehler: Ich habe einmal eine Instanz für ein langes Training laufen lassen, ohne den Spot-Preis zu prüfen. Am Ende zahlte ich 30 % mehr als nötig, weil On-Demand gebucht war. Für Cloud GPU für Deep Learning Training mieten solltest du also immer die Preismodelle vergleichen. Spot-Instanzen sind oft 60-70 % günstiger, aber nur sinnvoll, wenn du Checkpoints regelmäßig speicherst.

Und noch ein Tipp aus der Praxis: Setze ein Budget-Limit in deinem Anbieter-Dashboard. Ich habe schon Teams gesehen, die über Nacht vergessen haben, Instanzen zu stoppen – das wird teuer. Automatisierte Stopps nach X Stunden sind Gold wert.

Erfahrungen aus der Praxis: Was hat funktioniert?

Ich habe Cloud GPU mieten Erfahrungen mit mehreren Anbietern gesammelt. Bei einem großen Hyperscaler lief das Training stabil, aber die Konfiguration der Netzwerk-Sicherheitsgruppen hat mich einen halben Tag gekostet. Bei einem spezialisierten Anbieter war der Einstieg einfacher – ein Klick, und die GPU lief mit CUDA 12.1 und PyTorch 2.1. Die Preise waren ähnlich, aber die Benutzerfreundlichkeit machte den Unterschied.

Ein anderes Beispiel: Ein Startup aus Berlin musste für einen Kunden ein Modell für Inferenz in Echtzeit bereitstellen. Statt eine teure Dauerinstanz zu mieten, nutzten sie NVIDIA GPU in der Cloud mieten mit Auto-Scaling. Die Kosten fielen auf ein Drittel, weil die Instanzen nur bei Anfragen hochfuhren. Das ist der eigentliche Vorteil der Cloud – du zahlst für Nutzung, nicht für Vorhaltung.

Häufige Fehler beim Mieten von Cloud-GPUs

Der größte Fehler ist, die VRAM-Anforderungen zu unterschätzen. Ich habe selbst schon eine 24-GB-GPU gemietet und dann festgestellt, dass das Modell mit Batch-Size 4 nicht in den Speicher passt. Das kostet Zeit und Geld. Rechne vorher mit torch.cuda.max_memory_allocated() oder schätze mit der Parameteranzahl.

Ein weiterer Fehler: Die Wahl der Region. Eine GPU in Frankfurt ist teurer als in Iowa, aber die Latenz für europäische Nutzer ist besser. Für Training ist die Region egal, für Inferenz nicht. Wenn du also GPU stundenweise in der Cloud mieten willst, überlege dir, wo deine Nutzer sind.

Und schließlich: Nicht jeder Anbieter unterstützt alle Bibliotheken. Manche haben veraltete Treiber oder kein NCCL für Multi-GPU-Training. Prüfe die Dokumentation, bevor du dich festlegst.

Fazit: Was ist der beste Einstieg?

Wenn du noch nie Cloud-GPUs gemietet hast, starte mit einer kleinen Instanz (z. B. A10 oder L4) für ein Testprojekt. Mache dir mit dem Workflow vertraut, bevor du teure H100-Stunden buchst. Vergleiche die Stundenpreise und achte auf Mindestlaufzeiten. Für die meisten ML-Projekte ist Cloud GPU mieten ohne Mindestlaufzeit der flexibelste Weg – du bleibst agil und zahlst nur, was du brauchst.

Denk daran: Die Cloud ist ein Werkzeug, kein Selbstzweck. Plane deine Trainingsläufe, nutze Checkpoints, und stoppe Instanzen, wenn sie nicht gebraucht werden. Dann ist Mieten fast immer günstiger und effizienter als Kaufen.