KI Server mieten in Deutschland: Welche GPU passt zu deinem Projekt?

Wer die IT eines kleinen oder mittleren Unternehmens in Deutschland verantwortet und einen KI-Server mieten möchte, muss Rechenleistung, sensible Firmendaten und Budget zusammenbringen. Soll künstliche Intelligenz (KI) interne Dokumente auswerten oder Fehler in Produktbildern erkennen, helfen drei Entscheidungen: passende Serverhardware, klar geregelter Betrieb und vergleichbare Gesamtkosten.

KI Server mieten: Erst das Projekt, dann die GPU

Halte vor der Angebotsanfrage fest: Welches KI-Modell soll laufen, wie viele Menschen nutzen es gleichzeitig und welche Antwortzeit brauchen sie? Ein KI-Dokumentenassistent beantwortet etwa Fragen zu internen Handbüchern, indem er ein vorhandenes Modell anwendet (Inferenz). Mit Fine-Tuning trainierst du das Modell durch maschinelles Lernen (Machine Learning) mit zusätzlichen Daten weiter. Diese Aufgaben können unterschiedliche Hardware verlangen.

Ein NVIDIA-Fachbeitrag vom 1. September 2026 nennt unter anderem Modell, gleichzeitige Anfragen und Ein-/Ausgabelänge als Planungsgrößen. Für deine Servermiete folgt daraus: Vereinbare einen Lasttest mit deinem Modell und realistischen Anfragen. So prüfst du, ob die angebotene Hardware ausreicht, bevor du dich vertraglich bindest.

Die Windows-Tweaks-Redaktion hat dafür NVIDIA-Datenblätter, Systemdaten und Happywares Leistungsbeschreibungen abgeglichen (Stand: 9. Oktober 2026). Daraus leiten wir GPU-Kandidaten und Prüfkriterien ab; die Speicher- und Stromrechnungen sind transparente Beispiele.

Welche NVIDIA-GPU passt zu welchem KI-Projekt?

Die GPU ist der Grafikprozessor, der viele KI-Berechnungen beschleunigt. Ihr Speicher, der VRAM, muss Modellgewichte, Zwischenspeicher für den Kontext und parallele Anfragen aufnehmen. Rechenbeispiel: Ein Modell mit 8 Milliarden Parametern benötigt bei 4-Bit-Quantisierung – einer reduzierten Zahlengenauigkeit – rund 8 Mrd. × 4 Bit ÷ 8 = 4 GB allein für die Gewichte. Laufzeit und Kontext brauchen zusätzlichen Speicher. Ob das Modell passt und schnell genug antwortet, zeigt der Lasttest.

• KI-Dokumentenassistent oder kleinere KI-Bildprüfung: Die NVIDIA L4 mit 24 GB und 72 W Leistungsbudget ist ein sparsamer Kandidat für kleine Inferenzprojekte.
• Mehr Nutzer oder längere Dokumente: L40S und RTX 6000 Ada bieten je 48 GB. Die L40S ist eine Rechenzentrumskarte; die RTX 6000 Ada eine Workstationkarte. Letztere kommt nur in einem dafür freigegebenen Server infrage, etwa dem Supermicro SYS-521GE-TNRT.
• Größere Modelle oder mehrere KI-Dienste: Die RTX PRO 6000 Blackwell Server Edition bietet 96 GB GDDR7. Per MIG lässt sie sich in bis zu vier getrennte GPU-Instanzen aufteilen; ihr Leistungsbudget reicht bis 600 W.
• Training, anspruchsvolles Fine-Tuning und hohe Last: H100 SXM mit 80 GB und H200 mit 141 GB sind Kandidaten für größere Trainings- und Inferenzlasten. Kleines Fine-Tuning erfordert nicht automatisch diese Klasse.

Diese Zuordnung ist eine Vorauswahl, keine Leistungsgarantie. Addiere den VRAM mehrerer Karten nicht einfach: Die Software muss das Modell verteilen; die Verbindung zwischen den GPUs, etwa NVLink, beeinflusst die Geschwindigkeit. Achte auf die Variante: H100 SXM hat 80 GB, H100 NVL 94 GB je GPU.

CPU, RAM und GPU-Server: Welche Konfiguration brauchst du?

CPU, Arbeitsspeicher und NVMe-Speicher müssen die GPU mit Dokumenten, Bildern und Datensätzen versorgen. Zwei Systeme aus Happywares Katalog zeigen mögliche Ausbaustufen, keine Mindestgröße für KMU:

• GIGABYTE XV23-ZU0-AAJ1 Rev. 3.x: zwei Höheneinheiten, ein AMD-EPYC-9005/9004-Prozessor und bis zu vier PCIe-GPUs. Der Katalog nennt vier H200 NVL in zwei NVLink-Paaren bei 25 °C Umgebungstemperatur und einheitlichem GPU-Modell.
• Supermicro SYS-521GE-TNRT: fünf Höheneinheiten, zwei Intel Xeon, bis zu zehn GPUs und optionale NVLink-Bridge. Happyware führt unter anderem H100, L40S und RTX 6000 Ada als unterstützte PCIe-GPUs.

Frage nach der Kartenzahl, die dein Test tatsächlich verlangt. Lass die Kombination aus GPU, Server, Kühlung und Netzteil bestätigen. PCIe-Karten und SXM-Module sind unterschiedliche Bauformen und nicht austauschbar. Die Übersicht GPU-Server für unterschiedliche KI-Workloads zeigt weitere Konfigurationen. Ob das konkrete System vermietet wird und verfügbar ist, muss das Angebot bestätigen.

Den gemieteten KI-Server vor Ort oder im Rechenzentrum betreiben?

Der Betriebsort entscheidet mit darüber, welche Aufgaben dein IT-Team übernimmt:

• Eigener Serverraum: Du organisierst Stromversorgung, Kühlung und Wartung.
• Gehosteter Server im Rechenzentrum: Der Anbieter stellt Infrastruktur; technische Arbeiten vor Ort können als Remote-Hands-Service vereinbart werden.
• Managed Private Cloud: Ein Dienstleister betreibt die Umgebung. Welche Updates, Backups und Störungsarbeiten enthalten sind, regelt der Vertrag.

Der KI-Server-Anbieter Happyware nennt Kauf, Miete und Leasing als Beschaffungsoptionen. Die Mietseite beschreibt individuell konfigurierte Server einschließlich GPU-Servern sowie Rechenzentrumsleistungen; die Cloud-Seite nennt On-Premise und Managed Private Cloud. Ein dedizierter Mietserver ist deshalb nicht automatisch eine stundenweise buchbare GPU-Cloud.

Ein deutscher Vertragspartner garantiert keinen deutschen Datenstandort. Vereinbare Standorte von Server und Backups sowie Zugriffsrechte und Support-Zugriffe schriftlich. Bei Verarbeitung personenbezogener Daten im Auftrag gehört ein Auftragsverarbeitungsvertrag dazu; der Standort allein erfüllt nicht die DSGVO. Die grundsätzliche Hostingwahl erläutert unser Ratgeber zum dedizierten Server mieten.

Für serverseitige KI-Berechnungen benötigen vorhandene Windows-Arbeitsplätze keine leistungsfähige lokale GPU. Hat die Anwendung eine Weboberfläche, können Mitarbeitende sie im Browser nutzen. Entwickler arbeiten beispielsweise per VS Code Remote-SSH auf einem Linux-GPU-Server. Für die Windows-Umgebung drumherum hilft unser Guide zur Windows-Server-2025-Administration.

Was kostet es, einen KI-Server zu mieten?

Für die genannten GPU-Konfigurationen nennen Happywares geprüfte Seiten keinen festen Miettarif. Fordere deshalb ein Angebot an, das Hardware und Leistungen einzeln ausweist. Für einen Vergleich der Beschaffungsmodelle für Server-Hardware brauchst du folgende Angaben:

• ganze dedizierte GPU oder Teilinstanz, CPU, RAM und NVMe-Ausbau;
• Einrichtung, Vertragslaufzeit, Kündigung und Konfigurationswechsel;
• Betreuung, Reaktionszeiten bei Störungen und Hardwareaustausch;
• Softwarelizenzen, etwa NVIDIA AI Enterprise, sowie Strom und Datenverkehr.

Miete und Leasing sind unterschiedliche Vertragsmodelle. Prüfe jeweils, welche Leistungen enthalten sind und welche Regeln für Rückgabe oder Übernahme gelten. Keines der beiden Modelle ist automatisch flexibel.

Vergleiche Monatsrate × Vertragsmonate + einmalige Einrichtung + zusätzliche Betriebskosten über denselben Zeitraum. Bei schwankender Nutzung sollte nicht jede seltene Lastspitze eine größere Dauermiete auslösen. Der NVIDIA-Beitrag empfiehlt, feste Grundlast und flexible Zusatzkapazität zu trennen; Datenstandort und Betriebsregeln müssen dabei weiter passen.

Unsere Strom-Musterrechnung verwendet frei angenommene Werte, keine Messung und keinen Happyware-Tarif: 0,8 kW durchschnittliche Leistung des Gesamtsystems × 220 Betriebsstunden × 0,30 € netto/kWh ergeben 52,80 € netto. Bei 730 Stunden und gleicher mittlerer Leistung sind es 175,20 € netto. Das sind ausschließlich Stromkosten, keine Server-Monatsraten.

Rechne mit gemessenem Durchschnittsverbrauch, nicht mit der Netzteil-Nennleistung. Beim 220-Stunden-Beispiel kommt Leerlauf außerhalb dieser Zeit hinzu; im durchgehend gemittelten Dauerbetrieb ist er enthalten. Raumkühlung separat kalkulieren, bereits enthaltenen Hosting-Strom nicht doppelt ansetzen. Weitere Prüfpunkte bietet unsere Checkliste zum EU-Energielabel für Rechenzentren.

Häufige Fragen zum KI-Server mieten

Fazit: KI-Server nach Bedarf mieten, nicht nach Modellname

Für kleinere KI-Anwendungen prüfst du L4 oder 48-GB-Karten, bei höherem Speicherbedarf größere GPU-Klassen. Stelle für die Angebotsanfrage ein Projektprofil zusammen: KI-Modell, gleichzeitige Nutzer, gewünschte Antwortzeit, Datenstandort, Laufzeit und Betreuungsbedarf. Lass die Konfiguration unter realistischer Last prüfen und vergleiche vollständige Angebote. So verbindest du die Hardwareauswahl mit einer konkreten Mietentscheidung.