Hetzner startet eigene KI-Inference-API: Open-Source-Modelle kostenlos per API nutzen

Besonders interessant ist das Angebot für Entwickler, Unternehmen und technisch interessierte Nutzer, die KI-Modelle in eigene Anwendungen integrieren möchten, ohne dafür zwingend auf APIs von OpenAI, Google oder Anthropic zurückgreifen zu müssen.

Was bietet Hetzner mit der Inference API an?

Hetzner betreibt verschiedene Large Language Models auf eigener Hardware und stellt diese über eine OpenAI-kompatible REST-API zur Verfügung.

Das bedeutet: Anwendungen, die bereits mit der OpenAI API arbeiten oder einen OpenAI-kompatiblen Endpunkt unterstützen, können vergleichsweise einfach auch mit Hetzner verbunden werden.

Die API-Adresse lautet:

https://inference.hetzner.com/api/v1

Unterstützt werden derzeit unter anderem die typischen Endpunkte:

• /v1/models
• /v1/completions
• /v1/chat/completions

Damit lässt sich die API beispielsweise in eigene Software, KI-Assistenten, Coding-Tools oder Chat-Oberflächen integrieren.

Welche KI-Modelle stehen zur Verfügung?

Zum Start des Experiments hatte Hetzner unter anderem sehr große Modelle wie DeepSeek, GLM und Kimi angeboten.

Die Nachfrage war allerdings wesentlich höher als erwartet. Teilweise erreichte die Infrastruktur ihre Kapazitätsgrenzen, sodass Hetzner die großen Modelle vorübergehend aus dem Experiment genommen hat. Das Experiment läuft seitdem mit kleineren Modellen weiter.

Aktuell nennt Hetzner unter anderem:

Qwen3.6-35B-A3B-FP8

Ein sogenanntes Mixture-of-Experts-Modell mit insgesamt rund 35 Milliarden Parametern, von denen pro Anfrage etwa 3 Milliarden aktiv sind.

Es unterstützt:

• Text
• Bilder
• bis zu 262.144 Kontext-Token

Qwen3.8-27B

Ein Dense-Modell mit rund 27 Milliarden Parametern.

Auch dieses Modell unterstützt:

• Text
• Bilder
• bis zu 262.144 Kontext-Token

Die tatsächlich verfügbaren Modelle können sich während des Experiments ändern. Hetzner empfiehlt deshalb, die aktuelle Modellliste direkt über den API-Endpunkt /v1/models abzurufen.

Was ist daran besonders?

Natürlich gibt es bereits zahlreiche Anbieter von KI-Modellen über APIs.

Der interessante Punkt bei Hetzner ist jedoch die Kombination aus europäischem Infrastruktur-Anbieter, Open-Weight-Modellen und OpenAI-kompatibler API.

Hetzner betreibt die Modelle auf eigener Infrastruktur. Im ursprünglichen Experiment bezeichnet Hetzner sein KI-Angebot ausdrücklich als vollständig EU-basiert.

Damit entsteht eine interessante Alternative für Unternehmen, die neben den großen amerikanischen KI-Anbietern weitere Modellanbieter testen möchten.

Werden meine Prompts bei Hetzner gespeichert?

Auch hier verfolgt Hetzner einen interessanten Ansatz. Nach Angaben des Unternehmens werden weder die Inhalte der Anfragen noch die Inhalte der Antworten gespeichert.

Gespeichert werden lediglich technische Nutzungsdaten, die beispielsweise für die Messung und eine mögliche spätere Abrechnung benötigt werden können. Dazu gehören etwa:

• Zeitpunkt einer Anfrage
• Anzahl der verwendeten Token
• Nutzungsmetriken

Hetzner erklärt außerdem, dass man auch zukünftig nicht plane, Prompt- oder Antwortinhalte zu speichern, sofern keine gesetzliche Verpflichtung dazu besteht.

Wichtig ist trotzdem die Abgrenzung zu einer vollständig lokalen KI: Wer die Hetzner Inference API nutzt, sendet seine Anfrage weiterhin an einen externen API-Dienst. Das Modell läuft also nicht automatisch auf dem eigenen Hetzner Cloud Server. Die Verarbeitung findet vielmehr auf der von Hetzner betriebenen Inference-Infrastruktur statt.

Ist die Hetzner KI wirklich kostenlos?

Aktuell: ja. Solange sich die Inference API im experimentellen Status befindet, stellt Hetzner die Nutzung kostenlos zur Verfügung.

Sollte daraus später ein kostenpflichtiges Angebot entstehen, will Hetzner seine Nutzer vorab informieren.

Es handelt sich allerdings ausdrücklich um ein Experiment. Hetzner garantiert derzeit weder bestimmte Leistungswerte noch eine dauerhafte Verfügbarkeit und empfiehlt den Dienst aktuell nicht für produktionskritische Anwendungen.

Wie kann ich die Hetzner Inference API selbst ausprobieren?

Der Einstieg ist vergleichsweise einfach.

1. Bei Hetzner Experiments anmelden

Als Erstes öffnet man die Hetzner Experiments Platform unter experiments.hetzner.com. Dort kann im Bereich Inference ein eigener API-Token generiert werden. Hetzner beschreibt genau diesen Ablauf auch in seinen offiziellen Tutorials.

2. API-Token erstellen

Im Bereich Inference wählt man Create API Token. Anschließend erhält man einen Token, mit dem Anwendungen gegenüber der Hetzner API authentifiziert werden können.

3. Modell auswählen

Welche Modelle aktuell verfügbar sind, lässt sich direkt über die API abfragen. Zum Beispiel:

curl https://inference.hetzner.com/api/v1/models \
  -H "Authorization: Bearer DEIN_API_TOKEN"

Die API liefert anschließend die momentan verfügbaren Modelle zurück.

Eine erste KI-Anfrage senden

Wer bereits mit REST-APIs arbeitet, kann direkt eine Chat-Anfrage senden:

curl https://inference.hetzner.com/api/v1/chat/completions \
  -H "Authorization: Bearer DEIN_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{
  "model": "Qwen/Qwen3.6-35B-A3B-FP8",
  "messages": [
    {
      "role": "user",
      "content": "Erkläre mir künstliche Intelligenz in drei Sätzen."
    }
  ]
}'

Damit wird die Frage nicht an ChatGPT oder Gemini geschickt, sondern an das ausgewählte Modell auf der Hetzner-Inference-Infrastruktur.

Kann ich dafür auch eine ChatGPT-ähnliche Oberfläche verwenden?

Ja, und genau hier wird das Angebot für viele Nutzer interessant. Man muss nicht zwingend selbst eine komplette Chat-Anwendung programmieren.

Da Hetzner eine OpenAI-kompatible Schnittstelle verwendet, kann die API grundsätzlich mit Software verbunden werden, die eigene OpenAI-kompatible Anbieter unterstützt. Dazu können beispielsweise gehören:

• Open WebUI
• LibreChat
• LiteLLM
• OpenCode
• eigene KI-Anwendungen
• Agenten und Automatisierungen
• interne Unternehmens-Chatbots

Hetzner selbst zeigt beispielsweise in einem offiziellen Tutorial, wie die Inference API mit dem Coding-Agenten OpenCode verbunden werden kann.

Das Prinzip ist immer ähnlich:

Benutzer
   ↓
KI-Oberfläche / Anwendung
   ↓
Hetzner Inference API
   ↓
Open-Weight-KI-Modell

Man kann sich damit also beispielsweise eine eigene ChatGPT-ähnliche Oberfläche betreiben und dahinter statt OpenAI ein von Hetzner bereitgestelltes Modell verwenden.

Beispiel: Eigener KI-Chat auf einem Hetzner-Server

Besonders interessant wird die Kombination mit einem eigenen Server. Man könnte beispielsweise einen Hetzner Cloud Server verwenden und darauf eine Oberfläche wie Open WebUI oder LibreChat betreiben.

Die Architektur könnte dann so aussehen:

Browser
   ↓
Open WebUI / LibreChat
   ↓
eigener Hetzner Server
   ↓
Hetzner Inference API
   ↓
Qwen

Der eigene Server stellt dabei die Anwendung bereit. Die eigentliche KI-Berechnung übernimmt die zentrale Inference-Infrastruktur von Hetzner. Dadurch ist keine eigene leistungsfähige GPU notwendig.

Und was ist mit OpenAI, Azure oder Claude?

Die Systeme schließen sich gegenseitig nicht aus. Gerade in Unternehmensumgebungen kann es sinnvoll sein, mehrere Anbieter parallel einzusetzen. Beispielsweise:

Open WebUI / LibreChat
        ↓
     LiteLLM
   ↙    ↓     ↘
Azure Hetzner Anthropic
  ↓      ↓       ↓
 GPT    Qwen    Claude

Der Nutzer oder die Anwendung kann dann abhängig vom Anwendungsfall entscheiden, welches Modell verwendet werden soll.

Ein einfacherer Textauftrag könnte beispielsweise über ein Open-Weight-Modell laufen, während komplexere Aufgaben weiterhin über GPT oder Claude verarbeitet werden.

Langfristig können solche Multi-Modell-Architekturen sowohl die Abhängigkeit von einzelnen Anbietern reduzieren als auch Kosten optimieren.

Welche Einschränkungen gibt es aktuell?

Hetzner macht deutlich, dass sich das Angebot noch im Experimentierstadium befindet. Aktuell gelten pro API-Key unter anderem folgende Limits:

• maximal 10 Anfragen innerhalb von 60 Sekunden
• bis zu 4 Millionen Input-Token innerhalb von 60 Sekunden
• bis zu 100.000 Output-Token innerhalb von 60 Sekunden

Wer die Limits überschreitet, erhält den HTTP-Statuscode 429.

Für Einzelanwender, Entwickler und Tests ist das bereits interessant. Für Anwendungen mit vielen gleichzeitig aktiven Nutzern ist das aktuelle Angebot dagegen noch nicht als vollständiger Ersatz für etablierte produktive LLM-APIs gedacht.

Was hat Hetzner mit dem Experiment vor?

Hetzner bezeichnet das bisherige Experiment selbst als Erfolg. Die Nachfrage war nach dem Start deutlich größer als erwartet. Hetzner testete dabei unter anderem eigens konfigurierte Systeme mit mehreren NVIDIA RTX PRO 6000 Blackwell GPUs und arbeitete an der Optimierung des Routings und der Modellbereitstellung.

Besonders interessant ist ein weiterer Ausblick: Hetzner erwähnt, dass zukünftig auch weitere KI-Funktionen untersucht werden könnten, beispielsweise Embeddings und Re-Ranking für RAG-Systeme.

Damit würde das Angebot auch für Unternehmens-Wissenssysteme interessanter, bei denen eigene Dokumente und Daten mit KI durchsucht werden.

Fazit: Ein spannender neuer KI-Anbieter aus Deutschland

Die Hetzner Inference API ist aktuell noch kein direkter Ersatz für produktive Angebote von OpenAI, Microsoft Azure, Google oder Anthropic. Aber sie zeigt eine spannende Entwicklung.

Hetzner verfügt bereits über Rechenzentren, Server-Infrastruktur und umfangreiche Erfahrung beim Betrieb von Cloud- und GPU-Systemen. Mit der Inference API kommt nun eine weitere Ebene hinzu: KI-Modelle direkt als Dienstleistung aus der Hetzner-Infrastruktur.

Für Entwickler und Unternehmen bietet sich dadurch aktuell eine gute Möglichkeit, Open-Weight-KI kostenlos auszuprobieren und erste eigene Anwendungen damit aufzubauen.

Besonders interessant ist das Angebot für alle, die ohnehin mit OpenAI-kompatiblen APIs, Open WebUI, LibreChat, LiteLLM oder eigenen KI-Anwendungen arbeiten.

Noch befindet sich das Ganze im Experimentierstadium. Aber sollte Hetzner daraus ein dauerhaftes Produkt entwickeln, könnte hier eine interessante europäische Alternative im Markt für KI-Inference entstehen.