LiteLLM

Was es ist

LiteLLM ist ein Open-Source-LLM-Gateway von BerriAI, einem Y-Combinator-Unternehmen. Es gibt zwei Formen: ein Python-SDK, das jedes Modell im OpenAI-Request-Format aufruft, und einen Proxy-Server (das „AI Gateway“), der zwischen Ihren Apps und Ihren Modellanbietern sitzt. Alle Teams rufen einen einzigen OpenAI-kompatiblen Endpoint auf; der Proxy hält die echten Anbieter-Keys, vergibt virtuelle Keys pro Team oder Agent, setzt Budgets und Rate Limits durch, schaltet bei Ausfällen auf andere Anbieter um und protokolliert die Kosten jedes Aufrufs. Die Startseite nennt 140+ Anbieter und rund 1.900 Modelle; die Dokumentation spricht noch von 100+. Der Kern steht unter MIT-Lizenz. Eine kostenpflichtige Enterprise-Lizenz schaltet Governance-Funktionen auf demselben Image frei.

Die Ops-Frage, die es beantwortet: Fünf Teams rufen OpenAI, Anthropic und Bedrock mit Keys auf, die in n8n-Flows, Skripten und Claude Code-Konfigurationen stecken, das Finanzteam sieht nicht, wer was ausgegeben hat, und einen geleakten Key zu widerrufen heißt, ihn in jedem Tool zu suchen.

Die Sicherheitsbilanz 2026

Das muss ein Käufer zuerst wissen, deshalb steht es vor den Funktionen.

24. März 2026. Die Versionen 1.82.7 und 1.82.8 auf PyPI enthielten etwa 40 Minuten lang einen Credential Stealer, bevor PyPI sie in Quarantäne nahm. LiteLLM führte das auf einen nicht gepinnten Trivy-Scanner in der CI zurück, der statische Publishing-Credentials offenlegte. Das offizielle Proxy-Docker-Image war nicht betroffen. Releases wurden pausiert, Mandiant wurde hinzugezogen, und v1.83.0 erschien am 30. März über eine neu aufgebaute Pipeline mit Trusted Publishing und cosign-Signatur.

21. Oktober 2026. Version 1.107.0 wurde erneut kompromittiert, diesmal auf PyPI (etwa zwei Stunden) und in den Proxy-Images auf Docker Hub und GHCR, einschließlich der Tags latest und main-stable. Der Payload stahl Cloud-Credentials und jeden in der Proxy-Datenbank gespeicherten Anbieter-Key und installierte einen Remote-Code-Loader. Laut Root-Cause-Post vom 23. Oktober wurde ein im Mai in einem öffentlichen Repo geleakter Admin-Key nie widerrufen; der Angreifer gelangte darüber an das GitHub-Token eines Org-Owners und richtete die echte, signierende Release-Pipeline auf einen Fork mit fast identischem Namen. Trusted Publishing und Signatur funktionierten wie vorgesehen und halfen trotzdem nicht, weil der Angreifer Owner-Rechte hatte. Enterprise-Kunden auf der privaten Registry waren nicht betroffen. Die sichere Version zum Pinnen war 1.106.2; saubere Releases mit rotiertem cosign-Key folgten ab dem 24. Oktober.

Das Follow-up vom 30. Oktober listet datierte Maßnahmen: Ein einziger, an Hardware gebundener Release-Freigeber und an Splunk gestreamte Audit-Logs sind umgesetzt; phishing-resistente MFA und Secret Scanning bis 30. November; ein externer Verifier, der abweichende Artefakte automatisch zurückzieht, bis 31. Dezember. Das Projekt lebt und liefert (1.108.4 erschien am 9. November), aber das sind Pläne, keine Erfolgsbilanz.

Was Sie tatsächlich kaufen

Open Source, kostenlos. SDK und Proxy mit virtuellen Keys, Budgets und RPM/TPM-Limits pro Key, Kostentracking, Admin UI, Load Balancing und Fallbacks, dem Guardrail-Framework, PII-Maskierung mit Presidio, einem MCP-Gateway sowie Logging-Callbacks zu Langfuse, LangSmith, Arize Phoenix und OpenTelemetry. SSO für die Admin UI ist bis 5 Nutzer kostenlos.

Enterprise-Lizenz. Ein LITELLM_LICENSE-Key auf demselben Image plus Zugang zur privaten Release-Registry. Hinzu kommen SSO über 5 Nutzer hinaus, SCIM, JWT-Auth, Audit-Logs mit Aufbewahrung, RBAC über Organisationen und Teams, Secret-Manager-Backends (AWS, Azure, Google, HashiCorp Vault, CyberArk), IP-Allowlists, Key-Rotation, Budgets pro Tag und pro Modell, Logging-Steuerung pro Team, lizenzierte Guardrail-Integrationen wie die Prompt-Injection-Prüfung von Lakera sowie Support-SLAs (Sev 0 in 1 Stunde; Sicherheitspatches in 72 Stunden).

Preise

Geprüft am 2026-11-10 auf litellm.ai und docs.litellm.ai. Open Source kostet $0. Für Enterprise gibt es keinen veröffentlichten Preis: Laut Dokumentation „hängt der Preis von der Größe Ihres Deployments ab“, er wird nur auf Anfrage angeboten, direkt, per Rechnung oder über AWS und Azure Marketplace verkauft, mit einem 30-Tage-Trial-Key im Self-Service. LiteLLM selbst richtet Enterprise an Teams mit 100+ Nutzern oder 10+ produktiven KI-Anwendungsfällen. Drittanbieter-Guides wiederholen weiterhin eine Zahl von rund $30.000/Jahr aus dem Launch 2024; behandeln Sie sie als unbestätigten Anker für die Budgetplanung, nicht als Angebot.

Die echten Kosten der kostenlosen Stufe sind Menschen: eine Postgres-Datenbank, Redis für Rate Limits über mehrere Instanzen und ein Engineer, der Upgrades und Incident Response verantwortet. Planen Sie einen Bruchteil eines Platform Engineers ein, bevor Sie es kostenlos nennen.

Ideal für

Ein Platform- oder RevOps-Engineering-Team, das bereits Container betreibt, einen zentralen Ort braucht, um Modell-Keys über mehrere Anbieter auszugeben, zu deckeln und zu widerrufen, und das Gateway aus Gründen der Datenresidenz in der eigenen VPC betreiben will. Für ein Unternehmen, das es zur Produktionsabhängigkeit gemacht hat, ist Enterprise jetzt die vernünftige Stufe, vor allem wegen der privaten Registry, die der Oktober-Kompromittierung entgangen ist.

Nicht für

Ein Team ohne Bereitschaft für Infrastruktur; ein gemanagtes Gateway kostet weniger als ein missglücktes Upgrade. Nicht für ein Unternehmen mit nur einem Anbieter: Wenn jeder Aufruf an Bedrock oder Azure geht, erledigen deren native Quotas und IAM das meiste bereits. Und nicht als Observability-Schicht: Es protokolliert Kosten, aber Traces und Evals gehören in Langfuse oder LangSmith.

Im Vergleich zu den Alternativen

• Amazon Bedrock oder Microsoft Foundry — wählen Sie die Modellplattform Ihrer Cloud, wenn 80%+ der Aufrufe ohnehin über eine Cloud laufen und IAM Ihre Zugriffskontrolle ist.
• OpenRouter — die am schnellsten wachsende gehostete Option, inzwischen im Besitz von Stripe. Wählen Sie sie, wenn Sie eine Rechnung für Hunderte Modelle und keine Infrastruktur wollen und einen Dritten im Request-Pfad akzeptieren.
• Portkey — Open-Source-Gateway mit gehosteter Control Plane, im Mai 2026 von Palo Alto Networks übernommen und in Prisma AIRS integriert. Wählen Sie es, wenn Ihr Security-Team ohnehin bei Palo Alto kauft.
• Kong AI Gateway oder Cloudflare AI Gateway — wählen Sie diese, wenn der Anbieter bereits vor Ihren APIs steht und Sie den Modell-Traffic unter dieselben Policies stellen wollen.
• Für Traffic von Agenten zu Tools statt zu Modellen steuert Runlayer MCP-Server; das MCP-Gateway von LiteLLM ist schlanker.

Ist selbst gehostetes LiteLLM also noch sicher? Das Problem ist nicht der Code, sondern war der Release-Kanal, zweimal in sieben Monaten. Behalten Sie es, wenn Sie Versionen pinnen, Signaturen prüfen und den Schadensradius begrenzen können. Andernfalls zahlen Sie für Enterprise oder wechseln zu einem gemanagten Gateway.

Worauf Sie achten sollten

• Floating Tags zogen die Oktober-Malware. Wer latest oder main-stable deployte, hatte das schädliche Image binnen Minuten. Absicherung: Pinnen Sie exakte Versionen per Image-Digest, prüfen Sie cosign-Signaturen gegen den rotierten Key und warten Sie nach einem Release 48 Stunden, bevor Sie es in Produktion übernehmen.
• Die Proxy-Datenbank ist ein Tresor mit allen Anbieter-Keys. Genau das hat der Oktober-Payload gestohlen. Absicherung: Legen Sie Anbieter-Keys in einem Secret Manager statt in der Proxy-Datenbank ab (eine Enterprise-Funktion), geben Sie dem Proxy-Host IAM nach dem Least-Privilege-Prinzip ohne breite Cloud-Rolle und beschränken Sie seinen ausgehenden Traffic auf die Endpoints Ihrer Anbieter.
• Die Rotation nach einem Vorfall ist umfangreich. Die Bereinigung hieß: IAM-Rolle des Hosts, jeden gespeicherten Anbieter-Key, den Master-Key, alle virtuellen Keys und das Datenbankpasswort rotieren. Absicherung: Skripten und üben Sie die Key-Rotation einmal pro Quartal, damit ein Vorfall eine Stunde dauert, nicht eine Woche.
• Kostenloses SSO endet bei 5 Nutzern. Darüber hinaus braucht der Admin-UI-Zugang die Lizenz. Absicherung: Beschränken Sie die Admin UI auf das Platform-Team und geben Sie allen anderen virtuelle Keys, oder budgetieren Sie Enterprise, bevor der sechste Admin Zugang braucht.