LiteLLM

Ce que c’est

LiteLLM est une passerelle LLM open source de BerriAI, une entreprise issue de Y Combinator. Elle existe sous deux formes : un SDK Python qui appelle n’importe quel modèle au format de requête OpenAI, et un serveur proxy (l’« AI Gateway ») placé entre vos applications et vos fournisseurs de modèles. Toutes les équipes appellent un seul endpoint compatible OpenAI ; le proxy détient les vraies clés des fournisseurs, émet des clés virtuelles par équipe ou par agent, applique budgets et limites de débit, bascule d’un fournisseur à l’autre en cas d’échec et enregistre le coût de chaque appel. La page d’accueil revendique 140+ fournisseurs et environ 1 900 modèles ; la documentation indique encore 100+. Le cœur est sous licence MIT. Une licence Enterprise payante débloque des fonctions de gouvernance sur la même image.

La question ops à laquelle elle répond : cinq équipes appellent OpenAI, Anthropic et Bedrock avec des clés collées dans des flux n8n, des scripts et des configurations Claude Code, la finance ne voit pas qui a dépensé quoi, et révoquer une clé qui a fuité oblige à la chercher dans chaque outil.

Le bilan sécurité de 2026

C’est la première chose qu’un acheteur doit savoir, c’est donc placé avant les fonctionnalités.

24 mars 2026. Les versions 1.82.7 et 1.82.8 sur PyPI ont embarqué un voleur d’identifiants pendant environ 40 minutes avant que PyPI ne les mette en quarantaine. LiteLLM l’a attribué à un scanner Trivy non épinglé dans la CI, qui exposait des identifiants de publication statiques. L’image Docker officielle du proxy n’a pas été touchée. Les releases ont été suspendues, Mandiant a été mandaté, et la v1.83.0 est sortie le 30 mars via un pipeline reconstruit avec Trusted Publishing et signature cosign.

21 octobre 2026. La version 1.107.0 a de nouveau été compromise, cette fois sur PyPI (environ deux heures) et sur les images du proxy sur Docker Hub et GHCR, y compris les tags latest et main-stable. Le payload volait les identifiants cloud et toutes les clés fournisseurs stockées dans la base de données du proxy, puis installait un chargeur de code distant. Le post d’analyse du 23 octobre indique qu’une clé d’administration exposée dans un dépôt public en mai n’avait jamais été révoquée ; l’attaquant s’en est servi pour atteindre le token GitHub d’un owner de l’organisation et a pointé le vrai pipeline de release, signé, vers un fork au nom quasi identique. Trusted Publishing et la signature ont fonctionné comme prévu sans rien empêcher, car l’attaquant avait les droits d’owner. Les clients Enterprise sur le registre privé n’ont pas été touchés. La version sûre à épingler était la 1.106.2 ; des releases saines signées avec une clé cosign renouvelée ont suivi dès le 24 octobre.

Le suivi du 30 octobre liste des correctifs datés : un approbateur de release unique lié à du matériel et des logs d’audit envoyés vers Splunk sont en place ; MFA résistante au phishing et scan des secrets d’ici le 30 novembre ; un vérificateur hors bande qui retire automatiquement les artefacts non conformes d’ici le 31 décembre. Le projet est vivant et publie (la 1.108.4 est sortie le 9 novembre), mais ce sont des plans, pas un historique.

Ce que vous achetez vraiment

Open source, gratuit. Le SDK et le proxy avec clés virtuelles, budgets et limites RPM/TPM par clé, suivi des dépenses, l’Admin UI, répartition de charge et bascules, le framework de guardrails, le masquage de PII avec Presidio, une passerelle MCP et des callbacks de logging vers Langfuse, LangSmith, Arize Phoenix et OpenTelemetry. Le SSO de l’Admin UI est gratuit jusqu’à 5 utilisateurs.

Licence Enterprise. Une clé LITELLM_LICENSE sur la même image, plus l’accès au registre de releases privé. Elle ajoute le SSO au-delà de 5 utilisateurs, SCIM, l’authentification JWT, des logs d’audit avec rétention, le RBAC par organisation et par équipe, des backends de gestionnaires de secrets (AWS, Azure, Google, HashiCorp Vault, CyberArk), des listes d’IP autorisées, la rotation des clés, des budgets par tag et par modèle, des contrôles de logging par équipe, des intégrations de guardrails sous licence comme les contrôles d’injection de prompt de Lakera, et des SLA de support (Sev 0 en 1 heure ; correctifs de sécurité en 72 heures).

Tarifs

Vérifié le 2026-11-10 sur litellm.ai et docs.litellm.ai. L’open source coûte 0 $. Enterprise n’a pas de prix publié : la documentation indique que le prix « dépend de la taille de votre déploiement » et qu’il est uniquement sur devis, vendu en direct, sur facture ou via AWS et Azure Marketplace, avec une clé d’essai de 30 jours en libre-service. LiteLLM cible elle-même Enterprise vers les équipes de 100+ utilisateurs ou 10+ cas d’usage IA en production. Des guides tiers reprennent encore un chiffre d’environ 30 000 $/an datant du lancement de 2024 ; considérez-le comme un repère non vérifié pour budgéter, pas comme un devis.

Le vrai coût de l’offre gratuite, ce sont des personnes : une base Postgres, Redis pour les limites de débit sur plusieurs instances, et un ingénieur responsable des mises à jour et de la réponse aux incidents. Prévoyez une fraction d’un ingénieur plateforme avant de parler de gratuité.

Idéal pour

Une équipe d’ingénierie plateforme ou RevOps qui opère déjà des conteneurs, a besoin d’un seul endroit pour émettre, plafonner et révoquer des clés de modèles chez plusieurs fournisseurs, et veut la passerelle dans son propre VPC pour des raisons de résidence des données. Pour une entreprise qui en a fait une dépendance de production, Enterprise est désormais l’offre raisonnable, surtout pour le registre privé qui a échappé à la compromission d’octobre.

Pas pour

Une équipe sans personne d’astreinte sur l’infrastructure ; une passerelle managée coûte moins cher qu’une mise à jour ratée. Pas pour une entreprise mono-fournisseur : si tous les appels vont vers Bedrock ou Azure, leurs quotas natifs et leur IAM font déjà l’essentiel. Et ce n’est pas votre couche d’observabilité : elle enregistre les dépenses, mais les traces et les évaluations relèvent de Langfuse ou LangSmith.

Face aux alternatives

• Amazon Bedrock ou Microsoft Foundry — choisissez la plateforme de modèles de votre cloud quand 80 %+ des appels passent déjà par un seul cloud et que l’IAM est votre contrôle d’accès.
• OpenRouter — l’option hébergée qui croît le plus vite, désormais propriété de Stripe. Choisissez-la si vous voulez une seule facture pour des centaines de modèles et aucune infrastructure, et acceptez un tiers sur le chemin des requêtes.
• Portkey — passerelle open source avec plan de contrôle hébergé, rachetée par Palo Alto Networks en mai 2026 et intégrée à Prisma AIRS. Choisissez-la si votre équipe sécurité achète déjà chez Palo Alto.
• Kong AI Gateway ou Cloudflare AI Gateway — choisissez-les quand ce fournisseur est déjà devant vos API et que vous voulez soumettre le trafic vers les modèles aux mêmes politiques.
• Pour le trafic agent-vers-outil plutôt que vers les modèles, Runlayer gouverne les serveurs MCP ; la passerelle MCP de LiteLLM est plus légère.

Alors, LiteLLM auto-hébergé est-il encore sûr ? Le problème n’est pas le code ; c’était le canal de release, deux fois en sept mois. Gardez-le si vous savez épingler les versions, vérifier les signatures et contenir le rayon d’impact. Sinon, payez Enterprise ou passez à une passerelle managée.

Points de vigilance

• Les tags flottants ont tiré le malware d’octobre. Quiconque déployait latest ou main-stable a reçu l’image malveillante en quelques minutes. Garde-fou : épinglez des versions exactes par digest d’image, vérifiez les signatures cosign avec la clé renouvelée et attendez 48 heures après une release avant de la promouvoir en production.
• La base du proxy est un coffre-fort de toutes les clés fournisseurs. C’est précisément ce que le payload d’octobre a volé. Garde-fou : stockez les clés fournisseurs dans un gestionnaire de secrets plutôt que dans la base du proxy (une fonction Enterprise), donnez à l’hôte du proxy un IAM au moindre privilège sans rôle cloud étendu, et limitez son trafic sortant aux endpoints de vos fournisseurs.
• La rotation après un incident est lourde. La remédiation imposait de renouveler le rôle IAM de l’hôte, chaque clé fournisseur stockée, la clé maître, toutes les clés virtuelles et le mot de passe de la base. Garde-fou : scriptez et répétez la rotation des clés une fois par trimestre, pour qu’un incident prenne une heure et non une semaine.
• Le SSO gratuit s’arrête à 5 utilisateurs. Au-delà, l’accès à l’Admin UI exige la licence. Garde-fou : réservez l’Admin UI à l’équipe plateforme et distribuez des clés virtuelles à tous les autres, ou budgétez Enterprise avant que le sixième administrateur n’ait besoin d’accès.