LiteLLM

Qué es

LiteLLM es un gateway LLM open source de BerriAI, una empresa de Y Combinator. Viene en dos formas: un SDK de Python que llama a cualquier modelo con el formato de petición de OpenAI, y un servidor proxy (el “AI Gateway”) que se ubica entre tus apps y tus proveedores de modelos. Todos los equipos llaman a un único endpoint compatible con OpenAI; el proxy guarda las claves reales de los proveedores, emite claves virtuales por equipo o por agente, aplica presupuestos y límites de tasa, hace fallback entre proveedores y registra el gasto de cada llamada. La página principal afirma 140+ proveedores y unos 1,900 modelos; la documentación todavía dice 100+. El núcleo tiene licencia MIT. Una licencia Enterprise de pago desbloquea funciones de gobernanza sobre la misma imagen.

La pregunta de operaciones que resuelve: cinco equipos llaman a OpenAI, Anthropic y Bedrock con claves pegadas en flujos de n8n, scripts y configuraciones de Claude Code, finanzas no puede ver quién gastó qué, y revocar una clave filtrada implica buscarla en cada herramienta.

El historial de seguridad de 2026

Es lo primero que debe saber un comprador, por eso va antes que las funciones.

24 de marzo de 2026. Las versiones 1.82.7 y 1.82.8 en PyPI llevaron un ladrón de credenciales durante unos 40 minutos antes de que PyPI las pusiera en cuarentena. LiteLLM lo atribuyó a un escáner Trivy sin versión fijada en el CI, que expuso credenciales estáticas de publicación. La imagen Docker oficial del proxy no se vio afectada. Se pausaron los releases, se contrató a Mandiant y la v1.83.0 salió el 30 de marzo por un pipeline reconstruido con Trusted Publishing y firma cosign.

21 de octubre de 2026. La versión 1.107.0 fue comprometida otra vez, ahora en PyPI (unas dos horas) y en las imágenes del proxy en Docker Hub y GHCR, incluidas las etiquetas latest y main-stable. El payload robaba credenciales de nube y todas las claves de proveedores guardadas en la base de datos del proxy, e instalaba un cargador de código remoto. El post de causa raíz del 23 de octubre dice que una clave de administrador filtrada en un repo público en mayo nunca se revocó; el atacante la usó para llegar al token de GitHub de un owner de la organización y apuntó el pipeline de release real, con firma, a un fork de nombre casi idéntico. Trusted Publishing y la firma funcionaron como estaban diseñados y no sirvieron, porque el atacante tenía permisos de owner. Los clientes Enterprise del registro privado no se vieron afectados. La versión segura para fijar era la 1.106.2; desde el 24 de octubre salieron releases limpios firmados con una clave cosign rotada.

El seguimiento del 30 de octubre enumera correcciones con fecha: ya están hechos un único aprobador de releases ligado a hardware y logs de auditoría enviados a Splunk; MFA resistente a phishing y escaneo de secretos para el 30 de noviembre; un verificador fuera de banda que retira automáticamente artefactos que no coincidan para el 31 de diciembre. El proyecto está vivo y publicando (la 1.108.4 salió el 9 de noviembre), pero eso son planes, no un historial.

Qué estás comprando realmente

Open source, gratis. El SDK y el proxy con claves virtuales, presupuestos y límites RPM/TPM por clave, seguimiento de gasto, la Admin UI, balanceo de carga y fallbacks, el framework de guardrails, enmascarado de PII con Presidio, un gateway MCP y callbacks de logging hacia Langfuse, LangSmith, Arize Phoenix y OpenTelemetry. El SSO para la Admin UI es gratis hasta 5 usuarios.

Licencia Enterprise. Una clave LITELLM_LICENSE sobre la misma imagen, más acceso al registro privado de releases. Agrega SSO para más de 5 usuarios, SCIM, autenticación JWT, logs de auditoría con retención, RBAC entre organizaciones y equipos, backends de gestores de secretos (AWS, Azure, Google, HashiCorp Vault, CyberArk), listas de IP permitidas, rotación de claves, presupuestos por etiqueta y por modelo, controles de logging por equipo, integraciones de guardrails con licencia como los chequeos de prompt injection de Lakera, y SLAs de soporte (Sev 0 en 1 hora; parches de seguridad en 72 horas).

Precios

Revisado el 2026-11-10 en litellm.ai y docs.litellm.ai. El open source cuesta $0. Enterprise no tiene precio publicado: la documentación dice que el precio “depende del tamaño de tu despliegue” y es solo por cotización, vendido directo, por factura o en AWS y Azure Marketplace, con una clave de prueba de 30 días en autoservicio. La propia LiteLLM orienta Enterprise a equipos con 100+ usuarios o 10+ casos de uso de IA en producción. Guías de terceros siguen repitiendo una cifra de unos $30,000/año del lanzamiento de 2024; tómala como un ancla no verificada para presupuestar, no como una cotización.

El costo real del tier gratis son personas: una base de datos Postgres, Redis para límites de tasa con varias instancias, y un ingeniero dueño de las actualizaciones y de la respuesta a incidentes. Presupuesta una fracción de un ingeniero de plataforma antes de llamarlo gratis.

Ideal para

Un equipo de ingeniería de plataforma o de RevOps que ya opera contenedores, necesita un solo lugar para emitir, limitar y revocar claves de modelos de varios proveedores, y quiere el gateway dentro de su propia VPC por residencia de datos. Para una empresa que lo convirtió en dependencia de producción, Enterprise es ahora el tier sensato, sobre todo por el registro privado que esquivó el compromiso de octubre.

No es para

Un equipo sin nadie de guardia para la infraestructura; un gateway gestionado cuesta menos que una mala actualización. No es para una empresa con un solo proveedor: si todas las llamadas van a Bedrock o Azure, sus cuotas nativas y su IAM ya hacen casi todo esto. Y no es tu capa de observabilidad: registra gasto, pero las trazas y las evaluaciones pertenecen a Langfuse o LangSmith.

Frente a las alternativas

• Amazon Bedrock o Microsoft Foundry — elige la plataforma de modelos de tu nube cuando el 80%+ de las llamadas ya pasa por una sola nube y el IAM es tu control de acceso.
• OpenRouter — la opción alojada de mayor crecimiento, ahora propiedad de Stripe. Elígela cuando quieres una sola factura para cientos de modelos y nada de infraestructura, y aceptas a un tercero en la ruta de las peticiones.
• Portkey — gateway open source con plano de control alojado, adquirido por Palo Alto Networks en mayo de 2026 e integrado en Prisma AIRS. Elígelo cuando tu equipo de seguridad ya le compra a Palo Alto.
• Kong AI Gateway o Cloudflare AI Gateway — elígelos cuando ese proveedor ya está delante de tus APIs y quieres el tráfico de modelos bajo las mismas políticas.
• Para el tráfico de agente a herramienta, en lugar del tráfico de modelos, Runlayer gobierna servidores MCP; el gateway MCP de LiteLLM es más ligero.

Entonces, ¿LiteLLM self-hosted sigue siendo seguro? El problema no es el código; fue el canal de releases, dos veces en siete meses. Mantenlo si puedes fijar versiones, verificar firmas y contener el radio de impacto. Si no, paga Enterprise o pásate a un gateway gestionado.

Puntos de atención

• Las etiquetas flotantes descargaron el malware de octubre. Quien desplegaba latest o main-stable recibió la imagen maliciosa en minutos. Protección: fija versiones exactas por digest de imagen, verifica las firmas cosign contra la clave rotada y espera 48 horas después de un release antes de promoverlo a producción.
• La base de datos del proxy es una bóveda con todas las claves de proveedores. Eso es exactamente lo que robó el payload de octubre. Protección: guarda las claves de proveedores en un gestor de secretos en lugar de la base del proxy (una función Enterprise), dale al host del proxy un IAM de mínimo privilegio sin roles amplios de nube y restringe su red saliente a los endpoints de tus proveedores.
• La rotación tras un incidente es grande. La remediación implicó rotar el rol IAM del host, cada clave de proveedor guardada, la clave maestra, todas las claves virtuales y la contraseña de la base de datos. Protección: automatiza y ensaya la rotación de claves una vez por trimestre para que un incidente tome una hora, no una semana.
• El SSO gratis termina en 5 usuarios. Más allá, el acceso a la Admin UI requiere la licencia. Protección: limita la Admin UI al equipo de plataforma y entrega claves virtuales a todos los demás, o presupuesta Enterprise antes de que el sexto administrador necesite entrar.