LiteLLM

O que é

O LiteLLM é um gateway LLM open source da BerriAI, uma empresa da Y Combinator. Ele vem em duas formas: um SDK Python que chama qualquer modelo no formato de requisição da OpenAI, e um servidor proxy (o “AI Gateway”) que fica entre os seus apps e os seus provedores de modelos. Todos os times chamam um único endpoint compatível com a OpenAI; o proxy guarda as chaves reais dos provedores, emite chaves virtuais por time ou por agente, aplica orçamentos e rate limits, faz fallback entre provedores e registra o gasto de cada chamada. A home afirma 140+ provedores e cerca de 1.900 modelos; a documentação ainda diz 100+. O núcleo tem licença MIT. Uma licença Enterprise paga libera recursos de governança na mesma imagem.

A pergunta de operações que ele responde: cinco times chamam OpenAI, Anthropic e Bedrock com chaves coladas em fluxos do n8n, scripts e configurações do Claude Code, o financeiro não consegue ver quem gastou o quê, e revogar uma chave vazada significa caçá-la em cada ferramenta.

O histórico de segurança de 2026

É a primeira coisa que um comprador precisa saber, por isso vem antes dos recursos.

24 de março de 2026. As versões 1.82.7 e 1.82.8 no PyPI carregaram um ladrão de credenciais por cerca de 40 minutos antes de o PyPI colocá-las em quarentena. O LiteLLM atribuiu o problema a um scanner Trivy sem versão fixada no CI, que expôs credenciais estáticas de publicação. A imagem Docker oficial do proxy não foi afetada. Os releases foram pausados, a Mandiant foi chamada e a v1.83.0 saiu em 30 de março por um pipeline reconstruído com Trusted Publishing e assinatura cosign.

21 de outubro de 2026. A versão 1.107.0 foi comprometida de novo, agora no PyPI (cerca de duas horas) e nas imagens do proxy no Docker Hub e no GHCR, incluindo as tags latest e main-stable. O payload roubava credenciais de nuvem e todas as chaves de provedores guardadas no banco de dados do proxy, e instalava um carregador de código remoto. O post de causa raiz de 23 de outubro diz que uma chave de admin vazada em um repo público em maio nunca foi revogada; o atacante a usou para chegar ao token do GitHub de um owner da organização e apontou o pipeline de release real, assinado, para um fork com nome quase idêntico. Trusted Publishing e a assinatura funcionaram como projetado e não ajudaram, porque o atacante tinha permissões de owner. Clientes Enterprise no registry privado não foram afetados. A versão segura para fixar era a 1.106.2; releases limpos assinados com uma chave cosign rotacionada saíram a partir de 24 de outubro.

O acompanhamento de 30 de outubro lista correções com data: já estão feitos um único aprovador de releases ligado a hardware e logs de auditoria enviados ao Splunk; MFA resistente a phishing e varredura de segredos até 30 de novembro; um verificador fora de banda que retira automaticamente artefatos divergentes até 31 de dezembro. O projeto está vivo e fazendo release (a 1.108.4 saiu em 9 de novembro), mas isso são planos, não histórico.

O que você está comprando de fato

Open source, grátis. O SDK e o proxy com chaves virtuais, orçamentos e limites RPM/TPM por chave, rastreamento de gasto, a Admin UI, balanceamento de carga e fallbacks, o framework de guardrails, mascaramento de PII com Presidio, um gateway MCP e callbacks de logging para Langfuse, LangSmith, Arize Phoenix e OpenTelemetry. O SSO da Admin UI é grátis até 5 usuários.

Licença Enterprise. Uma chave LITELLM_LICENSE na mesma imagem, mais acesso ao registry privado de releases. Adiciona SSO acima de 5 usuários, SCIM, autenticação JWT, logs de auditoria com retenção, RBAC entre organizações e times, backends de gerenciadores de segredos (AWS, Azure, Google, HashiCorp Vault, CyberArk), allowlists de IP, rotação de chaves, orçamentos por tag e por modelo, controles de logging por time, integrações de guardrails licenciadas como as checagens de prompt injection da Lakera, e SLAs de suporte (Sev 0 em 1 hora; patches de segurança em 72 horas).

Preços

Verificado em 2026-11-10 em litellm.ai e docs.litellm.ai. O open source custa $0. O Enterprise não tem preço publicado: a documentação diz que o preço “depende do tamanho do seu deployment” e é só sob cotação, vendido direto, por fatura ou via AWS e Azure Marketplace, com uma chave de trial de 30 dias em self-service. O próprio LiteLLM direciona o Enterprise a times com 100+ usuários ou 10+ casos de uso de IA em produção. Guias de terceiros ainda repetem um valor de cerca de $30.000/ano do lançamento de 2024; trate-o como uma âncora não verificada para orçamento, não como cotação.

O custo real do tier grátis são pessoas: um banco Postgres, Redis para rate limits com várias instâncias, e um engenheiro dono dos upgrades e da resposta a incidentes. Orce uma fração de um engenheiro de plataforma antes de chamar de grátis.

Ideal para

Um time de engenharia de plataforma ou de RevOps que já opera containers, precisa de um só lugar para emitir, limitar e revogar chaves de modelos de vários provedores, e quer o gateway dentro da própria VPC por residência de dados. Para uma empresa que o transformou em dependência de produção, o Enterprise é agora o tier sensato, principalmente pelo registry privado que escapou do comprometimento de outubro.

Não é para

Um time sem ninguém de plantão para infraestrutura; um gateway gerenciado custa menos do que um upgrade ruim. Não é para uma empresa com um único provedor: se todas as chamadas vão para Bedrock ou Azure, as cotas nativas e o IAM deles já fazem quase tudo isso. E não é a sua camada de observabilidade: ele registra gasto, mas traces e evals pertencem ao Langfuse ou ao LangSmith.

Versus as alternativas

• Amazon Bedrock ou Microsoft Foundry — escolha a plataforma de modelos da própria nuvem quando 80%+ das chamadas já passam por uma nuvem só e o IAM é o seu controle de acesso.
• OpenRouter — a opção hospedada que mais cresce, agora da Stripe. Escolha quando você quer uma fatura só para centenas de modelos e nenhuma infraestrutura, e aceita um terceiro no caminho das requisições.
• Portkey — gateway open source com control plane hospedado, adquirido pela Palo Alto Networks em maio de 2026 e incorporado ao Prisma AIRS. Escolha quando o seu time de segurança já compra da Palo Alto.
• Kong AI Gateway ou Cloudflare AI Gateway — escolha quando esse fornecedor já fica na frente das suas APIs e você quer o tráfego de modelos sob as mesmas políticas.
• Para tráfego de agente para ferramenta, em vez de tráfego de modelos, o Runlayer governa servidores MCP; o gateway MCP do LiteLLM é mais leve.

Então, o LiteLLM self-hosted ainda é seguro? O problema não é o código; foi o canal de releases, duas vezes em sete meses. Mantenha se você consegue fixar versões, verificar assinaturas e conter o raio de impacto. Senão, pague o Enterprise ou migre para um gateway gerenciado.

Pontos de atenção

• Tags flutuantes puxaram o malware de outubro. Quem fazia deploy de latest ou main-stable recebeu a imagem maliciosa em minutos. Proteção: fixe versões exatas por digest de imagem, verifique as assinaturas cosign contra a chave rotacionada e espere 48 horas após um release antes de promovê-lo para produção.
• O banco do proxy é um cofre com todas as chaves de provedores. Foi exatamente isso que o payload de outubro roubou. Proteção: guarde as chaves de provedores em um gerenciador de segredos em vez do banco do proxy (um recurso Enterprise), dê ao host do proxy um IAM de menor privilégio sem roles amplas de nuvem e restrinja a rede de saída aos endpoints dos seus provedores.
• A rotação depois de um incidente é grande. A remediação exigiu rotacionar a role IAM do host, cada chave de provedor guardada, a master key, todas as chaves virtuais e a senha do banco. Proteção: automatize e ensaie a rotação de chaves uma vez por trimestre, para que um incidente leve uma hora, não uma semana.
• O SSO grátis acaba em 5 usuários. Acima disso, o acesso à Admin UI exige a licença. Proteção: limite a Admin UI ao time de plataforma e entregue chaves virtuais a todos os outros, ou orce o Enterprise antes que o sexto admin precise entrar.