ooligo

LangSmith

ai-evaluation-observability agent-observability · tracing · llm-evals · agent-builder · agent-governance · agent-deployment
AI-NATIVE MCP API FREEMIUM
RevOpsLegal OpsRecrutamento e TACustomer Success
7.9 /10

O que é

LangSmith é a plataforma comercial da LangChain Inc.: tracing, avaliação e deploy para aplicações LLM e agentes, mais — desde 2026-03-19 — o Fleet, um workspace onde pessoas que não escrevem código constroem, compartilham e executam agentes. A LangChain, empresa do framework open source que Harrison Chase fundou em 2022, captou US$ 125M a uma avaliação de US$ 1,25B em outubro de 2025 (Fortune, TechCrunch). A página institucional dela afirma mais de 1 bilhão de eventos por dia no LangSmith.

São dois produtos em uma única fatura, e um comprador de ops deve avaliá-los separadamente. O primeiro responde “o que nosso agente fez e a última mudança piorou o resultado?”. O segundo responde “o analista de RevOps consegue construir o agente de cadastro de fornecedores sem abrir um ticket para engenharia, e o TI consegue ver o que ele acessou?”.

O que você está comprando de fato

Tracing e evals. Cada execução de um app instrumentado chega como uma árvore de traces que você filtra, anota e transforma em dataset, e depois pontua com juízes LLM, avaliadores em código ou filas de revisão humana. A instrumentação é quase zero em LangChain ou LangGraph, e a plataforma também ingere OpenTelemetry, então um stack que não é LangChain não fica de fora. Os traces migraram para o SmithDB, um armazenamento em Rust que a LangChain anunciou na conferência Interrupt em 2026-05-14, com carga P50 da árvore de traces de 92 ms.

Engine. Lançado em beta pública no mesmo evento: observa os traces de produção, agrupa as falhas em issues, rascunha avaliadores e abre pull requests com correções propostas. Roda a cada 6 horas no Plus e custa cerca de 7–45 LSU por execução (1 LSU = US$ 1). Esse custo é o motivo para agendá-lo de propósito em vez de deixá-lo ligado por padrão.

Fleet. Antes chamado Agent Builder (outubro de 2025). Os agentes têm memória, ferramentas e skills próprias e vêm em dois modos de identidade: os Claws rodam com um único conjunto fixo de credenciais, não importa quem os acione, e os Assistants agem como a pessoa que os invoca, com cada usuário se autenticando via OAuth. O compartilhamento tem três níveis: pode clonar, pode executar, pode editar. Cada agente pode ter seu próprio handle de bot no Slack, e ações que exigem aprovação caem em um Agent Inbox. As skills seguem a especificação Agent Skills e podem ser baixadas com o CLI do LangSmith para Claude Code, Cursor ou Codex. Desde outubro de 2026, cada agente do Fleet também é exposto como servidor MCP e como endpoint A2A, e um servidor MCP do LangSmith à parte permite que um modelo leia seus runs, datasets e experimentos.

Preços

Publicados em langchain.com/pricing, conferidos em 2026-11-04:

  • Developer — US$ 0. Um assento, até 5 mil traces base por mês e depois pagamento por uso; inclui 7 LSU de uso do Fleet. O Fleet pausa novas execuções quando a franquia acaba.
  • Plus — US$ 39 por assento por mês. Até 10 mil traces base por mês incluídos, assentos ilimitados a US$ 39 cada, 37 LSU de uso do Fleet, um deploy Serverless (Small) gratuito e acesso ao Engine.
  • Enterprise — sob medida, fatura anual. Nuvem, híbrido (plano de controle SaaS, plano de dados seu) ou totalmente self-hosted, além de bring-your-own-cloud na AWS (GA) e no Azure e Google Cloud (beta) desde 2026-11-03. SSO, ABAC e RBAC sob medida.

Traces base ficam guardados por 14 dias; traces estendidos, por 180 dias mediante cobrança extra. A página de preços não publica uma tarifa por mil traces: o excedente, o Fleet acima da franquia, os deploys e os sandboxes consomem LSU. A inferência de modelos do Fleet está incluída nos LSU, então não é preciso chave do provedor, e cada execução do Fleet é ela mesma um trace cobrado. Startups com investimento de VC podem pedir até US$ 10.000 em créditos.

A faixa real: um time de 12 pessoas no Plus paga US$ 468/mês em assentos antes de um único trace acima dos 10 mil incluídos, e o Engine sozinho soma US$ 28–180 por dia com quatro execuções (7–45 LSU cada) se ficar ligado. O Braintrust cobra das mesmas 12 pessoas US$ 0 em assentos no plano Pro de US$ 249/mês, então o número de pessoas decide mais essa comparação do que as funcionalidades. Um time de duas pessoas paga US$ 78/mês em assentos, e aí o LangSmith sai mais barato.

Indicado para

Um time de plataforma ou de engenharia de RevOps que já constrói sobre LangChain ou LangGraph, quer tracing, evals, deploy e um workspace de agentes governado com um único fornecedor, e tem menos de umas dez pessoas que precisam de assento. O caso específico do Fleet que funciona: um líder de ops publica um agente de intake ou de pesquisa acionado pelo Slack com credenciais de Assistant, de modo que o agente só alcança o que o usuário que pergunta alcança, e as aprovações vão para o inbox.

Não é para

Times com mais de 20 revisores especialistas que precisam de contas para rotular traces: a cobrança por assento faz deles o custo dominante. Também não é para um time que ainda não lançou nada; escreva primeiro 20 casos de teste em um script. E não serve como construtor de agentes nativo do Microsoft 365: se seus agentes vivem no Teams e no SharePoint sob a governança do Entra, o Fleet vira um segundo plano de controle.

Em comparação com as alternativas

  • Braintrust — o rival agnóstico de framework mais forte em evals. Escolha quando os revisores forem mais numerosos que os engenheiros ou seu stack não for LangChain; tem usuários ilimitados em todos os planos.
  • Langfuse — o entrante de crescimento mais rápido e a resposta open source: licença MIT, self-hostable, da ClickHouse desde janeiro de 2026. Escolha quando residência de dados ou alto volume fazem qualquer SaaS medido perder, e você tem um time para operá-lo.
  • Arize Phoenix — escolha quando você já usa Arize para monitoramento de ML clássico.
  • Para o Fleet especificamente: Microsoft Copilot Studio quando a empresa roda em Microsoft 365; Dust quando times não técnicos querem assistentes ancorados no conhecimento da empresa com menos configuração; Relevance AI para times de agentes de GTM. Para testes de agentes de voz, o Coval cobre o que o LangSmith não cobre.

Se nenhuma servir, uma pasta versionada de casos de teste e um job de CI que os pontue é o plano B honesto para uma única funcionalidade.

Pontos de atenção

  • O medidor de LSU cobre seis produtos, então a fatura é difícil de ler. Execuções do Fleet, passadas do Engine, deploys, sandboxes e excedente de traces consomem o mesmo saldo, e cada execução do Fleet também conta como trace. O changelog de 2026-11-02 corrigiu execuções cobradas em dobro. Proteção: leve os endpoints de custo por usuário e por agente (/v1/fleet/usage/users, /v1/fleet/usage/agents) para uma revisão semanal, defina limites de gasto do workspace e agende o Engine em vez de deixá-lo contínuo.
  • Os Claws carregam credenciais compartilhadas. Um agente Claw age com uma única identidade para todos que podem executá-lo, então o acesso “pode executar” equivale a conceder as permissões daquela conta. Proteção: use o modo Assistant como padrão para tudo que tocar CRM, e-mail ou contratos, dê aos Claws contas de serviço com escopo mínimo e reserve “pode editar” (que inclui revisar o inbox) a responsáveis nomeados.
  • O cardápio de modelos muda sem aviso. O Fleet removeu o Kimi K2.6 no início de outubro de 2026 e os agentes passaram para um modelo padrão. Proteção: fixe o modelo por agente, mantenha um pequeno dataset de avaliação para cada agente em produção e rode-o de novo após cada entrada do changelog que mexa em modelos.
  • A retenção é mais curta do que parece. Traces base somem após 14 dias, e a retenção de longo prazo no SaaS passou a ter teto de 180 dias desde 2026-09-14. Proteção: mova para retenção estendida só os traces de que você precisa para auditoria, e exporte tudo o que uma revisão jurídica ou de compliance precise além de 180 dias.