ooligo

Coval

ai-evaluation-observability voice-agent-testing · ai-agent-evaluation · conversation-simulation · production-monitoring
AI-NATIVE MCP API
Customer Success
7.8 /10

O que é

Coval é uma plataforma de simulação e avaliação para agentes de IA de voz e chat. Antes do lançamento, ela liga para o seu agente com milhares de clientes sintéticos — personas diferentes, sotaques, ruído de fundo, interrupções, pedidos fora do roteiro — e avalia cada conversa contra métricas que você define. Depois do lançamento, avalia as chamadas reais do mesmo jeito e encaminha as duvidosas para revisores humanos. A pergunta que ela responde é a que todo time de CX faz na semana antes de um agente de voz entrar no ar: como sabemos que ele não vai nos envergonhar na chamada número 4.000?

A abordagem vem dos carros autônomos. A fundadora e CEO Brooke Hopkins liderou a infraestrutura de avaliação na Waymo, e a Coval trata um agente de IA do jeito que a Waymo trata um carro: você não prova que ele é seguro dando uma volta no quarteirão, você prova rodando-o por um número muito grande de cenários simulados e medindo a taxa de falha. A empresa passou pelo batch de verão 2024 da Y Combinator, captou uma seed de $3.3M liderada pela MaC Venture Capital e, em 24 de junho de 2026, anunciou uma Série A de $28M liderada pela Norwest, com participação de Base10 Partners, Twilio Ventures e Y Combinator, somando $31M captados no total. Zoom e Deepgram são clientes citados no anúncio da rodada; a homepage acrescenta Chime, Perplexity, ServiceNow, StubHub, Toast e Upstart. O fornecedor diz trabalhar com mais de 60 organizações.

Por que aparece em stacks de CX e suporte

  • Ela testa o áudio, não só a transcrição. As avaliações cobrem timing, troca de turnos, interrupções, qualidade de áudio, chamadas de ferramentas e sentimento de quem liga. Um agente de voz que diz as palavras certas dois segundos atrasado ainda falha, e uma avaliação só de transcrição não vai pegar isso.
  • Ela se conecta à forma como agentes de voz são realmente construídos. As conexões documentadas incluem chamadas telefônicas inbound e outbound, voz sobre WebSocket, LiveKit, Pipecat Cloud, OpenAI Realtime, Gemini Live, Grok Realtime e Deepgram Voice Agent, além de chat via HTTP, WebSocket e A2A, e SMS. Um agente construído na Vapi ou na Retell AI é testado ligando para o número de telefone dele.
  • Ela avalia ações, não só palavras. Os agentes podem enviar traces OpenTelemetry, ou a Coval os importa de Langfuse, Arize Phoenix ou LangSmith, então uma métrica pode verificar se a ferramenta de reembolso foi chamada com o valor certo, e não apenas se o agente disse que emitiu um reembolso.
  • Comparativos entre fornecedores. O mesmo conjunto de cenários roda contra várias plataformas de voz, o que a torna tanto uma ferramenta de compras quanto de QA: um líder de CX escolhendo entre Vapi, Retell AI e PolyAI pode compará-las nos tipos de chamada da própria empresa em vez de em demos.
  • Feita para workflows de desenvolvedores. API REST, uma CLI coval para pipelines de CI, SDKs tipados em TypeScript e Python, e um conector MCP que permite a Claude, ChatGPT e Codex disparar execuções e consultar resultados. Tudo isso está incluído em todos os planos.

A realidade do preço

A Coval é um dos poucos fornecedores deste segmento com tabela de preços pública. O Starter custa $100 por mês (100 minutos de simulação, 1.000 chamadas monitoradas, retenção de traces de 30 dias, 5 simulações simultâneas). O Growth custa $500 por mês (1.000 minutos de simulação, 10.000 chamadas monitoradas, retenção de 90 dias, 25 simulações simultâneas). O Enterprise começa em $4.500 por mês, ou $54.000 por ano, e acrescenta SAML SSO, SCIM, residência de dados e deploy em VPC privada. As licenças são ilimitadas em todos os planos; o pagamento anual dá 20% de desconto no Starter e no Growth; ambos têm um trial de 7 dias que exige cartão. Uma inconsistência para esclarecer antes de assinar: o plano Growth aparece com projetos ilimitados num ponto da página de preços e com 5 projetos na tabela comparativa.

Os minutos incluídos são o piso, não a conta. O excedente é de $0.25 por minuto de simulação no Growth e $0.40 no Starter. Uma suíte de regressão modesta — 200 cenários com média de 3 minutos — consome 600 minutos por execução. Rode todas as noites e você usa cerca de 18.000 minutos por mês: 17.000 minutos de excedente a $0.25 dão $4.250, mais a base de $500, ou cerca de $4.750 por mês. Isso fica acima do piso do Enterprise. A regra prática: o Growth serve para um time que roda a suíte completa a cada release; um time que roda a cada commit ou toda noite deve cotar o Enterprise desde o início.

Ideal para

Donos de produto de IA de voz e líderes de operações de CX em empresas que colocam um agente de voz ou chat na frente de clientes reais — deflexão em contact center, agendamento, cobrança, status de pedido — e que precisam de um gate de aprovação antes de cada release e de avaliação em produção depois dele. Encaixa melhor quando um time de engenharia é dono do agente e vai plugar a CLI no CI, e quando um time de operações ou de QA vai ser dono das métricas e da fila de revisão humana.

Descarte se você compra um agente totalmente gerenciado como Sierra ou Decagon e não tem acesso para mudar os prompts ou as ferramentas dele: você consegue medir as falhas, mas não corrigi-las, e uma ferramenta de QA de suporte como Solidroad ou Intryc, que avalia conversas de bots e de humanos juntas, é o melhor uso do dinheiro.

Contra as alternativas

Cyara, dona do Botium, é a incumbente enterprise em garantia de CX e lançou testes agênticos em março de 2026. Vende via time comercial, sem plano self-service, e é a escolha quando você já testa URAs e telefonia de contact center com a Cyara e quer um único fornecedor. Hamming é a outra especialista da safra 2024 com apoio da YC, com mais de 50 métricas nativas, um módulo de red team e foco forte em sinal de áudio, latência e condições de telefonia; não publica preços e captou uma seed de $3.8M em dezembro de 2024. Escolha quando a análise de falhas no nível do áudio é o problema principal. Cekura é a porta de entrada mais barata: pay-as-you-go a $0.25 por minuto de teste de voz sem taxa base, ou $500 por mês por cerca de 2.000 minutos — aproximadamente o dobro dos minutos de simulação do plano Growth de $500 da Coval. Escolha para um time pequeno que precisa de volume com orçamento apertado. Roark e Bluejay, ambas fundadas em 2025, são as entrantes mais novas; a Roark parte de chamadas de produção e as reproduz como testes. Braintrust é a escolha quando o agente é chat-first e você já roda avaliações de LLM nela.

A Coval vence na combinação de profundidade de simulação, preço publicado e funding: com $31M captados, tem o maior funding divulgado entre as startups de teste de voz citadas aqui. Se nenhuma servir, roteirize 30 dos seus tipos de chamada de maior risco, faça duas pessoas ligarem por telefone para um agente de staging antes de cada release e avalie as chamadas numa planilha compartilhada. Quando isso levar mais de um dia por release, você está pronto para comprar.

Pontos de atenção

  • O excedente transforma um plano de $500 numa conta de Enterprise. Os minutos de simulação escalam com cenários × duração × frequência, não com licenças. Proteção: antes do fim do trial, conte seus cenários, multiplique pela duração média das chamadas e pela frequência de execução, e cote tanto Growth-mais-excedente quanto Enterprise sobre esse número.
  • Quem liga nas simulações são LLMs, e quem julga também. Um cliente simulado é mais articulado e mais paciente do que a pessoa que liga às 7h de dentro do carro. Proteção: alimente os cenários com transcrições de produção enviadas em vez de personas inventadas, e avalie 100 chamadas também à mão para medir com que frequência cada métrica julgada por LLM concorda com um humano antes de deixá-la bloquear um release.
  • A documentação de compliance varia conforme a página e o plano. A página de preços lista SOC 2 Type II, HIPAA e GDPR em todos os planos, a homepage marca o GDPR como em andamento, e uma avaliação de terceiros em maio de 2026 colocou o BAA e o DPA no Enterprise. Proteção: obtenha um BAA e um DPA assinados, e confira o trust center, antes de enviar qualquer gravação de chamada real com dados de saúde ou de pagamento.
  • Os resultados de vitrine são reportados pelo fornecedor. A redução de até 30× no QA manual e o deploy 10× mais rápido vêm do anúncio de rodada da Coval. Proteção: registre as horas atuais de revisores por release e o número de incidentes em produção por mês antes do go-live, e compare no dia 60.