Você não sabe pela alegação do fornecedor. Você sabe por um teste de aceitação de 50 consultas que você mesmo desenha, roda e pontua — porque toda medição publicada das ferramentas de pesquisa jurídica fundamentadas ficou abaixo do que o marketing delas dizia. O estudo do Stanford RegLab por trás desses números rodou 202 consultas pré-registradas contra as duas plataformas principais e encontrou que o Lexis+ AI respondeu com precisão em 65% dos casos enquanto alucinava em 17% das consultas, e que o Westlaw AI-Assisted Research respondeu com precisão em 41% enquanto alucinava em 33%. As duas eram vendidas na época como livres de alucinação. As duas recuperam exatamente dos corpora de jurisprudência que o marketing aponta.
Esse é o problema inteiro em uma frase: a fundamentação por recuperação reduz a fabricação e não elimina a alucinação. Esta página é o protocolo de teste para rodar antes de assinar.
O que “fundamentado” significa e o que não significa
Fundamentado significa que toda proposição que sustenta a resposta remete a um documento que o sistema de fato recuperou e leu, e não à memória de treinamento do modelo. A tipologia de Stanford divide as respostas em três, e a categoria do meio é onde o comprador se machuca:
- Fundamentada — as proposições factuais centrais fazem referências válidas a documentos jurídicos relevantes.
- Não fundamentada — as proposições factuais centrais não têm citação alguma.
- Mal fundamentada — as proposições estão citadas, mas a fonte não sustenta a afirmação, ou a fonte não se aplica à jurisdição perguntada.
Uma resposta conta como alucinação se for incorreta ou mal fundamentada. Essa segunda metade é a que os fornecedores deixam de fora.
Então, eis o que fundamentação não é. Não é um hyperlink que funciona. Uma citação que resolve para um caso real em uma base real, com link ativo, referência correta ao repertório e um trecho citado real, continua sendo alucinação se o caso não sustenta a proposição à qual a resposta o anexou. A resolução do link é verificável por máquina e todo fornecedor sério já passa nela. O suporte da proposição não é verificável por máquina, e é aí que mora o erro residual. Qualquer piloto que pontue “o link funcionou?” está medindo aquilo que já foi resolvido.
Os cinco modos de falha
| Modo | O que aconteceu | Quem consegue pegar |
|---|---|---|
| Autoridade fabricada | O caso ou a norma não existe | Máquina — consulta ao citador |
| Citação textual fabricada | Caso real, trecho citado inventado | Máquina — comparação de string com a fonte |
| Má fundamentação | Caso real, citação real, não sustenta a proposição | Advogado — ler a citação pontual |
| Má fundamentação jurisdicional | Proposição correta, circuito ou estado errado | Advogado — conferir o tribunal contra a pergunta |
| Autoridade desatualizada | Real e pertinente, mas revogada, superada ou distinguida até a irrelevância | Alerta de máquina, julgamento do advogado |
Os modos 1 e 2 são os que os fornecedores querem dizer quando falam “livre de alucinação”. Os modos 3 a 5 são os que perdem uma petição. Faça o orçamento do seu tempo de avaliação de acordo: as checagens baratas já estão automatizadas, então gaste suas horas de advogado lendo citações pontuais.
O protocolo: um teste de aceitação de 50 consultas
Monte você mesmo o conjunto de consultas, a partir dos seus próprios casos. Nunca deixe o fornecedor fornecê-lo — um conjunto de demo é ajustado ao corpus de recuperação, e o objetivo do exercício é achar as bordas que o fornecedor não ajustou. Componha as 50 consultas nestas proporções, que espelham a estrutura do conjunto de dados de Stanford:
- 20 perguntas gerais de pesquisa nas áreas de atuação que você realmente cobre.
- 15 perguntas específicas de jurisdição ou data, em que a resposta certa muda por circuito ou por ano. Essa é a categoria que separa um recuperador com filtros de metadados reais de um que faz similaridade semântica.
- 10 perguntas de premissa falsa — pergunte por uma doutrina que não existe, ou atribua a um caso uma decisão que ele não contém. É aqui que a bajulação aparece. Uma ferramenta que constrói suporte para a sua premissa falsa fará o mesmo com a de um sócio.
- 5 perguntas de recuperação factual com uma resposta verificável (uma decisão, uma data, uma contagem de votos).
Pontue cada resposta em três eixos binários — correta, fundamentada, completa — e aplique estes limiares:
| Métrica | Limiar de aprovação | Por que este número |
|---|---|---|
| Citações ou trechos fabricados | 0 de 50 | Inegociável. Uma fabricação em 50 prevê uma fabricação em uma petição. |
| Taxa de má fundamentação | ≤ 2 de 50 (4%) | Abaixo do piso de 17% que a melhor ferramenta medida registrou, e baixo o bastante para um SOP de revisão absorver. |
| Rejeição de premissa falsa | ≥ 8 de 10 | A ferramenta tem que rejeitar a premissa, não construir suporte para ela. |
| Incompletas ou recusadas | ≤ 25% | Igualar a melhor das duas plataformas principais, e não a pior. |
Essa última linha é a calibração que ninguém publica. Precisão e recusa se compensam, e fornecedores compram precisão com silêncio. Na rodada de Stanford, as taxas de resposta incompleta foram 18% para o Lexis+ AI, 25% para o Westlaw AI-Assisted Research e 62% para o Ask Practical Law AI — este último com a menor precisão, 19%. Pontue precisão sem pontuar recusa e você vai colocar acima uma ferramenta que se nega a responder em vez de uma que responde.
Exemplo trabalhado: o que os números publicados compram
Normalize as três ferramentas medidas para uma rodada de 50 consultas e a decisão de compra fica concreta.
| Ferramenta | Respostas utilizáveis | Alucinadas | Incompletas |
|---|---|---|---|
| Lexis+ AI | ~33 | ~9 | ~9 |
| Westlaw AI-Assisted Research | ~21 | ~17 | ~13 |
| Ask Practical Law AI | ~10 | ~9 | ~31 |
A coluna do meio é o seu custo real. Dezessete respostas alucinadas em 50 não significam 17 consultas desperdiçadas — significam que as 50 respostas agora exigem verificação de um advogado, porque pela saída você não consegue dizer quais são as 17. Essa é a economia de uma ferramenta abaixo de 95%: o custo de verificação escala com o volume total, não com a taxa de erro.
Precifique isso antes de o piloto acabar. Peça a um advogado que verifique 10 respostas de ponta a ponta contra as citações pontuais e cronometre, depois multiplique por cinco. Se esse número exceder as horas de pesquisa que a ferramenta deveria economizar, a ferramenta tem valor negativo a qualquer preço de licença, e vale dizer isso no memorando de renovação em vez de um ano depois.
Cinco perguntas para o fornecedor
- Cada citação leva a um documento que o seu recuperador de fato leu, ou a um resultado de busca gerado depois?
- O citador roda em cada citação antes de a resposta ser exibida, ou só quando eu clico?
- Qual é o corte do corpus, e o que o sistema faz quando a resposta exige autoridade mais recente que isso?
- Qual é a sua taxa de recusa em consultas que você não consegue fundamentar, e você vai me mostrar?
- Posso ver os documentos recuperados ao lado da resposta?
Um fornecedor que recusa a pergunta 5 tirou de você a capacidade de auditar má fundamentação. Trate isso como desclassificante para trabalho de contencioso, não importa como a demo pareceu.
Armadilhas e proteções
- Pontuar a resolução do link em vez do suporte da proposição. Proteção: quem pontua lê a citação pontual, não o destino do link.
- Testar com perguntas de resposta famosa. Proteção: pelo menos 15 de 50 consultas específicas de jurisdição ou data.
- Deixar o fornecedor fornecer o conjunto de consultas. Proteção: as consultas vêm de casos encerrados cujas respostas a sua equipe já conhece.
- Tratar “fundamentado em conteúdo da Westlaw” como alegação de precisão. Proteção: as duas plataformas medidas alucinaram estando fundamentadas exatamente nesse conteúdo.
- Delegar a verificação ao próprio checador de citações da ferramenta. Proteção: separe o gerador do checador; uma prova autocorrigida não é evidência.
- Pular as consultas de premissa falsa porque parecem injustas. Proteção: 10 de 50, no mínimo — a parte contrária também não será justa.
- Tratar verificação como problema de engenharia. Proteção: o Formal Opinion 512 da ABA (julho de 2024) coloca a verificação independente da saída de IA sobre o advogado, sob as Model Rules 1.1 e 3.3. Não é delegável ao SLA de um fornecedor. Escreva isso na política de IA para equipes jurídicas e no SOP de revisão contratual, não no checklist de compras.
O que está em jogo é documentado, não teórico. A base AI Hallucination Cases, de Damien Charlotin, registrou 1.668 decisões judiciais no mundo envolvendo material fabricado por IA até 2 de julho de 2026, sendo 1.163 nos Estados Unidos. Em 653 delas o responsável foi um advogado em atividade. Isso não é um problema de litigante sem advogado.
Onde este framework para de valer
O protocolo de 50 consultas testa saída de pesquisa que cita autoridade. Ele não se transfere sem mudanças para três casos vizinhos:
- Trabalho fundamentado em documentos — revisão contratual, extração, due diligence. Não há citador para rodar. Substitua por procedência de trecho exato: a ferramenta tem que destacar o trecho fonte no documento fonte, e você pontua se o trecho sustenta a extração. Veja extração de dados contratuais para esse formato de pontuação.
- Assistentes de corpus fechado sobre o seu próprio DMS ou arquivos de casos. A mesma substituição, mais um teste de permissões — faça uma pergunta cuja resposta esteja atrás de uma barreira de privilege review e confirme que a recuperação a recusa.
- Monitoramento pós-compra. Isto é um portão, não um regime. Fornecedores trocam o modelo subjacente sem aviso, e uma troca de modelo invalida a sua medição. Rode as 50 consultas de novo a cada troca de modelo anunciada e a cada renovação.
Relacionado
- Política de IA para equipes jurídicas — onde o dever de verificação é registrado
- IA jurídica vs legaltech — a fronteira de categoria em que esta avaliação se encaixa
- Harvey, Thomson Reuters CoCounsel, LexisNexis Protégé — as plataformas contra as quais rodar o protocolo
- SOP de revisão contratual — a camada de revisão que absorve uma taxa de má fundamentação diferente de zero