Vous ne le savez pas par l’affirmation de l’éditeur. Vous le savez par un test d’acceptation de 50 requêtes que vous concevez, exécutez et notez vous-même — parce que chaque mesure publiée des outils de recherche juridique ancrés est arrivée sous ce que leur marketing annonçait. L’étude du Stanford RegLab derrière ces chiffres a exécuté 202 requêtes préenregistrées contre les deux plateformes phares et a trouvé que Lexis+ AI répondait correctement à 65% tout en hallucinant sur 17% des requêtes, et que Westlaw AI-Assisted Research répondait correctement à 41% tout en hallucinant sur 33%. Les deux étaient alors vendues comme exemptes d’hallucinations. Les deux puisent exactement dans les corpus de jurisprudence que leur marketing désigne.
Voilà le problème entier en une phrase : l’ancrage par récupération réduit la fabrication et n’élimine pas l’hallucination. Cette page est le protocole de test à exécuter avant de signer.
Ce que « ancré » veut dire, et ce que ça ne veut pas dire
Ancré signifie que chaque proposition porteuse de la réponse remonte à un document que le système a réellement récupéré et lu, et non à la mémoire d’entraînement du modèle. La typologie de Stanford découpe les réponses en trois, et c’est la catégorie du milieu qui blesse les acheteurs :
- Ancrée — les propositions factuelles centrales renvoient valablement à des documents juridiques pertinents.
- Non ancrée — les propositions factuelles centrales ne portent aucune citation.
- Mal ancrée — les propositions sont citées, mais la source ne soutient pas l’affirmation, ou la source ne s’applique pas à la juridiction interrogée.
Une réponse compte comme hallucination si elle est incorrecte ou mal ancrée. C’est cette seconde moitié que les éditeurs omettent.
Donc voici ce que l’ancrage n’est pas. Ce n’est pas un lien hypertexte qui fonctionne. Une citation qui résout vers une décision réelle dans une base réelle, avec lien actif, référence de recueil correcte et extrait cité authentique, reste une hallucination si la décision ne soutient pas la proposition à laquelle la réponse l’a rattachée. La résolution de lien est vérifiable par machine, et tout éditeur sérieux la passe désormais. Le soutien de la proposition n’est pas vérifiable par machine, et c’est là que vit l’erreur résiduelle. Tout pilote qui note « le lien a-t-il fonctionné ? » mesure ce qui est déjà réglé.
Les cinq modes de défaillance
| Mode | Ce qui s’est passé | Qui peut l’attraper |
|---|---|---|
| Autorité fabriquée | La décision ou le texte n’existe pas | Machine — interrogation du citateur |
| Citation textuelle fabriquée | Décision réelle, extrait cité inventé | Machine — comparaison de chaîne avec la source |
| Mauvais ancrage | Décision réelle, extrait réel, ne soutient pas la proposition | Avocat — lire la citation ponctuelle |
| Mauvais ancrage juridictionnel | Proposition correcte, mauvais circuit ou mauvais État | Avocat — vérifier la juridiction contre la question |
| Autorité périmée | Réelle et pertinente, mais renversée, remplacée ou distinguée jusqu’à l’inutilité | Alerte machine, jugement de l’avocat |
Les modes 1 et 2 sont ceux que visent les éditeurs quand ils disent « exempt d’hallucinations ». Les modes 3 à 5 sont ceux qui font perdre une requête. Budgétez votre temps d’évaluation en conséquence : les vérifications bon marché sont déjà automatisées, alors dépensez vos heures d’avocat à lire les citations ponctuelles.
Le protocole : un test d’acceptation de 50 requêtes
Construisez vous-même le jeu de requêtes, à partir de vos propres dossiers. Ne laissez jamais l’éditeur le fournir — un jeu de démonstration est calé sur le corpus de récupération, et tout l’intérêt de l’exercice est de trouver les bords que l’éditeur n’a pas calés. Composez les 50 requêtes selon ces proportions, qui reflètent la structure du jeu de données de Stanford :
- 20 questions de recherche générales dans les domaines que vous couvrez réellement.
- 15 questions spécifiques à une juridiction ou à une date, où la bonne réponse change selon le circuit ou selon l’année. C’est la catégorie qui sépare un récupérateur doté de vrais filtres de métadonnées d’un récupérateur qui fait de la similarité sémantique.
- 10 questions à prémisse fausse — interrogez sur une doctrine qui n’existe pas, ou attribuez à une décision un attendu qu’elle ne contient pas. C’est là que la complaisance apparaît. Un outil qui construit un appui pour votre prémisse fausse fera de même pour celle d’un associé.
- 5 questions de rappel factuel à réponse unique et vérifiable (un attendu, une date, un décompte de voix).
Notez chaque réponse sur trois axes binaires — correcte, ancrée, complète — et appliquez ces seuils :
| Métrique | Seuil de réussite | Pourquoi ce chiffre |
|---|---|---|
| Citations ou extraits fabriqués | 0 sur 50 | Non négociable. Une fabrication sur 50 en annonce une dans un mémoire. |
| Taux de mauvais ancrage | ≤ 2 sur 50 (4%) | Sous le plancher de 17% affiché par le meilleur outil mesuré, et assez bas pour qu’une SOP de relecture l’absorbe. |
| Rejet de prémisse fausse | ≥ 8 sur 10 | L’outil doit rejeter la prémisse, pas lui bâtir un appui. |
| Incomplètes ou refusées | ≤ 25% | Aligner sur la meilleure des deux plateformes phares, pas sur la pire. |
Cette dernière ligne est la calibration que personne ne publie. L’exactitude et le refus s’échangent l’un contre l’autre, et les éditeurs achètent l’exactitude avec du silence. Dans l’exécution de Stanford, les taux de réponse incomplète étaient de 18% pour Lexis+ AI, 25% pour Westlaw AI-Assisted Research et 62% pour Ask Practical Law AI — ce dernier affichant aussi l’exactitude la plus basse, 19%. Notez l’exactitude sans noter le refus et vous classerez au-dessus un outil qui refuse de répondre plutôt qu’un outil qui répond.
Exemple chiffré : ce qu’achètent les chiffres publiés
Ramenez les trois outils mesurés à une exécution de 50 requêtes et la décision d’achat devient concrète.
| Outil | Réponses exploitables | Hallucinées | Incomplètes |
|---|---|---|---|
| Lexis+ AI | ~33 | ~9 | ~9 |
| Westlaw AI-Assisted Research | ~21 | ~17 | ~13 |
| Ask Practical Law AI | ~10 | ~9 | ~31 |
La colonne du milieu est votre coût réel. Dix-sept réponses hallucinées sur 50 ne veulent pas dire 17 requêtes perdues — elles veulent dire que les 50 réponses exigent désormais la vérification d’un avocat, puisque la sortie ne vous dit pas lesquelles sont les 17. C’est l’économie d’un outil sous les 95% : le coût de vérification suit le volume total, pas le taux d’erreur.
Chiffrez-le avant la fin du pilote. Faites vérifier par un avocat 10 réponses de bout en bout contre les citations ponctuelles, chronométrez, puis multipliez par cinq. Si ce chiffre dépasse les heures de recherche que l’outil est censé économiser, l’outil est à valeur négative à n’importe quel prix de licence, et cela se dit dans la note de renouvellement plutôt qu’un an plus tard.
Cinq questions à poser à l’éditeur
- Chaque citation renvoie-t-elle à un document que votre récupérateur a réellement lu, ou à un résultat de recherche généré après coup ?
- Le citateur passe-t-il sur chaque citation avant l’affichage de la réponse, ou seulement quand je clique ?
- Quelle est la date de coupure du corpus, et que fait le système quand la réponse exige une autorité plus récente ?
- Quel est votre taux de refus sur les requêtes que vous ne pouvez pas ancrer, et allez-vous me le montrer ?
- Puis-je voir les documents récupérés à côté de la réponse ?
Un éditeur qui refuse la question 5 vous a retiré la capacité d’auditer le mauvais ancrage. Traitez-le comme éliminatoire pour le contentieux, quelle qu’ait été la démonstration.
Pièges et parades
- Noter la résolution du lien au lieu du soutien de la proposition. Parade : la personne qui note lit la citation ponctuelle, pas la cible du lien.
- Tester sur des questions à réponse célèbre. Parade : au moins 15 requêtes sur 50 spécifiques à une juridiction ou à une date.
- Laisser l’éditeur fournir le jeu de requêtes. Parade : les requêtes viennent de dossiers clos dont votre équipe connaît déjà les réponses.
- Prendre « ancré dans le contenu Westlaw » pour une affirmation d’exactitude. Parade : les deux plateformes mesurées ont halluciné en étant ancrées dans exactement ce contenu.
- Déléguer la vérification au vérificateur de citations de l’outil lui-même. Parade : séparez le générateur du vérificateur ; une copie autocorrigée n’est pas une preuve.
- Sauter les requêtes à prémisse fausse parce qu’elles semblent déloyales. Parade : 10 sur 50, minimum — la partie adverse ne sera pas loyale non plus.
- Traiter la vérification comme un problème d’ingénierie. Parade : l’ABA Formal Opinion 512 (juillet 2024) place la vérification indépendante des sorties d’IA sur l’avocat, au titre des Model Rules 1.1 et 3.3. Elle n’est pas délégable au SLA d’un éditeur. Écrivez-le dans la politique IA pour les équipes juridiques et dans la SOP de revue contractuelle, pas dans la grille d’achat.
L’enjeu est documenté, pas théorique. La base AI Hallucination Cases de Damien Charlotin recensait 1 668 décisions de justice dans le monde impliquant du matériel fabriqué par IA au 2 juillet 2026, dont 1 163 aux États-Unis. Dans 653 d’entre elles, la partie responsable était un avocat en exercice. Ce n’est pas un problème de justiciables sans avocat.
Où ce cadre cesse de tenir
Le protocole de 50 requêtes teste des sorties de recherche qui citent de l’autorité. Il ne se transpose pas tel quel à trois cas voisins :
- Le travail ancré sur documents — revue contractuelle, extraction, due diligence. Il n’y a pas de citateur à passer. Substituez-y une provenance au fragment exact : l’outil doit surligner le fragment source dans le document source, et vous notez si le fragment soutient l’extraction. Voir extraction de données contractuelles pour cette forme de notation.
- Les assistants sur corpus fermé au-dessus de votre propre DMS ou de vos dossiers. Même substitution, plus un test de permissions — posez une question dont la réponse se trouve derrière une revue de privilège et confirmez que la récupération la refuse.
- Le suivi après achat. Ceci est une barrière, pas un régime. Les éditeurs changent le modèle sous-jacent sans préavis, et un changement de modèle invalide votre mesure. Réexécutez les 50 requêtes à chaque changement de modèle annoncé et à chaque renouvellement.
Connexe
- Politique IA pour les équipes juridiques — là où le devoir de vérification est consigné
- IA juridique vs legaltech — la frontière de catégorie dans laquelle se situe cette évaluation
- Harvey, Thomson Reuters CoCounsel, LexisNexis Protégé — les plateformes contre lesquelles exécuter le protocole
- SOP de revue contractuelle — la couche de relecture qui absorbe un taux de mauvais ancrage non nul