Aucun chiffre publié ne répond à la question « quelle est la précision de la révision de contrats par IA » pour vos contrats, parce que la précision n’est pas une mesure unique : c’est un score de precision et un score de recall sur une tâche donnée, contre un corrigé donné, sur un type de contrat donné. Un éditeur qui cite un seul chiffre a réduit ces quatre choix à un nombre et gardé les choix pour lui. La question utile n’est jamais « quelle est votre précision ? ». C’est « sur quelle tâche, notée comment, contre le corrigé de qui, sur quels contrats ? ». Cette page donne les cinq questions qui récupèrent ces informations, avec les seuils qui distinguent une bonne réponse.
Les trois substitutions cachées dans un seul chiffre
Substitution de tâche. La meilleure preuve indépendante disponible est le Vals Legal AI Report (février 2025), premier benchmark à noter des outils d’IA juridique contre un groupe de contrôle d’avocats sur des travaux issus de cabinets Am Law 100. Sur l’extraction documentaire, les outils battent les humains : Harvey Assistant 75.1, CoCounsel 73.2, contre une baseline avocats de 71.1. Sur le redlining — la tâche qui constitue réellement la révision de contrats — le classement s’inverse : baseline avocats 79.7, Harvey Assistant 65.0, Vincent AI 53.6. Mêmes éditeurs, même étude, conclusion opposée. Un éditeur est libre de citer le chiffre d’extraction et de l’appeler précision de révision de contrats.
Substitution de métrique. Beaucoup d’éditeurs benchmarkent sur CUAD, le jeu de données de l’Atticus Project comptant 510 contrats et 41 catégories de clauses, avec plus de 13 000 annotations d’experts. Ivo publie 97 % sur CUAD. Les concepteurs de CUAD notaient les modèles par l’aire sous la courbe precision-recall, parce que l’extraction de clauses est un problème d’aiguille dans une botte de foin où le déséquilibre des classes rend la précision brute inutile : un modèle qui ne signale rien obtient un bon score sur une métrique qui compte les silences corrects. Les modèles de recherche sur la métrique prévue par CUAD se sont situés autour de 40 %. Un chiffre de « précision » supérieur à 90 % sur le même jeu de données mesure autre chose, et l’éditeur dit rarement quoi.
Substitution d’évaluateur. Vals a noté avec un LLM juge contre des réponses de référence décomposées en vérifications individuelles. Le benchmark LAB-AA de Harvey, ouvert en mai 2026 et réimplémenté par Artificial Analysis sur 120 tâches privées couvrant 24 domaines de pratique, publie deux chiffres par modèle : le taux de réussite par critère (part des critères individuels de la grille satisfaits) et le taux de réussite intégrale (part des tâches où tous les critères passent, sans crédit partiel). Les meilleurs taux par critère tournent autour de 93-95 %. Le taux de réussite intégrale des mêmes systèmes est nettement plus bas, parce qu’un livrable professionnel échoue sur une seule mauvaise clause. Le chiffre qu’un éditeur choisit de citer est une décision marketing.
Les cinq questions
Posez-les dans l’ordre ci-dessous. Chacune a un seuil de réponse acceptable.
| # | Question | Réponse acceptable | Réponse rédhibitoire |
|---|---|---|---|
| 1 | Quelle tâche a été notée ? | Nommée et étroite : « signaler les écarts à un playbook NDA de 24 positions » | « Révision de contrats » |
| 2 | Precision ou recall, et combien vaut l’autre ? | Les deux cités, ou une F-measure avec ses composantes disponibles | Un seul chiffre de « précision » |
| 3 | Qui a écrit le corrigé, et peut-on le consulter ? | Annotateurs nommés, taux de désaccord publié, échantillon consultable | « Validé par des experts » |
| 4 | Quels contrats, et étaient-ils inédits ? | Type de contrat indiqué, écarté de l’entraînement | Jeu de données non nommé |
| 5 | Qui a mené l’évaluation ? | Un tiers indépendant, ou l’éditeur avec méthode publiée | L’éditeur, méthode non publiée |
Le recall est ce qui compte pour la révision. La precision est la part des signalements qui étaient réels ; le recall est la part des problèmes réels qui ont été signalés. Un plafond d’indemnisation manqué est un risque juridique ; un faux signalement coûte 30 secondes d’attention d’un avocat. Exigez le recall, puis vérifiez que la precision est assez haute pour que les relecteurs ne se mettent pas à ignorer les signalements : sous environ 70 % de precision, les équipes cessent de les lire et le chiffre de recall cesse de compter.
La fidélité au playbook est la métrique que personne ne publie. Tous les benchmarks ci-dessus notent contre une notion générale d’exactitude juridique. La question de votre équipe est plus étroite : quand votre playbook déclare inacceptables les plafonds de responsabilité inférieurs à 12 mois d’honoraires, l’outil signale-t-il un plafond de 9 mois à chaque fois ? C’est cela, la fidélité au playbook : l’accord avec vos positions, pas avec celles d’un avocat raisonnable. Aucun benchmark public ne la mesure et aucun chiffre d’éditeur ne la prédit. Elle se mesure sur vos propres documents.
Le chiffre canonique, et pourquoi cesser de le citer
La statistique derrière l’essentiel du marketing de la révision de contrats par IA est l’étude LawGeex de 2018 : 20 juristes formés aux États-Unis contre le moteur de l’éditeur sur 5 NDA inédits totalisant 153 paragraphes, notés en F-measure sous supervision académique de Roland Vogl (Stanford) et Gillian Hadfield (USC). L’IA a obtenu 94 % contre 85 % pour les juristes, en 26 secondes contre une moyenne humaine de 92 minutes.
C’est une vraie étude, elle a huit ans, elle a été menée par l’éditeur, sur un seul type de contrat, contre un corrigé figé de risques prédéfinis. Elle décrit aussi un produit qui n’existe plus : LawGeex a été démantelé en 2023. Traitez « 94 % de précision » dans un deck de 2026 comme une citation du marketing d’une société morte, et posez la question 1.
Exemple chiffré : mener votre propre test sur 50 contrats
Prévoyez une semaine de travail d’un contract manager.
- Sortez 50 contrats signés d’un même type — celui que vous traitez le plus, pas un panachage. En dessous de 30, l’intervalle de confiance avale le résultat.
- Faites annoter les problèmes par deux relecteurs indépendamment, contre votre playbook. Là où ils divergent, consignez-le. Un désaccord inter-annotateurs de 15-25 % est normal ; au-delà de 30 %, le problème est votre playbook, pas l’IA, et aucun outil ne notera bien contre un corrigé que deux de vos propres collaborateurs ne savent pas reproduire.
- Passez les 50 dans l’outil, votre playbook chargé, pas la configuration de démo de l’éditeur.
- Comptez quatre catégories par contrat : vrais positifs, faux positifs, faux négatifs, et — celle que les équipes oublient — les problèmes que les deux relecteurs ont manqués et que l’outil a trouvés.
- Calculez recall et precision. Recall = VP / (VP + FN). Precision = VP / (VP + FP).
Attentes calibrées pour un test de première main sur vos propres documents : recall de 85-95 % sur les positions de playbook fréquentes (responsabilité, indemnisation, durée, paiement), 60-75 % sur les positions présentes dans moins d’un cinquième de vos contrats, et precision de 70-85 %. Un outil qui franchit ces seuils sur vos contrats mérite un déploiement avec relecture humaine. Un outil qui affiche 97 % en démo éditeur et 62 % de recall ici vous dit que le corpus de démo n’était pas vos documents.
Pièges et parades
- Les benchmarks migrent d’une tâche à l’autre. Un chiffre de précision en recherche juridique est cité comme précision de révision de contrats. Parade : l’étude du Stanford RegLab sur les outils de recherche juridique a trouvé Lexis+ AI exact sur 65 % de 202 requêtes et Westlaw AI-Assisted Research sur 42 %, avec des taux d’hallucination de 17 % et 33 % ; ce sont des chiffres de recherche, et ils ne se transfèrent dans aucun sens à l’extraction de clauses. Faites nommer la tâche par l’éditeur avant de noter le chiffre.
- Le grounding par récupération est vendu comme remède aux hallucinations. Parade : la même étude a trouvé que des outils bâtis sur du retrieval-augmented generation continuaient d’inventer, constat qui contredisait alors les annonces des éditeurs. Demandez le taux de fabrication spécifiquement sur le texte de clause cité, et voyez grounding vs hallucination.
- Le corpus de démo est le corpus d’entraînement. Parade : menez le pilote sur des contrats que l’éditeur n’a jamais vus, choisis par vous après la démo.
- On mesure la précision, pas l’adoption. Un outil à 90 % de recall que les relecteurs cessent d’ouvrir livre zéro. Parade : suivez les signalements relus à côté des signalements émis pendant les 60 premiers jours.
- Un seul chiffre couvre tous les types de clauses. Le recall agrégé masque que l’outil trouve les conditions de paiement et manque la cession en cas de changement de contrôle. Parade : publiez le recall par position de playbook, pas par contrat.
Quand ce cadre cesse de fonctionner
Il suppose que vous avez un playbook écrit et assez de volume sur un type de contrat pour le tester. En dessous d’environ 200 contrats par an, ou sans positions codifiées, le test sur 50 contrats coûte plus que l’outil ne fait économiser : commencez par le playbook NDA et une SOP de révision de contrats documentée, puis benchmarkez. Il suppose aussi que le travail, c’est la révision. Pour l’extraction sur un portefeuille de contrats déjà signés, le résultat Vals pointe dans l’autre sens : c’est la tâche où ces outils battent déjà la baseline avocats, et la barre pour les adopter y est plus basse.