「AI契約レビューの精度はどれくらいか」という問いに、自社の契約について答えてくれる公開数値は存在しません。精度は単一の測定値ではなく、特定のタスクにおける、特定の正解データに対する、特定の契約類型上での precision スコアと recall スコアだからです。1つの数値だけを示すベンダーは、この4つの選択を1つの数に畳み込み、選択の中身を非公開にしています。有用な問いは「精度はいくつですか」ではありません。「どのタスクで、どう採点し、誰の正解データに対し、どの契約で測ったのか」です。このページでは、それを取り戻すための5つの質問と、良い回答を見分けるための閾値を示します。
1つの数値に隠れた3つのすり替え
タスクのすり替え。 入手できる最も強い独立した証拠は Vals Legal AI Report（2025年2月）です。Am Law 100 のファーム業務から作られたタスクで、リーガル AI ツールを弁護士の対照群と比較採点した初のベンチマークです。文書抽出ではツールが人間を上回りました。Harvey Assistant 75.1、CoCounsel 73.2 に対し、弁護士ベースラインは 71.1 です。ところが レッドライニング、つまり実質的に契約レビューそのものであるタスクでは順位が逆転します。弁護士ベースライン 79.7、Harvey Assistant 65.0、Vincent AI 53.6 です。同じベンダー、同じ調査で、結論が正反対になります。ベンダーは抽出タスクの数値を引用し、それを契約レビューの精度と呼ぶことができます。
指標のすり替え。 多くのベンダーは CUAD でベンチマークします。Atticus Project による510件の契約と41のクローズ類型、13,000件超の専門家アノテーションを持つデータセットです。Ivo は CUAD で97%を公表しています。CUAD の設計者自身は precision-recall 曲線下面積でモデルを採点しました。クローズ抽出は干し草の山から針を探す問題であり、クラス不均衡のせいで素朴な精度が無意味になるからです。何も指摘しないモデルが、正しい沈黙を数える指標では高得点を取ってしまいます。CUAD が本来想定した指標での研究モデルは40%台にとどまってきました。同じデータセット上の90%超という「精度」の数値は、別の何かを測っており、ベンダーがそれが何かを語ることはほとんどありません。
採点者のすり替え。 Vals は、個別チェック項目に分解した参照解答に対して LLM を judge として採点しました。2026年5月にオープンソース化され、Artificial Analysis が24の実務分野にわたる120件の非公開タスクで再実装した Harvey の LAB-AA ベンチマークは、モデルごとに2つの数値を報告します。基準別合格率（ルーブリックの個別基準を満たした割合）と、全基準合格率（部分点なしで すべての 基準を満たしたタスクの割合）です。基準別合格率の上位はおよそ93-95%に位置します。同じシステムの全基準合格率はそれよりはるかに低くなります。専門的な成果物は、たった1つの不備なクローズで不合格になるからです。ベンダーがどちらの数値を引用するかは、マーケティング上の判断です。
5つの質問
以下の順で尋ねてください。それぞれに合格ラインがあります。
| # | 質問 | 合格の回答 | 不合格の回答 |
|---|---|---|---|
| 1 | どのタスクを採点したか | 具体的で狭い。「24項目のNDAプレイブックからの逸脱を検知」 | 「契約レビュー」 |
| 2 | precision か recall か、もう一方はいくつか | 両方を提示、または F-measure と構成要素を開示 | 「精度」の単一数値のみ |
| 3 | 正解データは誰が作り、閲覧できるか | アノテーターを明示、不一致率を開示、サンプル閲覧可 | 「専門家が検証済み」 |
| 4 | どの契約で、未見のデータか | 契約類型を明示、学習から除外 | データセット名を示さない |
| 5 | 誰が実施したか | 独立した第三者、または手法を公開したベンダー | ベンダー実施で手法は非公開 |
レビューで効くのは recall です。 precision は指摘のうち本物だった割合、recall は本物の問題のうち指摘できた割合です。補償上限の見落としは法的リスクになりますが、誤検知のコストは弁護士の注意30秒分です。まず recall を要求し、その上でレビュー担当が指摘を無視し始めない程度に precision が高いかを確認してください。precision が約70%を下回ると、チームは指摘を読まなくなり、recall の数値も意味を失います。
プレイブック忠実度は、誰も公表しない指標です。 上記のベンチマークはいずれも、法的な正しさという一般的な観念に対して採点します。自社チームの問いはもっと狭いはずです。プレイブックが「報酬12か月分を下回る責任上限は許容しない」と定めているとき、そのツールは9か月の上限を毎回指摘するでしょうか。これがプレイブック忠実度、つまり合理的な弁護士の見解ではなく 自社の ポジションとの一致度です。公開ベンチマークはこれを測定せず、ベンダーの数値もこれを予測しません。自社の文書上で測るしかありません。
定番の数値と、それを引用すべきでない理由
AI契約レビューのマーケティングの大半が拠り所にしているのは、2018年の LawGeex の調査です。米国で訓練を受けた弁護士20名と、ベンダーのエンジンが、153段落を含む未見のNDA 5件で対決し、F-measure で採点されました。学術面は Stanford の Roland Vogl と USC の Gillian Hadfield が監修しています。AI は94%、弁護士は85%で、所要時間は26秒に対し人間の平均は92分でした。
これは実在する調査であり、同時に8年前のもので、ベンダー自身が実施し、単一の契約類型を対象に、あらかじめ定義されたリスクの固定的な正解データに対して行われたものです。しかも、そこで説明されている製品はもう存在しません。LawGeex は2023年に解体されました。2026年の提案資料にある「精度94%」は、消滅した企業のマーケティングの引用として扱い、質問1をぶつけてください。
実例：自社で50件の契約テストを回す
コントラクトマネージャー1名の1週間分の工数を見込んでください。
- 同一類型の締結済み契約を50件集めます。 実際に最も多く処理している類型で、混在させないこと。30件を下回ると、信頼区間が結果を飲み込みます。
- 2名のレビュー担当が独立に、自社プレイブックに対して問題点を記入します。 判断が割れた箇所は記録します。アノテーター間の不一致15-25%は正常な範囲です。30%を超える場合、問題はAIではなくプレイブックの側にあり、自社の2名すら再現できない正解データに対して高得点を出せるツールはありません。
- 50件すべてをツールに通します。 ベンダーのデモ設定ではなく、自社プレイブックを読み込ませた状態で行います。
- 契約ごとに4区分を数えます。 真陽性、偽陽性、偽陰性、そしてチームが忘れがちな4つ目、レビュー担当2名がともに見落としツールが検知した問題です。
- recall と precision を計算します。 recall = TP / (TP + FN)、precision = TP / (TP + FP)。
自社文書での一次テストにおける較正済みの期待値は、頻出プレイブック項目（責任、補償、期間、支払）で recall 85-95%、契約全体の5分の1未満にしか現れない項目で60-75%、precision は70-85%です。自社契約でこれを満たすツールは、人間のレビューを前提に導入する価値があります。ベンダーのデモで97%を出しながらここで recall 62%のツールは、デモの対象が自社の文書ではなかったと告げているのです。
よくある落とし穴と対策
- ベンチマークがタスクをまたいで流用される。 リーガルリサーチの精度がそのまま契約レビューの精度として引用されます。対策： Stanford RegLab のリーガルリサーチツール調査では、Lexis+ AI が202件のクエリのうち65%で正確、Westlaw AI-Assisted Research は42%で、ハルシネーション率はそれぞれ17%と33%でした。これはリサーチの数値であり、どちらの向きにもクローズ抽出には転用できません。数値を書き留める前に、ベンダーにタスクを名指しさせてください。
- 検索によるグラウンディングがハルシネーションの解決策として売られる。 対策： 同じ調査は、retrieval-augmented generation を土台にしたツールでも捏造が続くことを示しました。これは当時のベンダーの主張を否定した発見です。引用されたクローズ本文に限定した捏造率を求め、グラウンディングとハルシネーションも参照してください。
- デモ用データが学習データである。 対策： デモの後に自分で選んだ、ベンダーが一度も見ていない契約でパイロットを回します。
- 精度は測るが、定着は測らない。 recall 90%でもレビュー担当が開かなくなったツールの成果はゼロです。対策： 最初の60日間、提示された指摘数と実際に確認された指摘数を並べて追跡します。
- 1つの数値で全クローズ類型を代表させる。 集計 recall は、支払条件は見つけるのに支配権移転時の譲渡を落としている事実を覆い隠します。対策： 契約単位ではなく、プレイブック項目単位で recall を報告します。
このフレームワークが成り立たない場合
このフレームワークは、文書化されたプレイブックと、テストに足る単一契約類型の件数があることを前提にしています。年間およそ200件を下回る場合や、ポジションが明文化されていない場合、50件テストのコストはツールの節約分を上回ります。まず NDAプレイブック と文書化された 契約レビューのSOP から着手し、その後にベンチマークしてください。また、業務がレビューであることも前提です。締結済み契約ポートフォリオからの抽出であれば、Vals の結果は逆を示しています。抽出はこれらのツールがすでに弁護士ベースラインを上回っているタスクであり、導入のハードルはより低くなります。