リーガル AI のグラウンディングとハルシネーション

ベンダーの主張からは分かりません。分かるのは、自分で設計し、実行し、採点する 50 クエリの受け入れテストからです。グラウンディングされたリーガルリサーチツールについて公開された測定は、いずれもベンダーのマーケティングが述べた水準を下回ってきたからです。その数字の出どころである Stanford RegLab の研究は、2 つの主力プラットフォームに対して 202 件の事前登録クエリを実行し、Lexis+ AI は 65% を正確に回答する一方で 17% のクエリでハルシネーションを起こし、Westlaw AI-Assisted Research は 41% を正確に回答する一方で 33% でハルシネーションを起こすことを示しました。当時、両者ともハルシネーションがないものとして販売されていました。両者とも、マーケティングが指し示すまさにその判例コーパスから検索しています。

問題のすべては 1 文に収まります。検索によるグラウンディングは捏造を減らしますが、ハルシネーションをなくしはしません。 このページは、契約前に実行すべきテスト手順です。

「グラウンディング」の意味と、意味しないこと

グラウンディングされているとは、回答を支えるすべての命題が、モデルの学習記憶ではなく、システムが実際に検索して読んだ文書までたどれる状態を指します。Stanford の類型は回答を 3 つに分け、買い手が損をするのは中間のカテゴリです。

• グラウンディングあり — 中核となる事実命題が、関連する法的文書を正しく参照している。
• グラウンディングなし — 中核となる事実命題に引用が一切ない。
• ミスグラウンディング — 命題は引用されているが、出典がその主張を支えていない、または出典が照会された法域に適用されない。

回答は、誤っているか、ミスグラウンディングであるかのいずれかでハルシネーションと数えられます。ベンダーが省くのは、この後半です。

したがって、グラウンディングでないものも明確です。機能するハイパーリンクではありません。実在するデータベース内の実在する判例に解決し、リンクが生き、判例集の表記も正しく、引用文も本物である引用であっても、その判例が回答の結び付けた命題を支えていなければ、それはハルシネーションです。リンク解決は機械で検証でき、まともなベンダーはすでに全社が通過しています。命題の裏付けは機械では検証できず、残存誤差はそこに住んでいます。「リンクは開いたか」を採点するパイロットは、すでに解決済みのものを測っています。

5 つの失敗モード

ベンダーが「ハルシネーションなし」と言うとき指しているのはモード 1 と 2 です。申立てを落とすのはモード 3 から 5 です。評価時間の配分もそれに合わせてください。安価なチェックはすでに自動化済みなので、弁護士の時間はピンサイトを読むことに使います。

手順: 50 クエリの受け入れテスト

クエリ集合は自分の案件から自分で作ります。ベンダーに用意させてはいけません。デモ用の集合は検索コーパスに合わせて調整されており、この作業の目的はまさにベンダーが調整しなかった端を見つけることだからです。Stanford のデータセット構成を反映した次の比率で、50 件を構成します。

1. 一般的なリサーチ設問 20 件 — 実際に人員を置いている業務分野から。
2. 法域または日付に依存する設問 15 件 — 正解が巡回区や年によって変わるもの。実質的なメタデータフィルタを持つ検索器と、意味的類似度だけの検索器を分けるのがこのカテゴリです。
3. 誤前提の設問 10 件 — 存在しない法理について尋ねる、または判例が含まない判示をその判例に帰属させる。追従性が表面化するのはここです。あなたの誤前提に裏付けを組み立てるツールは、パートナーの誤前提にも同じことをします。
4. 事実想起の設問 5 件 — 検証可能な答えが 1 つだけのもの（判示、日付、票数）。

各回答を「正確」「グラウンディング」「完全」の 3 つの二値軸で採点し、次のしきい値を適用します。

最後の行が、誰も公開しない校正値です。正確性と回答拒否はトレードオフの関係にあり、ベンダーは沈黙で正確性を買っています。 Stanford の実行では、不完全回答率は Lexis+ AI が 18%、Westlaw AI-Assisted Research が 25%、Ask Practical Law AI が 62% でした。最後の 1 つは正確性も最低の 19% です。回答拒否を採点せずに正確性だけを採点すれば、答えないツールを、答えるツールより上に並べてしまいます。

計算例: 公開された数字が何を買うのか

測定済みの 3 ツールを 50 クエリの実行に正規化すると、購買判断が具体化します。

真ん中の列が実コストです。50 件中 17 件のハルシネーションは、17 件のクエリが無駄になったという意味ではありません。出力からはどの 17 件かを見分けられないため、50 件すべてに弁護士の検証が必要になるという意味です。これが 95% 未満のツールの経済です。検証コストは誤り率ではなく、総量に比例して増えます。

パイロットが終わる前に値段を付けてください。弁護士 1 人に 10 件の回答をピンサイトまで通しで検証させ、時間を計り、5 倍します。その数字が、ツールが節約するはずのリサーチ時間を超えるなら、そのツールはライセンス価格がいくらであれ価値を生みません。1 年後ではなく更新メモにそう書くべきです。

ベンダーに投げる 5 つの質問

1. 各引用は、検索器が実際に読んだ文書へのリンクですか。それとも事後に生成された検索結果へのリンクですか。
2. 引用チェッカーは回答が表示される前にすべての引用に対して実行されますか。それともクリックしたときだけですか。
3. コーパスの締め日はいつで、それより新しい典拠が必要な回答のとき、システムは何をしますか。
4. グラウンディングできないクエリでの回答拒否率はいくつで、それを見せてもらえますか。
5. 検索された文書を回答と並べて見られますか。

質問 5 を断るベンダーは、ミスグラウンディングを監査する手段をあなたから取り上げています。デモがどう見えたかにかかわらず、訴訟業務では失格として扱ってください。

落とし穴と対策

• 命題の裏付けではなくリンク解決を採点する。 対策: 採点者はリンク先ではなくピンサイトを読みます。
• 答えが有名な設問でテストする。 対策: 50 件のうち 15 件以上を法域または日付に依存する設問にします。
• クエリ集合をベンダーに用意させる。 対策: クエリは、チームがすでに答えを知っている終結案件から取ります。
• 「Westlaw のコンテンツにグラウンディング」を正確性の主張として読む。 対策: 測定された両プラットフォームは、まさにそのコンテンツにグラウンディングされた状態でハルシネーションを起こしました。
• 検証をツール自身の引用チェッカーに委ねる。 対策: 生成器と検証器を分けます。自己採点の答案は証拠になりません。
• 不公平に見えるので誤前提クエリを飛ばす。 対策: 最低でも 50 件中 10 件。相手方も公平ではありません。
• 検証をエンジニアリングの問題として扱う。 対策: ABA Formal Opinion 512（2024 年 7 月）は、Model Rules 1.1 および 3.3 のもとで、AI 出力の独立した検証を弁護士に課しています。ベンダーの SLA には委譲できません。調達チェックリストではなく、法務チーム向け AI ポリシーと契約レビュー SOPに書き込んでください。

リスクは理論上のものではなく、記録されています。Damien Charlotin の AI Hallucination Cases データベースは、2026 年 7 月 2 日時点で、AI が捏造した資料が関わる裁判所の判断を世界で 1,668 件、うち米国で 1,163 件記録しています。そのうち 653 件では、責任を負ったのは執務中の弁護士でした。これは本人訴訟の問題ではありません。

このフレームワークが通用しなくなる場所

50 クエリの手順が試すのは、典拠を引用するリサーチ出力です。隣接する 3 つのケースには、そのままでは移せません。

• 文書グラウンディングの業務 — 契約レビュー、抽出、デューデリジェンス。実行すべき引用チェッカーがありません。代わりに厳密なスパン由来を使います。ツールは出典文書の該当スパンをハイライトしなければならず、そのスパンが抽出を支えているかを採点します。この採点形については契約データ抽出を参照してください。
• クローズドコーパスのアシスタント — 自社の DMS や案件ファイルの上で動くもの。同じ置き換えに加えて権限テストを行います。特権レビューの境界の向こう側に答えがある質問を投げ、検索がそれを拒むことを確認します。
• 購入後のモニタリング。 これはゲートであって、運用体制ではありません。ベンダーは予告なく基盤モデルを差し替え、モデル差し替えは測定を無効にします。モデル変更の告知ごと、更新ごとに 50 クエリを再実行してください。

関連

• 法務チーム向け AI ポリシー — 検証義務を明文化する場所
• リーガル AI と legaltech — この評価が位置するカテゴリ境界
• Harvey、Thomson Reuters CoCounsel、LexisNexis Protégé — 手順を実行する対象プラットフォーム
• 契約レビュー SOP — ゼロでないミスグラウンディング率を吸収するレビュー層