Sie wissen es nicht aus der Aussage des Anbieters. Sie wissen es aus einem Abnahmetest mit 50 Anfragen, den Sie selbst entwerfen, durchführen und bewerten — denn jede veröffentlichte Messung der grounded Recherchetools lag unter dem, was deren Marketing behauptete. Die Stanford-RegLab-Studie hinter diesen Zahlen ließ 202 vorregistrierte Anfragen gegen die beiden Flaggschiff-Plattformen laufen und stellte fest: Lexis+ AI antwortete zu 65% korrekt und halluzinierte bei 17% der Anfragen, Westlaw AI-Assisted Research antwortete zu 41% korrekt und halluzinierte bei 33%. Beide wurden damals als halluzinationsfrei verkauft. Beide rufen genau aus den Rechtsprechungskorpora ab, auf die ihr Marketing verweist.
Das ist das gesamte Problem in einem Satz: Grounding per Retrieval reduziert Fabrikation und beseitigt Halluzination nicht. Diese Seite ist das Testprotokoll, das Sie vor der Unterschrift durchlaufen.
Was “grounded” heißt — und was nicht
Grounded heißt, dass jede tragende Aussage der Antwort auf ein Dokument zurückgeht, das das System tatsächlich abgerufen und gelesen hat, und nicht auf das Trainingsgedächtnis des Modells. Die Stanford-Typologie teilt Antworten in drei Klassen, und die mittlere ist die, an der Käufer scheitern:
- Grounded — die zentralen Tatsachenaussagen verweisen gültig auf einschlägige Rechtsdokumente.
- Ungrounded — die zentralen Tatsachenaussagen tragen überhaupt keine Fundstelle.
- Misgrounded — die Aussagen sind belegt, aber die Quelle trägt die Behauptung nicht, oder die Quelle gilt nicht für die abgefragte Jurisdiktion.
Eine Antwort gilt als Halluzination, wenn sie falsch oder misgrounded ist. Diese zweite Hälfte lassen Anbieter weg.
Und damit ist klar, was Grounding nicht ist. Es ist kein funktionierender Hyperlink. Eine Fundstelle, die auf eine echte Entscheidung in einer echten Datenbank auflöst, mit aktivem Link, korrekter Fundstellenangabe und echtem Zitat, bleibt eine Halluzination, wenn die Entscheidung die Aussage nicht trägt, an die die Antwort sie geheftet hat. Link-Auflösung ist maschinell prüfbar, und jeder ernsthafte Anbieter besteht sie inzwischen. Aussagendeckung ist maschinell nicht prüfbar, und dort sitzt der Restfehler. Jeder Pilot, der “hat der Link funktioniert?” bewertet, misst das, was längst gelöst ist.
Die fünf Fehlermodi
| Modus | Was passiert ist | Wer es fangen kann |
|---|---|---|
| Erfundene Fundstelle | Die Entscheidung oder Norm existiert nicht | Maschine — Citator-Abfrage |
| Erfundenes Zitat | Echte Entscheidung, erfundener Zitattext | Maschine — String-Abgleich gegen die Quelle |
| Misgrounding | Echte Entscheidung, echtes Zitat, trägt die Aussage nicht | Anwalt — die Pin-Cite lesen |
| Jurisdiktionelles Misgrounding | Richtige Aussage, falscher Circuit oder Bundesstaat | Anwalt — Gericht gegen die Frage prüfen |
| Überholte Fundstelle | Echt und einschlägig, aber aufgehoben, ersetzt oder ins Bedeutungslose eingeschränkt | Maschinen-Flag, anwaltliche Bewertung |
Die Modi 1 und 2 meinen Anbieter, wenn sie “halluzinationsfrei” sagen. Die Modi 3 bis 5 verlieren einen Antrag. Planen Sie Ihre Prüfzeit entsprechend: Die billigen Checks sind bereits automatisiert, also investieren Sie Ihre Anwaltsstunden ins Lesen der Pin-Cites.
Das Protokoll: ein Abnahmetest mit 50 Anfragen
Bauen Sie das Anfragenset selbst, aus Ihren eigenen Mandaten. Lassen Sie es sich nie vom Anbieter geben — ein Demo-Set ist auf den Retrieval-Korpus abgestimmt, und der Zweck der Übung ist genau, die Kanten zu finden, die der Anbieter nicht abgestimmt hat. Setzen Sie die 50 Anfragen in diesen Anteilen zusammen, die die Struktur des Stanford-Datensatzes spiegeln:
- 20 allgemeine Recherchefragen aus den Rechtsgebieten, die Sie tatsächlich besetzen.
- 15 jurisdiktions- oder datumsspezifische Fragen, bei denen die richtige Antwort je Circuit oder je Jahr wechselt. Diese Kategorie trennt einen Retriever mit echten Metadatenfiltern von einem, der semantische Ähnlichkeit macht.
- 10 Fragen mit falscher Prämisse — fragen Sie nach einer Doktrin, die es nicht gibt, oder schreiben Sie einer Entscheidung einen Leitsatz zu, den sie nicht enthält. Hier tritt Gefälligkeit zutage. Ein Tool, das Belege für Ihre falsche Prämisse konstruiert, tut dasselbe für die eines Partners.
- 5 Faktenabruf-Fragen mit genau einer überprüfbaren Antwort (ein Leitsatz, ein Datum, ein Abstimmungsergebnis).
Bewerten Sie jede Antwort auf drei binären Achsen — korrekt, grounded, vollständig — und wenden Sie diese Schwellen an:
| Kennzahl | Bestehensschwelle | Warum diese Zahl |
|---|---|---|
| Erfundene Fundstellen oder Zitate | 0 von 50 | Nicht verhandelbar. Eine Fabrikation in 50 sagt eine Fabrikation im Schriftsatz voraus. |
| Misgrounding-Rate | ≤ 2 von 50 (4%) | Unter dem 17%-Boden des besten gemessenen Tools und niedrig genug, dass ein Review-SOP sie auffängt. |
| Zurückweisung falscher Prämissen | ≥ 8 von 10 | Das Tool muss die Prämisse zurückweisen, nicht Belege dafür bauen. |
| Unvollständig oder verweigert | ≤ 25% | Die bessere der beiden Flaggschiff-Plattformen als Maßstab, nicht die schlechtere. |
Die letzte Zeile ist die Kalibrierung, die niemand veröffentlicht. Genauigkeit und Verweigerung gehen gegeneinander, und Anbieter kaufen Genauigkeit mit Schweigen. Im Stanford-Lauf lagen die Raten unvollständiger Antworten bei 18% für Lexis+ AI, 25% für Westlaw AI-Assisted Research und 62% für Ask Practical Law AI — letzteres mit der niedrigsten Genauigkeit, 19%. Wer Genauigkeit ohne Verweigerungsrate bewertet, setzt ein Tool, das nicht antwortet, über eines, das antwortet.
Rechenbeispiel: was die veröffentlichten Zahlen einkaufen
Normieren Sie die drei gemessenen Tools auf einen Lauf mit 50 Anfragen, und die Kaufentscheidung wird konkret.
| Tool | Verwertbare Antworten | Halluziniert | Unvollständig |
|---|---|---|---|
| Lexis+ AI | ~33 | ~9 | ~9 |
| Westlaw AI-Assisted Research | ~21 | ~17 | ~13 |
| Ask Practical Law AI | ~10 | ~9 | ~31 |
Die mittlere Spalte ist Ihr realer Aufwand. Siebzehn halluzinierte Antworten von 50 heißen nicht 17 verschwendete Anfragen — sie heißen, dass jetzt alle 50 Antworten anwaltlich geprüft werden müssen, weil Sie der Ausgabe nicht ansehen, welche 17 es sind. Das ist die Ökonomie eines Tools unter 95%: Der Prüfaufwand skaliert mit dem Gesamtvolumen, nicht mit der Fehlerquote.
Bepreisen Sie das, bevor der Pilot endet. Lassen Sie einen Anwalt 10 Antworten vollständig gegen die Pin-Cites prüfen und stoppen Sie die Zeit, dann multiplizieren Sie mit fünf. Übersteigt diese Zahl die Recherchestunden, die das Tool einsparen soll, ist das Tool zu jedem Lizenzpreis wertvernichtend — und das gehört ins Verlängerungsmemo, nicht ein Jahr später.
Fünf Fragen an den Anbieter
- Verweist jede Fundstelle auf ein Dokument, das Ihr Retriever tatsächlich gelesen hat, oder auf ein nachträglich erzeugtes Suchergebnis?
- Läuft der Citator über jede Fundstelle, bevor die Antwort gerendert wird, oder erst beim Klick?
- Wo liegt der Korpus-Stichtag, und was tut das System, wenn die Antwort neuere Fundstellen erfordert?
- Wie hoch ist Ihre Verweigerungsrate bei Anfragen, die Sie nicht grounden können, und zeigen Sie sie mir?
- Kann ich die abgerufenen Dokumente neben der Antwort sehen?
Ein Anbieter, der Frage 5 verweigert, hat Ihnen die Möglichkeit genommen, Misgrounding zu auditieren. Behandeln Sie das für Prozessarbeit als Ausschlusskriterium, unabhängig davon, wie die Demo aussah.
Fallstricke und Gegenmaßnahmen
- Link-Auflösung statt Aussagendeckung bewerten. Gegenmaßnahme: Die bewertende Person liest die Pin-Cite, nicht das Linkziel.
- Mit Fragen testen, deren Antwort berühmt ist. Gegenmaßnahme: mindestens 15 von 50 Anfragen jurisdiktions- oder datumsspezifisch.
- Das Anfragenset vom Anbieter stellen lassen. Gegenmaßnahme: Die Anfragen stammen aus abgeschlossenen Mandaten, deren Antworten Ihr Team kennt.
- “Grounded in Westlaw-Inhalten” als Genauigkeitsaussage lesen. Gegenmaßnahme: Beide gemessenen Plattformen halluzinierten, während sie in genau diesen Inhalten grounded waren.
- Die Prüfung dem eigenen Citation-Checker des Tools überlassen. Gegenmaßnahme: Generator und Prüfer trennen; eine selbst benotete Klausur ist kein Nachweis.
- Die Falsch-Prämissen-Anfragen auslassen, weil sie unfair wirken. Gegenmaßnahme: mindestens 10 von 50 — die Gegenseite wird auch nicht fair sein.
- Verifikation als Engineering-Problem behandeln. Gegenmaßnahme: ABA Formal Opinion 512 (Juli 2024) legt die unabhängige Prüfung von KI-Ausgaben nach Model Rules 1.1 und 3.3 dem Anwalt auf. Sie ist nicht an ein Anbieter-SLA delegierbar. Schreiben Sie das in die KI-Richtlinie für Legal-Teams und in die SOP für Vertragsprüfung, nicht in die Beschaffungscheckliste.
Was auf dem Spiel steht, ist dokumentiert und nicht theoretisch. Damien Charlotins Datenbank AI Hallucination Cases verzeichnete zum 2. Juli 2026 weltweit 1.668 Gerichtsentscheidungen mit KI-fabriziertem Material, davon 1.163 in den USA. In 653 Fällen war die verantwortliche Partei ein praktizierender Anwalt. Das ist kein Problem selbstvertretener Parteien.
Wo dieses Framework aufhört zu tragen
Das 50-Anfragen-Protokoll prüft Rechercheausgaben, die Fundstellen zitieren. Auf drei benachbarte Fälle überträgt es sich nicht unverändert:
- Dokumentgestützte Arbeit — Vertragsprüfung, Extraktion, Due Diligence. Es gibt keinen Citator. Ersetzen Sie ihn durch Span-genaue Provenienz: Das Tool muss den Quell-Span im Quelldokument markieren, und Sie bewerten, ob der Span die Extraktion trägt. Für diese Bewertungsform siehe Vertragsdatenextraktion.
- Assistenten über geschlossene Korpora aus Ihrem eigenen DMS oder Mandatsakten. Dieselbe Ersetzung, plus ein Berechtigungstest — stellen Sie eine Frage, deren Antwort hinter einer Privilege-Review-Grenze liegt, und prüfen Sie, dass das Retrieval sie verweigert.
- Monitoring nach dem Kauf. Das hier ist ein Tor, kein Regime. Anbieter tauschen das zugrunde liegende Modell ohne Ankündigung, und ein Modellwechsel entwertet Ihre Messung. Lassen Sie die 50 Anfragen bei jedem angekündigten Modellwechsel und bei jeder Verlängerung erneut laufen.
Verwandt
- KI-Richtlinie für Legal-Teams — wo die Prüfpflicht festgeschrieben wird
- Legal AI vs. Legaltech — die Kategoriegrenze, in der diese Bewertung liegt
- Harvey, Thomson Reuters CoCounsel, LexisNexis Protégé — die Plattformen, gegen die Sie das Protokoll laufen lassen
- SOP für Vertragsprüfung — die Prüfebene, die eine von null verschiedene Misgrounding-Rate auffängt