Genauigkeitsangaben zur KI-Vertragsprüfung richtig bewerten

Keine veröffentlichte Zahl beantwortet die Frage “wie genau ist KI-Vertragsprüfung” für Ihre Verträge, denn Genauigkeit ist keine einzelne Messung: Sie ist ein Precision-Wert und ein Recall-Wert für eine bestimmte Aufgabe, gegen einen bestimmten Lösungsschlüssel, auf einem bestimmten Vertragstyp. Ein Anbieter, der eine einzige Zahl nennt, hat diese vier Entscheidungen zu einer Zahl zusammengefasst und die Entscheidungen selbst für sich behalten. Die nützliche Frage lautet nie “wie hoch ist Ihre Genauigkeit?”. Sie lautet “bei welcher Aufgabe, wie bewertet, gegen wessen Lösungsschlüssel, auf welchen Verträgen?”. Diese Seite liefert die fünf Fragen, die genau das zurückholen, mit Schwellenwerten dafür, wie eine gute Antwort aussieht.

Die drei Vertauschungen in einer einzigen Zahl

Aufgaben-Vertauschung. Die stärkste verfügbare unabhängige Evidenz ist der Vals Legal AI Report (Februar 2025), das erste Benchmark, das Legal-AI-Tools gegen eine Kontrollgruppe aus Anwältinnen und Anwälten an Arbeit aus Am-Law-100-Kanzleien bewertet hat. Bei der Dokumentenextraktion schlugen die Tools die Menschen: Harvey Assistant 75.1, CoCounsel 73.2, gegen eine anwaltliche Baseline von 71.1. Beim Redlining — der Aufgabe, die tatsächlich Vertragsprüfung ist — kehrt sich die Reihenfolge um: anwaltliche Baseline 79.7, Harvey Assistant 65.0, Vincent AI 53.6. Dieselben Anbieter, dieselbe Studie, gegenteiliges Ergebnis. Es steht einem Anbieter frei, die Extraktionszahl zu zitieren und sie Vertragsprüfungsgenauigkeit zu nennen.

Metrik-Vertauschung. Viele Anbieter benchmarken auf CUAD, dem Datensatz des Atticus Project mit 510 Verträgen und 41 Klauselkategorien bei über 13.000 Experten-Annotationen. Ivo veröffentlicht 97 % auf CUAD. Die Entwickler von CUAD selbst bewerteten Modelle über die Fläche unter der Precision-Recall-Kurve, weil Klauselextraktion ein Nadel-im-Heuhaufen-Problem ist, bei dem das Klassenungleichgewicht schlichte Genauigkeit wertlos macht: Ein Modell, das nichts markiert, schneidet bei einer Metrik gut ab, die korrektes Schweigen mitzählt. Forschungsmodelle lagen bei der eigentlich vorgesehenen CUAD-Metrik im Bereich von gut 40 %. Ein “Genauigkeits”-Wert über 90 % auf demselben Datensatz misst etwas anderes, und der Anbieter sagt selten, was.

Bewerter-Vertauschung. Vals bewertete per LLM-as-a-Judge gegen Referenzantworten, die in einzelne Prüfpunkte zerlegt waren. Harveys LAB-AA-Benchmark, im Mai 2026 als Open Source veröffentlicht und von Artificial Analysis über 120 private Aufgaben aus 24 Rechtsgebieten reimplementiert, weist pro Modell zwei Zahlen aus: die Kriterien-Bestehensquote (Anteil der erfüllten Einzelkriterien der Rubrik) und die Gesamt-Bestehensquote (Anteil der Aufgaben, bei denen alle Kriterien erfüllt sind, ohne Teilpunkte). Die höchsten Kriterien-Bestehensquoten liegen bei etwa 93-95 %. Die Gesamt-Bestehensquote derselben Systeme liegt deutlich darunter, weil ein professionelles Arbeitsergebnis an einer einzigen schlechten Klausel scheitert. Welche Zahl ein Anbieter zitiert, ist eine Marketingentscheidung.

Die fünf Fragen

Stellen Sie sie in der folgenden Reihenfolge. Jede hat einen Schwellenwert für eine bestandene Antwort.

Recall ist die Größe, auf die es bei der Prüfung ankommt. Precision ist der Anteil der Markierungen, die echt waren; Recall ist der Anteil der echten Probleme, die markiert wurden. Eine übersehene Haftungsobergrenze ist ein Risiko; eine Fehlmarkierung kostet 30 Sekunden anwaltliche Aufmerksamkeit. Verlangen Sie Recall und prüfen Sie dann, ob die Precision hoch genug ist, damit die Prüfenden die Markierungen nicht zu ignorieren beginnen: Unter rund 70 % Precision hören Teams auf, sie zu lesen, und der Recall-Wert verliert seine Bedeutung.

Playbook-Treue ist die Kennzahl, die niemand veröffentlicht. Alle oben genannten Benchmarks bewerten gegen eine allgemeine Vorstellung juristischer Richtigkeit. Die Frage Ihres Teams ist enger: Wenn Ihr Playbook Haftungsobergrenzen unter 12 Monatshonoraren für inakzeptabel erklärt, markiert das Tool dann jedes Mal eine Obergrenze von 9 Monaten? Das ist Playbook-Treue: Übereinstimmung mit Ihren Positionen, nicht mit denen einer vernünftigen Anwältin. Kein öffentliches Benchmark misst sie, und keine Anbieterzahl sagt sie voraus. Sie muss an Ihren eigenen Dokumenten gemessen werden.

Die kanonische Zahl, und warum Sie aufhören sollten, sie zu zitieren

Hinter dem meisten Marketing zur KI-Vertragsprüfung steht die LawGeex-Studie von 2018: 20 in den USA ausgebildete Juristinnen und Juristen gegen die Engine des Anbieters an 5 zuvor ungesehenen NDAs mit 153 Absätzen, bewertet per F-Measure unter wissenschaftlicher Begleitung von Roland Vogl (Stanford) und Gillian Hadfield (USC). Die KI erreichte 94 % gegenüber 85 % bei den Menschen, in 26 Sekunden gegen einen menschlichen Durchschnitt von 92 Minuten.

Es ist eine echte Studie, sie ist acht Jahre alt, wurde vom Anbieter durchgeführt, auf einem einzigen Vertragstyp, gegen einen festen Lösungsschlüssel vordefinierter Risiken. Und sie beschreibt ein Produkt, das es nicht mehr gibt: LawGeex wurde 2023 abgewickelt. Behandeln Sie “94 % genau” in einem Pitch von 2026 als Zitat aus dem Marketing eines toten Unternehmens, und stellen Sie Frage 1.

Durchgerechnetes Beispiel: der eigene Test mit 50 Verträgen

Kalkulieren Sie eine Woche Arbeitszeit einer Contract Managerin.

1. Ziehen Sie 50 abgeschlossene Verträge eines Typs — des Typs, den Sie tatsächlich am häufigsten bearbeiten, keine Mischung. Unter 30 verschluckt das Konfidenzintervall das Ergebnis.
2. Lassen Sie zwei Prüfende unabhängig voneinander Probleme markieren, gegen Ihr Playbook. Wo sie abweichen, protokollieren Sie das. Eine Abweichung zwischen Annotatoren von 15-25 % ist normal; über 30 % ist Ihr Playbook das Problem, nicht die KI, und kein Tool wird gegen einen Lösungsschlüssel gut abschneiden, den zwei Ihrer eigenen Leute nicht reproduzieren können.
3. Lassen Sie alle 50 durch das Tool laufen, mit Ihrem Playbook geladen, nicht mit der Demo-Konfiguration des Anbieters.
4. Zählen Sie vier Kategorien pro Vertrag: True Positives, False Positives, False Negatives und — die, die Teams vergessen — Probleme, die beide Prüfenden übersehen und das Tool gefunden hat.
5. Berechnen Sie Recall und Precision. Recall = TP / (TP + FN). Precision = TP / (TP + FP).

Kalibrierte Erwartungen für einen Test aus erster Hand an Ihren eigenen Dokumenten: Recall von 85-95 % bei häufigen Playbook-Positionen (Haftung, Freistellung, Laufzeit, Zahlung), 60-75 % bei Positionen, die in weniger als einem Fünftel Ihrer Verträge vorkommen, und Precision von 70-85 %. Ein Tool, das diese Werte auf Ihren Verträgen erreicht, lohnt den Rollout mit menschlicher Prüfung. Ein Tool, das in der Anbieter-Demo 97 % erreicht und hier 62 % Recall, sagt Ihnen, dass der Demo-Datensatz nicht Ihre Dokumente waren.

Fallstricke und Gegenmaßnahmen

• Benchmarks wandern zwischen Aufgaben. Ein Genauigkeitswert aus der Rechtsrecherche wird als Vertragsprüfungsgenauigkeit zitiert. Gegenmaßnahme: Die Stanford-RegLab-Studie zu Rechtsrecherche-Tools fand Lexis+ AI bei 65 % von 202 Anfragen korrekt und Westlaw AI-Assisted Research bei 42 %, mit Halluzinationsraten von 17 % und 33 %; das sind Recherchezahlen, und sie übertragen sich in keine Richtung auf Klauselextraktion. Lassen Sie den Anbieter die Aufgabe benennen, bevor Sie die Zahl notieren.
• Retrieval-Grounding wird als Halluzinations-Heilmittel verkauft. Gegenmaßnahme: Dieselbe Studie fand, dass auch auf Retrieval-Augmented Generation gebaute Tools weiter erfanden — genau der Befund, der den damaligen Anbieterangaben widersprach. Fragen Sie nach der Erfindungsrate speziell für zitierten Klauseltext, und lesen Sie Grounding vs. Halluzination.
• Der Demo-Datensatz ist der Trainingsdatensatz. Gegenmaßnahme: Fahren Sie den Piloten auf Verträgen, die der Anbieter nie gesehen hat und die Sie nach der Demo selbst auswählen.
• Genauigkeit wird gemessen, Akzeptanz nicht. Ein Tool mit 90 % Recall, das die Prüfenden nicht mehr öffnen, liefert null. Gegenmaßnahme: Verfolgen Sie in den ersten 60 Tagen geprüfte Markierungen neben erzeugten Markierungen.
• Eine Zahl deckt alle Klauseltypen ab. Aggregierter Recall verdeckt, dass das Tool Zahlungsbedingungen findet und Abtretung bei Kontrollwechsel übersieht. Gegenmaßnahme: Berichten Sie Recall je Playbook-Position, nicht je Vertrag.

Wann dieses Framework nicht mehr trägt

Es setzt ein schriftliches Playbook und genug Volumen eines Vertragstyps zum Testen voraus. Unter etwa 200 Verträgen pro Jahr, oder ohne kodifizierte Positionen, kostet der 50-Vertrags-Test mehr, als das Tool einspart: Beginnen Sie mit dem NDA-Playbook und einer dokumentierten SOP für die Vertragsprüfung, und benchmarken Sie danach. Es setzt außerdem voraus, dass Prüfung die Aufgabe ist. Für die Extraktion aus einem Bestand bereits abgeschlossener Verträge weist das Vals-Ergebnis in die andere Richtung: Das ist die Aufgabe, bei der diese Tools die anwaltliche Baseline bereits schlagen, und die Hürde für ihren Einsatz liegt niedriger.