Nach der härtesten öffentlich verfügbaren Evidenz vom August 2026 erfüllt das führende Modell 94,6 % der einzelnen Rubrik-Kriterien an echten juristischen Arbeitsergebnissen und liefert bei 14,2 % der Aufgaben ein Ergebnis, bei dem jedes Kriterium erfüllt ist. Beide Zahlen stammen aus demselben Benchmark, demselben Harness, demselben Lauf. Keine der beiden ist falsch. Diese Spanne von 80 Punkten ist der gesamte Inhalt einer Genauigkeitsaussage zu Legal AI, und deshalb hat “wie gut ist Legal AI” keine einzelne Antwort: Die ehrliche Antwort hängt davon ab, ob eine Juristin oder ein Jurist das Ergebnis liest, bevor es das Haus verlässt. Diese Seite ist die fünfzeilige Scorecard für jede Legal-AI-Zahl, die Ihnen vorgelegt wird, mit den Werten aus 2026 zur Kalibrierung.
Wann Sie das anwenden
Wenden Sie es an, wenn ein Anbieter, ein Analystendeck oder ein Leaderboard Ihnen einen Prozentwert vorlegt und Sie danach handeln sollen: eine Pilotentscheidung, eine Modellwahl innerhalb einer Plattform, die Sie bereits haben, eine Budgetposition. Nutzen Sie es nicht, um die Aussage eines Anbieters über Ihre Verträge zu prüfen; das ist ein anderes Verfahren und steht in wie Sie Genauigkeitsaussagen zur KI-Vertragsprüfung bewerten. Diese Seite behandelt veröffentlichte Benchmarks: was sie messen, welche Zahl der Herausgeber nach vorne stellt und was der Wert im Praxiskontakt nicht übersteht.
Zeile 1 — Welcher Bewertungsmaßstab hat die Zahl erzeugt?
Jeder ernstzunehmende juristische Benchmark aus 2026 berichtet zwei Metriken, und der Unterschied zwischen ihnen ist größer als der Unterschied zwischen zwei beliebigen Anbietern.
Die Kriterien-Erfüllungsquote ist der Anteil der einzelnen Rubrik-Kriterien, die ein Modell erfüllt. Die Alle-Kriterien-Quote ist der Anteil der Aufgaben, bei denen jedes Kriterium erfüllt ist, ohne Teilpunkte. Artificial Analysis veröffentlicht beide für Harvey LAB-AA, die unabhängige Reimplementierung von Harveys Legal Agent Benchmark, veröffentlicht am 2026-07-07:
| Modell | Kriterien-Erfüllungsquote | Alle-Kriterien-Quote | Kosten pro Aufgabe |
|---|---|---|---|
| Kimi K3 (max) | 94,6 % | — | — |
| Claude Fable 5 (mit Fallback) | 93,6 % | 14,2 % | ~$18,90 |
| Muse Spark 1.1 (xhigh) | 93,1 % | — | — |
| Claude Opus 4.8 (max) | — | 7,5 % | ~$8,20 |
| GLM-5.2 (max) | — | 7,5 % | ~$1,30 |
Harveys eigener Lauf über den vollständigen Benchmark meldet, dass das beste Modell 7,1 % der Aufgaben durchgängig abschließt. Nichts davon steht im Widerspruch. Ein Memo mit 19 von 20 erfüllten Rubrik-Kriterien erreicht 95 % auf der einen Metrik und null auf der anderen, weil das zwanzigste Kriterium die Haftungsbegrenzungsklausel war.
Die Kalibrierung. Wenn eine prüfende Person das gesamte Arbeitsergebnis liest, bevor es hinausgeht, ist die Kriterien-Erfüllungsquote die Zahl, die den Umfang der Überarbeitung vorhersagt. Geht das Ergebnis ohne vollständige Lektüre an Mandanten, ein Gericht oder eine Gegenseite, beschreibt allein die Alle-Kriterien-Quote Ihr Risiko — und bei 14,2 % trägt kein System aus 2026 diese Nutzungsform. Ein Anbieter, der für einen ungeprüften Ablauf einen Wert um die 90 nennt, hat eine Frage beantwortet, die Sie nicht gestellt haben.
Zeile 2 — Kurzer oder langer Horizont?
Benchmarks trennen sich sauber nach Aufgabenlänge, und Werte lassen sich nicht über diese Trennlinie übertragen.
Benchmarks mit kurzem Horizont bewerten eine abgegrenzte Einzelentscheidung: LegalBench (162 handgebaute Aufgaben über sechs Arten juristischen Schließens, NeurIPS 2023), die 41 Klauselkategorien von CUAD, LEXam und Harveys früherer BigLaw Bench. Einen Vertrag lesen, eine Frage beantworten, eine Klausel einordnen.
Benchmarks mit langem Horizont bewerten ein Arbeitsprodukt. Harvey hat LAB am 2026-05-06 offengelegt: mehr als 1.200 Aufgaben über 24 Rechtsgebiete, bewertet gegen mehr als 75.000 von Fachleuten geschriebene Rubrik-Kriterien. Jede Aufgabe gibt dem Agenten eine Anweisung im Partnerstil und die Unterlagen eines Mandats und verlangt, dass er plant, recherchiert, über die Materialien hinweg arbeitet und ein Arbeitsergebnis erzeugt.
Die Kalibrierung. Bringen Sie den Horizont mit dem in Übereinstimmung, was Sie kaufen. Ein Wert zur Klauselextraktion sagt nichts über einen Agenten, der ein Memo schreibt, und eine Alle-Kriterien-Quote mit langem Horizont unterschätzt ein Tool, das Sie nur zur Extraktion einsetzen. Wenn ein Anbieter mit agentischem Produkt einen Kurzhorizont-Wert nennt, ist genau diese Diskrepanz der Befund.
Zeile 3 — Wessen Harness, und wessen Judge?
Eine veröffentlichte Zahl misst ein Modell plus das Gerüst darum herum. Artificial Analysis führt LAB-AA auf dem eigenen Agent-Harness Stirrup aus und benennt die Abweichungen offen: Harveys eigene Tools und Dokumentgenerierungs-Skripte entfallen, die Prompts sind vereinfacht, Dateinamen müssen exakt übereinstimmen, und bewertet wird mit einem einzelnen Gemini-3.1-Pro-Judge statt mit Harveys ursprünglicher Methode. Harveys eigene Zahlen zu denselben zugrunde liegenden Aufgaben sind nicht dieselben Zahlen.
Die Kalibrierung. LAB-AA bewertet ein Modell. Der eigene Wert eines Anbieters umfasst ein Modell plus Retrieval, Tools, Prompts und Guardrails, die er gebaut hat. Das sind keine vergleichbaren Größen, und der Abstand zwischen ihnen ist genau das Produkt. Fragen Sie, welche der beiden Zahlen Sie sehen, und lehnen Sie den Vergleich ab, wenn ein Anbieter seinen Produktwert in eine Tabelle neben rohe Modellwerte stellt.
Zeile 4 — Ist das Aufgabenset privat und zurückgehalten?
LAB-AA läuft über 120 private Aufgaben; Harvey hat den Code und einen Teil des Datensatzes auf GitHub veröffentlicht. Diese Aufteilung ist beabsichtigt. Ein öffentliches Aufgabenset ist ein Trainingsziel: Sobald die Fragen im Netz stehen, unterscheidet ein hoher Wert nicht mehr zwischen einem Modell, das schließt, und einem, das die Antworten gelesen hat.
Die Kalibrierung. Ein privates, zurückgehaltenes Set, ausgeführt von einer dritten Partei, ist die stärkste Evidenzstufe. Ein öffentliches Set, ausgeführt von einer dritten Partei, ist die mittlere Stufe: brauchbar für Rangfolgen, schwach für absolute Aussagen. Ein öffentliches Set, ausgeführt vom Anbieter, ist ein Marketingartefakt. Fragen Sie, wann das Set zuletzt rotiert wurde; ein Benchmark, der sich zwei Jahre nicht geändert hat, misst Auswendiglernen.
Zeile 5 — Was hat es pro Aufgabe gekostet?
Die Kosten pro Aufgabe werden bei LAB-AA neben der Qualität veröffentlicht, und die Division der einen durch die andere ergibt die Zahl, die eine Make-or-Buy-Entscheidung trägt: Kosten pro akzeptiertem Arbeitsergebnis = Kosten pro Aufgabe ÷ Alle-Kriterien-Quote.
| Modell | Kosten/Aufgabe | Alle-Kriterien | Kosten pro akzeptiertem Ergebnis |
|---|---|---|---|
| GLM-5.2 (max) | $1,30 | 7,5 % | ~$17 |
| Claude Opus 4.8 (max) | $8,20 | 7,5 % | ~$109 |
| Claude Fable 5 (mit Fallback) | $18,90 | 14,2 % | ~$133 |
Die Spanne von 14,5× bei den reinen Modellkosten schrumpft auf etwa 8×, sobald die Qualität eingepreist ist — und hört dann auf, relevant zu sein. Nehmen Sie eine prüfende Person mit einem Stundensatz von $400 an, was eine Annahme und keine gemessene Größe ist: $133 kaufen 20 Minuten ihrer Aufmerksamkeit. Die gesamte Modellkosten-Spanne des Leaderboards entspricht 3 bis 20 Minuten Anwaltszeit pro Arbeitsergebnis.
Die Kalibrierung. Unterhalb von rund 30 Minuten Prüferzeit pro Arbeitsergebnis an Modellausgaben entscheiden Sie nach der Alle-Kriterien-Quote und ignorieren den Preis. Darüber ist die Modellkostenposition real geworden und gehört in den Business Case. Die meisten juristischen Arbeitslasten aus 2026 liegen deutlich unter dieser Schwelle, was bedeutet: Teams, die Legal-AI-Ausgaben über den Tokenpreis steuern, optimieren den falschen Term. Sitzplatzbasierte vs. nutzungsbasierte KI-Preise behandelt, wie Anbieter diese Kosten verpacken, sobald sie auf Ihrer Rechnung landen.
Die menschliche Baseline ist ein beweglicher Vergleich, keine Konstante
Der Legal-Research-Report von Vals AI, veröffentlicht am 2025-10-14, bewertete 200 Fragen über 10 Fragetypen (eine wurde wegen eines Formulierungsfehlers verworfen) mit einer Gewichtung von Genauigkeit 50 %, Quellenautorität 40 %, Angemessenheit 10 %. Alle KI-Produkte lagen innerhalb von vier Punkten zueinander, zwischen 74 % und 78 %, gegen eine Anwalts-Baseline von 69 %. Fragen über mehrere Jurisdiktionen kosteten jedes System im Schnitt 11 Punkte.
Zwei Dinge gehören zu diesem Ergebnis. Thomson Reuters und LexisNexis lehnten die Teilnahme ab, vLex zog sich zurück; damit fehlen die drei größten Legal-Research-Plattformen im stärksten unabhängigen Research-Benchmark am Markt — ein nicht gemessener Anbieter ist kein unterlegener Anbieter, und ein überlegener ist er auch nicht. Und die Richtung dreht sich je nach Aufgabe: Die Vals-Studie vom Februar 2025 fand Tools, die die Anwalts-Kontrollgruppe bei der Dokumentextraktion schlugen und beim Redlining klar gegen sie verloren, mit denselben Anbietern und demselben Panel.
Fallstricke, jeweils mit Gegenmaßnahme
Ein einzelner Schlagzeilen-Prozentwert. Eine einzige Zahl heißt, dass der Herausgeber ausgewählt hat, welche der beiden Metriken er zeigt. Gegenmaßnahme: Handeln Sie nach keinem Legal-AI-Wert, bevor Sie sowohl die Kriterien-Erfüllungsquote als auch die Alle-Kriterien-Quote haben oder die Angabe des Herausgebers, um welche der beiden es sich handelt.
Produktwert gegen Modellwert stellen. Anbieter-Tabellen setzen ihre Plattform neben rohe Frontier-Modelle, wo der Harness-Unterschied die Arbeit leistet. Gegenmaßnahme: Verlangen Sie, dass beide Zeilen aus einem Harness stammen, oder lesen Sie sie als getrennte Tabellen.
Annehmen, der Benchmark-Rang sage Ihren Mandatstyp voraus. LAB-AA deckt 24 Rechtsgebiete ab und berichtet einen Mittelwert; die Varianz zwischen Gebieten wird nicht pro Modell veröffentlicht. Gegenmaßnahme: Schicken Sie 20 Ihrer echten Mandate vor Vertragsschluss durch die Shortlist und bewerten Sie sie mit Ihrer eigenen Rubrik — die Prüfungen zu Grounding und Halluzination gehören in denselben Durchgang.
Einen Wert für haltbar halten. Die Modelle auf diesem Leaderboard wechseln im Wochentakt, und 14 von 37 gelisteten Modellen trugen zum Redaktionszeitpunkt ein LAB-AA-Ergebnis. Gegenmaßnahme: Prüfen Sie das Leaderboard vor jeder Verlängerung und schreiben Sie Modellwechselrechte in die Bestellung, damit eine Plattform Sie ohne neue Verhandlung auf ein besseres Modell heben kann.
Wann dieses Framework versagt
Es versagt bei nicht-englischer und nicht-US-amerikanischer Arbeit, wo kein öffentlicher Benchmark eine belastbare Abdeckung hat, und bei kanzleispezifischen Arbeitsprodukten, wo die maßgebliche Rubrik Ihr eigener Präzedenzbestand ist und kein Expertenpanel. Es versagt ebenso dort, wo das Arbeitsergebnis keine Musterlösung hat: Strategiememos, Verhandlungshaltung, Mandantenberatung. Dort sagt der Benchmark nur, welches Modell der bessere Ausgangspunkt ist, und die Bewertung muss ein begleiteter Pilot an Ihren eigenen Mandaten sein.
Wo diese Werte in einer Kaufentscheidung landen, lesen Sie in Legal AI vs. Legaltech und vertikales KI-Modell vs. GPT-Wrapper, danach die Anbieterseiten zu Harvey, CoCounsel, Legora, Lexis+ mit Protégé und vLex Vincent AI.