Retrieval-Augmented Generation (RAG) ist das Muster, bei dem ein AI-Tool erst einen Dokumentenbestand durchsucht und die Antwort dann aus den gefundenen Passagen schreibt statt aus dem, was das Modell beim Training aufgenommen hat. Eine Frage kommt herein, ein Suchschritt liefert eine Handvoll Passagen zurück, die er als relevant bewertet, diese Passagen werden in den Prompt des Modells eingefügt, und das Modell antwortet darauf. Für Käufer ist das relevant, weil RAG die Maschinerie hinter fast jeder Anbieteraussage über “belegt”, “zitiert seine Quellen” oder “auf Ihren Daten trainiert” ist — und welche dieser drei der Anbieter tatsächlich meint, verändert, was Sie vor der Unterschrift prüfen müssen.
RAG ist kein Training. Ihre Dokumente landen nie in den Gewichten des Modells; sie werden zum Zeitpunkt der Frage gelesen und danach verworfen. Ein Anbieter, der sagt “das Modell lernt Ihre Verträge”, beschreibt RAG entweder ungenau oder tut etwas, das eine direkte Frage danach verdient, wo Ihre Daten am Ende liegen. RAG behebt auch keine Halluzinationen und ist überhaupt keine Eigenschaft des Modells — es ist eine Pipeline um ein ansonsten unverändertes Modell herum. Zwei Produkte auf demselben Modell verhalten sich völlig unterschiedlich, je nachdem, wie gut diese Pipeline Dinge findet.
Die zwei Hälften, und nur eine steckt in der Demo
Jedes RAG-System hat eine Retrieval-Hälfte — Korpus indexieren, in Chunks zerlegen, suchen, das Zurückgelieferte ranken — und eine Generierungs-Hälfte, in der das Modell aus dem, was die erste Hälfte übergeben hat, Text schreibt.
Anbieter-Demos trainieren die Generierungs-Hälfte. Das ist der Teil, der beeindruckend aussieht, und dort beginnen die Fehler nicht. Wenn der Retrieval-Schritt danebengreift, weiß das Modell nichts davon: Es schreibt aus den drei falschen Passagen eine flüssige, sauber zitierte Antwort und meldet kein Problem. Das Modell kann Ihnen nicht sagen, dass die Passage, die es gebraucht hätte, nie übergeben wurde. Diese eine Tatsache sollte umbauen, wie Sie einen Piloten fahren, denn sie bedeutet: Die Antwortqualität an Fragen zu prüfen, die das Tool gut beantwortet, sagt Ihnen fast nichts.
”Belegt” ist eine Aussage über Verkabelung, nicht über Richtigkeit
Die stärksten öffentlichen Belege kommen aus dem Recht, wo die Behauptungen am lautesten waren und jemand nachgemessen hat. Das RegLab in Stanford führte eine präregistrierte Evaluation der RAG-basierten Rechtsrecherche-Tools von LexisNexis und Thomson Reuters durch — Lexis+ AI, Westlaw AI-Assisted Research und Ask Practical Law AI — und stellte fest, dass sie in 17% bis 33% der Fälle halluzinieren. LexisNexis hatte “halluzinationsfreie” verlinkte Zitate beworben; Thomson Reuters erklärte, seine Tools vermieden Halluzinationen, indem sie sich auf vertrauenswürdige Inhalte stützten. Beide Aussagen waren überzogen. Die ehrliche Lesart ist nicht, dass RAG gescheitert wäre: Diese Tools schlugen bei denselben Fragen das allgemeine GPT-4. Die Lesart ist, dass Retrieval über einen kuratierten Korpus die Fehlerquote senkt und nie auf null bringt. “Belegt” beschreibt also eine Architektur, keine Garantie.
Daraus folgen zwei Fehlerformen, und sie sind nicht gleich gefährlich. Die eine ist eine offensichtlich falsche Antwort, die ein Fachexperte abfängt. Die andere ist eine falsch belegte Antwort — inhaltlich falsch, aber mit einem echten Zitat versehen, das auf ein echtes Dokument zeigt, in dem gar nicht steht, was die Antwort behauptet. Diese übersteht die Prüfung, weil das Zitat genau das Signal ist, an dem ein Prüfer unter Zeitdruck ablesen will, dass die Antwort bereits kontrolliert wurde.
Diagnosefragen an einen Anbieter
Sie sind so sortiert, dass die ersten beiden die meiste Arbeit erledigen.
- Zeigen Sie mir eine Frage, die das Tool falsch beantwortet, und sagen Sie mir, ob Retrieval oder Generierung die Ursache war. Ein Anbieter, der die eigenen Retrieval-Fehler nie charakterisiert hat, hat das System nicht evaluiert, sondern nur die Demo.
- Zeigt ein Zitat auf eine Passage oder auf ein Dokument? Zitate auf Dokumentebene sind bei realem Volumen nicht prüfbar — niemand liest einen 60-seitigen MSA, um einen Satz zu bestätigen. Erst ein Zitat auf Passagen- oder Klauselebene macht die Prüfung billig genug, dass sie tatsächlich stattfindet.
- Was passiert, wenn die Antwort nicht im Korpus steht? Die zwei Verhaltensweisen sind “das habe ich nicht” und ein stiller Rückfall auf das Allgemeinwissen des Basismodells. Über den zweiten kommt selbstbewusster Unsinn herein, und auf einer Preisseite steht er selten.
- Werden Berechtigungen beim Retrieval oder nach der Generierung angewendet? Die richtige Antwort ist beim Retrieval: Dem Modell werden nur Dokumente gezeigt, die der fragende Nutzer ohnehin sehen darf. Glean hat seine Indexierung genau deshalb um berechtigungsgefiltertes Retrieval herum gebaut. Die Antwort zu filtern, nachdem das Modell ein gesperrtes Dokument gelesen hat, ist keine Zugriffskontrolle, sondern Schwärzen mit Leck.
- Wie lange dauert es nach einer Dokumentänderung, bis die neue Fassung die antwortende ist? Minuten, stündlich oder nächtlich sind alle vertretbar. Es nicht zu wissen, nicht.
- Kann ich sehen, was abgerufen wurde, und nicht nur, was geschrieben wurde? Ohne dieses Fenster können Sie eine falsche Antwort nicht debuggen, und deren Support auch nicht.
Macht ein größeres Kontextfenster RAG überflüssig?
Nein, und die Anbieter, die Kontextfenster mit einer Million Tokens verkaufen, behaupten das auch nicht. Drei Dinge halten Retrieval in der Architektur: Ein Korpus mit Zehntausenden Dokumenten passt in kein Kontextfenster am Markt; die Eingabekosten skalieren mit Tokens, eine komplette Wissensbasis bei jeder Frage durch das Modell zu schieben wird also pro Frage abgerechnet; und einen stündlich wechselnden Korpus neu zu indexieren ist billiger, als ihn neu zu senden.
Was sich bis 2026 geändert hat, ist die Mischung. Das funktionierende Muster heißt erst abrufen, dann schlussfolgern — eine großzügige Scheibe relevanten Materials ziehen statt der drei engstmöglichen Chunks und ein Long-Context-Modell darüber arbeiten lassen. Das entspannt die Präzisionsanforderung an den Retrieval-Schritt, ohne ihn zu entfernen. Behandeln Sie jeden Pitch nach dem Muster “unser Kontextfenster ist so groß, dass wir kein Retrieval brauchen” als eine Aussage über Ihre Korpusgröße, die nicht zu Ende gedacht wurde.
Häufige Fallstricke
Den Piloten auf dem Korpus des Anbieters fahren. Eine Demo, die monatelang auf einem Beispielbestand justiert wurde, sagt Ihnen, wie gut deren Beispiel ist.
Absicherung: Stellen Sie eigene Dokumente bereit und schreiben Sie 30 bis 50 echte Fragen vor der ersten Demo. Nehmen Sie 5 auf, deren Antworten bewusst nicht im Korpus stehen, und bewerten Sie das Verweigerungsverhalten dort als eigenen Bestanden/Nicht-bestanden-Punkt.
Ein Zitat als Prüfung lesen. Das Zitat ist genau das, was eine falsch belegte Antwort geprüft aussehen lässt.
Absicherung: Öffnen Sie im Piloten die zitierte Passage an einer festen Stichprobe — 20 Antworten pro Woche genügen — und führen Sie die Quote der falsch belegten Antworten getrennt von der Quote der falschen Antworten. Ein Tool mit 5% falsch und 15% falsch belegt ist für Ihr Team schlechter als eines mit 15% falsch und 2% falsch belegt.
Annehmen, dass Berechtigungen aus den Quellsystemen mitwandern. Konnektorbasierte Indexierung kopiert Inhalte; ob sie die Zugriffsliste mitkopiert hat, ist eine eigene Frage mit einer eigenen Antwort je Konnektor.
Absicherung: Führen Sie im Piloten dieselben drei sensiblen Abfragen als zwei Nutzer mit unterschiedlichen Berechtigungsstufen aus und vergleichen Sie die Ergebnisse. Machen Sie das pro Konnektor, nicht einmal für das Produkt.
Den Korpus nach dem Go-live verrotten lassen. Die Retrieval-Qualität sinkt, während überholte Richtlinien, ausgelaufene Verträge und alte Playbooks sich ansammeln, denn der Suchschritt hat keine Möglichkeit zu wissen, welche Fassung die gültige ist.
Absicherung: Benennen Sie vor dem Start einen Verantwortlichen für den Korpus und geben Sie ihm ein Löschmandat, nicht nur ein Upload-Mandat. Testen Sie quartalsweise mit einem an diesem Morgen bearbeiteten Dokument und mit einem Dokument, das längst hätte entfernt werden müssen.
Verwandt
- MCP-Server erklärt — der andere Weg, auf dem ein AI-Tool Ihre Systeme erreicht: sie live aufrufen statt einen kopierten Index durchsuchen
- AI Agent für Ops — wo Retrieval in einem Agent sitzt, der zusätzlich Aktionen ausführt, und welche Autonomietests dazugehören
- AI Agent vs RPA — die benachbarte Kaufentscheidung, und warum Agentenfehler für Uptime-Monitoring unsichtbar sind
- Glean und Hebbia — horizontale Enterprise-Suche gegen strukturierte Extraktion über einen großen Korpus, zwei verschiedene Antworten auf dasselbe Retrieval-Problem
- Legal Knowledge Management — die Disziplin der Korpus-Verantwortung, die entscheidet, ob davon im Rechtsteam überhaupt etwas funktioniert