RAG steht für Retrieval Augmented Generation, auf Deutsch etwa „durch Abruf erweiterte Textgenerierung“. Ein RAG-System sucht vor jeder Antwort in einer eigenen Wissensquelle, etwa Handbüchern, Verträgen oder einer Wissensdatenbank, nach passenden Textstellen und gibt sie dem Sprachmodell mit. Die KI antwortet dadurch auf Basis Ihrer Unternehmensdaten statt nur aus ihrem Trainingswissen und kann die Quelle jeder Aussage nennen.
In diesem Artikel: wie RAG Schritt für Schritt funktioniert, woran RAG-Systeme in der Praxis scheitern und warum wir in unserem eigenen Produkt dokumentenchat von RAG wieder abgerückt sind.
Wie funktioniert RAG?
Ein RAG-System arbeitet in zwei Phasen. Vorab zerlegt es Ihre Dokumente in Abschnitte und legt sie durchsuchbar ab. Bei jeder Frage sucht es die passendsten Abschnitte heraus, gibt sie dem Sprachmodell zusammen mit der Frage und lässt das Modell nur auf dieser Grundlage antworten. Das Modell selbst wird dabei nicht verändert.
- 1
Dokumente aufbereiten
Texterkennung macht PDFs, Scans und Fotos lesbar. Das System zerlegt den Text in Abschnitte und merkt sich zu jedem Abschnitt Dokument und Seite.
- 2
Abschnitte indexieren
Ein Embedding-Modell übersetzt jeden Abschnitt in einen Zahlenvektor, der seine Bedeutung abbildet. Die Vektoren landen in einer Vektordatenbank.
- 3
Passende Stellen suchen
Die Frage wird ebenfalls in einen Vektor übersetzt. Die Datenbank liefert die Abschnitte mit der ähnlichsten Bedeutung, meist ergänzt um eine klassische Stichwortsuche.
- 4
Mit Quellen antworten
Das Sprachmodell bekommt Frage und gefundene Abschnitte, antwortet ausschließlich daraus und nennt zu jeder Aussage die Fundstelle.
Die Suche nach Bedeutung findet auch Stellen, die andere Wörter verwenden als die Frage: "Wie viele Urlaubstage habe ich?" findet den Abschnitt "Der Erholungsurlaub beträgt 30 Arbeitstage". Für Artikelnummern, Namen und Paragrafen ist die Stichwortsuche besser. Gute RAG-Systeme kombinieren deshalb beide Verfahren zu einer Hybridsuche.
Für die Vektordatenbank braucht es selten ein neues System. Die Erweiterung pgvector macht eine vorhandene PostgreSQL-Datenbank zur Vektorsuche fähig. Welche Technik für den Wissensspeicher passt, beschreibt unser Artikel Was ist eine Wissensbasis?.
Warum brauchen Sprachmodelle RAG?
Ein Large Language Model kennt nur, was in seinen Trainingsdaten stand. Interne Dokumente, aktuelle Preise und alles nach dem Trainingsende fehlen ihm. Fragt man es trotzdem, erfindet es im Zweifel eine plausible Antwort. RAG schließt diese Lücke, ohne das Modell neu zu trainieren.
Daraus ergeben sich drei Vorteile:
- Aktuell: Ein neues Dokument ist nach dem Indexieren sofort abfragbar. Training oder Finetuning fällt weg.
- Nachprüfbar: Jede Antwort lässt sich bis zur Quelle zurückverfolgen. Das schafft Vertrauen und hilft bei Compliance-Anforderungen in regulierten Branchen.
- Steuerbar: Sie legen fest, welche Dokumente das System durchsuchen darf und wer welche Antworten sehen darf.
Wofür setzen Unternehmen RAG ein?
RAG lohnt sich überall dort, wo Mitarbeitende oder Kunden Antworten aus vielen Dokumenten brauchen und die Antwort belegt sein muss. Die häufigsten Einsätze sind interne Wissensassistenten, Kundenservice und die Arbeit mit Verträgen.
- Interner Wissensassistent: Mitarbeitende fragen in eigenen Worten nach Richtlinien, Prozessen und Produktdetails. Bei KiLeiDo beantwortet die KI Fragen von Kitas zu ihren eigenen Hygieneplänen und Unterweisungen und nennt die Seite, auf der die Antwort steht.
- Kundenservice: Ein Chatbot antwortet aus aktuellen Produktinformationen und Hilfeartikeln statt aus veraltetem Trainingswissen. Seit August 2026 muss er sich dabei als KI zu erkennen geben.
- Verträge und Policen: Sachbearbeitende fragen nach Kündigungsfristen, Ausschlüssen oder Selbstbehalten und bekommen die Klausel gleich mitgeliefert.
- Technische Dokumentation: Servicetechniker finden die passende Stelle in Handbüchern mit Hunderten Seiten, auch am Smartphone vor Ort.
Woran scheitern RAG-Systeme?
RAG-Systeme scheitern fast nie am Sprachmodell, sondern an der Suche. Findet die Suche den richtigen Abschnitt nicht, kann auch das beste Modell nicht richtig antworten. Und es merkt das oft nicht, sondern antwortet aus den falschen Abschnitten.
Die typischen Fehler, die wir in Dokumentenprojekten sehen:
- Aufzählungen bleiben unvollständig: Auf "Liste alle Fristen" liefert die Suche fünf Abschnitte, die Fristen stehen aber in neun.
- Ähnliche Stellen werden verwechselt: Zwei fast gleiche Tabellenzeilen, zwei Personen mit ähnlichen Rollen, zwei Verträge mit ähnlichen Klauseln.
- Zerschnittene Zusammenhänge: Eine Tabelle wird beim Zerlegen auf zwei Abschnitte verteilt, die Spaltenüberschrift landet im einen, die Werte im anderen.
- Schlechte Texterkennung: Was die Texterkennung bei einem Scan falsch liest, findet keine Suche wieder. Mehr dazu im Artikel Was ist OCR?.
RAG oder das ganze Dokument? Unsere Erfahrung mit dokumentenchat
Wenn ein Dokument vollständig ins Kontextfenster des Modells passt, ist RAG oft die schlechtere Wahl. Dann bekommt das Modell besser das ganze Dokument und muss sich nicht auf eine Suche verlassen, die Stellen übersehen kann. Diese Erfahrung haben wir mit unserem eigenen Produkt dokumentenchat gemacht, das Bescheide, Verträge und Abrechnungen erklärt.
Die erste Version war ein klassisches RAG-System: Abschnitte, Embeddings und eine Hybridsuche aus Bedeutung und Stichworten. Im Test zeigten sich genau die Fehler von oben. Entitäten wurden verwechselt, bei "Liste alle …" fehlten Einträge, fast gleiche Tabellenzeilen gerieten durcheinander, und IBANs kamen teils verfälscht zurück.
Die Dokumente, die Menschen hochladen, sind kurz: zwischen etwa 1.000 und 17.000 Tokens, im Schnitt rund 5.700. Das passt mit großem Abstand in das Kontextfenster heutiger Modelle. Wir haben die Suche deshalb entfernt. Heute bekommt das Modell das ganze Dokument, aufgeteilt in nummerierte Blöcke mit Seitenangabe, und zitiert zu jeder Aussage die Nummer des Blocks.
Unsere Faustregel daraus:
| Situation | Besser geeignet | Warum |
|---|---|---|
| Einzelne Dokumente bis etwa 100 Seiten | Ganzes Dokument im Kontext | Nichts kann bei der Suche verloren gehen, Aufzählungen bleiben vollständig |
| Hunderte oder tausende Dokumente | RAG mit Hybridsuche | Passt nicht in ein Kontextfenster, Suche ist nötig |
| Viele Dokumente, aber Fragen beziehen sich auf eines | RAG zum Finden, dann ganzes Dokument | Verbindet beides: erst das richtige Dokument, dann vollständiger Kontext |
| Unterschiedliche Zugriffsrechte je Dokument | RAG mit Rechteprüfung | Die Suche filtert, was die fragende Person sehen darf |
Das ganze Dokument ist kein Allheilmittel. Modelle nutzen Informationen in der Mitte sehr langer Texte schlechter als am Anfang und am Ende (Liu et al. 2023). Ab einigen Hundert Seiten spricht deshalb wieder mehr für eine gute Suche.
Wie werden RAG-Antworten prüfbar?
Eine Antwort ist prüfbar, wenn jede Aussage auf eine konkrete Stelle im Original zeigt und ein Mensch diese Stelle mit einem Klick sieht. Dafür reicht es nicht, das Modell um Quellenangaben zu bitten. Die Fundstellen müssen technisch an die Abschnitte gebunden sein, die das System dem Modell gegeben hat.
Was sich in unseren Projekten bewährt hat:
- Nummern statt Freitext zitieren: Das Modell nennt die Nummer des Abschnitts, nicht einen selbst formulierten Quellenverweis. Nummern, die es nicht gibt, filtert das System heraus.
- Stelle im Original markieren: Zu jedem Abschnitt speichert das System Seite und Position. So lässt sich die Fundstelle im PDF hervorheben, statt nur "Seite 3" zu schreiben.
- "Steht nicht im Dokument" erlauben: Das Modell bekommt die klare Anweisung, fehlende Informationen zu benennen, statt sie zu ergänzen.
- Zahlen nicht vom Modell rechnen lassen: Summen und Differenzen berechnet ein Werkzeug, das Modell übernimmt Beträge zeichengenau.
Was braucht ein RAG-System im Unternehmen?
Ein RAG-System im Unternehmen braucht vier Dinge: gepflegte Dokumente, eine passende Suche, ein Sprachmodell mit geklärtem Datenschutz und eine Rechteverwaltung. Die Technik ist dabei selten der Engpass. Häufiger fehlt jemand, der für die Aktualität der Dokumente zuständig ist.
- Wissensbasis: Wie Dokumente aufbereitet und aktuell gehalten werden, steht im Artikel Was ist eine Wissensbasis?.
- Modell und Betrieb: Ob ein Cloud-Modell oder ein offenes Modell auf eigenem Server passt, vergleicht Das eigene ChatGPT.
- Rechte: Die Suche darf nur Abschnitte liefern, die die fragende Person auch im Original öffnen dürfte.
- Anbindung: Der Assistent wirkt am besten dort, wo Ihr Team ohnehin arbeitet, im Intranet, im Ticketsystem oder in Ihrer Fachsoftware.
Wie ist RAG entstanden?
Der Begriff Retrieval-Augmented Generation stammt aus einem Forschungsaufsatz von Patrick Lewis und Kollegen aus dem Jahr 2020 (arXiv). Breit bekannt wurde das Verfahren ab 2023, als Unternehmen begannen, ChatGPT und ähnliche Modelle mit eigenen Daten zu verbinden. Die Grundidee ist seitdem gleich geblieben, die Suchverfahren sind deutlich besser geworden.
Lösungen von SymbolicLabs
Wir bauen Assistenten, die aus Ihren Dokumenten antworten und jede Aussage belegen. Ob RAG, das ganze Dokument oder eine Kombination passt, entscheiden wir mit Ihren echten Dokumenten im Pilot.
- LeistungKI-Anbindungen: Chat mit Firmenwissen
Wir bauen Assistenten für Ihre Verträge, Handbücher und Wikis, mit Fundstelle in jeder Antwort und Betrieb in Deutschland.
- ArtikelDas eigene ChatGPT
Cloud-Modell oder eigener Server: was ein Unternehmensassistent braucht und was er kostet.
- Werkzeugdokumentenchat (öffnet in neuem Tab)
Unser eigenes Produkt: Bescheide, Verträge und Abrechnungen hochladen, Fragen stellen, Fundstelle prüfen. Kostenlos und ohne Konto.
Häufig gestellte Fragen (FAQ)
Was ist RAG einfach erklärt?
RAG ist ein Verfahren, bei dem eine KI vor jeder Antwort in Ihren eigenen Dokumenten nachschlägt. Das System sucht die passenden Textstellen heraus und gibt sie dem Sprachmodell mit, das daraus antwortet und die Quelle nennt. So kann die KI Fragen zu internem Wissen beantworten, das sie nie trainiert hat.
Was ist der Unterschied zwischen RAG und Finetuning?
RAG gibt dem Modell bei jeder Frage die passenden Dokumente mit, Finetuning trainiert das Modell selbst nach. Für Wissen, das sich ändert und belegt sein muss, ist RAG die bessere Wahl, weil neue Dokumente sofort verfügbar sind und jede Antwort eine Quelle hat. Finetuning eignet sich eher, um einem Modell einen bestimmten Stil oder ein festes Ausgabeformat beizubringen.
Braucht man für RAG eine Vektordatenbank?
Nein, nicht zwingend eine eigene. Eine vorhandene PostgreSQL-Datenbank mit der Erweiterung pgvector reicht für die meisten Unternehmensprojekte. Spezialisierte Vektordatenbanken lohnen sich erst bei sehr großen Datenmengen oder hohen Anforderungen an die Suchgeschwindigkeit.
Wann ist ein großes Kontextfenster besser als RAG?
Ein großes Kontextfenster ist besser, wenn die Dokumente zu einer Frage vollständig hineinpassen, etwa bei einzelnen Verträgen, Bescheiden oder Berichten. Dann kann bei der Suche nichts verloren gehen. RAG bleibt nötig, sobald die Wissensbasis größer ist als das, was ein Modell pro Anfrage lesen kann.
Wie lange dauert die Einführung eines RAG-Systems?
Ein Pilot mit Ihren echten Dokumenten dauert bei uns meist 4 bis 8 Wochen. Am Ende steht eine Zahl, wie viele Fragen das System richtig beantwortet. Die Anbindung an Ihre Systeme und der produktive Betrieb folgen danach.
Welche Daten eignen sich für RAG?
Geeignet ist alles, was sich in Text umwandeln lässt: PDFs, Word-Dateien, Präsentationen, Wiki-Seiten, Tickets und E-Mails. Scans und Fotos gehen ebenfalls, wenn die Texterkennung sie sauber liest. Entscheidend ist, dass die Dokumente aktuell sind und sich nicht gegenseitig widersprechen.
Ist RAG DSGVO-konform möglich?
Ja. Die Dokumente und die Vektordatenbank liegen auf Servern, die Sie bestimmen, etwa in Deutschland oder bei Ihnen im Haus. Für das Sprachmodell nutzen Sie entweder ein offenes Modell auf eigenem Server oder einen Cloud-Anbieter mit Vertrag zur Auftragsverarbeitung und Verarbeitung in der EU.
