RAG steckt hinter fast jedem KI-Assistenten, der Fragen zu euren eigenen Unterlagen beantwortet, vom Dokument-Upload in ChatGPT bis zum internen Firmen-Assistenten. Das Prinzip ist schnell erklärt. Die Grenze wird oft übersehen, und genau an ihr entscheidet sich, ob ein KI-Projekt trägt oder enttäuscht.
- ▪RAG steht für Retrieval Augmented Generation: Das System sucht zu einer Frage passende Textstellen in euren eigenen Dokumenten, das Sprachmodell formuliert daraus eine Antwort mit Quelle.
- ▪Das reduziert erfundene Antworten und braucht kein eigenes Modelltraining.
- ▪An seine Grenze stößt RAG, wenn die Antwort über mehrere Quellen verteilt liegt oder Dokumente einander ablösen.
- ▪Für diese Fälle braucht es zusätzlich einen Wissensgraphen.
So funktioniert RAG
RAG steht für Retrieval Augmented Generation, auf Deutsch etwa Generierung, angereichert durch Abruf. Der Ablauf hat drei Schritte. Zuerst kommt die Frage eines Nutzers herein. Dann durchsucht das System die hinterlegten Dokumente nach den passendsten Textstellen, nicht nach exakten Wörtern, sondern nach Bedeutung. Diese semantische Suche findet auch dann etwas, wenn die Frage anders formuliert ist als das Dokument. Zuletzt formuliert das Sprachmodell aus den gefundenen Passagen eine Antwort.
Der entscheidende Punkt: Das Modell antwortet nicht aus seinem Trainingsgedächtnis, sondern aus euren Unterlagen. Das reduziert erfundene Antworten, die im Fachjargon Halluzinationen heißen, deutlich. Und es erlaubt Quellenangaben, ohne dass ein eigenes Modell trainiert werden muss. Das macht RAG schnell einsetzbar und erklärt, warum es heute in praktisch jedem Werkzeug steckt, das Fragen zu eigenen Daten beantwortet.
Wo RAG an seine Grenze stößt
Solange eine Antwort in einem einzelnen Absatz steht, funktioniert RAG zuverlässig. Schwierig wird es, wenn die Antwort über mehrere Quellen verteilt ist. Ein Beispiel aus dem Mittelstand: Welche Rahmenverträge betreffen Lieferant Meier, und welche Konditionen gelten aktuell? Die Antwort steht nirgends vollständig. Der Lieferantenstamm liegt im ERP, die Verträge als PDF im Dokumentenmanagement, die Konditionen in einer Excel-Tabelle. Eine Ähnlichkeitssuche findet Textstellen, in denen Meier und Rahmenvertrag vorkommen. Die Verbindung zwischen den drei Quellen kennt sie nicht.
Das zweite Problem sind Dokumente, die einander ablösen. Ein Nachtrag ersetzt eine Position im ursprünglichen Vertrag, ein neuer Preisstand den alten, eine korrigierte Spezifikation die erste Fassung. Für eine reine Textsuche sehen beide Stände fast gleich aus. Welcher heute gilt, ist keine Frage der Ähnlichkeit, sondern der Beziehung zwischen den Dokumenten, und diese Beziehung steht in keinem der Texte.
Was das für euch heißt
RAG ist das Fundament, und es ist ein gutes Fundament. Für Fragen wie Wo steht das? oder Was sagt dieses Dokument? liefert es verlässlich und mit Beleg. Sobald eine Frage aber Zusammenhänge betrifft, also was gehört zu was und was gilt heute, reicht die Textsuche allein nicht mehr. Dann braucht es zusätzlich eine Struktur, die Beziehungen ausdrücklich speichert: einen Wissensgraphen. Wie der funktioniert, steht im nächsten Beitrag.
So arbeiten wir selbst
XLR8N ist auf KI gebaut, und wir setzen RAG dort ein, wo es trägt. Für die Fälle, in denen es an seine Grenze stößt, ergänzen wir es um genau die Struktur, die fehlt. Der Grund ist nicht technische Vorliebe, sondern Verlässlichkeit: Ein Assistent, der bei der Ausnahme falsch liegt, verliert das Vertrauen der Belegschaft, und dann nutzt ihn niemand mehr. Die Architektur entscheidet darüber, ob KI im Alltag ankommt oder als teures Experiment endet.
Häufige Fragen
Was bedeutet RAG?
Retrieval Augmented Generation. Das System sucht zu einer Frage passende Textstellen in euren hinterlegten Dokumenten, und das Sprachmodell formuliert daraus eine Antwort mit Quellenbezug.
Wofür wird RAG eingesetzt?
Für praktisch jedes Werkzeug, das Fragen zu eigenen Unterlagen beantwortet, vom Dokument-Upload in ChatGPT bis zum internen Firmen-Assistenten.
Wo stößt RAG an seine Grenzen?
Bei Fragen, deren Antwort über mehrere Quellen verteilt ist, und bei Dokumenten, die einander ablösen, etwa ein Nachtrag, der eine Vertragsposition ersetzt. Eine reine Ähnlichkeitssuche erkennt die Verbindung und die Gültigkeit nicht.
Was ist der Unterschied zwischen RAG und GraphRAG?
RAG sucht in Texten nach Bedeutung. GraphRAG ergänzt das um einen Wissensgraphen, der Beziehungen zwischen Dingen kennt, und gibt dem Modell beides mit: Belege und Zusammenhang.