RAG einfach erklärt. Und wann ihr es wirklich braucht.

Wie Retrieval-Augmented Generation funktioniert und wann es die falsche Antwort auf euer Problem ist.

4 min readMin. Lesezeit

Titelbild zum Artikel „RAG einfach erklärt"

In shortKurz gesagt

RAG (Retrieval-Augmented Generation) ist eine Methode, bei der ein KI-Sprachmodell nicht aus dem Gedächtnis antwortet. Bei jeder Anfrage schlägt es die passenden Dokumente in einer externen Wissensquelle nach und formuliert seine Antwort daraus. So antwortet das Modell auf Basis eurer echten, aktuellen Daten statt aus seinem allgemeinen Trainingswissen. RAG ist heute der Standard, um KI-Assistenten an Unternehmenswissen zu binden. Für jedes Problem passt es trotzdem nicht.

Was ist RAG?

RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „abrufgestützte Generierung”. Der Ansatz verbindet zwei Schritte. Beim Retrieval sucht das System relevante Informationen in einer Wissensquelle. Bei der Generation formuliert ein Sprachmodell daraus eine Antwort. Das Modell muss eine Frage also nicht allein mit dem beantworten, was es im Training gelernt hat. Es bekommt zuerst die passenden Dokumente und antwortet auf dieser Grundlage.

Den Begriff prägten Forscher:innen um Patrick Lewis 2020 in einem Forschungspapier zu Retrieval-Augmented Generation. Seitdem ist RAG das wichtigste Architekturmuster für KI-Anwendungen mit Unternehmensdaten.

Wie funktioniert RAG? Die Aktenschrank-Analogie

Am einfachsten versteht man RAG mit einem Vergleich. Stellt euch ein Sprachmodell als sehr belesenen neuen Mitarbeiter vor.

Ohne RAG hat dieser Mitarbeiter unglaublich viel gelesen, muss aber alles aus dem Gedächtnis beantworten. Das gilt auch für euren speziellen Tarif, eure Vertragsklausel und euren Lagerbestand von gestern. Bei Allgemeinwissen klappt das gut. Bei euren internen Details fängt er an zu raten, weil er sie nie gelernt hat. Warum Sprachmodelle in solchen Fällen raten, statt zuzugeben, dass sie etwas nicht wissen, erklären wir in einem eigenen Artikel.

Mit RAG bekommt derselbe Mitarbeiter einen offenen Aktenschrank mit euren aktuellen Unterlagen. Kommt eine Frage, greift er zuerst in den passenden Ordner, liest nach und antwortet auf Basis dessen, was dort steht. Auswendig wissen muss er nichts mehr. Er muss nur wissen, wo es steht, und richtig zitieren.

Technisch läuft das in drei Schritten ab:

  1. Die Frage kommt rein. Das System übersetzt die Nutzeranfrage in eine Form, mit der es suchen kann.
  2. Retrieval. Das System durchsucht eine vorbereitete Wissensquelle, meist eine sogenannte Vektordatenbank, und holt die inhaltlich passendsten Textstellen heraus.
  3. Generation. Das Sprachmodell bekommt diese Textstellen zusammen mit der Frage und formuliert daraus eine Antwort, idealerweise mit Verweis auf die Quelle.

Entscheidend ist, dass ihr die Wissensquelle aktualisieren könnt, ohne das Modell neu zu trainieren. Neuer Tarif? Rein in den Aktenschrank, fertig. Deshalb ist RAG so attraktiv für Unternehmen, deren Wissen sich ständig ändert.

Warum nicht einfach das Modell mit den eigenen Daten trainieren?

Die Frage ist berechtigt und beruht auf einem häufigen Missverständnis. Das Nachtrainieren eines Modells, also Fine-Tuning, löst ein anderes Problem als RAG.

Fine-Tuning verändert Verhalten und Stil eines Modells. Es eignet sich gut, um dem Modell eine Aufgabe oder einen Ton beizubringen. Faktenwissen aktuell zu halten, kann es schlecht. Jede Änderung braucht einen neuen Trainingslauf, das kostet Zeit und Geld. Und das Modell vergisst trotzdem gelegentlich Fakten oder bringt sie durcheinander. Für Wissen, das sich oft ändert oder exakt stimmen muss, ist Fine-Tuning das falsche Werkzeug.

Als Faustregel gilt: Fine-Tuning ändert, wie ein Modell antwortet. RAG ändert, worüber es Bescheid weiß. In vielen Unternehmensprojekten braucht man am Ende beides. Wer aktuelles Faktenwissen einspeisen will, fängt aber mit RAG an.

Was leistet RAG nicht? Die typischen Missverständnisse

Hier trennt sich seriöse Beratung vom Verkaufsversprechen. Drei Punkte gehen in Pitches gern unter.

/Missverständnis 1: „RAG beseitigt Halluzinationen.” Stimmt nicht. RAG reduziert Halluzinationen deutlich, beseitigt sie aber nicht. Findet das Retrieval die falschen oder gar keine passenden Dokumente, halluziniert das Modell weiter, nur eben auf Basis schlechter Vorlagen. Eine Stanford-Untersuchung spezialisierter RAG-Tools fand trotz RAG bei mehr als jeder sechsten Anfrage falsche Antworten. RAG ist notwendig, reicht allein aber nicht. Und wer für falsche Antworten geradesteht, hat inzwischen ein Gericht geklärt. Mehr dazu im Artikel zum OLG-Hamm-Urteil und zur Haftung für Chatbots.

Missverständnis 2: „RAG funktioniert einfach, wenn man die Dokumente reinlädt.” Die Qualität von RAG steht und fällt mit dem Retrieval. Die meisten Fehler in RAG-Systemen macht nicht das Sprachmodell. Sie entstehen, weil die Suche die falschen Textstellen liefert. Schlecht strukturierte, veraltete oder widersprüchliche Dokumente ergeben schlechte Antworten. „Garbage in, garbage out” gilt hier besonders.

Missverständnis 3: „RAG kann jede Frage aus unseren Daten beantworten.” Standard-RAG ist stark bei Fragen, deren Antwort in ein, zwei konkreten Textstellen steht. Schwach wird es bei Fragen, die viele Quellen verknüpfen müssen, etwa „Vergleiche alle Verträge von Kunde X der letzten drei Jahre und finde die Abweichungen”. Dasselbe gilt für sehr seltenes Spezialwissen. Für solche Fälle gibt es aufwendigere Varianten wie GraphRAG oder agentische Retrieval-Systeme. Die sind entsprechend teurer.

Wann braucht ihr RAG und wann nicht?

RAG ist ein Werkzeug und kein Pflichtbaustein für jedes Projekt. Die Tabelle hilft bei der ersten Einschätzung.

Der Bot soll auf Basis eurer Doku, FAQs, Verträge oder Produktdaten antworten Ja Das ist der Kernanwendungsfall. RAG bindet Antworten an echte Quellen. Euer Wissen ändert sich häufig (Preise, Bestände, Konditionen) Ja Ihr aktualisiert die Quelle, statt das Modell neu zu trainieren. Antworten müssen mit Quelle belegbar sein, etwa in regulierten Branchen Ja RAG kann die Fundstelle mitliefern. Der Bot soll nur allgemeine Fragen ohne Spezialwissen beantworten Nein, überdimensioniert Das kann das Modell auch ohne RAG. RAG bringt hier nur Kosten und Komplexität. Ihr wollt vor allem Tonalität oder Verhalten anpassen Nein Dafür ist Fine-Tuning das richtige Werkzeug. Die Fragen verlangen, viele Quellen zu verknüpfen und daraus Schlüsse zu ziehen Nur mit erweiterten Varianten Standard-RAG stößt hier an Grenzen. Eure Quelldaten sind chaotisch, veraltet oder widersprüchlich Erst aufräumen RAG verstärkt schlechte Datenqualität, statt sie zu beheben.

Die ehrlichste Antwort auf „Brauchen wir RAG?” ist deshalb oft eine Gegenfrage. Welche Fragen soll das System beantworten, und wo stehen die Antworten heute? Daraus ergibt sich fast von selbst, ob RAG, Fine-Tuning, beides oder keins davon passt.

Was heißt das für euer Projekt?

RAG ist zu Recht der Standard für KI-Assistenten mit Unternehmenswissen. Ob ein Projekt gelingt, hängt aber nicht an der Architektur. Es hängt an drei unspektakulären Dingen: der Qualität eurer Quelldaten, der Sorgfalt beim Retrieval und einem ehrlichen Umgang mit den Fällen, in denen das System nichts Passendes findet. Dort steckt die eigentliche Arbeit. Und dort entscheidet sich, ob euer Bot Vertrauen aufbaut oder verspielt.

Fazit

RAG ist keine Magie und keine Komplettlösung. Es ist ein solides, gut erforschtes Werkzeug, um KI-Antworten an echtes Unternehmenswissen zu binden. Ob es für euch das richtige Werkzeug ist, hängt weniger von der Technik ab als von euren Fragen und eurer Datenlage. Genau diese Einschätzung machen wir am liebsten, bevor jemand eine Zeile Code schreibt: RAG, Fine-Tuning, beides oder ein ganz anderer Weg.

Ihr überlegt, ob und wie ihr euer Wissen in einen KI-Assistenten bringt? Lasst uns draufschauen!

Meldet euch →

FAQ: RAG (Retrieval-Augmented Generation)

Was bedeutet RAG?

RAG steht für Retrieval-Augmented Generation. Ein KI-Sprachmodell schlägt bei einer Anfrage zuerst passende Informationen in einer externen Wissensquelle nach und formuliert seine Antwort daraus. Es antwortet also nicht allein aus seinem Trainingswissen.

Wofür wird RAG eingesetzt?

Vor allem für KI-Assistenten, die auf Basis von Unternehmenswissen antworten sollen, etwa Kundenservice-Bots, interne Wissensassistenten und Produktberater. Also überall dort, wo Antworten auf euren eigenen, aktuellen Daten beruhen müssen.

Verhindert RAG Halluzinationen?

RAG reduziert sie deutlich, verhindert sie aber nicht vollständig. Findet das Retrieval die falschen Dokumente, kann das Modell weiterhin falsch antworten. RAG gehört zu einem verlässlichen System dazu, ersetzt aber weder Guardrails noch saubere Quelldaten.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

Fine-Tuning verändert, wie ein Modell antwortet, also Verhalten, Stil und Aufgabe. RAG verändert, worüber es Bescheid weiß, also aktuelles Faktenwissen. Für Fakten, die sich ändern, ist RAG geeignet, für angepasstes Verhalten Fine-Tuning. Oft braucht man beides.

Wann ist RAG die falsche Wahl?

Wenn der Bot nur allgemeine Fragen ohne Spezialwissen beantworten soll, ist RAG überdimensioniert. Geht es eigentlich um die Tonalität, ist Fine-Tuning das richtige Werkzeug. Und wenn die Quelldaten so unstrukturiert sind, dass sie erst aufgeräumt werden müssen, kommt RAG zu früh. RAG verstärkt schlechte Datenqualität, statt sie zu beheben.

Was kostet ein RAG-System?

Das hängt von Datenmenge, Aktualisierungsrhythmus und Komplexität der Fragen ab. Standard-RAG ist heute gut etabliert. Teuer wird es bei komplexen Anfragen, die erweiterte Varianten wie GraphRAG oder agentisches Retrieval brauchen.

QuoteZitat

/ FAQ

The key points of this article at a glance. Your question isn't here? Then just chat with our bot!Das Wichtigste aus dem Artikel auf einen Blick. Eure Frage ist nicht dabei? Dann chattet einfach mit unserem Bot!

Ihr habt eine Projektidee?

Lasst uns reden und schauen, was wir gemeinsam machen können.

Kontakt

You have a Project Idea?

Let's talk and see what we can do together.

Get in Touch