Was ist RAG? Retrieval-Augmented Generation einfach erklärt
Wie ein KI-Modell aus Ihren Unternehmensdokumenten antwortet und wo das Verfahren an seine Grenzen stößt.
Retrieval-Augmented Generation (RAG) ist ein Verfahren, mit dem ein KI-Sprachmodell Fragen aus Ihren eigenen Dokumenten beantwortet. Bevor das Modell etwas schreibt, findet ein Suchschritt die Textstellen, die zur Frage passen. Das Modell antwortet dann aus diesen Textstellen und nennt sie als Quellen.
Das Modell selbst wird dabei nicht verändert. Es lernt nichts dauerhaft, sondern liest bei jeder Frage die passenden Texte neu. Deshalb ist RAG der übliche Weg, ein allgemeines Modell wie GPT, Claude oder ein Open-Weight-Modell für das Wissen eines einzelnen Unternehmens nutzbar zu machen.
So funktioniert ein RAG-System Schritt für Schritt
1. Dokumente werden zerlegt und indexiert. Handbücher, Richtlinien, Verträge, Wiki-Seiten und PDFs werden in kurze Abschnitte geteilt, meist wenige Absätze lang. Für jeden Abschnitt berechnet ein Embedding-Modell eine Zahlenreihe (einen Vektor), die seine Bedeutung abbildet. Abschnitte und Vektoren werden in einem Index gespeichert. Viele Systeme pflegen zusätzlich einen klassischen Stichwortindex, weil exakte Begriffe wie Artikelnummern darüber zuverlässiger gefunden werden.
2. Zu einer Frage werden die passenden Textstellen gesucht. Stellt jemand eine Frage, wird sie auf dieselbe Weise in einen Vektor umgerechnet. Der Index liefert die Abschnitte, deren Bedeutung der Frage am nächsten kommt, in der Regel eine Handvoll. Der Wortlaut muss nicht übereinstimmen: Die Frage nach „Arbeiten aus dem Ausland“ findet auch die Richtlinie mit dem Titel „Mobiles Arbeiten außerhalb Deutschlands“.
3. Das Modell antwortet aus den Textstellen und belegt die Antwort. Frage und gefundene Abschnitte gehen zusammen mit der Anweisung, nur aus diesem Text zu antworten, an das Sprachmodell. Die Antwort verweist auf die verwendeten Abschnitte. Wer sie liest, kann die Quelle öffnen und nachprüfen.
Passt kein Abschnitt, sagt ein gut umgesetztes System das und rät nicht.
Wofür sich RAG im Unternehmen eignet
RAG eignet sich überall dort, wo die Antwort schriftlich vorliegt und Mitarbeitende Zeit mit Suchen verbringen.
- Interne Fragen. Urlaubsregeln, Reisekosten, IT-Anleitungen, Einarbeitung. Mitarbeitende fragen in eigenen Worten und erhalten die Antwort zusammen mit der Seite, aus der sie stammt.
- Support und Service. Das Team findet die richtige Stelle in Handbüchern und früheren Lösungen, ohne den genauen Suchbegriff zu kennen.
- Vertrieb und Projektarbeit. Produktdaten, Preisregeln und frühere Angebote lassen sich nach Inhalt durchsuchen.
- Technische Dokumentation. Wartungsanleitungen, Normen und Spezifikationen über viele Dateien hinweg.
Aven, unser KI-Agent für Firmenwissen, arbeitet nach diesem Prinzip: Er antwortet aus dem Wissen, das ein Team hinterlegt hat, und verlinkt bei jeder Antwort die Quelle.
Wo RAG scheitert
Schlechte Quelldokumente. RAG gibt wieder, was in den Dokumenten steht. Widersprechen sich zwei Fassungen einer Richtlinie oder kennt nur eine Person die aktuelle Regel, ist die Antwort falsch oder fehlt. Gescannte PDFs ohne Texterkennung und Tabellen, die als Bild gespeichert sind, werden gar nicht gefunden.
Fehlende Berechtigungen. Berücksichtigt der Index nicht, wer was lesen darf, zeigt das System Inhalte den falschen Personen, oder es muss so stark eingeschränkt werden, dass es keinen Nutzen mehr hat. Die Zugriffsrechte müssen aus den Quellsystemen übernommen und schon bei der Suche angewendet werden, bevor das Modell einen Text sieht.
Fragen, die eine Berechnung brauchen. „Wie viele Verträge laufen nächstes Jahr aus?“ oder „Wie hoch war der durchschnittliche Auftragswert im März?“ lassen sich aus fünf gefundenen Textstellen nicht beantworten. Solche Fragen brauchen eine Auswertung über alle Daten, also eine Datenbankabfrage und keine Textsuche. Ein gutes System erkennt sie und gibt sie an ein passendes Werkzeug weiter, oder es sagt, dass es sie nicht beantworten kann.
RAG oder Fine-Tuning?
Die beiden Verfahren werden oft verwechselt. Beim Fine-Tuning wird das Modell mit Beispielen weitertrainiert und verhält sich danach anders. Bei RAG bleibt das Modell, wie es ist, und erhält zu jeder Frage die passenden Texte.
| RAG | Fine-Tuning | |
|---|---|---|
| Was sich ändert | Der Text, den das Modell zu jeder Frage liest | Das Modell selbst |
| Geeignet für | Wissen: Fakten, Regeln, Dokumente | Verhalten: Tonfall, Format, Fachsprache |
| Aktualisierung | Neues Dokument indexieren | Erneut trainieren |
| Quellen | Jede Antwort kann sie nennen | Keine |
| Zugriffsrechte | Pro Person anwendbar | Nicht möglich, das Wissen steckt im Modell |
Für Firmenwissen ist RAG der richtige Einstieg. Fine-Tuning lohnt sich, wenn das Modell anders schreiben oder formatieren soll. Wissen fügt es nicht zuverlässig hinzu. Unser Leitfaden zu On-Premise-KI geht auf diese Entscheidung ausführlicher ein.
Was ein Unternehmen für den Start braucht
- Einen klaren Anwendungsfall. Ein Team und die Fragen, die es jeden Tag stellt, nicht das gesamte Firmenwissen auf einmal.
- Die Dokumente dazu. Aktuell, in einem lesbaren Format und an einem bekannten Ablageort.
- Eine Person, die für die Inhalte verantwortlich ist. Sie entscheidet, welche Fassung gilt, und schließt Lücken.
- Eine Entscheidung, wo die Daten verarbeitet werden dürfen. In der Cloud mit Auftragsverarbeitungsvertrag und Hosting in der EU oder, wenn Dokumente das Unternehmen nicht verlassen dürfen, auf Ihren eigenen Servern. Diesen Aufbau zeigen wir auf unserer Seite zu lokalen LLMs.
- Testfragen mit bekannten Antworten. Eine Liste echter Fragen aus dem Team zeigt, ob die Suche die richtigen Textstellen findet und ob eine Änderung das System besser oder schlechter macht.
Wir bauen RAG-Systeme für Unternehmen. Ein Projekt beginnt mit einem zwei- bis vierwöchigen Proof of Concept mit echten Daten.
Häufige Fragen
Was bedeutet RAG in der KI?
RAG steht für Retrieval-Augmented Generation. „Retrieval“ ist die Suche nach passenden Textstellen. „Generation“ ist das Schreiben der Antwort durch das Modell. „Augmented“ heißt, dass der gefundene Text zur Eingabe des Modells hinzukommt.
Was ist ein RAG-System?
Ein RAG-System besteht aus drei Teilen: dem Index der Dokumente, der Suche darin und dem Sprachmodell, das die Antwort schreibt. Im Unternehmen kommen die Anbindung der Quellsysteme, die Zugriffsrechte und ein Protokoll der verwendeten Quellen hinzu.
Ist RAG dasselbe wie ChatGPT mit Datei-Upload?
Das Prinzip ist ähnlich. Der Unterschied liegt in Umfang und Kontrolle: Ein RAG-System im Unternehmen indexiert Tausende Dokumente, hält sie aktuell, wendet Zugriffsrechte an und protokolliert, welche Quellen für eine Antwort verwendet wurden.
Erfindet eine KI mit RAG noch Antworten?
Deutlich seltener, weil sie aus dem mitgegebenen Text antwortet und nicht aus dem Gedächtnis. Sie kann eine Textstelle trotzdem falsch lesen oder zwei Abschnitte falsch verbinden. Deshalb nennt die Antwort ihre Quellen, und wichtige Angaben prüfen Sie dort nach.
Funktioniert RAG auch ohne Cloud-Anbieter?
Ja. Embedding-Modell, Index und Sprachmodell können vollständig auf eigener Hardware laufen; dann verlassen weder Dokumente noch Fragen das Firmennetz.
Passende Leistung
Sie haben ein Projekt im Kopf?
Sagen Sie unserem KI-Projektassistenten, was Sie bauen, und erhalten Sie in Minuten eine ehrliche Einschätzung zu Umfang, Vorgehen, Budget und Zeitrahmen — kostenlos, ohne Verkaufsgespräch.
Projektassistent starten