RAG einfach erklärt: So macht Retrieval-Augmented Generation Firmenwissen nutzbar
RAG (Retrieval-Augmented Generation) ist eine Architektur, bei der ein Sprachmodell vor der Antwort relevante Passagen aus einer eigenen Wissensbasis abruft und nur auf dieser Grundlage antwortet. Das Ergebnis: präzise Antworten mit Quellenangabe statt frei erfundener Fakten. RAG ist der Standard, wenn Unternehmen interne Dokumente per KI durchsuchbar machen wollen.
Das Problem, das RAG löst
Sprachmodelle wie GPT kennen Ihre Verträge, Richtlinien und Handbücher nicht - und erfinden im Zweifel plausibel klingende Antworten (Halluzinationen). Zudem endet ihr Wissen am Trainingsstichtag. RAG löst beides: Das Modell bekommt zur Laufzeit die relevanten Original-Passagen aus Ihren Dokumenten mitgeliefert und antwortet ausschließlich darauf basierend.
Die vier Schritte einer RAG-Pipeline
- Ingestion: Dokumente (PDF, Word, Confluence, E-Mails) werden eingelesen, bereinigt und in sinnvolle Abschnitte (Chunks) zerlegt.
- Embedding: Jeder Abschnitt wird in einen numerischen Vektor umgewandelt, der seine Bedeutung repräsentiert, und in einer Vektordatenbank wie Pinecone gespeichert.
- Retrieval: Bei einer Nutzerfrage werden die semantisch ähnlichsten Abschnitte gefunden - auch wenn die Frage andere Wörter verwendet als das Dokument.
- Generation: Das Sprachmodell formuliert die Antwort ausschließlich auf Basis der gefundenen Abschnitte - mit Quellenangabe zum Originaldokument.
Was gute von schlechten RAG-Systemen unterscheidet
- Chunking-Strategie: Zu kleine Abschnitte verlieren Kontext, zu große verwässern die Suche. Die richtige Zerlegung ist dokumenttyp-abhängig.
- Hybrid-Suche: Kombination aus semantischer Vektorsuche und klassischer Stichwortsuche schlägt jede Einzelmethode.
- Antwort-Verweigerung: Ein gutes System sagt 'dazu finde ich keine Grundlage in den Dokumenten', statt zu raten.
- Berechtigungen: Wer eine Frage stellt, darf nur Antworten aus Dokumenten erhalten, die er auch lesen dürfte.
- Evaluation: Ohne Test-Fragenkatalog mit Soll-Antworten lässt sich Qualität weder messen noch verbessern.
Praxisbeispiel aus dem medizinischen Sektor
Im KI-Agenten-Projekt von Astra IT Solutions bildet eine RAG-Pipeline mit Pinecone das Regel-Rückgrat: Der Agent prüft Onboarding-Dokumente gegen Richtlinien und begründet jede Entscheidung mit der konkreten Quelle. Das macht die Automatisierung revisionssicher - jede Entscheidung ist auf einen Richtlinien-Absatz rückführbar.
Aufwand und Kosten
Ein produktives RAG-System für einen abgegrenzten Dokumentenbestand ist ab etwa 8.000 € realisierbar und in 4 bis 6 Wochen produktiv. Entscheidend für den Erfolg ist weniger das Sprachmodell als die Datenaufbereitung: saubere Quellen, kluges Chunking und ein ehrlicher Evaluations-Prozess.
Häufige Fragen zum Thema
Was bedeutet RAG?
RAG steht für Retrieval-Augmented Generation: Ein Sprachmodell ruft vor der Antwort relevante Passagen aus einer eigenen Wissensbasis ab und antwortet nur auf dieser Grundlage - mit Quellenangabe.
Halluziniert ein RAG-System nicht mehr?
RAG reduziert Halluzinationen drastisch, eliminiert sie aber nicht automatisch. Entscheidend sind striktes Prompt-Design, Antwort-Verweigerung bei fehlender Quelle und laufende Evaluation gegen einen Testkatalog.
Welche Vektordatenbank ist die richtige?
Pinecone ist der bewährte Managed-Standard, pgvector (PostgreSQL) die schlanke Wahl, wenn ohnehin Postgres im Einsatz ist. Für die meisten KMU-Projekte ist die Datenbankwahl weniger entscheidend als die Chunking- und Such-Strategie.