Sie fragen Ihre firmeninterne KI nach der Kündigungsfrist im Vertrag mit einem bestimmten Kunden. Ein normales Sprachmodell wüsste das nicht – es kennt nur, was beim Training vorhanden war, meist Monate alt und ohne firmeninterne Dokumente. Trotzdem antwortet Ihre KI korrekt, mit Verweis auf den echten Vertrag.
Das ist RAG.
Was steckt dahinter.
RAG steht für Retrieval Augmented Generation. Bevor die KI antwortet, durchsucht sie eine Datenbank mit Ihren eigenen Dokumenten – Verträge, Handbücher, Tickets, Wikis – und bekommt die passendsten Ausschnitte als zusätzlichen Kontext mitgeliefert. Erst dann formuliert sie die Antwort.
Das Modell selbst lernt dabei nichts dazu. Es bekommt bei jeder einzelnen Anfrage neu die passenden Auszüge vorgelegt.
Die Chance.
Aktualität ohne teures Neu-Training des Modells. Antworten mit Quellenbezug, oft mit Zitat und Fundstelle. Weniger Halluzination, weil die KI etwas zum Nachschlagen hat, statt zu raten (siehe Teil 4).
Das Risiko.
Genau der Mechanismus, der die Stärke ausmacht, ist auch die Schwachstelle: Was in der Datenbank liegt, kann die KI ausspucken – an jeden, der die richtige Frage stellt.
Rechteproblem. Geraten Gehaltslisten, Abmahnungen oder Kundendaten unsauber in den Index, kann sie jeder Nutzer mit Zugriff auf den Chatbot herausfragen – auch wenn er im normalen System nie Zugriff darauf hätte.
Veraltete oder falsche Dokumente. Enthält die Datenbank alte Vertragsversionen oder fehlerhafte Wiki-Seiten, zitiert die KI diese mit derselben Überzeugung wie die aktuelle, richtige Fassung.
Indirekte Prompt Injection. Wie in Teil 7 beschrieben: Ein präpariertes Dokument im Index kann der KI Anweisungen unterschieben, die niemand dort vermutet.
Wo das im Alltag brisant wird.
Ein interner Assistent, der Personalunterlagen durchsucht – ohne saubere Rechteprüfung sieht plötzlich jeder Mitarbeiter, was eigentlich nur die Personalabteilung sehen darf.
Ein Kundenservice-Bot mit Zugriff auf alle Tickets – eine geschickt gestellte Frage könnte Daten anderer Kunden offenlegen.
Ein Vertriebstool mit Preislisten und Rabattstaffeln – nicht jeder im Haus soll die tiefsten Nachlässe kennen.
Was wirklich hilft.
Rechte vor dem Index prüfen, nicht danach. Die KI darf nur das durchsuchen, worauf der jeweilige Nutzer ohnehin Zugriff hätte. Berechtigungen gehören in die Suche eingebaut, nicht nachträglich herausgefiltert.
Quellen kennzeichnen und aktuell halten. Ein Index mit veralteten oder widersprüchlichen Dokumenten produziert überzeugend falsche Antworten. Klären Sie, wer die Datenbasis pflegt und wie häufig.
Sensible Daten fernhalten. Nicht alles muss in den Index. Gehaltsdaten, Abmahnungen, Sonderkonditionen gehören oft besser gar nicht hinein.
Antworten mit Quellenangabe verlangen. Zeigt die KI, woher eine Aussage stammt, lässt sie sich leichter prüfen – und Fehler im Index fallen schneller auf.
Ein RAG-System ist nur so vertrauenswürdig wie die Rechte und die Pflege seines Index.
Die gute Nachricht.
RAG ist derzeit die praktikabelste Antwort auf das Problem „unsere KI kennt unsere Daten nicht". Aber wie schon bei Prompt Injection gilt: Mehr Zugriff verlangt mehr Sorgfalt bei der Rechteverwaltung, nicht weniger.
Im nächsten Teil geht es um den AI Act in der Praxis – was ab August 2026 für KMU und Vereine tatsächlich gilt.
Und wenn Sie prüfen wollen, wer in Ihrem Unternehmen gerade Zugriff auf welche KI-durchsuchbaren Daten hat: Das erste Gespräch ist kostenlos.