RAG einfach erklärt: Einführung und praktische Anleitung für KMU

Künstliche Intelligenz ist heute in aller Munde, doch für viele Unternehmen fühlt sich der Einsatz oft wie ein Glücksspiel an. Man stellt eine Frage zu einem internen Prozess und erhält eine Antwort, die zwar eloquent klingt, aber leider völlig am Thema vorbeigeht. Dieses Phänomen nennt man „Halluzination“. Das Sprachmodell (LLM) weiß schlichtweg nicht, was in Ihren PDFs, Handbüchern oder internen Wikis steht.

Hier kommt Retrieval-Augmented Generation (RAG) ins Spiel. Es ist die Brücke zwischen dem allgemeinen Wissen eines Sprachmodells und dem spezifischen Fachwissen Ihres Unternehmens. [^[1]]

Das Grundprinzip: Erst suchen, dann antworten

Stellen Sie sich vor, Sie hätten einen neuen Mitarbeiter. Statt von ihm zu erwarten, dass er am ersten Tag jedes Detail der Firmengeschichte und alle technischen Spezifikationen auswendig kennt, geben Sie ihm Zugriff auf das Firmenarchiv. Genau das macht RAG mit der KI.

Der Prozess umfasst im Kern zwei Phasen:

1. Retrieval (Suchen): Wenn ein Nutzer eine Frage stellt, durchsucht das System eine Datenbank nach relevanten Textabschnitten.
2. Generation (Erstellen): Diese Textabschnitte werden zusammen mit der ursprünglichen Frage an das Sprachmodell gesendet, das daraus eine fundierte Antwort formuliert. [^[2]]

Die Architektur: Wie aus Dokumenten Wissen wird

Damit die KI in Ihren Unterlagen „blättern“ kann, müssen diese in ein Format gebracht werden, das Computer verstehen – und zwar in Zahlen.

1. Chunking: Wissen in häppchengerechte Stücke teilen

Ein 200-seitiges Handbuch ist als Ganzes für eine KI schwer zu erfassen. Deshalb zerlegt man es in kleine Abschnitte, sogenannte „Chunks“. Ein Chunk sollte groß genug sein, um einen Kontext zu bieten, aber klein genug, damit die KI nicht den Überblick verliert.

2. Embeddings: Die Mathematik der Bedeutung

Jeder dieser Abschnitte wird durch ein Embedding-Modell in eine lange Liste von Zahlen umgewandelt – einen Vektor. Dieser Vektor repräsentiert die Bedeutung des Textes. Das ist der entscheidende Vorteil: Das System findet Informationen nicht nur über identische Schlagworte, sondern über den Sinngehalt. [^[3]]

3. Die Vektordatenbank: Das digitale Gedächtnis

Diese Zahlenvektoren werden in einer speziellen Vektordatenbank gespeichert. Bekannte Player hierbei sind Tools wie Chroma, Qdrant oder Weaviate. [^[4]] Wenn ein Nutzer eine Frage stellt, wird auch diese in einen Vektor umgewandelt und die Datenbank liefert blitzschnell die inhaltlich ähnlichsten Textstellen zurück.

Schritt-für-Schritt-Anleitung für den Aufbau im Unternehmen

Schritt 1: Den Anwendungsfall schärfen

Überlegen Sie genau, wo der größte Schmerz sitzt. Ist es der Kundensupport, der immer wieder dieselben Fragen zu komplexen Produkten beantwortet? Oder das interne Qualitätsmanagement? Starten Sie klein.

Schritt 2: Datenqualität sichern

Ein RAG-System ist nur so gut wie die Daten, mit denen Sie es füttern. Räumen Sie die Dokumente auf. Veraltete Preislisten von 2019 oder Entwürfe mit dem Titel „Handbuch_final_v2_Kopie_neu.pdf“ sollten vorher aussortiert werden.

Schritt 3: Vorbereitung der Infrastruktur

Wählen Sie ein Framework. LangChain [^[2]] oder LlamaIndex [^[5]] sind die Goldstandards, um die Verbindung zwischen Ihren Daten, der Vektordatenbank und dem Sprachmodell (z.B. GPT-4 oder lokale Modelle wie Llama 3) herzustellen.

Schritt 4: Den System Prompt optimieren

Sagen Sie der KI genau, wie sie sich verhalten soll. Ein guter Prompt für ein RAG-System sieht etwa so aus:

„Beantworte die Frage ausschließlich basierend auf dem bereitgestellten Kontext. Wenn die Information nicht im Kontext enthalten ist, sage höflich, dass du es nicht weißt. Erfinde nichts.“

Schritt 5: Grounding und Quellenangaben

Achten Sie darauf, dass das System Quellen nennt. Nichts schafft mehr Vertrauen als eine Antwort, unter der steht: „Gefunden in Betriebsanweisung_X, Seite 12“. [^[6]]

Typische Stolpersteine

KMU scheitern oft nicht an der Technik, sondern an der Erwartungshaltung. Ein RAG-System ist kein „Stell es auf und vergiss es“-Tool.

• Veraltetes Wissen: Wenn sich Prozesse ändern, müssen die Dokumente in der Vektordatenbank aktualisiert werden.
• Sicherheit: Stellen Sie sicher, dass die KI nur Zugriff auf Dokumente hat, die der jeweilige Nutzer auch sehen darf. Sensible Gehaltslisten gehören meist nicht in den allgemeinen Support-Bot.
• Kontext-Fenster: Geben Sie der KI nicht zu viele Dokumente auf einmal, sonst „vergisst“ sie den Anfang der Information.

Fazit: Digitale Souveränität für den Mittelstand

RAG ist für KMU ein mächtiges Werkzeug, um die eigene Wissensbasis zu schützen und effizienter zu nutzen. Man muss kein Silicon-Valley-Gigant sein, um ein solches System aufzusetzen. Es braucht nur Struktur, saubere Dokumente und den Mut, der KI das „Fabulieren“ abzugewöhnen.

Und mal ehrlich: Wer von uns hat nicht schon mal insgeheim gehofft, dass jemand anderes die 500 Seiten Sicherheitsvorschriften liest und uns einfach nur sagt, was wir tun müssen? Jetzt haben wir jemanden – wir müssen ihn nur ordentlich füttern.

Quellen