Ein Kunde fragt nach den Bedingungen für einen Umtausch. Ein allgemeiner Chatbot antwortet flüssig, doch seine Auskunft stimmt möglicherweise nicht mit Ihren Unternehmensregeln überein. Ein Unternehmenschatbot muss relevante Informationen in freigegebenen Quellen finden und darauf seine Antwort aufbauen können. Retrieval-Augmented Generation, kurz RAG, ist ein Ansatz dafür. Wie nützlich er ist, hängt von den Quellen und der Bewertung der Antworten ab.

Geht es um Antworten aus Handbüchern und Unternehmensdokumenten, kann RAG sinnvoll sein. Für den aktuellen Bestellstatus ist zusätzlich eine Verbindung zum Bestellsystem nötig. Klären Sie zuerst die Frage und die Quelle der Antwort, bevor Sie ein Werkzeug auswählen.

Was ist RAG und wie funktioniert es?

RAG bedeutet Retrieval-Augmented Generation: Antwortgenerierung mit abgerufenen Informationen. Das System verlässt sich nicht allein auf das allgemeine Wissen des Modells, sondern sucht relevante Inhalte in einer externen Quelle und stellt sie dem Modell bereit. Dafür muss das Modell normalerweise nicht mit sämtlichen Unternehmensdokumenten neu trainiert werden. IBM erläutert RAG und den Unterschied zum Fine-Tuning.

  1. Sie bestimmen verlässliche Quellen, etwa Produkthandbücher und Servicerichtlinien.

  2. Das System bereitet die Inhalte für die Suche auf. Häufig wird Text in kleinere Abschnitte zerlegt.

  3. Ein Nutzer stellt eine Frage. Das System ruft passende Abschnitte ab, auf die er zugreifen darf.

  4. Das Modell formuliert mit der Frage und den abgerufenen Informationen eine Antwort.

  5. Quellenverweise können dem Nutzer die Überprüfung ermöglichen.

Unternehmenswissen wird dabei nicht zwangsläufig zum dauerhaften Gedächtnis des Modells. Abgerufene Passagen können jedoch zur Antwortgenerierung an einen Modelldienst übermittelt werden. Verarbeitungsort und Aufbewahrung der Daten müssen gesondert geprüft werden.

Ein fiktives Beispiel: der Umtausch eines Produkts

Ein Händler hat Fristen und Bedingungen für den Umtausch in einem freigegebenen Dokument festgelegt. Ein Kunde fragt: „Kann ich ein geöffnetes Produkt umtauschen?“ Der Chatbot sollte den Abschnitt für die betreffende Produktgruppe finden, Bedingungen und Ausnahmen erklären und die Quelle verlinken. Ist die Produktart unklar, fragt er nach. Gibt das Dokument keine klare Antwort, verweist er an den Kundendienst.

Dieses Beispiel ist kein Projekt oder Ergebnis von GaliTech. Entscheidend ist die richtige Quelle: Eine alte Richtlinie oder die Regel für eine andere Produktgruppe kann zu einer falschen Auskunft führen, auch wenn die Formulierung überzeugend klingt.

Welche Informationen eignen sich und was braucht eine eigene Verbindung?

  • Relativ stabiles Wissen: Serviceabläufe, Produktinformationen und Schulungsunterlagen können Quellen einer Wissensbasis sein.

  • Häufig wechselnde Inhalte: Neue Richtlinien müssen sowohl in der Quelle als auch im Suchindex berücksichtigt werden. Eine einmalige Anbindung garantiert keine Aktualität.

  • Aktuelle und personenbezogene Daten: Lagerbestand, aktuelle Preise und Bestellstatus benötigen meist eine autorisierte Verbindung zum führenden System. Identität und Zugriffsrechte sind zu berücksichtigen.

  • Aktionen: Eine Bestellung anzulegen oder Kundendaten zu ändern erfordert zusätzliche Berechtigungen und Kontrollen.

Eine Lösung kann Dokumentensuche und Werkzeuganbindungen kombinieren. RAG allein berechtigt den Chatbot nicht dazu, Ihre Systeme zu verändern.

Wann ist RAG möglicherweise unnötig?

Für wenige einfache, gleichbleibende Fragen reichen unter Umständen eine FAQ-Seite oder vorgegebene Antworten. Müssen Mitarbeitende lediglich Dokumente finden, prüfen Sie eine bessere interne Suche. Ein Chatbot wird interessant, wenn Dialog, Erklärung und das Zusammenführen mehrerer Quellen den Nutzern helfen.

Prüfen Sie vor einer individuellen Entwicklung vorhandene Werkzeuge, Datenzugriff und Wartungskosten. Auch die Einbindung in Ihr Produkt ist wichtig. Unser Beitrag zu Websites, Apps und Plattformen erläutert diese Entscheidung.

Warum können Antworten trotzdem falsch sein?

RAG kann Antworten mit relevanten Quellen verbinden, beseitigt Fehler aber nicht. Unvollständige Dokumente, missverstandene Fragen, ungeeignete Suchergebnisse oder falsche Schlussfolgerungen des Modells bleiben möglich. Eine Quellenangabe erleichtert die Prüfung; ein Link beweist nicht die Richtigkeit jeder Aussage.

Kennzeichnen Sie widersprüchliche Quellen, benennen Sie Verantwortliche und erfassen Sie Gültigkeitsdaten. Legen Sie das Verhalten bei fehlenden Informationen fest und behalten Sie bei sensiblen Entscheidungen eine menschliche Prüfung bei. Die AWS-Dokumentation beschreibt abgerufene Informationen und Quellenverweise.

Vertraulichkeit erfordert mehr als private Dokumente

Mitarbeitende im Vertrieb dürfen über den Chatbot keine vertraulichen Unterlagen anderer Bereiche erhalten. Berechtigungen müssen beim Abruf geprüft werden; einen Link in der Oberfläche zu verstecken reicht nicht. Die RAG-Dokumentation von Microsoft betont Zugriffskontrollen für Quellen.

Klären Sie außerdem Verarbeitungsort, Zugriff auf Gesprächsprotokolle und Aufbewahrungsdauer. Dokumente können schädliche oder irreführende Anweisungen enthalten. Laut OWASP zu Prompt Injection löst RAG dieses Risiko nicht allein. Quelleninhalte dürfen keine Befugnis erhalten, Rechte zu ändern oder Aktionen auszuführen.

Klein anfangen und nachvollziehbar bewerten

Als praktischer Einstieg bietet sich eine Nutzergruppe mit einer begrenzten Aufgabe an, etwa Fragen zu einem Servicehandbuch. Ordnen Sie verlässliche Quellen und stellen Sie Tests mit echten, mehrdeutigen, unbeantwortbaren und unzulässigen Fragen zusammen. Vergleichen Sie das Ergebnis mit dem heutigen Vorgehen.

  • Wird die richtige Passage gefunden?

  • Sind Aussagen durch diese Passage belegt und beantworten sie die Frage?

  • Weist das System auf unzureichende Informationen hin?

  • Funktionieren Rechte sowie Aktualisierung und Löschung von Dokumenten?

  • Wie hoch sind Antwortzeit, Nutzungskosten und Aufwand für menschliche Prüfung?

Dies sind vorgeschlagene Pilotkriterien. Auch Microsofts Bewertungsleitfaden trennt die Qualität des Abrufs von der Antwortqualität. Planen Sie neben Modellkosten auch Dokumentenaufbereitung, Anbindungen, Zugriffskontrollen und laufende Wartung ein.

Häufige Fragen

Ist RAG dasselbe wie Modelltraining mit Unternehmensdaten?

Nein. RAG ruft beim Antworten Informationen ab. Fine-Tuning verändert Modellparameter für ein bestimmtes Ziel. Beide Ansätze können gemeinsam genutzt werden.

Liest der Chatbot automatisch jede Datei?

Nur Quellen mit entsprechend eingerichteter Anbindung und Berechtigung. Bei Scans kann Texterkennung nötig sein, deren Qualität ebenfalls geprüft werden muss.

Muss die Lösung individuell entwickelt werden?

Nein. Ein vorhandenes Produkt, eine bessere Suche oder die Integration bestehender Systeme kann ausreichen. Umfang, Berechtigungen und Wartungskapazität bestimmen die Entscheidung.

Ihr nächster Schritt

Notieren Sie drei häufige Fragen, die heutigen Antwortquellen und die Personen, die diese Quellen sehen dürfen. So lässt sich Wissenssuche von Echtzeitdatenzugriff und Aktionen unterscheiden.

Wenn Sie einen Anwendungsfall in Ihrem Unternehmen erkennen, senden Sie eine Beschreibung des Bedarfs und der Arten von Informationsquellen an info@galitech.ir, um die Umsetzbarkeit prüfen zu lassen. Für den Erstkontakt genügt eine allgemeine Beschreibung; senden Sie keine vertraulichen Dokumente.