FAQ AI

1. FoxBase verbindet dokumentenbasierte KI, semantische Suche und Human in the Loop.

2. So arbeitet die KI nicht nur mit allgemeinem Modellwissen, sondern mit eurem Unternehmenswissen und lernt zusätzlich durch menschliches Feedback.

3. Das Ergebnis sind präzisere Antworten, besseres Kontextverständnis und eine KI, die sich an eure Prozesse und Begriffe anpasst.

Dadurch kann sie:

• unternehmensspezifische Begriffe besser verstehen

• interne Prozesse erklären

• Produktwissen aus Dokumenten verwenden

• Antworten näher an eurer Datenlage formulieren

• Änderungen in Dokumenten schneller nutzbar machen als ein komplett neues Modelltraining

Semantische Suche ist eine Suchmethode, die nicht nur nach exakten Wörtern sucht, sondern nach der inhaltlichen Bedeutung einer Anfrage. Dadurch kann die KI auch dann passende Inhalte finden, wenn in der Frage andere Begriffe verwendet werden als im Dokument.

Eine Keyword-Suche würde zum Beispiel nur nach dem Wort „Laptop“ suchen, während eine semantische Suche auch Inhalte wie „mobiles Arbeitsgerät für Kreativaufgaben“ als passend zur Suchanfrage “Laptop für Design und lange Reisen” erkennen kann. So hilft semantische Suche dabei, relevantere Dokumente und Textabschnitte zu finden.

Das bedeutet:

Die KI beantwortet Fragen nicht nur aus allgemeinem internationalem Modellwissen, sondern zusätzlich auf Basis der Inhalte, die vorher aus PDFs oder anderen Datenquellen eingelesen und über eine semantische Suche als relevant gefunden wurden.

Warum die semantische Suche derzeit alles verändert?

• Semantische Suche ist leistungsstärker als Keyword-Suche, weil sie Bedeutung statt nur Wörter vergleicht.

• Sie findet deshalb häufiger die richtigen Inhalte, auch wenn Nutzer natürlich sprechen, Synonyme verwenden oder eine Frage anders formulieren.

• Das ist besonders wichtig für KI-Chats und dokumentenbasierte Systeme, weil relevante Inhalte nicht immer exakt so geschrieben sind wie die Anfrage.

• Eine Keyword-Suche ist gut bei klaren Schlagwörtern, stößt aber schnell an Grenzen, wenn Sprache variiert.

• Semantische Suche ist deshalb besser geeignet, um aus großen Datenmengen die inhaltlich passenden Treffer zu finden.

LLM steht für Large Language Model.

Ein LLM ist ein Sprachmodell, das Texte verstehen, zusammenfassen, umformulieren und neu generieren kann. Es ist der Teil des Systems, der die finale Antwort formuliert.

Wichtig ist:
Das LLM ist nicht automatisch die Wissensbasis selbst. Es ist vielmehr die Instanz, die mit der Frage und den gefundenen Dokumentinhalten arbeitet.

Deshalb besteht eine dokumentenbasierte KI meistens aus zwei Ebenen:

• Wissensbasis / Retrieval

• Sprachmodell / Antwortgenerierung

In vielen KI-Systemen kann ausgewählt werden, welches Modell für den Chat verwendet werden soll.

Der Grund dafür ist, dass verschiedene Modelle unterschiedliche Stärken haben, zum Beispiel:

• bessere Textqualität

• schnellere Antwortzeiten

• stärkerer Fokus auf Zusammenfassung

• bessere Strukturierung

• andere Kosten oder Performance-Eigenschaften

Amazon Bedrock ist genau dafür ausgelegt: Es stellt Foundation Models verschiedener Anbieter bereit, die je nach Bedarf ausgewählt und ausgetauscht werden können.

Wenn das embedding auf AWS, OpenAI oder ähnlichen basieren, dann übernehmen diese Anbieter typischerweise Teile der KI-Infrastruktur.

Dazu können gehören:

• Verarbeitung von Wissensquellen

• Chunking von Dokumenten

• Erzeugung von Embeddings

• Verwaltung oder Anbindung eines Vektorindex

• Abruf relevanter Chunks

• Nutzung eines auswählbaren Foundation Models zur Antwortgenerierung

Das embedding ist aus Datenschutzgründen der wichtigste Teil, da hier entschieden wird wo die Daten liegen und ob die Daten für das Training der allgemeinen Modelle benutzt werden.

FoxBase hat eine strikte DSGVO Orientierung, sodass du bei Auswahl des LLMs sowie des embedding keine Sorgen machen musst, dass deine Daten zum Allgemeinem Training oder anderweitig missbraucht werden.

Ein allgemeines Sprachmodell kennt viele allgemeine Muster aus seinem Training. Es kennt aber nicht automatisch eure internen Prozesse, Produktlogiken oder Dokumente.

Eine dokumentenbasierte KI ergänzt das Sprachmodell deshalb um den wichtigsten Teil.

Kurz gesagt:

• LLM allein = kann Sprache gut verarbeiten

• LLM plus Wissensbasis = kann Sprache auf Basis eurer Dokumente anwenden

Ein komplettes Dokument ist oft zu groß, zu allgemein oder enthält zu viele Themen gleichzeitig.

Chunks haben mehrere Vorteile:

• relevante Abschnitte lassen sich gezielter finden

• Antworten basieren auf kleineren, präziseren Textstellen

• die semantische Suche wird genauer

• verschiedene Abschnitte eines Dokuments können unabhängig voneinander gefunden werden

Deshalb ist Chunking ein zentraler Bestandteil moderner RAG-Systeme und auch in Amazon Bedrock Knowledge Bases fest vorgesehen.

Es gibt drei grundlegende Möglichkeiten, Chat-Antworten zu verbessern:

1. Feedback-Funktion

2. Datenlage verbessern

3. Prompt-Funktion

Die Feedback- und die Prompt-Funktionen haben unterschiedliche Aufgaben. Sie sollten nicht miteinander verwechselt werden.

Die wichtigste Regel lautet:

• Inhaltliche Probleme werden zuerst über Feedback gelöst. Formale oder stilistische Anforderungen werden über den Prompt gesteuert.

Anders formuliert:

• Feedback bestimmt, welches Wissen als richtig und relevant gilt.

• Prompt bestimmt, wie die Antwort formuliert wird.

Welche Funktion sollte zuerst genutzt werden?

1. Wenn du einen initialen Prompt bereits erstellt hast, ist die Verbesserung einer Chat-Antwort immer zuerst über die Feedback-Funktion durchzuführen.

2. Die Prompt-Funktion ist nicht der erste Hebel, wenn die Antwort fachlich falsch ist oder auf falschen Dokumenten basiert.

3. In solchen Fällen muss zuerst trainiert werden, welches Dokument oder welcher Inhalt für eine Suchanfrage relevant ist.

4. Erst wenn die fachliche Grundlage stimmt, sollte über den Prompt festgelegt werden, wie die Antwort formuliert, aufgebaut oder eingeschränkt werden soll.

Feedback ist der richtige Hebel, wenn:

• die Antwort auf dem falschen Dokument basiert

• die KI ein ähnliches, aber fachlich falsches Dokument bevorzugt

• ein internes Dokument nicht erkannt wird

• ein generisches Dokument ein spezifisches Dokument verdrängt

• die Antwort fachlich nicht zum gewünschten Dokumentenbestand passt

Wofür ist Feedback nicht gedacht?

Feedback ist nicht dafür da, Stilregeln festzulegen.

Feedback ist nicht der richtige Hebel für:

• Tonalität

• Formulierungsstil

• Antwortstruktur

• No-Gos in der Sprache

• gewünschte Schlussformulierungen

• Vorgaben wie „kein Fazit“, „nur Stichpunkte“ oder „stelle zuerst eine Rückfrage“

Diese Themen gehören in den Prompt.

Dieses Problem tritt auf, wenn ein anderes Dokument semantisch zunächst „sicherer“ erscheint als das fachlich richtige Dokument.

Das System bewertet zunächst sprachliche und semantische Nähe. Dadurch kann es vorkommen, dass ein allgemeineres Dokument stärker wirkt als ein spezifisches, aber kürzeres oder knapper beschriebenes Dokument.

Was ist die Ursache dafür?

• Die Ursache liegt meist darin, dass die semantische Ähnlichkeit eines generischen Dokuments höher erscheint als die eines spezifischen Dokuments.

• Ein Dokument mit breiterem Sprachraum oder allgemeineren Formulierungen kann bei der Suche zunächst als passender erkannt werden, auch wenn es fachlich nicht die beste Quelle ist.

Was ist die Lösung?

• In solchen Fällen sollte dem fachlich richtigen Dokument mehrfach Feedback gegeben werden.

• Mehrfaches Feedback hilft, die Priorisierung zu verschieben und dem System klarer zu vermitteln, welches Dokument für diese Art von Anfrage tatsächlich relevant ist.

Warum kann mehrfaches Feedback nötig sein?

• Mehrfaches Feedback ist nötig, wenn die ursprüngliche semantische Einschätzung sehr stark zugunsten eines anderen Dokuments ausfällt.

• Das System muss dann lernen, dass nicht das sprachlich allgemeinere Dokument, sondern das fachlich präzisere Dokument relevant ist.

Beispiel: Äpfel und Obst

Ein Nutzer sucht nach Äpfeln.

Es gibt zwei Dokumente:

• Dokument A spricht sehr ausführlich über Obst allgemein

• Dokument B spricht konkret über Äpfel, ist aber knapper formuliert

Dokument A kann aufgrund der allgemeinen semantischen Nähe zunächst höher gerankt werden als Dokument B. Fachlich ist aber Dokument B das richtige Dokument.

In diesem Fall muss Dokument B mehrfach per Feedback bestätigt werden, bis es gegenüber dem allgemeineren Dokument bevorzugt wird.

Welche Regel gilt hier?

Wenn ein fachlich richtiges Dokument von einem eher allgemeinen Dokument verdrängt wird, sollte das richtige Dokument mehrfach trainiert werden (2 bis 5 Mal den Feedback Daumen klicken)

Wenn eine gute Antwort aus mehreren Dokumenten bestehen soll, bleibt das Grundprinzip gleich. Auch in diesem Fall muss trainiert werden, welche Dokumente für die Antwort relevant sind.

Beispiele:

1. Produktbeschreibung aus Dokument A

2. technische Einschränkungen aus Dokument B

3. Prozesshinweise aus Dokument C

Wie trainiere ich eine Antwort mit mehreren Dokumenten?

Es sollten genau die Dokumente gestärkt werden, die die gewünschten inhaltlichen Bausteine liefern sollen.

Die Antwortlogik kann dann zum Beispiel so aussehen:

1. erster Teil aus Dokument A = 1 Mal Feedback erhalten

2. zweiter Teil aus Dokument B = 1 Mal Feedback erhalten

3. dritter Teil aus Dokument C = 1 Mal Feedback erhalten

Was ist wichtig, wenn mehrere Dokumente beteiligt sind?

• Wichtig ist, dass die relevanten Dokumente fachlich sauber ausgewählt werden und die gewünschte Reihenfolge oder Gewichtung klar ist.

• Der Fakt, dass jedes Dokument 1 Mal Feedback enthält funktioniert sehr gut bei strukturierter Datenlage

• Teilweise ist es nötig, aufgrund der semantischen Ähnlichkeit oder Entfernung den Dokumenten unterschiedlich viel Feedback zu vergeben.

  • Dokument A 1 Mal Feedback

  • Dokument B 3 Mal Feedback  

  • Dokument C 2 Mal Feedback zu vergeben

• Falls dies nicht funktioniert, ist das ein erster wichtiger Schritt, deinen Antwort Stil im Prompt festzulegen, damit die semantische Suche unterstützt wird die richtigen Inhalte zu finden.

  • Bspw. benutze für die Einleitung stets aus dem Marketing-Dokument X Informationen. Für den Hauptteil benutzt du technische Attribute aus den technischen Datenblättern. Der Abschluss soll aus dem Sicherheitsdatenblatt entnommen werden.

  • Mehr dazu erfährst du hier bei den Prompt-Einstellungen

In diesem Fall sollte nur das tatsächlich relevante Dokument gezielt gestärkt werden.

• Wenn mehrere Dokumente in die Antwort einfließen, aber nur eine Quelle gewünscht ist, sollte dem gewünschten Dokument mehrfach Feedback gegeben werden (3 bis 5 mal).

Was bewirkt dieses Vorgehen?

• Mehrfaches Feedback auf das gewünschte Dokument hilft dabei:

• konkurrierende Dokumente zu verdrängen

• ungewollte Textbausteine aus anderen Dokumenten zu reduzieren

• die Antwort stärker auf eine einzige fachliche Quelle auszurichten

Wenn im Evaluation Set Trotz Klick auf “Show documents” keine Dokumente angezeigt werden, bedeutet das meist, dass keine semantische Dokumentensuche für diese Antwort stattgefunden hat.

Das ist oft kein Fehler im Dokumentenbestand, sondern eine Folge des aktuellen Prompts oder Antwortverhaltens.

Was ist die häufigste Ursache?

• Die häufigste Ursache ist, dass der Prompt das System anweist, zunächst Rückfragen zu stellen oder kontextsensitiv zu reagieren, bevor eine eigentliche inhaltliche Antwort generiert wird.

• In diesem Fall wird noch keine klassische dokumentenbasierte Antwort erzeugt. Entsprechend erscheinen auch keine Dokumente zur Bewertung.

• Wenn die Ausgangsfrage zu offen ist, reagiert das System möglicherweise korrekt mit Rückfragen. Dadurch entsteht aber kein dokumentenbasierter Antwortfall, der einfach per Feedback trainiert werden kann.

Was ist die richtige Vorgehensweise?

Beispiel: Laptop-Empfehlung mit Rückfrage

Ein Nutzer fragt: Welchen Laptop kannst du mir empfehlen?

Wenn der Prompt vorgibt, dass der Chat zuerst Rückfragen stellen soll, kann die erste Reaktion zum Beispiel lauten:

• Wofür nutzt du den Laptop?

• Geht es um Gaming, Design oder Büro?

• Wie hoch ist dein Budget?

In diesem Fall beantwortet das System zunächst die Gesprächslogik und noch nicht die eigentliche Produktempfehlung auf Basis von Dokumenten. Sprich, die KI fängt erst gar nicht an nach Inhalten zu suchen, da die Nutzeranforderungen bisher nicht klar sind. Ähnlich wie bei einem Sales-Gespräch frage ich erst Rahmenbedingungen oder Parameter ab, bevor eine fachlich perfekte Antwort oder Produktempfehlung gegeben werden kann.

Daher erscheinen keine Dokumente im Feedback-Bereich.

Was bedeutet das für das Training?

Wenn keine Dokumente angezeigt werden, sollte geprüft werden, ob der Prompt die semantische Suche gerade indirekt blockiert oder verzögert.

• In solchen Fällen muss die Trainingsfrage konkretisiert werden.

• Statt eine allgemeine, offene Frage zu trainieren, sollte direkt die präzisierte Nutzerabsicht trainiert werden.

Welche Prompt-Bestandteile verursachen dieses Verhalten häufig?

Typische Formulierungen, die dieses Verhalten auslösen können, sind:

• Stelle zuerst Rückfragen

• Antworte kontextsensitiv

• Gib keine direkte Empfehlung ohne Zusatzinformationen

• Ermittle zuerst den Bedarf des Nutzers

Was ist die Lösung?

• Wenn keine Suche nach passenden Dokumenten durchgeführt wird, kannst du im, Promt sagen: “Wenn es um das Thema Laptop geht, stelle keine Rückfragen und führe direkt eine semantische Suche durch.”

• ein neues Evaluation Set mit einer konkretisierten Frage anlegen und die Frage direkt im Trainingsmodus präziser formulieren.

Beispiel: allgemeine Frage vs. trainierbare Frage

• Nicht ideal für das Training: Welcher Laptop ist am besten?

• Besser für das Training: Welcher Laptop ist für lange Reisedistanzen und anspruchsvolle Designaufgaben am besten geeignet?

• Die zweite Formulierung ist konkreter und erlaubt dem System, direkt relevante Dokumente zu nutzen.

• Die Trainingsfrage sollte so formuliert werden, als wären die Rückfragen bereits beantwortet.

Ein deaktivierter Feedback-Button deutet häufig darauf hin, dass die KI mehrere Suchanfragen gleichzeitig verarbeitet hat. Die wird dir über eine Fehlermeldung im Evaluation Set angezeigt.

Was bedeutet „mehrere Suchanfragen“?

• Mehrere Suchanfragen liegen vor, wenn eine einzelne Nutzerfrage inhaltlich aus mehreren unabhängigen Themen besteht.

Beispiel: Welche Laptops und Desktop-PCs sind geeignet?

Diese Frage enthält zwei getrennte Suchintentionen:

• Suche nach Laptops

• Suche nach Desktop-PCs

Warum ist das ein Problem für Feedback?

Feedback sollte möglichst eindeutig einer Suchanfrage zugeordnet werden.

Wenn mehrere Suchanfragen in einer Antwort vermischt sind, besteht das Risiko, dass versehentlich das falsche Dokument für die falsche Suchlogik trainiert wird.

Beispiel für Fehltraining

• Wenn ein Laptop-Dokument während einer kombinierten Suche auch für die Desktop-PC-Teilfrage bestätigt wird, entsteht unsauberes Training.

• Das System lernt dann unter Umständen eine falsche Zuordnung = ich gebe der Frage nach Bananen dem System ein Apfel Dokument

Was ist die Lösung?

Die Themen sollten getrennt trainiert werden.

Im Beispiel bedeutet das:

• ein Evaluation Set für Laptops

• ein weiteres Evaluation Set für Desktop-PCs

Welche Regel gilt hier?

Wenn eine Nutzerfrage mehrere Suchintentionen enthält, sollte jede Suchintention separat trainiert werden.

Nein. "Training" bedeutet bei FoxBase kein Neuaufbau eines Modells, sondern gezieltes Feedback pro Frage (siehe "Feedback vergeben"). Dieses Feedback ist unabhängig für jede Frage gespeichert – ein Datei-Update löscht es nicht automatisch.

Was sich durch ein größeres Update ändern kann: Verschieben sich Seitenzahlen oder Inhalte der referenzierten Dokumente, kann älteres Feedback auf die falsche Stelle zeigen. Deshalb wird vor dem Upload geprüft, welches Feedback auf geänderte Dateien verweist, damit es vorab zurückgesetzt werden kann.

Praktisch heißt das: Nach dem Austausch sollten die betroffenen Antworten neu generiert, geprüft, und wo nötig neues Feedback vergeben. Das betrifft nur die Fragen, die auf geänderte Dateien zurückgreifen – nicht die gesamte Wissensbasis.

Verschiedene Optionen können helfen, dass mehr Nutzer den Chat öffnen:

1. Chat-Bubble-Icon: Nutze ein Icon zum Öffnen des Chats, das den Nutzer motiviert darauf zu klicken.
   Das kann beispielsweise eine Sprechblase, ein Maskottchen oder ein zusätzlicher Aufforderungstext (wie “KI-Chat starten”) im Icon sein.
   Achte auch auf einen starken farblichen Kontrast zum Hintergrund.

2. Lasse den Chat direkt über ein Skript geöffnet anzeigen. Lese dir hierzu die Information im Chat-Artikel zu.

Auch eine passende Startnachricht im Chat kann helfen, dem Nutzer eine Richtung vorzugeben, welche Themen er im Chat ansprechen kann.

Mache die Nutzer darauf aufmerksam, dass der Chat KI ist und biete für weitere Details die Verlinkung zur Datenschutzerklärung an. Das kann beispielsweise über die Startnachricht im Chat oder über entsprechende Links im Footer hinterlegt werden. Der Nutzer wird so darauf sensibilisiert, wie er mit persönlichen Daten im Chat umgehen möchte.