Feedback vergeben

Es gibt drei grundlegende Möglichkeiten, Chat-Antworten zu verbessern:

1. Feedback-Funktion

2. Prompt-Funktion

3. Datenlage verbessern

Die Feedback- und die Prompt-Funktionen haben unterschiedliche Aufgaben. Sie sollten nicht miteinander verwechselt werden.

Die wichtigste Regel lautet:

• Inhaltliche Probleme werden zuerst über Feedback gelöst. Formale oder stilistische Anforderungen werden über den Prompt gesteuert.

Anders formuliert:

• Feedback bestimmt, welches Wissen als richtig und relevant gilt.

• Prompt bestimmt, wie die Antwort formuliert wird.

Welche Funktion sollte zuerst genutzt werden?

1. Wenn du, wie in diesem Artikel beschrieben, einen initialen Prompt bereits erstellt hast, ist die Verbesserung einer Chat-Antwort immer zuerst über die Feedback-Funktion durchzuführen.

2. Die Prompt-Funktion ist nicht der erste Hebel, wenn die Antwort fachlich falsch ist oder auf falschen Dokumenten basiert.

3. In solchen Fällen muss zuerst trainiert werden, welches Dokument oder welcher Inhalt für eine Suchanfrage relevant ist.

4. Erst wenn die fachliche Grundlage stimmt, sollte über den Prompt festgelegt werden, wie die Antwort formuliert, aufgebaut oder eingeschränkt werden soll.

Feedback ist der richtige Hebel, wenn:

• die Antwort auf dem falschen Dokument basiert

• die KI ein ähnliches, aber fachlich falsches Dokument bevorzugt

• ein internes Dokument nicht erkannt wird

• ein generisches Dokument ein spezifisches Dokument verdrängt

• die Antwort fachlich nicht zum gewünschten Dokumentenbestand passt

Wofür ist Feedback nicht gedacht?

Feedback ist nicht dafür da, Stilregeln festzulegen.

Feedback ist nicht der richtige Hebel für:

• Tonalität

• Formulierungsstil

• Antwortstruktur

• No-Gos in der Sprache

• gewünschte Schlussformulierungen

• Vorgaben wie „kein Fazit“, „nur Stichpunkte“ oder „stelle zuerst eine Rückfrage“

Diese Themen gehören in den Prompt.

Dieses Problem tritt auf, wenn ein anderes Dokument semantisch zunächst „sicherer“ erscheint als das fachlich richtige Dokument.

Das System bewertet zunächst sprachliche und semantische Nähe. Dadurch kann es vorkommen, dass ein allgemeineres Dokument stärker wirkt als ein spezifisches, aber kürzeres oder knapper beschriebenes Dokument.

Was ist die Ursache dafür?

• Die Ursache liegt meist darin, dass die semantische Ähnlichkeit eines generischen Dokuments höher erscheint als die eines spezifischen Dokuments.

• Ein Dokument mit breiterem Sprachraum oder allgemeineren Formulierungen kann bei der Suche zunächst als passender erkannt werden, auch wenn es fachlich nicht die beste Quelle ist.

Was ist die Lösung?

• In solchen Fällen sollte dem fachlich richtigen Dokument mehrfach Feedback gegeben werden.

• Mehrfaches Feedback hilft, die Priorisierung zu verschieben und dem System klarer zu vermitteln, welches Dokument für diese Art von Anfrage tatsächlich relevant ist.

Warum kann mehrfaches Feedback nötig sein?

• Mehrfaches Feedback ist nötig, wenn die ursprüngliche semantische Einschätzung sehr stark zugunsten eines anderen Dokuments ausfällt.

• Das System muss dann lernen, dass nicht das sprachlich allgemeinere Dokument, sondern das fachlich präzisere Dokument relevant ist.

Beispiel: Äpfel und Obst

Ein Nutzer sucht nach Äpfeln.

Es gibt zwei Dokumente:

• Dokument A spricht sehr ausführlich über Obst allgemein

• Dokument B spricht konkret über Äpfel, ist aber knapper formuliert

Dokument A kann aufgrund der allgemeinen semantischen Nähe zunächst höher gerankt werden als Dokument B. Fachlich ist aber Dokument B das richtige Dokument.

In diesem Fall muss Dokument B mehrfach per Feedback bestätigt werden, bis es gegenüber dem allgemeineren Dokument bevorzugt wird.

Welche Regel gilt hier?

Wenn ein fachlich richtiges Dokument von einem eher allgemeinen Dokument verdrängt wird, sollte das richtige Dokument mehrfach trainiert werden (2 bis 5 Mal den Feedback Daumen klicken)

Wenn eine gute Antwort aus mehreren Dokumenten bestehen soll, bleibt das Grundprinzip gleich. Auch in diesem Fall muss trainiert werden, welche Dokumente für die Antwort relevant sind.

Beispiele:

1. Produktbeschreibung aus Dokument A

2. technische Einschränkungen aus Dokument B

3. Prozesshinweise aus Dokument C

Wie trainiere ich eine Antwort mit mehreren Dokumenten?

Es sollten genau die Dokumente gestärkt werden, die die gewünschten inhaltlichen Bausteine liefern sollen.

Die Antwortlogik kann dann zum Beispiel so aussehen:

1. erster Teil aus Dokument A = 1 Mal Feedback erhalten

2. zweiter Teil aus Dokument B = 1 Mal Feedback erhalten

3. dritter Teil aus Dokument C = 1 Mal Feedback erhalten

Was ist wichtig, wenn mehrere Dokumente beteiligt sind?

• Wichtig ist, dass die relevanten Dokumente fachlich sauber ausgewählt werden und die gewünschte Reihenfolge oder Gewichtung klar ist.

• Der Fakt, dass jedes Dokument 1 Mal Feedback enthält funktioniert sehr gut bei strukturierter Datenlage

• Teilweise ist es nötig, aufgrund der semantischen Ähnlichkeit oder Entfernung den Dokumenten unterschiedlich viel Feedback zu vergeben.

  • Dokument A 1 Mal Feedback

  • Dokument B 3 Mal Feedback  

  • Dokument C 2 Mal Feedback zu vergeben

• Falls dies nicht funktioniert, ist das ein erster wichtiger Schritt, deinen Antwort Stil im Prompt festzulegen, damit die semantische Suche unterstützt wird die richtigen Inhalte zu finden.

  • Bspw. benutze für die Einleitung stets aus dem Marketing-Dokument X Informationen. Für den Hauptteil benutzt du technische Attribute aus den technischen Datenblättern. Der Abschluss soll aus dem Sicherheitsdatenblatt entnommen werden.

  • Mehr dazu erfährst du hier bei den Prompt-Einstellungen

In diesem Fall sollte nur das tatsächlich relevante Dokument gezielt gestärkt werden.

• Wenn mehrere Dokumente in die Antwort einfließen, aber nur eine Quelle gewünscht ist, sollte dem gewünschten Dokument mehrfach Feedback gegeben werden (3 bis 5 mal).

Was bewirkt dieses Vorgehen?

• Mehrfaches Feedback auf das gewünschte Dokument hilft dabei:

• konkurrierende Dokumente zu verdrängen

• ungewollte Textbausteine aus anderen Dokumenten zu reduzieren

• die Antwort stärker auf eine einzige fachliche Quelle auszurichten

Welche Regel gilt hier?

• Wenn nur ein Dokument die Antwort tragen soll, darf nicht breit auf mehrere konkurrierende Dokumente trainiert werden. Stattdessen muss das gewünschte Dokument klar priorisiert werden.

Wenn du den unten stehenden Screenshot in deinem System siehst und keine Dokumente angezeigt werden, bedeutet das meist, dass keine semantische Dokumentensuche für diese Antwort stattgefunden hat.

Das ist oft kein Fehler im Dokumentenbestand, sondern eine Folge des aktuellen Prompts oder Antwortverhaltens.

Was ist die häufigste Ursache?

• Die häufigste Ursache ist, dass der Prompt das System anweist, zunächst Rückfragen zu stellen oder kontextsensitiv zu reagieren, bevor eine eigentliche inhaltliche Antwort generiert wird.

• In diesem Fall wird noch keine klassische dokumentenbasierte Antwort erzeugt. Entsprechend erscheinen auch keine Dokumente zur Bewertung.

• Wenn die Ausgangsfrage zu offen ist, reagiert das System möglicherweise korrekt mit Rückfragen. Dadurch entsteht aber kein dokumentenbasierter Antwortfall, der einfach per Feedback trainiert werden kann.

Was ist die richtige Vorgehensweise?

Beispiel: Laptop-Empfehlung mit Rückfrage

Ein Nutzer fragt: Welchen Laptop kannst du mir empfehlen?

Wenn der Prompt vorgibt, dass der Chat zuerst Rückfragen stellen soll, kann die erste Reaktion zum Beispiel lauten:

• Wofür nutzt du den Laptop?

• Geht es um Gaming, Design oder Büro?

• Wie hoch ist dein Budget?

In diesem Fall beantwortet das System zunächst die Gesprächslogik und noch nicht die eigentliche Produktempfehlung auf Basis von Dokumenten. Sprich, die KI fängt erst gar nicht an nach Inhalten zu suchen, da die Nutzeranforderungen bisher nicht klar sind. Ähnlich wie bei einem Sales-Gespräch frage ich erst Rahmenbedingungen oder Parameter ab, bevor eine fachlich perfekte Antwort oder Produktempfehlung gegeben werden kann.

Daher erscheinen keine Dokumente im Feedback-Bereich.

Was bedeutet das für das Training?

Wenn keine Dokumente angezeigt werden, sollte geprüft werden, ob der Prompt die semantische Suche gerade indirekt blockiert oder verzögert.

• In solchen Fällen muss die Trainingsfrage konkretisiert werden.

• Statt eine allgemeine, offene Frage zu trainieren, sollte direkt die präzisierte Nutzerabsicht trainiert werden.

Welche Prompt-Bestandteile verursachen dieses Verhalten häufig?

Typische Formulierungen, die dieses Verhalten auslösen können, sind:

• Stelle zuerst Rückfragen

• Antworte kontextsensitiv

• Gib keine direkte Empfehlung ohne Zusatzinformationen

• Ermittle zuerst den Bedarf des Nutzers

Was ist die Lösung?

• Wenn keine Suche nach passenden Dokumenten durchgeführt wird, kannst du im Prompt sagen: “Wenn es um das Thema Laptop geht, stelle keine Rückfragen und führe direkt eine semantische Suche durch.”

• ein neues Evaluation Set mit einer konkretisierten Frage anlegen und die Frage direkt im Trainingsmodus präziser formulieren.

Beispiel: allgemeine Frage vs. trainierbare Frage

• Nicht ideal für das Training: Welcher Laptop ist am besten?

• Besser für das Training: Welcher Laptop ist für lange Reisedistanzen und anspruchsvolle Designaufgaben am besten geeignet?

• Die zweite Formulierung ist konkreter und erlaubt dem System, direkt relevante Dokumente zu nutzen.

• Die Trainingsfrage sollte so formuliert werden, als wären die Rückfragen bereits beantwortet.

Welche Regel gilt hier?

Wenn ein Chat zuerst Rückfragen stellen würde, sollte im Training die bereits konkretisierte Nutzerabsicht verwendet werden.

• In solchen Fällen muss die Trainingsfrage konkretisiert werden.

• Statt eine allgemeine, offene Frage zu trainieren, sollte direkt die präzisierte Nutzerabsicht trainiert werden.

Warum ist das notwendig?

• Wenn die Ausgangsfrage zu offen ist, reagiert das System möglicherweise korrekt mit Rückfragen. Dadurch entsteht aber kein dokumentenbasierter Antwortfall, der einfach per Feedback trainiert werden kann.

• Was ist die richtige Vorgehensweise?

Die Trainingsfrage sollte so formuliert werden, als wären die Rückfragen bereits beantwortet.

Beispiel: allgemeine Frage vs. trainierbare Frage

• Nicht ideal für das Training: Welcher Laptop ist am besten?

• Besser für das Training: Welcher Laptop ist für lange Reisedistanzen und anspruchsvolle Designaufgaben am besten geeignet?

Die zweite Formulierung ist konkreter und erlaubt dem System, direkt relevante Dokumente zu nutzen.

Welche Lösungsmöglichkeiten gibt es?

• Ein neues Evaluation Set mit einer konkretisierten Frage anlegen

• Die Frage direkt im Trainingsmodus präziser formulieren

Welche Regel gilt hier?

Wenn ein Chat zuerst Rückfragen stellen würde, sollte im Training die bereits konkretisierte Nutzerabsicht verwendet werden.

Ein deaktivierter Feedback-Button deutet häufig darauf hin, dass die KI mehrere Suchanfragen gleichzeitig verarbeitet hat. Die wird dir über eine Fehlermeldung im Evaluation Set angezeigt.

Was bedeutet „mehrere Suchanfragen“?

• Mehrere Suchanfragen liegen vor, wenn eine einzelne Nutzerfrage inhaltlich aus mehreren unabhängigen Themen besteht.

Beispiel: Welche Laptops und Desktop-PCs sind geeignet?

Diese Frage enthält zwei getrennte Suchintentionen:

• Suche nach Laptops

• Suche nach Desktop-PCs

Warum ist das ein Problem für Feedback?

Feedback sollte möglichst eindeutig einer Suchanfrage zugeordnet werden.

Wenn mehrere Suchanfragen in einer Antwort vermischt sind, besteht das Risiko, dass versehentlich das falsche Dokument für die falsche Suchlogik trainiert wird.

Beispiel für Fehltraining

• Wenn ein Laptop-Dokument während einer kombinierten Suche auch für die Desktop-PC-Teilfrage bestätigt wird, entsteht unsauberes Training.

• Das System lernt dann unter Umständen eine falsche Zuordnung = ich gebe der Frage nach Bananen dem System ein Apfel Dokument

Was ist die Lösung?

Die Themen sollten getrennt trainiert werden.

Im Beispiel bedeutet das:

• ein Evaluation Set für Laptops

• ein weiteres Evaluation Set für Desktop-PCs

Welche Regel gilt hier?

Wenn eine Nutzerfrage mehrere Suchintentionen enthält, sollte jede Suchintention separat trainiert werden.