Feedback auf Dokumente ist wichtig, weil die KI dadurch lernt, welche Inhalte für eure Firma wirklich relevant sind.
Firmenspezifische Relevanz statt allgemeiner Semantik
Die KI lernt, welche Dokumente bei euren Begriffen, Produkten und Prozessen wirklich die richtigen sind.Bessere Suchtreffer und präzisere Antworten
Durch Feedback wird die Zuordnung zwischen Anfrage und Dokument verbessert, sodass passende Inhalte häufiger höher gerankt werden.Aufbau eines unternehmensspezifischen Wissensmodells
Mit jedem Feedback wird die semantische Vektorbasis näher an eure Sprache, eure Fachbegriffe und eure reale Arbeitsweise angepasst.
💡 Ohne Feedback versteht die KI Bedeutung. Mit Feedback versteht sie euer Unternehmen.
Dokumenten Feedback geben
Relevante Dokumente für die Antwort erkennen
Navigiere über die linke Seitenleiste zu "AI" → "AI Evaluation" und öffne ein Evaluation Set.
Auf die rechte Seite siehst du, welche Dokumente benutzt werden, um deine Antwort zu generieren.
In diesem Beispiel ist die sogenannte Context Size auf 10 eingestellt. Das System sucht somit 10 semantisch passende Dokumente zu der gestellten Frage heraus. Schau in den AI Admin Einstellungen vorbei um zu erfahren, was genau die Context Size ist.
Siehst du hier gar keine Dokumente, liegt das meist am Prompt: Weist er die KI an, bei Unklarheiten zuerst Rückfragen zu stellen, blockiert das die semantische Suche. Formuliere deine Trainingsfragen dann so, als wären mögliche Rückfragen bereits beantwortet.
In der Tabelle siehst du folgende Spalten:
File: Der Name des Dokuments
Page: Die spezifische Seite vom Dokument
Score: Der Similarity Score zeigt an, wie sicher sich die KI ist, semantische Ähnlichkeit gefunden zu haben zwischen deiner Frage und dem Dokument. 0,01 = 1% sicher 0,99 = 99% sicher
Preview: Bei Klick hierauf siehst du, welche Texte und Daten diese Seite wirklich enthält. Teilweise wundert man sich, wieso falsche Informationen von der KI genannt werden. Über den Preview Button kannst du schauen, ob die Datenlage aus deinem Dokument veraltet oder nicht richtig ist und die KI hier falsche Information erhält.
Content: Bei Klick auf die Lupe erkennst du, welche Inhalte oder auch Data Chunks aus der Seite beim Embedding der Dokumente extrahiert werden.
Teilweise kann auch die KI Fehler beim Extrahieren der Texte aus den Dokumenten machen. Bspw. wenn Wörter zu nah am Rand stehen oder die Qualität der Dokumente nicht ausreichend ist. Aus deinem Produktnamen wie “Vectron Studio 16” kann dann mal schnell “Vectron Studio 1” für die KI werden.
Schaue hierzu am besten in den Artikel “AI Datenbasis Best Practice”.
Feedback Daumen: So gibst du Feedback
Mit einem Klick auf den Feedback-Daumen bestätigst du der KI, dass dieses Dokument oder dieser Inhalt für die Anfrage relevant und fachlich richtig ist.
Nachdem der Feedback Daumen betätigt wurde, lädt das FoxBase System automatisch die KI-Antwort neu und du erkennst, dass sich die Liste der Dokumenten neu sortiert und sich der Similarity Score für das Dokument erhöht.
Wird dein Dokument trotzdem nicht bevorzugt, liegt das meist daran, dass ein anderes Dokument semantisch zunächst stärker bewertet ist. Wiederhole das Feedback in diesem Fall 2–5 Mal, um die Priorisierung zu korrigieren.
Reagiert der Feedback-Daumen gar nicht: Vermutlich enthält deine Frage mehrere Suchintentionen gleichzeitig, wodurch kein eindeutiges Feedback möglich ist. Teile solche Fragen in separate Evaluation Sets auf – eine Suchintention pro Set.
Sind mehrere Quellen für die Antwort relevant, bestätige jede gewünschte Quelle einzeln per Feedback (meist 1 bis 3 Mal). Haben dagegen mehrere Dokumente einen ähnlichen Score und nur eines davon ist relevant, bestätige das gewünschte Dokument 3 bis 5 Mal, um die anderen zu verdrängen.
Feedback wirkt über den Einzelfall hinaus: Wird eine relevante Seite eines technischen Datenblatts korrekt bestätigt, kann die KI dieses semantische Muster oft auch auf ähnliche Fragen und vergleichbare Produkte übertragen, sodass nicht jeder Fall erneut einzeln trainiert werden muss.
💡 Feedback steuert nur, welche Dokumente als fachlich relevant gelten, aber nicht Tonalität, Formulierungsstil, Antwortstruktur oder sprachliche No-Gos. Dafür ist der Prompt zuständig (siehe Artikel "Prompt einstellen und anpassen").
Zu viel Feedback vergeben?
Auf einem einzelnen Dokument sollte nicht zu viel (beispielsweise 50 Mal) Feedback vergeben werden, da die KI das Dokument ansonsten auch für andere Fragen als relevant einstufen könnte.
Dein Feedback verändert die Antwort nicht in die richtige Richtung? Dann kann es sein, dass du insgesamt zu viel Feedback vergeben hast. Unter “AI Configuration” kannst du hierfür den “Feedback Similarity Threshold” aktivieren. Probiere aus, welcher Wert für deine KI passt, da schon ein kleiner Unterschied von 0,01 einen großen Einfluss haben kann.
Solltest du Feedback rauslöschen wollen, melde dich bei deinem Customer-Success-Kontakt.
Weitere Dokumente suchen/hinzufügen
Wenn in der Liste die passenden oder von dir gewünschten Dokumente nicht enthalten sind, kannst du über “Search additional Documents” alle deine enthaltenen Dokumente durchsuchen und ebenfalls über den Feedback Daumen hinzufügen.
Je nachdem wie stark oder schwach die semantische Ähnlichkeit zu deiner Frage ist, musst du den Feedback Daumen mehrmals betätigen, damit dein “neues” Dokument in der Liste landet.
