2. Feedback Threshold anpassen

Im folgenden lernst du:

1. Was eine Feedback-Similarity-Threshold ist.

2. Warum Feedback nach einiger Zeit weniger wirkt.

3. Weshalb man die Threshold erhöhen muss, um die Antwortqualität zu sichern.

💡Je näher der Wert an 1 liegt, desto wahrscheinlicher wird das gegebene Feedback bei einer ähnlichen Suchanfrage berücksichtigt. Empfehlung: 0,85 - 0,95.

Um die Feedback Threshold anzupassen navigiere zu Algorithm —> AI-Settings

1) Wie funktioniert die Feedback-Similarity-Threshold?

• Wenn die Antwort der KI bewertet oder korrigiert wird, wird das richtige Feedback gespeichert.

• Die KI prüft künftig: „Ist die neue Nutzerfrage semantisch ähnlich genug zum Feedback?“

• Diese Ähnlichkeit wird über einen Threshold (Schwellwert) gesteuert:

  • Niedriger Threshold → Schon grobe Ähnlichkeiten reichen, Feedback wird oft angewendet.

  • Hoher Threshold → Nur sehr nahe (semantisch „dichte“) Treffer werden genutzt.

2. Warum wirkt Feedback nach einiger Zeit nicht mehr?

Am Anfang:

• Nutzer geben viel neues Feedback → auch mit niedrigem Threshold entsteht ein klarer Lerneffekt.

• Jede Korrektur verbessert die Antworten spürbar.

Nach einiger Zeit:

• Das System hat schon viele ähnliche Fälle gelernt.

• Mit einem niedrigen Threshold matcht es Feedback auch auf nur vage ähnliche Fragen.

• Ergebnis: Das Feedback wird zu breit angewendet → es verwässert, wirkt nicht präzise, und die Qualität stagniert.

3. Warum muss der Threshold erhöht werden?

• Mit zunehmender Feedback-Menge wächst die „Dichte“ im Embedding-Speicher.

• Um relevante und wirklich passende Feedbacks zu nutzen, muss man den Schwellwert verschärfen.

• Dadurch ignoriert die KI ungenaues Feedback, das nicht 1:1 passt.

• So wird verhindert, dass die Qualität durch falsche Überanwendung von Feedback stagniert oder sogar schlechter wird.

4. Analogie zur Erklärung

• Stell dir vor, du sortierst Schrauben in Kisten nach Größe:

• Anfangs reichen große Kategorien (klein, mittel, groß). → Es hilft sofort.

• Später, wenn du viele verschiedene Schrauben hast, reicht diese grobe Einteilung nicht mehr.

• Du brauchst feinere Kategorien (10 mm, 12 mm, 14 mm …).

• Genau das macht die höhere Similarity-Threshold: Sie sorgt für präzisere Passungen, damit das Feedback wirkt.

5. Fazit

• Am Anfang: niedriger Threshold → Feedback wirkt breit, schnelle Lernkurve.

• Mit der Zeit: mehr Feedback-Daten → niedriger Threshold verwässert → Qualität stagniert.

• Lösung: Threshold erhöhen, damit nur noch wirklich passende Feedbacks greifen → die Antworten werden wieder präziser.