2. Feedback Threshold anpassen

Prev Next

Im folgenden lernst du:

  1. Was eine Feedback-Similarity-Threshold ist.

  2. Warum Feedback nach einiger Zeit weniger wirkt.

  3. Weshalb man die Threshold erhöhen muss, um die Antwortqualität zu sichern.

💡Je näher der Wert an 1 liegt, desto wahrscheinlicher wird das gegebene Feedback bei einer ähnlichen Suchanfrage berücksichtigt. Empfehlung: 0,85 - 0,95.

Um die Feedback Threshold anzupassen navigiere zu Algorithm —> AI-Settings

1) Wie funktioniert die Feedback-Similarity-Threshold?

  • Wenn die Antwort der KI bewertet oder korrigiert wird, wird das richtige Feedback gespeichert.

  • Die KI prüft künftig: „Ist die neue Nutzerfrage semantisch ähnlich genug zum Feedback?“

  • Diese Ähnlichkeit wird über einen Threshold (Schwellwert) gesteuert:

    • Niedriger Threshold → Schon grobe Ähnlichkeiten reichen, Feedback wird oft angewendet.

    • Hoher Threshold → Nur sehr nahe (semantisch „dichte“) Treffer werden genutzt.

2. Warum wirkt Feedback nach einiger Zeit nicht mehr?

Am Anfang:

  • Nutzer geben viel neues Feedback → auch mit niedrigem Threshold entsteht ein klarer Lerneffekt.

  • Jede Korrektur verbessert die Antworten spürbar.

Nach einiger Zeit:

  • Das System hat schon viele ähnliche Fälle gelernt.

  • Mit einem niedrigen Threshold matcht es Feedback auch auf nur vage ähnliche Fragen.

  • Ergebnis: Das Feedback wird zu breit angewendet → es verwässert, wirkt nicht präzise, und die Qualität stagniert.

3. Warum muss der Threshold erhöht werden?

  • Mit zunehmender Feedback-Menge wächst die „Dichte“ im Embedding-Speicher.

  • Um relevante und wirklich passende Feedbacks zu nutzen, muss man den Schwellwert verschärfen.

  • Dadurch ignoriert die KI ungenaues Feedback, das nicht 1:1 passt.

  • So wird verhindert, dass die Qualität durch falsche Überanwendung von Feedback stagniert oder sogar schlechter wird.

4. Analogie zur Erklärung

  • Stell dir vor, du sortierst Schrauben in Kisten nach Größe:

  • Anfangs reichen große Kategorien (klein, mittel, groß). → Es hilft sofort.

  • Später, wenn du viele verschiedene Schrauben hast, reicht diese grobe Einteilung nicht mehr.

  • Du brauchst feinere Kategorien (10 mm, 12 mm, 14 mm …).

  • Genau das macht die höhere Similarity-Threshold: Sie sorgt für präzisere Passungen, damit das Feedback wirkt.

5. Fazit

  • Am Anfang: niedriger Threshold → Feedback wirkt breit, schnelle Lernkurve.

  • Mit der Zeit: mehr Feedback-Daten → niedriger Threshold verwässert → Qualität stagniert.

  • Lösung: Threshold erhöhen, damit nur noch wirklich passende Feedbacks greifen → die Antworten werden wieder präziser.