Bevor du deine KI live schaltest oder größere Anpassungen vornimmst, solltest du sie systematisch testen. Mit etwa 50 realistischen Testfragen und erwarteten Expertenantworten prüfst du, ob die KI fachlich korrekt, vollständig und im gewünschten Stil antwortet. Du erkennst gezielt Wissenslücken oder falsche, zu allgemeine oder unvollständige Antworten, bevor Kunden oder Mitarbeitende live darauf stoßen.
1. Navigiere zu AI Evaluation
Über die linke Seitennavigation gelangst du über den Eintrag “AI” zu “AI Evaluation”
2. Erstelle Test-Fragen und Antworten
Einzelne Fragen und Antworten einfügen
Klicke auf "Add new Evaluation Set"
Trage die Frage links in "Question Sample" ein
Trage die erwartete Antwort rechts in "Expert Answer" ein
Speichere über den blauen Button oder füge ein weiteres Evaluation Set hinzu
Mehrere Fragen und Antworten per Excel Import hinzufügen
Klicke auf "Add new Evaluation Set"
Kopiere deine Frage-Antwort-Paare aus Excel (ohne Überschriften oder leere Zeilen)
Klicke auf "Paste two columns from Excel" unterhalb der Eingabefelder
Prüfe die importierten Paare
Scrolle ans Ende und speichere
Einfluss der Expertenantwort
Die Expertenantwort hat KEINEN Einfluss auf die Antwortqualität der KI. Diese wird über Feedback und Prompt gesteuert.
Die Expertenantwort ist aber wichtig für euer Projektmanagement: Sie dient als transparentes inhaltliches Ziel, damit die KI unabhängig von Personen und abteilungsübergreifend verbessert werden.
💡 Du oder einer deiner Arbeitskollegen sollten beim Trainieren der KI zwei Dinge gut kennen:
Die Art der Produktinhalte
Weißt Du, wie Deine Produkte, Eigenschaften oder Angebote in den PDFs oder Excel-Dateien beschrieben sind?
Sind es eher technische Begriffe, wie „Prozessor x6-1365U“, oder eher allgemeine Formulierungen, wie „sehr leistungsstark“?
Überlege, wie Deine Kunden derzeit oder später suchen und fragen werden:
Eher konkret („Hat der Laptop einen x6-1365U?“)
Oder eher frei („Welcher Laptop ist schnell und gut für Arbeit und Reisen?“)
3. Bewerte die initiale Qualität
Update all Audit Ratings
Für eine erste Qualitätsbewertung, klicke oben rechts auf "Update All Audit Ratings". Die KI generiert automatisch aktuelle Antworten zu allen Frage-Antwort-Paaren und bewertet sie per semantischem Abgleich mit der Expertenantwort auf einer Skala von 1 (sehr gut) bis 4 (sehr schlecht). Das kann einige Minuten dauern und läuft im Hintergrund.
Aufbau eines Evaluation Sets
Öffne das Akkordeon für die Details eines Evaluation Sets:
Question Sample/Expert Answer: Deine vorgegebene Frage und die zugehörige erwartete Antwort
AI Answer: Die aktuelle KI-Antwort mit Reload Funktion
Answer Rating: Deine eigene Bewertung als Experte, ob die derzeitige KI-Antwort 1 (sehr gut), 2 (gut), 3 (schlecht), 4 (sehr schlecht) ist
Audit Rating: Die bereits oben angesprochene automatische Bewertung, die du auch einzeln pro Evaluation Set aktualisieren kannst
Comment: Wenn du eine KI-Antwort nicht verbessern kannst, du Hilfe von einem Kollegen zur Bewertung benötigst oder du weißt, dass Inhalte fehlen oder Prompt Anpassungen durchgeführt werden müssen, kannst du das hier hineinschreiben. Bei 50 bis 1000 Frage-Antwort-Pärchen verliert man sonst schnell den Überblick, was noch zu tun war, um die KI Qualität zu erhöhen.
Show Documents: Die für die Frage als relevant erkannten PDF Seiten
Tabelle mit Infos zu den Dokumenten inklusive Feedback wird im nächsten Artikel beschrieben.
Search for additional documents: Hier kannst du Dokumente über die Feedback-Funktion hinzufügen, wenn diese nicht aufgelistet sind
💡 Wichtig: Das Rating und das Kommentarfeld haben KEINEN Einfluss auf die Antwort der KI. Es hilft dir lediglich bei der Strukturierung des Trainings.
Bewertung des Evaluation Sets
Lies hierzu den Artikel “Feedback vergeben”. Zusammengefasst stehen jetzt folgende Schritte an:
Prüfe die KI-Antwort und Quellendokumente, vergib eine Experten Bewertung von 1 bis 4
Ist die Antwort nicht gut, gehe ins Feedback der Antwort rein und verbessere solange, bis du die Antwort als 1 bewertest oder keinen Effekt vom Feedback mehr erkennst
Wenn du trotz des Feedbacks auf die Antwortqualität keinen Einfluss mehr hast, solltest du im Kommentarfeld hinterlassen, was noch fehlt. Hier gibt es vermutlich die folgenden Fehler:
Stil der Antwort ist nicht richtig: Prompt Anpassung (siehe verwandte Artikel)
Der KI fehlt Wissen: Produktdaten müssen erweitert werden (siehe verwandte Artikel)
Feedback-Button funktioniert nicht oder ist ausgegraut: Schaue für Hilfe ins FAQ
Expertise zur Einschätzung der Antwortqualität fehlt
