Der Testdatensatz
Reale Eingaben mit erwarteten Ergebnissen, darunter leichte, typische und kritische Fälle. Er entsteht mit den Fachbereichen und wächst mit jedem Fehler aus dem Betrieb.
Was gemessen wird
- Richtigkeit und Vollständigkeit
- Treue zu den Quellen
- Verhalten bei Fragen außerhalb des Auftrags
- Robustheit gegen Manipulationsversuche
- Kosten und Antwortzeit
Wie gemessen wird
Eindeutige Kriterien werden automatisch geprüft. Für offene Antworten bewertet ein zweites Modell nach festen Regeln, stichprobenartig kontrolliert von Fachleuten.
Wann gemessen wird
Vor der Freigabe, bei jeder Änderung an Modell, Prompt oder Daten und laufend im Betrieb. In der Entwicklungspipeline verankert, kostet das keinen zusätzlichen Aufwand.