Projektdienstleister für KI-Rollen
  • Wissen

KI-Evaluation: Qualität messbar machen

Ohne Messung ist jede Aussage über die Qualität einer KI-Anwendung eine Meinung. Evaluation ist das Fundament für Freigabe, Verbesserung und Modellwechsel.

Der Testdatensatz

Reale Eingaben mit erwarteten Ergebnissen, darunter leichte, typische und kritische Fälle. Er entsteht mit den Fachbereichen und wächst mit jedem Fehler aus dem Betrieb.

Was gemessen wird

  • Richtigkeit und Vollständigkeit
  • Treue zu den Quellen
  • Verhalten bei Fragen außerhalb des Auftrags
  • Robustheit gegen Manipulationsversuche
  • Kosten und Antwortzeit

Wie gemessen wird

Eindeutige Kriterien werden automatisch geprüft. Für offene Antworten bewertet ein zweites Modell nach festen Regeln, stichprobenartig kontrolliert von Fachleuten.

Wann gemessen wird

Vor der Freigabe, bei jeder Änderung an Modell, Prompt oder Daten und laufend im Betrieb. In der Entwicklungspipeline verankert, kostet das keinen zusätzlichen Aufwand.