Aufgaben
- Qualitätskriterien und Metriken je Use Case festlegen
- Testdatensätze und Evaluationspipelines aufbauen
- Regressionstests bei Modell- und Prompt-Änderungen durchführen
- Fehlermuster wie Halluzinationen systematisch erfassen
- Freigabeempfehlungen aussprechen und begründen
Arbeitsergebnisse
- Evaluationskonzept
- Testdatensatz mit Referenzantworten
- Automatisierte Evaluations-Suite
- Freigabebericht
Kompetenzen
Typische Werkzeuge und Methoden
Wann Sie einen AI Quality & Evaluation Specialist brauchen
Vor jedem Go-live und bei jedem Modellwechsel. Besonders dann, wenn Antworten an Kunden gehen oder Entscheidungen vorbereiten.
AI Quality & Evaluation Specialist anfragenAbgrenzung
Der AI Auditor prüft unabhängig und im Nachgang. Der Evaluation Specialist arbeitet im Team und vor der Freigabe.
Bezug zum EU AI Act
Genauigkeit und Robustheit müssen bei Hochrisiko-Systemen nachgewiesen werden. Evaluationsberichte sind Teil der technischen Dokumentation.
Einsatz in Fachbereichen und Branchen
Beispielprojekte für AI Quality & Evaluation Specialist
Evaluation Specialist für Wissensassistenten
- München
- 80 % remote
- Januar 2027
- 4 Monate, 3 Tage pro Woche
Evaluation Specialist für Schadenagenten
- Stuttgart
- 80 % remote
- Februar 2027
- 4 Monate, 3 Tage pro Woche
Evaluation Specialist für klinische Dokumentation
- München
- 60 % remote
- März 2027
- 4 Monate, 3 Tage pro Woche
Praxisbeispiele mit dieser Rolle
Wissensassistent für den technischen Service
Servicetechniker suchen Störungsursachen in Handbüchern, Schaltplänen und alten Serviceberichten, verteilt über drei Systeme. Erfahrene Kollegen gehen in den Ruhestand, neue brauchen Jahre, bis sie selbstständig arbeiten..
Qualität und Sicherheit eines Kundenassistenten vor dem Go-live
Ein Dienstleister hat einen Assistenten für Vertragsfragen gebaut. In der Abnahme wirken die Antworten gut.