Projektdienstleister für KI-Rollen
  • Development
  • Rolle nach CWA 18398
  • Stark nachgefragt

AI Quality & Evaluation Specialist

Der AI Quality & Evaluation Specialist prüft KI-Systeme und ihre Ausgaben auf Qualität, Robustheit, Fairness und Sicherheit. Er macht aus dem Eindruck „funktioniert gut“ eine messbare Aussage.

Aufgaben

  • Qualitätskriterien und Metriken je Use Case festlegen
  • Testdatensätze und Evaluationspipelines aufbauen
  • Regressionstests bei Modell- und Prompt-Änderungen durchführen
  • Fehlermuster wie Halluzinationen systematisch erfassen
  • Freigabeempfehlungen aussprechen und begründen

Arbeitsergebnisse

  • Evaluationskonzept
  • Testdatensatz mit Referenzantworten
  • Automatisierte Evaluations-Suite
  • Freigabebericht

Kompetenzen

  • Testmethodik
  • LLM-Evaluation
  • Statistik
  • Fairness-Metriken
  • Red Teaming
  • Automatisierung

Typische Werkzeuge und Methoden

  • promptfoo
  • Ragas
  • DeepEval
  • LangSmith
  • Python

Wann Sie einen AI Quality & Evaluation Specialist brauchen

Vor jedem Go-live und bei jedem Modellwechsel. Besonders dann, wenn Antworten an Kunden gehen oder Entscheidungen vorbereiten.

AI Quality & Evaluation Specialist anfragen

Abgrenzung

Der AI Auditor prüft unabhängig und im Nachgang. Der Evaluation Specialist arbeitet im Team und vor der Freigabe.

Bezug zum EU AI Act

Genauigkeit und Robustheit müssen bei Hochrisiko-Systemen nachgewiesen werden. Evaluationsberichte sind Teil der technischen Dokumentation.

Überblick zum AI Act

Einsatz in Fachbereichen und Branchen

Beispielprojekte für AI Quality & Evaluation Specialist

Alle Projekte im Projektmarkt

Praxisbeispiele mit dieser Rolle