Projektdienstleister für KI-Rollen
  • AX-1047
  • Versicherung

Evaluation Specialist für Schadenagenten

Ein Schadenagent steht vor der Freigabe. Gemessen werden soll, wie zuverlässig ganze Vorgänge korrekt bearbeitet werden.

  • EinsatzortStuttgart
  • Arbeitsmodell80 % remote
  • StartFebruar 2027
  • Laufzeit4 Monate
  • Auslastung3 Tage pro Woche
  • BrancheVersicherung

Aufgaben

  • Evaluationskonzept für mehrstufige Agentenläufe und Freigabeempfehlung
  • Qualitätskriterien und Metriken je Use Case festlegen
  • Testdatensätze und Evaluationspipelines aufbauen
  • Regressionstests bei Modell- und Prompt-Änderungen durchführen

Anforderungen

  • Evaluation von Agenten
  • Statistische Auswertung
  • Arbeit mit Fachexperten

Von Vorteil

  • Testmethodik
  • LLM-Evaluation
  • Statistik

Technologien

  • LangSmith
  • Python
  • DeepEval

Die Rolle

Ähnliche Beispielprojekte