Projektdienstleister für KI-Rollen
  • AX-1017
  • Versicherung

Evaluation Specialist für Wissensassistenten

Ein Versicherer betreibt einen Assistenten für Bedingungswerke. Fachbereiche melden gelegentlich falsche Antworten, belastbare Zahlen fehlen.

  • EinsatzortMünchen
  • Arbeitsmodell80 % remote
  • StartJanuar 2027
  • Laufzeit4 Monate
  • Auslastung3 Tage pro Woche
  • BrancheVersicherung

Aufgaben

  • Aufbau eines Referenzdatensatzes und einer automatisierten Evaluationspipeline
  • Qualitätskriterien und Metriken je Use Case festlegen
  • Testdatensätze und Evaluationspipelines aufbauen
  • Regressionstests bei Modell- und Prompt-Änderungen durchführen

Anforderungen

  • Evaluation von RAG-Systemen
  • Arbeit mit Fachbereichen an Testfällen
  • Automatisierung in CI/CD

Von Vorteil

  • Testmethodik
  • LLM-Evaluation
  • Statistik

Technologien

  • Ragas
  • promptfoo
  • Python
  • LangSmith

Die Rolle

Ähnliche Beispielprojekte