Projektdienstleister für KI-Rollen
  • Beispielszenario
  • Telekommunikation
  • Kundenservice mit mehreren Millionen Kontakten pro Jahr
  • Laufzeit: 3 Monate

Qualität und Sicherheit eines Kundenassistenten vor dem Go-live

Ein Dienstleister hat einen Assistenten für Vertragsfragen gebaut. In der Abnahme wirken die Antworten gut. Niemand kann sagen, wie oft sie falsch sind und was bei gezielten Manipulationsversuchen geschieht.

Das Team

RolleEinsatz
AI Quality & Evaluation SpecialistMonat 1 bis 3, Vollzeit
AI Security SpecialistMonat 1 bis 2, drei Tage pro Woche
AI Data TrainerMonat 1 bis 2, drei Tage pro Woche

Vorgehen

  1. TestbasisAus echten Kundenanfragen entsteht ein Referenzdatensatz mit geprüften Antworten, einschließlich kritischer Fälle wie Kündigung und Sonderkonditionen.
  2. MessungDie erste Messung zeigt gute Ergebnisse bei Standardfragen und deutliche Schwächen bei Tarifdetails.
  3. AngriffeIm Red Teaming lässt sich der Assistent dazu bringen, nicht existierende Rabatte zuzusagen.
  4. HärtungLeitplanken, Quellenbindung und Eskalationsregeln werden nachgeschärft und erneut gemessen.

Ergebnis

  • Der Go-live wird um sechs Wochen verschoben und erfolgt mit belegter Qualität
  • Zusagen zu Preisen und Rabatten sind technisch ausgeschlossen
  • Jede Änderung an Modell oder Prompt durchläuft automatisch den Testdatensatz
  • Das Unternehmen kann die Leistung des Dienstleisters objektiv bewerten

Was daraus zu lernen ist

Unabhängige Prüfung lohnt sich besonders, wenn ein Dritter gebaut hat. Die gefundene Schwachstelle wäre im Livebetrieb teuer geworden.

Die Praxisbeispiele sind Beispielszenarien. Sie zeigen, wie solche Projekte typischerweise besetzt werden und verlaufen. Es sind keine Referenzen einzelner Kunden.