Das Team
| Rolle | Einsatz |
|---|---|
| AI Quality & Evaluation Specialist | Monat 1 bis 3, Vollzeit |
| AI Security Specialist | Monat 1 bis 2, drei Tage pro Woche |
| AI Data Trainer | Monat 1 bis 2, drei Tage pro Woche |
Vorgehen
- TestbasisAus echten Kundenanfragen entsteht ein Referenzdatensatz mit geprüften Antworten, einschließlich kritischer Fälle wie Kündigung und Sonderkonditionen.
- MessungDie erste Messung zeigt gute Ergebnisse bei Standardfragen und deutliche Schwächen bei Tarifdetails.
- AngriffeIm Red Teaming lässt sich der Assistent dazu bringen, nicht existierende Rabatte zuzusagen.
- HärtungLeitplanken, Quellenbindung und Eskalationsregeln werden nachgeschärft und erneut gemessen.
Ergebnis
- Der Go-live wird um sechs Wochen verschoben und erfolgt mit belegter Qualität
- Zusagen zu Preisen und Rabatten sind technisch ausgeschlossen
- Jede Änderung an Modell oder Prompt durchläuft automatisch den Testdatensatz
- Das Unternehmen kann die Leistung des Dienstleisters objektiv bewerten
Was daraus zu lernen ist
Unabhängige Prüfung lohnt sich besonders, wenn ein Dritter gebaut hat. Die gefundene Schwachstelle wäre im Livebetrieb teuer geworden.
Die Praxisbeispiele sind Beispielszenarien. Sie zeigen, wie solche Projekte typischerweise besetzt werden und verlaufen. Es sind keine Referenzen einzelner Kunden.