Ausgangslage
Eine KI-Lösung steht vor dem Produktivstart oder läuft bereits. Niemand kann beziffern, wie oft sie falsch liegt, wie sie auf Manipulationsversuche reagiert und ob vertrauliche Daten abfließen können.
Ablauf
- KriterienQualitäts- und Sicherheitsanforderungen je Anwendungsfall festlegen.
- TestbasisReferenzdatensatz mit realistischen und kritischen Fällen aufbauen.
- PrüfungQualität automatisiert messen und das System gezielt angreifen.
- HärtungLeitplanken, Filter und Berechtigungen nachschärfen.
- DauerbetriebTests in die Pipeline integrieren, sodass jede Änderung geprüft wird.
Ergebnisse
- Evaluationsbericht
- Red-Teaming-Bericht
- Maßnahmenplan
- Automatisierte Regressionstests
Woran solche Projekte scheitern
- Getestet wird nur der Normalfall.
- Ein Modellwechsel des Anbieters verändert das Verhalten unbemerkt.
- Befunde werden dokumentiert, aber nicht behoben.
Rollen in diesem Projekt
- AI Quality & Evaluation SpecialistDer AI Quality & Evaluation Specialist prüft KI-Systeme und ihre Ausgaben auf Qualität, Robustheit, Fairness und Sicherheit.
- AI Security SpecialistDer AI Security Specialist schützt KI-Lösungen, Modelle, Daten und Dienste vor KI-spezifischen und klassischen Angriffen.
- AI Safety SpecialistDer AI Safety Specialist erkennt, bewertet und verringert Sicherheitsrisiken von KI-Systemen vom Entwurf bis zum Betrieb.
- AI Data TrainerDer AI Data Trainer bereitet Trainingsdaten auf, annotiert sie und bewertet Modellausgaben auf Qualität, Verzerrung und Eignung.
- AI AuditorDer AI Auditor prüft KI-Systeme, Kontrollen und Nachweise unabhängig auf Übereinstimmung mit Richtlinien, Normen und Regulierung.