Projektdienstleister für KI-Rollen
  • Projektart
  • Typische Dauer: 3 bis 10 Wochen

Evaluation, Red Teaming und KI-Security

Vor dem Go-live wissen, wie gut, wie robust und wie angreifbar ein KI-System ist.

Ausgangslage

Eine KI-Lösung steht vor dem Produktivstart oder läuft bereits. Niemand kann beziffern, wie oft sie falsch liegt, wie sie auf Manipulationsversuche reagiert und ob vertrauliche Daten abfließen können.

Ablauf

  1. KriterienQualitäts- und Sicherheitsanforderungen je Anwendungsfall festlegen.
  2. TestbasisReferenzdatensatz mit realistischen und kritischen Fällen aufbauen.
  3. PrüfungQualität automatisiert messen und das System gezielt angreifen.
  4. HärtungLeitplanken, Filter und Berechtigungen nachschärfen.
  5. DauerbetriebTests in die Pipeline integrieren, sodass jede Änderung geprüft wird.

Ergebnisse

  • Evaluationsbericht
  • Red-Teaming-Bericht
  • Maßnahmenplan
  • Automatisierte Regressionstests

Woran solche Projekte scheitern

  • Getestet wird nur der Normalfall.
  • Ein Modellwechsel des Anbieters verändert das Verhalten unbemerkt.
  • Befunde werden dokumentiert, aber nicht behoben.

Rollen in diesem Projekt

Praxisbeispiele