Human Oversight ist ein Konzept im Bereich Künstliche Intelligenz, das sicherstellt, dass menschliche Akteure Kontrolle über KI-Systeme behalten. Menschen können dabei aktiv Entscheidungen überprüfen, Eingaben oder Ausgaben der KI validieren und in kritischen Situationen eingreifen.
Wichtige Aspekte:
- Überwachung von Entscheidungen: Mensch prüft Ergebnisse auf Korrektheit und Fairness
- Intervention bei Risiken: Eingreifen, wenn die KI falsche oder unsichere Entscheidungen trifft
- Transparenz und Verantwortung: Sicherstellung von Compliance und Nachvollziehbarkeit
Human Oversight ist besonders relevant bei hochriskanten KI-Anwendungen, z. B. im Gesundheitswesen, autonomem Fahren oder in Finanzsystemen. Es wird im EU AI Act als Anforderung für Hochrisiko-KI-Systeme betont.
Beispiel:
Ein medizinisches Diagnose-System schlägt eine Behandlung vor, ein Arzt überprüft die Empfehlung und entscheidet, ob sie umgesetzt wird.
