← Alle Insights ← →

Die Gefahr des Automation-Bias: Ist der Human-in-the-Loop eine Illusion?

Veröffentlicht: 10.03.2026

Die Gefahr des Automation-Bias: Ist der Human-in-the-Loop eine Illusion?

Ein Mensch schaut drauf. Also ist alles in Ordnung? Diese Annahme ist gefährlich. Sie ist weit verbreitet. Und sie ist, zumindest in komplexen Systemen, falsch.

Der Europäische Datenschutzbeauftragte (EDPS) hat in seinem aktuellen TechDispatch die gängigen Annahmen zur menschlichen Aufsicht über automatisierte Entscheidungssysteme (ADM) systematisch zerlegt. Das Ergebnis sollte jeden Verwaltungsrat und jede Geschäftsleitung aufhorchen lassen: Die blosse Präsenz eines Menschen im Entscheidungsprozess schützt weder vor Fehlern noch vor Haftung. In der Wahrnehmung gehen wir oft von der falschen Prämisse aus, dass Systeme den Menschen nicht beeinflussen. Diese Annahme ist falsch.

Die Human-in-the-Loop-Illusion

Das Grundproblem ist strukturell. Wenn ein System eine Empfehlung ausspricht und ein Mensch diese bestätigt, entsteht der Eindruck einer menschlichen Entscheidung. In Wahrheit ist die Entscheidung längst gefallen. Der Mensch bestätigt nur noch.

Automation Bias ist dabei kein Randphänomen. Eine Studie in der Radiologie zeigte: Radiologen treffen schlechtere Entscheidungen, wenn sie fehlerhafte KI-Empfehlungen erhalten. Unabhängig von ihrer Erfahrung. Die Maschine beeinflusst das menschliche Urteil, selbst wenn der Mensch formal das letzte Wort hat.

Der EDPS bringt es auf den Punkt: Wenn ein Operator die Systemempfehlung primär deshalb akzeptiert, weil sie von einem automatisierten System stammt, wird der Entscheidungsprozess de facto zu einem automatisierten. Der Mensch im Loop ist dann nur noch Dekoration.

Die eigentliche Frage: Wo übersteigt die Komplexität die menschliche Aufsicht?

Statt uns auf die trügerische Sicherheit des Human-in-the-Loop zu verlassen, müssen wir eine realistischere Frage stellen: Bei welchen Entscheidungen können wir die Komplexität des Systems überhaupt noch überblicken? Und dort, wo wir dies nicht können, müssen wir sehr vorsichtig sein.

Moderne ADM-Systeme treffen Entscheidungen auf Basis von Milliarden Parametern. Kein Mensch kann in Echtzeit prüfen, ob ein Large Language Model oder ein neuronales Netz die richtigen Schlussfolgerungen zieht. Lisanne Bainbridge hat diesen Widerspruch bereits 1983 in ihrem Aufsatz «Ironies of Automation» beschrieben: Das System wurde eingesetzt, weil es die Aufgabe besser erledigt als der Mensch. Aber der Mensch soll überwachen, ob es korrekt arbeitet. Das ist ein unlösbarer Auftrag.

Die Konsequenz ist unbequem, aber klar: Dort, wo die Komplexität einer Entscheidung die menschliche Überprüfbarkeit übersteigt, darf kein ADM-System autonom entscheiden. Stattdessen muss der Mensch bewusst, unvoreingenommen und mit ausreichend Zeit die Entscheidung selbst treffen, als eigenständige Beurteilung. Eine Maschinenempfehlung darf er dabei nicht bloss abstempeln.

Das erfordert eine klare Triage: Welche Entscheidungen können wir sinnvoll automatisieren? Welche brauchen echte menschliche Beurteilung? Und bei welchen ist die Komplexität so hoch, dass weder Mensch noch Maschine allein verantwortungsvoll entscheiden können?

Die Beispiele sind nicht neu, ihr Muster bleibt jedoch aktuell, auch mit KI

Einige der prominentesten Fälle liegen Jahre zurück. Das macht sie nicht weniger relevant. Im Gegenteil: Sie zeigen ein systemisches Muster, das sich bis heute wiederholt.

Boeing 737 MAX (2018/2019): Das MCAS-System (Maneuvering Characteristics Augmentation System) drückte die Flugzeugnase automatisch nach unten. Die Piloten verstanden das Verhalten nicht, erhielten unzureichende Schulung und hatten keine adäquaten Werkzeuge zum Eingreifen. 346 Menschen starben. Die Annahme, dass Mensch und Maschine sich nahtlos ergänzen, erwies sich als tödlicher Irrtum.

Air France 447 (2009): Nach dem Ausfall der Geschwindigkeitsmessung wurde der Autopilot deaktiviert. Die Piloten mussten in einer Krisensituation sofort manuell übernehmen. Die Forschung zeigt: Genau dieses Handoff-Szenario ist das, was Menschen am schlechtesten bewältigen. In diesem konkreten Fall wurde danach die Pilotenausbildung bei Air France umgestellt: mehr praktische Flugerfahrung, weniger «System Operator».

Uber (2018): Die Sicherheitsfahrerin eines autonomen Fahrzeugs war abgelenkt. Das System erkannte die Fussgängerin nicht rechtzeitig. Die menschliche Aufsicht versagte, weil das Systemdesign nicht dafür sorgte, dass der Mensch tatsächlich aufmerksam blieb.

Diese Fälle sind zehn, fünfzehn Jahre alt. Das Muster ist unverändert: übertriebenes Vertrauen in Automation, unzureichende Schnittstellen und die Annahme, dass ein Mensch im Notfall schon eingreifen wird.

Das Haftungsrisiko, das Boards unterschätzen

Die regulatorische Landschaft verschiebt die Verantwortung zunehmend in Richtung derjenigen, die ADM-Systeme einsetzen. Der EU AI Act, die DSGVO (Art. 22), NIS2 und branchenspezifische Regulierungen erzeugen konkrete Pflichten für Deployer und ihre Organe.

Was bedeutet das für die Haftung?

Wer ein ADM-System freigibt und sich auf «Human-in-the-Loop» als Schutzmassnahme beruft, muss nachweisen, dass diese Aufsicht wirksam ist. Nicht symbolisch. Nicht formalistisch. Wirksam. Der EDPS stellt klar: Scheinaufsicht schützt nicht vor Haftung. Im Gegenteil: Sie kann als fahrlässig gewertet werden, wenn nachweisbar ist, dass die Rahmenbedingungen für echte Aufsicht nie gegeben waren.

Für Verwaltungsräte ergeben sich daraus drei konkrete Risiken:

Organisationsverschulden: Wenn ein Unternehmen ADM-Systeme einsetzt, ohne seinen Operatoren die nötige Schulung, Zeit und Autorität zum Eingreifen zu geben, haftet die Organisation. Das australische Robodebt-System ist ein warnendes Beispiel: Mitarbeiter hatten theoretisch die Macht, automatisierte Schuldenbescheide zu überstimmen. Das Management belohnte Durchsatz, nicht Genauigkeit. Das Ergebnis war systematisches Unrecht.

Fehlende Sorgfaltspflicht bei der Systembeschaffung: Wer ein ADM-System beschafft, ohne dessen Grenzen, Erklärbarkeit und Override-Mechanismen zu prüfen, verletzt seine Sorgfaltspflicht. IBM Watson for Oncology empfahl in bestimmten Fällen unsichere Behandlungen. Die Annahme, dass Ärzte die Fehler schon auffangen würden, erwies sich als falsch, weil ihnen Zeit, Werkzeuge und Systemverständnis fehlten.

Beweislastumkehr bei Grundrechtsverletzungen: Unter dem EU AI Act und der DSGVO tragen Deployer die Nachweispflicht, dass ihre Systeme grundrechtskonform arbeiten. Wer sich auf menschliche Aufsicht beruft, muss belegen, dass diese Aufsicht tatsächlich funktioniert. Audits, Dokumentation und empirische Tests der Überwachungsqualität werden zur Pflicht, nicht zur Kür.

Mögliche Massnahmen

Der EDPS empfiehlt ein Massnahmenpaket, das über technische Lösungen hinausgeht:

  • Organisatorisch: Faire Arbeitsbedingungen für Operatoren. Ausreichend Zeit für Prüfungen. Menschliche Aufsicht als echte Sicherheitsmassnahme behandeln, nicht als Haftungspuffer. Schulungen, die auch Systemfehler zeigen, weil direkte Exposition gegenüber Fehlern nachweislich Automation Bias reduziert.
  • Technisch: Wo möglich, interpretierbare Modelle verwenden statt Black Boxes. Schnittstellen müssen kritisches Denken fördern, nicht schnelle Bestätigung. Selbst die Farbgebung einer Oberfläche kann den Operator in Richtung vorschneller Zustimmung lenken.
  • Strukturell: Vier-Augen-Prinzip. Regelmässiges externes Auditing. Awareness-Checkpoints. Und ein Konzept, das der EDPS «institutionalisiertes Misstrauen» nennt: Begründungspflicht für jedes ADM-System, Mandatsrotation der Aufsichtsorgane, kollektive Entscheidungsfindung und vollständige Transparenz über die Aufsichtspraxis.

Die zentrale Erkenntnis

Menschliche Aufsicht kann systemische Mängel in ADM-Systemen nicht kompensieren. Sie ist kein Sicherheitsnetz für fehlerhafte Algorithmen.

Die Frage für Verwaltungsräte und C-Level ist nicht, ob ein Mensch im Prozess ist. Die Frage ist dreiteilig:

  • Können wir die Komplexität der Entscheidung überhaupt noch überblicken? Wenn nein, darf kein System autonom entscheiden.
  • Hat der Mensch im Prozess Kompetenz, Autorität, Zeit und die richtigen Anreize, um tatsächlich einzugreifen? Wenn nein, ist die Aufsicht wirkungslos.
  • Können wir die Wirksamkeit der Aufsicht belegen? Wenn nein, stehen wir regulatorisch und haftungsrechtlich auf dünnem Eis.

Ohne diese Klarheit ist Human-in-the-Loop nur eine unzureichende Formalität. Und eine Formalität schützt weder Grundrechte noch die Haftung von Verwaltungsräten. Zwei Dinge sind zwingend notwendig. Die Systeme müssen in ihren Funktionen und Entscheidungen verstanden werden. Und die entsprechenden Safeguards und Guardrails müssen vorhanden sein, und ihre Funktion muss regelmässig überprüft werden, damit die Kontrolle an den Menschen übergeben werden kann, wenn das System an seine Grenzen stösst.

Referenzen und weiterführende Quellen

Hauptartikel: TechDispatch – Human Oversight of Automated Decision-Making. European Data Protection Supervisor, 2025