Die Sorgfaltsfalle: Wenn der Verwaltungsrat beaufsichtigen soll, was er nicht einsehen kann

Veröffentlicht: 07.04.2026

Artikelserie: Limiten der Delegation an KI-Systeme (Teil 2)

In meinem letzten Artikel (Autonome KI im Betrieb: Welche Verantwortlichkeitsfragen der Verwaltungsrat klären muss) habe ich die Verantwortlichkeitslücke beschrieben, die entsteht, wenn Aufgaben an lernende Systeme delegiert werden: Das künftige Verhalten lässt sich nicht mehr im gleichen Sinn vorhersagen wie bei klassischer Software.

Dieser Artikel geht einen Schritt weiter: Kann der Verwaltungsrat die Ausführung überwachen, wenn die Entscheidungslogik eines Systems nicht direkt und vollständig auditierbar ist?

Was Gesetz und Ethik stillschweigend voraussetzen

Art. 716a Abs. 1 Ziff. 5 OR verlangt die Oberaufsicht über die Geschäftsleitung. Der EU AI Act fordert bei Hochrisiko-Systemen menschliche Aufsicht, inklusive Übersteuerbarkeit und Abschaltung. Und Floridi (2021) beschreibt Meta-Autonomie als «decide-to-delegate»: Menschen sollen entscheiden, was sie delegieren, und müssen Delegationen grundsätzlich wieder zurücknehmen können.

Alle drei Perspektiven bauen auf einer stillen Annahme auf: Wer beaufsichtigt, muss verstehen, oder zumindest verlässlich nachvollziehen können, was das System tut.

Oberaufsicht bei Menschen: «Erklären können» ist Teil des Mandats

Bei der Delegation an einen CEO oder eine Geschäftsleitung ist Aufsicht grundsätzlich möglich, weil der Entscheidungsprozess befragbar ist:

Welche Optionen wurden geprüft? Welche Annahmen lagen zugrunde?
Warum wurde so entschieden?

Diese Nachvollziehbarkeit ist kein Garant für Qualität. Aber sie ist prinzipiell möglich. Genau darauf baut die klassische Delegationslogik im Aktienrecht auf.

Warum diese Logik bei vielen KI-Systemen nicht greift

Bei lernenden Systemen, insbesondere neuronalen Netzen und Reinforcement Learning, fehlt häufig genau diese Art von Inspektion. Matthias (2004) beschreibt das präzise: In solchen Systemen gibt es keinen «Katalog» gelernter Regeln, der wie bei symbolischer Software ausgelesen und geprüft werden kann. Die enthaltene Information lässt sich nur aus dem Verhalten ableiten.

Wichtig ist die Konsequenz für den Verwaltungsrat: Man kann Outputs testen. Man kann Abweichungen messen. Man kann in gewissen Grenzen Erklärverfahren einsetzen, etwa Feature-Attribution (zeigt, welche Eingabefaktoren den Output des Modells am stärksten beeinflusst haben) oder Surrogate-Modelle (vereinfachtes „Ersatzmodell”, das das Verhalten des komplexen Modells näherungsweise nachbildet, um es besser zu verstehen). Aber man kann den Entscheidungsweg nicht wie bei Menschen oder regelbasierten Systemen vollständig auditieren. Hinzu kommt, dass komplexe lernende Systeme Verhaltensweisen zeigen können, die auf Komponentenebene nicht vorhersehbar sind.

In der Praxis kommt ein weiterer Faktor hinzu: Selbst wenn theoretisch mehr Einblick möglich wäre, verhindern proprietäre Modelle, geschlossene APIs und laufende Vendor-Updates oft echte Transparenz entlang der gesamten Lieferkette. Für viele Verwaltungsräte ist nicht die Mathematik der Hauptgrund für fehlende Einsicht, sondern die Lieferkettenrealität.

Die Paradoxie

Damit entsteht die Überwachungsparadoxie: Der Verwaltungsrat hat eine Pflicht zur Oberaufsicht, aber der Gegenstand der Aufsicht ist in vielen Fällen nur indirekt überprüfbar.

Das ist keine Frage von Kompetenz oder Budget. Es ist eine Kombination aus Technologiearchitektur und Lieferkettenrealität. Es betrifft KI, die eigenständig entscheidet. Ebenso betrifft es KI, die Entscheidungen vorbereitet, priorisiert oder begründet. Die Unterscheidung zwischen «Delegation einer Entscheidungsbefugnis» und «Einsatz eines Werkzeugs in der Entscheidungsvorbereitung» ändert am Aufsichtsproblem wenig: In beiden Fällen fliesst ein nicht vollständig nachvollziehbarer Prozess in die Entscheidungsgrundlage ein.

Kein neues Problem

Andere Industrien kennen das Muster: Piloten überwachen Systeme, die sie nicht im Detail nachvollziehen können. Der Unterschied liegt nicht im Problem. Er liegt in der Antwort. In sicherheitskritischen Branchen wurden über Jahre standardisierte Ersatzmechanismen aufgebaut: Zertifizierungsketten, definierte Betriebsbereiche (Safety Cases), Redundanzanforderungen und unabhängige Prüfinstanzen.

In der Corporate Governance fehlen solche Standard-Mechanismen für KI in vielen Unternehmen noch. Gesetze und Verordnungen liefern dafür kein fertiges Instrumentarium und hinken der technischen Realität stark hinterher. Der Verwaltungsrat muss es deshalb im Governance-Framework konkret ausgestalten, um die Organisation und sich selber zu schützen.

Was der Verwaltungsrat konkret tun muss: Proxy-Aufsicht statt Illusion von Transparenz

Die Paradoxie lässt sich nicht auflösen. Aber sie lässt sich beherrschbar machen, wenn Aufsicht als System gestaltet wird.

Klassifizieren, bevor delegiert wird: Nicht jede KI ist gleich intransparent. Der Verwaltungsrat sollte verlangen, dass jedes System eingeordnet wird, beispielsweise: regelbasierte Systeme und Entscheidungsbäume mit hoher Nachvollziehbarkeit, statistische und ML-Modelle mit mittlerer Nachvollziehbarkeit, Deep Learning und autonom handelnde Systeme mit niedriger Nachvollziehbarkeit. Diese Einordnung ist die Grundlage jeder sinnvollen Aufsichtsentscheidung.
Proxy-Mechanismen verbindlich machen: Wo direkte Einsicht nicht möglich ist, braucht es dokumentierte Ersatzmechanismen: Output-Monitoring mit klaren KRIs wie Fehlerquoten, Drift-Indikatoren und Eskalationsschwellen; statistische Validierung und Robustness-Tests; regelmässiges Red-Teaming (gezielte Angriffstests, um Schwachstellen, Fehlverhalten und Missbrauchsszenarien des Systems aufzudecken); unabhängige Modellprüfungen durch intern getrennte oder externe Stellen.
Wirksames Engagement erzwingen, nicht nur «Human-in-the-Loop» auf dem Papier: Empirie zeigt, dass Opazität Unsicherheit erhöht und dass Fachpersonen häufig mit blindem Akzeptieren oder Ignorieren reagieren statt mit wirksamer Integration. Wirksame Nutzung entsteht erst, wenn Organisationen gezielte Routinen etablieren, um KI-Outputs aktiv zu prüfen und einzuordnen. Für den Verwaltungsrat heisst das: Human Oversight ist ein Design-Problem mit den Dimensionen Rollen, Kompetenz, Zeit und Autorität, nicht nur ein Prozesskästchen.
Nachweisfähigkeit herstellen: Aufsicht muss belegbar sein: Wer hat was geprüft? Welche Abweichung führte zu welcher Massnahme? Wann wurde ein Modell eingefroren, ersetzt oder neu freigegeben? Ohne Dokumentation gibt es keine Aufsicht, sondern nur eine Behauptung.

Die Aufsichtspflicht transformiert sich

Die Überwachungsparadoxie bedeutet nicht, dass die Aufsichtspflicht entfällt. Sie bedeutet, dass Aufsicht bei KI zu Proxy-Aufsicht wird. Wer KI einsetzt, ohne die Aufsichtsinstrumente an die Besonderheiten des Systems anzupassen, bewegt sich aus VR-Sicht in einer Sorgfaltsfalle: Formal wird überwacht, faktisch aber nicht wirksam. Wer wesentliche KI-Risiken trotz erkennbarer Relevanz nicht adressiert, riskiert eine Verantwortlichkeit nach Art. 754 OR.

Die Luftfahrt hat vorgemacht, dass wirksame Aufsicht auch ohne vollständige Transparenz möglich ist, allerdings nur mit klaren Standards, Messgrössen und Eskalationsmechanismen. Genau diese Disziplin braucht es nun auch in der Corporate Governance.

Quellen

Floridi, L. (2021). Ethics, Governance, and Policies in Artificial Intelligence. Springer.
Matthias, A. (2004). The Responsibility Gap: Ascribing Responsibility for the Actions of Learning Automata. Ethics and Information Technology, 6, 175–183.
Art. 716a, 716b, 717, 754 OR (Schweizerisches Obligationenrecht).
Art. 14 EU AI Act (Verordnung (EU) 2024/1689).