Wenn der Verwaltungsrat beaufsichtigen soll, was er nicht einsehen kann

Veröffentlicht: 06.05.2026

Die Überwachungsparadoxie bei KI-Systemen.

Die rechtliche Pflicht des Verwaltungsrats zur Oberaufsicht ist klar formuliert. Art. 716a Abs. 1 Ziff. 5 OR verlangt sie als unübertragbare Aufgabe. Art. 14 EU AI Act verlangt menschliche Aufsicht bei Hochrisiko-Systemen. Floridi spricht hier vom Prinzip der Meta-Autonomie, der ethischen Voraussetzung, dass der Mensch jederzeit übersteuern können muss.

Alle drei Perspektiven setzen voraus, dass der Verwaltungsrat das System in einer Weise versteht, die ihm erlaubt, Risiken zu erkennen und einzugreifen. Bei neuronalen Netzen und lernenden Systemen ist genau diese Voraussetzung nur eingeschränkt erfüllbar. Daraus entsteht eine Spannung, die in der heutigen Governance-Praxis selten benannt und noch seltener systematisch gelöst wird.

Zwei Begriffe sind für das Folgende zentral:

Inspizierbarkeit meint die Einsicht in die Entscheidungslogik und Begründungskette eines Systems.
Nachweisfähigkeit meint die dokumentierte Wirksamkeit der Kontrollen, der Prüfergebnisse und der Entscheidungsprozesse, die das Unternehmen um dieses System gelegt hat.

Wo Inspizierbarkeit fehlt, muss Nachweisfähigkeit deren Funktion in der Aufsicht übernehmen.

Was Oberaufsicht heute bereits bedeutet

Es wäre eine Verkürzung, zu behaupten, klassische Geschäftsleitungsaufsicht beruhe auf voller Transparenz. Auch heute kann der Verwaltungsrat den Entscheidungsweg eines CEO nicht in Echtzeit nachvollziehen. Bias, Intuition, informelle Kanäle und politische Erwägungen sind Bestandteil jeder Führungsentscheidung und nur teilweise rekonstruierbar. Aufsicht funktioniert deshalb seit jeher über Proxy-Mechanismen: regelmässiges Reporting, internes Kontrollsystem, interne Revision, externe Prüfung, Risk Committees, Protokollpflichten.

Diese Mechanismen tragen, weil der menschliche Entscheidungsträger zur Erklärung verpflichtet werden kann. Er kann seinen Weg im Nachhinein darlegen, Annahmen offenlegen, verworfene Alternativen benennen. Die Aufsicht beruht somit nicht auf direkter Analyse der Denk- und Entscheidungsvorgänge. Sie beruht auf seiner Rechenschaftspflicht und der Möglichkeit, die Offenlegung einzufordern.

Bei KI ist die Intransparenz strukturell anders

Bei neuronalen Netzen funktioniert dieser Mechanismus nicht in gleicher Weise. Die Information ist nicht als lesbarer Regelkatalog gespeichert. Sie ist verteilt über Millionen oder Milliarden Gewichtungsparameter. Sie kann nur indirekt erschlossen werden, durch Beobachtung des Verhaltens auf definierte Testmuster. Die Abhängigkeiten zwischen Eingabe und Ausgabe sind nichtlinear, und kleine Veränderungen in den Eingangsdaten können zu deutlich anderen Ergebnissen führen, ohne dass eine intuitive Erklärung möglich wäre.

Bei Systemen, die im Betrieb weiterlernen oder regelmässig durch den Anbieter aktualisiert werden, verschärft sich das Problem zusätzlich. Selbst eine vollständige Untersuchung zu einem Stichtag würde nach dem nächsten Update bereits ein anderes System beschreiben. Die Ergebnisse sind reproduzierbar, der Weg zu diesen Ergebnissen bleibt für den Aufsichtsführenden weitgehend intransparent. Er kann fragen, was das System entschieden hat, aber nur eingeschränkt, warum.

Der Unterschied zur klassischen Management-Aufsicht ist nicht graduell. Er ist strukturell. Bei einem menschlichen CEO ist die Erklärungspflicht ein Druckmittel, welches funktioniert, weil eine Erklärung grundsätzlich möglich wäre. Bei einem neuronalen Netz fehlt der Adressat dieser Pflicht. Wir können eine KI nicht befragen oder in einen Zeugenstand berufen.

Die Paradoxie und ihre Konsequenz

Daraus ergibt sich eine Situation, die ich als Überwachungsparadoxie bezeichne. Der Verwaltungsrat trägt eine rechtliche Pflicht zur Oberaufsicht über Systeme, deren interne Entscheidungslogik er prinzipiell nicht in derselben Tiefe inspizieren kann wie die Entscheidungslogik einer Geschäftsleitung. Die etablierten Proxy-Mechanismen des klassischen Managements reichen dafür nicht aus.

Die Konsequenz ist nüchtern. Der Verwaltungsrat haftet nicht für das Verhalten der KI als solches. Er haftet für die fehlende Organisation einer angemessenen Aufsicht über die KI. Diese Verschiebung verändert nicht das Gesetz. Sie verändert den Massstab dessen, was als sorgfältige Organisation gilt. Oberaufsicht verlangt Eingriffs- und Nachweiskraft. KI reduziert beides, solange Governance nicht nachzieht.

Kein neues Problem, aber ein ungelöstes

Die Aufgabe, ein komplexes System zu beaufsichtigen, dessen interne Logik der Aufsichtsführende nicht im Detail durchdringt, ist nicht neu. In der Luftfahrt verlässt sich der Pilot seit Jahrzehnten auf Avionik, deren interne Berechnungen er nicht in Echtzeit nachvollziehen kann. In modernen Fahrzeugen treffen elektronische Stabilitätsprogramme und Fahrassistenzsysteme Entscheidungen, die der Fahrer weder einsieht noch überprüft.

Der entscheidende Unterschied liegt in der Antwort. Beide Industrien haben über Jahrzehnte Mechanismen entwickelt, die Aufsicht ohne vollständige Transparenz möglich machen. Zertifizierungsprozesse, Redundanzanforderungen, unabhängige Prüfinstanzen und standardisierte Testverfahren in der Luftfahrt. Funktionale Sicherheit nach ISO 26262 (Road vehicles – Functional safety) und ADAS-Zertifizierungen (Advanced Driver Assistance Systems) in der Automobilindustrie. In beiden Sektoren wurde akzeptiert, dass direkte Inspektion nicht möglich ist, und durch strukturierte Proxy-Mechanismen ersetzt, die formaler und strenger sind als das klassische Management-Reporting.

In der Corporate Governance fehlen vergleichbare Mechanismen für KI-Systeme bislang weitgehend. Das OR (Aktienrecht) gibt den Pflichtenrahmen, nicht das Kontrolldesign für KI. Der EU AI Act geht weiter und liefert Compliance-Artefakte, die eine Proxy-Aufsicht stützen können: Risikoklassifizierung, technische Dokumentation, definierte Rollen, Anforderungen an Record-keeping und Traceability. Eine Vorlage für die Verwaltungsratsagenda ergibt sich daraus aber nicht. Der Verwaltungsrat muss sein Organisationsreglement und sein internes Kontrollsystem so erweitern, dass KI-Risiken abgedeckt sind.

Die Vendor-Realität verschärft die Lage

In der Praxis kommen die wenigsten KI-Systeme aus dem eigenen Haus. Die meisten sind Komponenten in einer Lieferkette, in der Modelle, Daten und Trainingsverfahren bei Dritten liegen. Wer ein proprietäres Modell eines Hyperscalers oder eines spezialisierten Anbieters einsetzt, hat keinen Zugriff auf Trainingsdaten, Modellgewichte oder Validierungsprotokolle. Die Aufsicht stützt sich auf das, was der Anbieter freiwillig oder vertraglich offenlegt. Verträge ohne Auskunfts-, Test- und Auditrechte sind in diesem Umfeld ein erhebliches Governance-Risiko, ebenso wie die fehlende Vorbereitung eines Anbieterwechsels für den Fall, dass diese Rechte nicht durchsetzbar sind.

Vier Pfeiler einer wirksamen Proxy-Aufsicht

Aus der Erfahrung anderer Industrien und aus den genannten regulatorischen Ankern lassen sich vier Anforderungen ableiten, die der Verwaltungsrat in seiner Governance verankern sollte. Sie skalieren risikobasiert: Ein Empfehlungssystem für interne Effizienz braucht weniger Tiefe als ein Modell, das automatisierte Entscheidungen mit Aussenwirkung trifft.

Performance- und Funktionsmonitoring: Wenn der Entscheidungsweg nicht inspizierbar ist, muss das Ergebnis kontinuierlich gegen definierte Kriterien gemessen werden. Trefferquoten, Fehlerraten, Verteilung der Outputs über die Zeit, Schadensindikatoren bei sicherheits- oder reputationskritischen Anwendungen. Ohne solche Messgrössen bleibt jede Aussage über die Wirksamkeit eines KI-Systems Behauptung.
Unabhängige Prüfung und durchsetzbare Vendor-Pflichten: Eine Prüfung durch dieselbe Stelle, die das Modell betreibt oder beschafft hat, genügt nicht. Es braucht eine intern unabhängige Instanz, bei höherem Risiko zusätzlich eine externe Prüfung. Verträge mit Anbietern müssen Auskunfts-, Test- und Auditrechte enthalten, ergänzt um Meldepflichten bei Modellwechseln und Sicherheitsvorfällen, ebenso wie Exit-Optionen, falls diese Rechte nicht durchsetzbar sind.
Lifecycle-Kontrolle: Output-Monitoring allein ist blind gegenüber Veränderungen, die das System selbst betreffen. Datendrift, Modell-Updates des Anbieters (Modeldrift), Anpassungen von Prompts oder Policies bei Sprachmodellen, neue Datenquellen. Es braucht definierte Freigabeprozesse für solche Änderungen, eine Re-Validierung nach Updates und eine technische wie organisatorische Möglichkeit zum Rollback. Ohne diese Disziplin verändert sich das beaufsichtigte System unter der Hand und entwertet jede frühere Prüfung.
Eskalation und benannte Letztentscheidung: Aufsicht ohne Eingriffsrechte ist eine reine Beobachtung ohne Folgen. Es braucht definierte Schwellenwerte, ab denen ein menschlicher Entscheid zwingend wird, klare Eskalationsstufen und im Notfall ein dokumentiertes Abschaltkriterium. Drei Fragen müssen organisatorisch beantwortet sein: wer übersteuern darf, wer übersteuern muss, und wer die Accountability trägt, sowohl bei Übersteuerung als auch bei Folgen der Systemempfehlung. Ohne diese Trennung verschwimmt Accountability genau dort, wo sie haften soll.

Was bleibt

Die Überwachungsparadoxie löst sich nicht durch mehr Technikverständnis im Verwaltungsrat allein. Sie löst sich auch nicht durch den Verzicht auf KI, weil die Wettbewerbs- und Aufsichtslogik in vielen Branchen bereits auf KI-gestützte Verfahren zusteuert.

Sie löst sich durch eine Governance, die akzeptiert, dass direkte Inspektion durch strukturierte Nachweisfähigkeit ersetzt werden muss, und die diese Nachweise so dokumentiert, dass sie im Streitfall tragen.

Art. 754 OR macht Verwaltungsräte persönlich verantwortlich, wenn sie ihre Pflichten verletzen. Diese Pflicht verändert sich durch KI nicht. Was sich verändert, ist der Massstab sorgfältiger Organisation. Er verlangt zusätzliche Nachweise, formalisierte Tests und belastbare Eskalationsregeln. Die Luftfahrt hat gezeigt, dass wirksame Aufsicht auch ohne vollständige Transparenz möglich ist, sofern klare Standards, belastbare Messgrössen und eindeutige Eskalationsmechanismen vorliegen. Genau diese Disziplin braucht es nun in der Corporate Governance.

Quellen

Floridi, L. (2021): The European Legislation on AI: A Brief Analysis of its Philosophical Approach. Philosophy & Technology.
Matthias, A. (2004): The Responsibility Gap: Ascribing Responsibility for the Actions of Learning Automata. Ethics and Information Technology.
Simmler, M. & Markwalder, N. (2017). Roboter in der Verantwortung? – Zur Neuauflage der Debatte um den funktionalen Schuldbegriff. Zeitschrift für die gesamte Strafrechtswissenschaft, 129(1), 20–47.