Autonome KI im Betrieb: Welche Verantwortlichkeitsfragen der Verwaltungsrat klären muss

Artikelserie: Limiten der Delegation an KI-Systeme (Teil 1)

KI beeinflusst heute operative Entscheidungen in Unternehmen: Kreditprüfungen, Lieferkettensteuerung, Kundeninteraktionen, Compliance-Überwachung. In all diesen Bereichen nutzen Unternehmen Systeme, die trainierte Modelle einsetzen und je nach Ausgestaltung im Betrieb adaptieren. Für Verwaltungsräte stellt sich eine Frage, die weit über Technologie hinausgeht: Wie stellen wir Verantwortung sicher, wenn Entscheidungen nur begrenzt vorhersehbar sind und sich nicht vollständig im Voraus (ex ante) steuern lassen?

Rechtswissenschaft und Ethik diskutieren dieses Thema seit über zwei Jahrzehnten. Andreas Matthias prägte 2004 den Begriff der Responsibility Gap: Situationen, in denen klassische Zurechnung über unmittelbare Kontrolle und Vorhersehbarkeit an Grenzen stösst. Markwalder und Simmler zeigten 2017 aus strafrechtlicher Perspektive, dass bei autonomen Systemen insbesondere Fahrlässigkeit und Zurechnung unter Druck geraten: Vorhersehbarkeit, Vermeidbarkeit und adäquate Kausalität werden in der Praxis umso schwieriger nachzuweisen, je autonomer und lernfähiger das System ist.

Die Debatte hat sich weiterentwickelt. Santoni de Sio und Mecacci (2021) zeigen vier miteinander verbundene Dimensionen: Lücken in Schuldzuschreibung (culpability), moralischer Rechenschaft, öffentlicher Rechenschaft und aktiver Verantwortung. Diese können auch ohne «Lernen» auftreten, etwa durch organisatorische oder regulatorische Defizite. Hindriks und Veluwenkamp (2023) verlagern den Fokus: Nicht jede Situation ist eine Verantwortlichkeitslücke. Häufig ist es eine Kontrolllücke, die Diskrepanz zwischen der Kontrolle, die Systeme ausüben, und der Kontrolle, die sie ausüben sollten; Verantwortung liegt dann oft indirekt bei Design, Betrieb oder Regulierung. Für den Verwaltungsrat ist der Begriff zweitrangig. Die Governance-Anforderung bleibt dieselbe.

Besonders kritisch wird es bei Systemen, die im Betrieb adaptieren (Reinforcement Learning, Online-Learning), bei agentischen Systemen oder bei Modellen, deren Entscheidungslogik nicht nachvollziehbar erklärt werden kann. Der Grossteil heutiger KI ist entweder «frozen» (Parameter sind nach dem Training fixiert und werden im Betrieb nicht mehr verändert) oder regelbasiert. Aber genau dort, wo autonome Systeme den grössten Mehrwert versprechen, entsteht der höchste Bedarf an Governance: klare Grenzen, Überwachung und Rechenschaft.

Was das für den Verwaltungsrat bedeutet

KI-Governance ist Teil der Oberleitung. Der Verwaltungsrat muss nicht Modelle bauen. Aber er muss entscheiden, welche Autonomie akzeptabel ist. Und welche Kontrollen dafür gelten.

Art. 716a Abs. 1 OR definiert die unübertragbaren Aufgaben (Oberleitung, Organisation). Art. 754 OR begründet die Verantwortlichkeit bei Pflichtverletzung (Pflichtverletzung, Schaden, adäquate Kausalität, Verschulden). Das setzt voraus, dass der Verwaltungsrat wesentliche Risiken überblickt und die Geschäftsführung wirksam beaufsichtigt.

Genau hier liegt das Spannungsfeld: Wenn Systeme Entscheidungsparameter im Betrieb verändern, kann die Organisation das Verhalten nicht mehr zuverlässig für alle Situationen vorhersagen. Der Verwaltungsrat bleibt verantwortlich für Ergebnisse, deren Entstehung nicht mehr vollständig erklärbar ist, und die sich nur noch über Governance, Limits und Monitoring steuern lassen.

Drei Fragen, die sich jeder Verwaltungsrat stellen sollte

1) Kontrollarchitektur: Wenn die Geschäftsleitung nicht mehr vollständig versteht, was Systeme tun, braucht es neue Kontrollmechanismen: unabhängige Audits, Monitoring, Eskalationsprotokolle.

• Kontrollpunkt: Welche KPIs/KRIs sind definiert?
• Gibt es ein dokumentiertes Stop-/Eskalationskriterium (automatisiert oder manuell), das den Betrieb begrenzt oder unterbricht?

2) Risikoakzeptanz: Sozialadäquanz bedeutet: Nicht jedes Risiko ist eine Sorgfaltspflichtverletzung, solange das akzeptierte Risikoniveau nicht überschritten wird. Diese Abwägung ist eine Governance-Entscheidung und gehört in den Verwaltungsrat.

• Kontrollpunkt: Welche Entscheidungstypen sind für autonome Systeme gesperrt (z. B. Compliance-Sanktionierungen, Kreditablehnungen ohne Review)?
• Ist das dokumentiert und verbindlich vorgegeben?

3) Persönliche Sorgfaltspflicht: Grenzen traditioneller Zurechnung schützen den Verwaltungsrat nicht. Wer Risiken nicht versteht und keine angemessenen Vorkehrungen trifft, handelt fahrlässig. Eine technische «Gap» reduziert die organschaftliche Sorgfaltspflicht nicht, sie erhöht den Bedarf an nachweisbarer Governance.

• Kontrollpunkt: Welche Evidenz liegt vor (Model Cards, Risk Assessments, Vendor Due Diligence, Monitoring-Logs, Audit-Trail)?

Aufgaben delegieren, Verantwortung nicht

Der EU AI Act ist seit 1. August 2024 in Kraft und wird stufenweise anwendbar (vollumfänglich ab 2. August 2026; einzelne Pflichten früher). Für Hochrisiko-KI verlangt er menschliche Aufsicht, dokumentierte Risikobewertungen und ein funktionierendes Risikomanagement. Auch wenn er in der Schweiz nicht direkt gilt, setzt er einen faktischen Standard für regulierte Branchen. Und selbst die menschliche Aufsicht im Prozess muss kritisch hinterfragt werden (vgl. Die Gefahr des Automation-Bias: Ist der Human-in-the-Loop eine Illusion?).

Aufgaben können delegiert werden, Verantwortung nicht. Wer autonome Systeme nutzt, muss vor dem Go-live klären: zulässige Autonomiegrade, Eskalations- und Stop-Kriterien, Monitoring und Audit-Trail. Im Ereignisfall zählt nicht, ob KI beteiligt war. Massgebend ist, welche Kontrollen der Verwaltungsrat verlangt und dokumentiert hat.

---

Referenzen

• Matthias, A. (2004). The responsibility gap: Ascribing responsibility for the actions of learning automata. Ethics and Information Technology, 6, 175–183.
• Markwalder, N. & Simmler, M. (2017). Roboterstrafrecht: Zur strafrechtlichen Verantwortlichkeit von Robotern und künstlicher Intelligenz. AJP/PJA, 2/2017, 171–182.
• Santoni de Sio, F. & Mecacci, G. (2021). Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them. Philosophy & Technology, 34(4), 1057–1084.
• Hindriks, F. & Veluwenkamp, H. (2023). The Risks of Autonomous Machines: From Responsibility Gaps to Control Gaps. Synthese, 201(1), 21.
• Schweizerisches Obligationenrecht (OR), Art. 716a, Art. 754.
• EU AI Act, Verordnung (EU) 2024/1689 (in Kraft seit 1. August 2024, vollumfänglich anwendbar ab 2. August 2026).