KI-Umgebungen: Human in the Loop bedeutet nicht Human in Command

Vor einem Jahr habe ich auf LinkedIn über die Sicherheit von KI-Agenten geschrieben. Damals ging es um Datenabfluss, Schatten-IT und die unbedachte Nutzung frei verfügbarer Werkzeuge. Das war zum damaligen Zeitpunkt richtig, aber es war nur ein Teil einer sehr viel grösseren Governance-Herausforderung. Diese habe ich in meinem eigenen Labor nochmals richtig verinnerlicht, als ich einen Angriff in einer isolierten Umgebung selber nachgebaut und simuliert habe.

Testanlage: Ich habe eine Anweisung in einen ganz gewöhnlichen Text eingebettet, eine Nachricht, wie sie täglich im Posteingang landet. Der E-Mail-Agent las den Text, behandelte die versteckte Anweisung als Auftrag und schickte mir daraufhin sämtliche Tabellenkalkulationen aus den ihm zugänglichen Dateien. Damit der Begriff «versteckte Anweisung» richtig verstanden wird: ein normaler Text, den ein Mensch allerhöchstens als Werbebotschaft oder als Frage versteht, den eine KI jedoch aufgrund des ihr fehlenden Kontexts anders interpretiert. Lesbar und erkennbar für mich als Beobachter war nichts, und dennoch hatte ich keine Kontrolle über das, was initiiert wurde.

Der Mensch im Prozess hat nichts aufgehalten

Ein Mensch war die ganze Zeit beteiligt; ich selber. Genau das hat mich nachdenklich gemacht. Human in the Loop, die Formel bzw. Forderung, die heute in keiner KI-Diskussion fehlt, war formal erfüllt. Aufgehalten hat dieser Ansatz leider nichts. Die versteckte Anweisung tauchte nie als Ergebnis auf, das ich hätte prüfen können. Sie wirkte im Verborgenen. Das Versagen lag nicht darin, dass ich das Resultat zu wenig kontrolliert hätte. Es lag im Bau des Agentenprozesses selbst. Derselbe Agent durfte gleichzeitig nicht vertrauenswürdigen Text lesen, auf vertrauliche Dateien zugreifen und nach aussen senden. Drei Fähigkeiten in einer Hand, ohne Schranke dazwischen. Natürlich habe ich diesen Aufbau bewusst so gewählt, denn dieser entspricht vielen Konfigurationen, die gerade in diesem Moment aufgesetzt und angepriesen werden. Der Fokus liegt vielfach auf der Funktionalität der Agenten, nur selten auf der Sicherheit dieser Helfer. Bloss: Dieser Aspekt müsste eigentlich bereits in der Architektur- und Designphase ganz oben auf der Prioritätenliste stehen.

Die Sicherheit von Agenten und KI-Systemen muss bereits in der Architektur- und Designphase ganz oben auf der Prioritätenliste stehen.

Vor einem Jahr war das Risiko, dass ein Mensch unbedacht etwas preisgibt. Heute ist es, dass ein System eigenständig handelt, ausgelöst durch Inhalte, die niemand als Befehl gemeint hat. Klassische Schutzmechanismen greifen hier leider nur begrenzt, denn ein Filter, der den Abfluss sensibler Daten erkennen soll, sieht eine reguläre Aktion eines autorisierten Agenten. Die Grenze zwischen Daten und Anweisung, auf der bisherige Sicherheitsarchitekturen beruhen, verwischt ein Agent weitgehend, denn er liest beides als Sprache. Der gängige Sicherheitsansatz beruht vielfach immer noch auf vorhersehbaren Aktionen in einer regelbasierten Umgebung. KI-Systeme und Agenten reagieren jedoch dynamisch auf die Eingabe und Datengrundlagen in Verbindung mit Zugriffsrechten.

Die Sprache ist einmal mehr Teil des Problems

Wie wir über dieses Problem reden, verstellt uns oft den Blick darauf. Ähnlich wie bei der Terminologie «Künstliche Intelligenz», die wir oft mit menschlicher Intelligenz verwechseln, kommt es auch bei Human in the Loop darauf an, was wir darunter verstehen und was seine genaue Aufgabe sein soll. Human in the Loop klingt erst einmal beruhigend, sagt aber nur, dass irgendwo ein Mensch sitzt, nicht jedoch, welche Rolle er hat. Die Forschung kennt feinere Stufen:

• Beim Human in the Loop gibt der Mensch jede Aktion frei.
• Beim Human on the Loop handelt der Agent selbst, und der Mensch überwacht.
• Beim Human out of the Loop handelt er weitgehend allein. Diese Stufung beschreibt jedoch nur, wie nah der Mensch am Geschehen sitzt, nicht, ob er es beherrscht.

Der Begriff, auf den es ankommt, liegt quer dazu. Die EU-Leitlinien für vertrauenswürdige KI von 2019 nennen ihn Human in Command (HIC). Ein verwandtes, aber eigenständiges Konzept aus der Debatte um autonome Waffensysteme ist Meaningful Human Control (MHC). Die Anwesenheit eines Menschen allein ist nicht entscheidend. Entscheidend sind seine Rolle und seine tatsächliche Autorität über das System, einschliesslich der Fähigkeit, rechtzeitig eingreifen zu können. Diese Erkenntnis ist unbequem und stellt die These oder vielmehr den Wunsch in Frage, dass unser KI-Assistent auch ohne unsere Anwesenheit als Stellvertreter wirken kann. Wir müssen anerkennen, dass die Anwesenheit des Menschen allein (Human in the Loop) nicht ausreicht, um die Kontrolle über das System zu behalten.

Nur Anwesenheit des Menschen im Prozess reicht nicht aus, die Kontrolle über das System zu behalten.

Wo der Mensch nur noch abnickt, ist seine Kontrolle reine Dekoration auf dem Papier. Wer Ausgaben freigibt, die er nicht versteht, oder im Tempo der Maschine prüft, erfüllt die Form und nicht die Sache. Automatisierungs-Bias und Aufsichtsmüdigkeit verstärken das. Es ist eine gut erforschte Tatsache, dass einem System, das selten irrt, blind vertraut wird. In den bisher dokumentierten Fällen, in denen Angreifer Agenten als eigenes Werkzeug einsetzten, führte die KI einen Grossteil der Operationen in einer Geschwindigkeit aus, bei der der Mensch nur noch eine Statistenrolle einnehmen konnte. Diese Fälle stützen sich zwar lediglich auf die Offenlegung der Anbieter und sind entsprechend vorsichtig zu lesen; die Richtung ist aber deutlich erkennbar.

Drei Hebel

Daraus folgen im Wesentlichen drei Hebel:

• Beschränkung des Datenzugriffs auf das absolute Minimum: Was ein Agent nicht erreichen kann, kann er nicht preisgeben.
• Begrenzung seiner Funktionen: Ein Agent, der lesen darf, muss nicht zugleich senden dürfen. Die konsistente Trennung dieser Fähigkeiten hätte meinen Testangriff ins Leere laufen lassen.
• Echte menschliche Kommandogewalt dort, wo die ersten beiden Hebel ungenügend sind. Gefragt ist nicht ein Mensch, der nur zusieht. Gefragt ist einer, der den Prozess strukturell beherrscht, jederzeit eingreifen und ihn anhalten kann. Wo dies gegeben ist, dürfen Agenten in klar umrissenen Bereichen durchaus eigenständig handeln. Wo dies fehlt, ist der Mensch im Prozess eher Dekoration und suggeriert eine Pseudosicherheit.

Wo lediglich die Anwesenheit statt echte Kontrolle des Menschen vorhanden ist, entsteht Pseudosicherheit.

Die Frage für den Verwaltungsrat

Damit verschiebt sich die Frage, die im Verwaltungsrat zu stellen ist. Die alte Frage lautete, ob das Werkzeug sicher sei. Sie ist delegierbar, an die IT, an den Anbieter oder an den Hersteller. Damals wie heute muss jedoch klar sein, dass die Verantwortung für den Einsatz dieser Werkzeuge bei der Unternehmung liegt.

Die neue Frage muss erweitert gestellt werden. Welche Handlungsmacht haben wir einem nicht-menschlichen Akteur eingeräumt, wer beherrscht den Prozess, und wer ist verantwortlich, wenn der Agent gegen uns handelt. Auch diese Verantwortung ist nicht delegierbar, denn der Anbieter wird diese mit hoher Wahrscheinlichkeit nicht übernehmen müssen, und die Sorgfaltspflicht des Verwaltungsrats gilt unabhängig davon, ob ein Mensch oder eine Maschine die Handlung ausgeführt hat.

Der Verwaltungsrat muss nicht selbst Architekturen prüfen. Er muss aber genaue Kenntnis davon haben, welche Agenten im Unternehmen mit welchen Rechten handeln, und ob jemand den Prozess tatsächlich beherrscht oder ihn nur formal begleitet. Anders formuliert: Er muss die Risikoexposition im Detail kennen, damit er auf dieser Grundlage gut informierte Entscheidungen über den Einsatz solcher Agenten auf strategischer Ebene fällen kann. Eine solche Entscheidung kann zum Beispiel sein, dass interne Daten und automatisierte Antwortprozesse nicht verknüpft werden dürfen. Die Sorgfaltspflicht nach Art. 754 OR fragt nicht, ob ein Mensch oder eine Maschine gehandelt hat. Sie fragt, wer dafür einzustehen hat. Technologie kann delegiert werden. Verantwortung nicht.