Die KI-generierte Informationsfalle: Wenn KIs verhandeln und der Mensch zwischen den Systemen nur noch vermittelt

Artikelserie: Limiten der Delegation an KI-Systeme (Teil 4)

Vor kurzem lag ein Prüfdokument für eine Software-Evaluation auf meinem Tisch. Über tausend Prüfpunkte, über mehrere Stufen sauber in Excel aufgebaut. Viele der Kriterien sind als Einzelfaktor durchaus sinnvoll, in dieser Menge aber ohne erkennbaren Mehrwert. Nach wenigen Minuten war klar, dass der Ersteller mit grosser Wahrscheinlichkeit kein Experte für Software-Evaluationen ist und den Katalog somit selber auch nicht beurteilen kann. Zu erwartendes Resultat: Aufgrund der Menge an Messpunkten wird kein Mensch diesen Katalog mit sinnvollem Aufwand ausfüllen können.

Somit werden die Softwareanbieter als Empfänger eines solchen Anforderungskatalogs aus Effizienzgründen ebenfalls eine KI einsetzen. Am Schluss braucht der Ersteller aufgrund des gewachsenen Datenvolumens sowie des fehlenden Fachwissens wiederum eine KI, um die Antworten überhaupt auswerten zu können. Ob die tatsächlich wichtigen Evaluationskriterien erfüllt sind, wird aus einer solchen Übung kaum ersichtlich. Das Schlimme daran: An diesem Punkt hat sich der Mensch aus dem Verfahren eigentlich verabschiedet.

Informationen generieren, ohne diese beurteilen zu können

Szenenwechsel, Verträge: Wer kein Jurist ist, setzt heute mit KI einen Vertrag auf, der viele Aspekte abdeckt, an welche ein Laie vermutlich nie gedacht hätte. Das ist ein echter Gewinn in Zeit und Kosten. Allerdings stellt der Laie vermutlich auch nicht fest, wenn zwischen den brauchbaren Klauseln eine steht, die nicht in diesen Vertrag gehört oder seine Position gar schwächt. Was früher ein einfacher Vertrag zwischen zwei Parteien war, wächst heute ohne regulatorischen Druck zur Novelle, weil eine KI mühelos Content erzeugen kann.

Die Ähnlichkeit zum Anforderungskatalog für eine Software ist hoch. Ein Anwender beschreibt seine eigenen Anforderungen präzise. Sobald die KI Punkte ausserhalb seines Fachgebiets ergänzt, entsteht ein Katalog, den kein Anbieter mehr erfüllen kann. Selbst wenn die Antworten eintreffen, kann der Anwender ihre Konsequenzen nicht beurteilen.

Die Fähigkeit Informationen zu generieren scheint langsam über die Fähigkeit hinausgewachsen, diese zu beurteilen.

Der Grund dafür ist meist banal: Man versucht, Kosten und Zeit für den Juristen und für einen Fachspezialisten zu sparen, und erhält sehr schnell eine brauchbare Antwort. Gespart wird unter dem Strich nichts, denn die Kosten wandern zu denjenigen, die anschliessend mit dem aufgeblähten Dokument arbeiten und die Verantwortung tragen müssen. Ein Katalog, der in einer Stunde entsteht, kann mehrere Arbeitstage Aufwand auf der Gegenseite erzeugen. Die Kosten verschwinden nicht, sie wechseln nur den Träger.

Die Folgen der KI-generierten Informationsfalle

Aus der ökonomischen Logik folgt, dass maschinell erzeugter Inhalt eine maschinell erzeugte Antwort nach sich zieht und diese Antwort eine maschinelle Auswertung erfordert.

Auf das obige Beispiel bezogen: Ein System erstellt den Anforderungskatalog. Ein zweites füllt diesen aus. Ein drittes wertet aus und verdichtet das Ergebnis am Ende des Prozesses auf ein paar Seiten. Dazwischen sitzt ein Mensch als Schnittstelle, der am Schluss mit fehlender Fachkompetenz das Ergebnis freigibt oder den Vertrag unterschreibt.

Der Mensch sitzt zwischen den Systemen als Beobachter und Schnittstelle. Er ist zwar immer noch «Human-in-the-Loop». Aber ist er auch noch «Human-in-Command»?

Der Mensch am Ende der Prozesskette sieht die Zusammenfassung eines Austauschs, den zwei Systeme unter sich geführt haben, denn die Menge der Informationen dazwischen kann er gar nicht mehr verarbeiten. Er kann somit auch nicht beurteilen, was weggelassen, verzerrt oder falsch verstanden wurde. In der Verdichtung der KI bleibt dies unsichtbar, denn eine gute Zusammenfassung wirkt vollständig und abgerundet.

Nun liesse sich einwenden, ein zweites Modell könne solche Lücken aufdecken und das Ergebnis verbessern. Darauf ist aber kein Verlass. Ich habe das in einem früheren Beitrag beschrieben: Die Fehler verschiedener Modelle hängen stark zusammen, gerade bei den grösseren. Der blinde Fleck im Katalog und der blinde Fleck in der Antwort stammen aus derselben Verteilung. Die Auswertung findet nicht, wonach der Katalog nie gefragt hat.

Wieso akzeptieren wir diese Ineffizienzen?

Ein wissenschaftlicher Befund, der in Verwaltungsräten und Geschäftsleitungen wenig bekannt ist:

Raja Parasuraman und Dietrich Manzey haben 2010 die Forschung zur Automation Complacency zusammengeführt. Zwei Ergebnisse überraschen: Der Effekt trifft Fachleute gleich stark wie Laien, und Übung sowie Repetition des Prozesses beheben ihn nicht. Dazu kommt eine Umkehrung, mit der kaum jemand rechnet: Je präziser und verlässlicher ein System arbeitet, desto schwerer fällt die Beaufsichtigung, weil Vertrauen die Fehlererkennung senkt oder im schlimmsten Fall ersetzt.

Fabrizio Dell’Acqua und Kollegen haben das 2026 in der Organization Science gemessen. 373 Beratende erhielten eine Aufgabe, bei der die Tabellendaten vollständig aussahen und erst die Interviewnotizen zur richtigen Antwort führten. Ohne KI lagen 84,5 Prozent richtig, mit KI 60 beziehungsweise 70,6 Prozent. Bemerkenswert dabei: Die schlechtere der beiden KI-Gruppen war jene, die zusätzlich eine Einführung zum Umgang mit dem Modell erhalten hatte. Mehr Anleitung führte zu mehr Vertrauen und damit zu mehr Fehlern.

Entscheidend ist, was daneben steht: Die Qualität der Empfehlungen stieg mit KI auch bei denjenigen, welche falsch lagen. Wer mit KI arbeitete, kam somit seltener zur richtigen Antwort, begründete aber seine falsche Antwort besser, als die Kontrollgruppe ihre richtige begründete.

Das System versagte nicht sichtbar, sondern überzeugend.

Konsequenzen für den Verwaltungsrat

In Teil 2 dieser Serie habe ich argumentiert, dass Nachweisfähigkeit übernehmen muss, wo die Nachvollziehbarkeit fehlt: Monitoring, Red-Teaming, Re-Approval, lückenlose Dokumentation. In Teil 3 ging es darum, dass sich das genehmigte Leistungsprofil im Betrieb still verschiebt. Beide Male stand das System im Zentrum, diesmal ist es die Unterlage, auf der entschieden wird.

Meine Position aus Teil 2 meiner Artikelserie halte ich weiterhin, sie hat jedoch eine Grenze, die ich damals nicht benannt habe.

Nachweise lassen sich maschinell erzeugen. Ein lückenloses Dossier beweist nicht, dass ein Mensch kritisch geprüft und nachgedacht hat.

Am Ende eines solchen Prozesses liegt ein vollständiges, oberflächlich makelloses Dossier vor. Anforderungskatalog, Offerten, gewichtete Auswertung, Antrag, Protokoll. Art. 717 OR verlangt Sorgfalt, Art. 716a OR verlangt die Oberaufsicht, und beides sieht erfüllt aus, weil die notwendigen Informationen ja vorhanden sind. Nur ist im schlimmsten Fall an keiner Stelle ein menschliches Urteil eingeflossen, das über eine Freigabe hinausgeht.

Der Reflex lautet nun, die Prüfkapazität zu erhöhen, mehr zeitliche Ressourcen, zusätzliche Augen, ein weiterer Loop durch ein menschliches Team. Das wird nicht ausreichen, denn die erzeugte Menge wächst schneller, als diese Gegenmassnahmen greifen. Kommen Automation Bias und Automation Complacency unter Zeit- und Kostendruck zusammen, ändert sich am Resultat wenig. Einem System, das im Grundsatz funktioniert, vertraut man bis zum Beweis des Gegenteils.

Wirksame Handlungsempfehlungen

Ich sehe vier Ansätze, um diese Probleme anzugehen:

• Prozessumkehr: Zuerst das eigene kritische und komplexe Denken, erst darauf folgend der Einsatz der KI. Wer bereits einen eigenen Entwurf verfasst hat und die KI danach beizieht, um blinde Flecken auszuleuchten oder auf fehlende Aspekte hinzuweisen, erhält weitaus bessere Resultate, als wenn am Schluss eine grosse maschinell erzeugte Datenmenge analysiert und bewertet werden muss. So wird die KI zur echten Hilfe und produziert in aller Regel keine riesigen Mengen an Content.
• Perspektivenwechsel: Man versetzt sich auf die Gegenseite oder nimmt die Position eines anderen Teammitglieds ein und fragt sich, ob man das Resultat ohne maschinelle Hilfe bearbeiten könnte. Allein diese Frage vermindert das Mengengerüst.
• Überprüfung und Fachwissen: Ein Anforderungskatalog, den kein Mensch mehr ausfüllen kann, misst die Qualität eines Sprachmodells und zeigt eher die fachliche Überforderung des Erstellers. Über die Eignung eines Anbieters sagt dieser Katalog wenig. Wer selber kein Fachexperte ist und sich von der KI helfen lässt, muss das gesamte Resultat prüfen, den Quellen nachgehen, eigene Denkarbeit investieren und ggf. einen Fachexperten konsultieren. Das verringert den Output und hat einen erwünschten Nebeneffekt, nämlich die Erweiterung des eigenen Horizonts.
• Begrenzung der Datenmenge: Bereits zu Beginn eine Vorstellung davon haben, wie umfangreich ein Dokument, ein Prüfkatalog, eine Mitteilung oder eine E-Mail sein soll. Schiesst das erzeugte Resultat darüber hinaus, wurde viel Text und wenig Substanz produziert. Diese Obergrenze lässt sich der KI im Übrigen gleich zu Beginn mitgeben.

Blaise Pascal schrieb 1657, er habe diesen Brief nur deshalb länger gemacht, weil ihm die Zeit fehlte, ihn kürzer zu schreiben. Heute übernimmt eine KI diese Aufgabe, die Briefe werden dadurch jedoch nicht kürzer.

---

Referenzen

• Parasuraman, R., & Manzey, D. H. (2010). Complacency and Bias in Human Use of Automation: An Attentional Integration. Human Factors, 52(3), 381–410. https://doi.org/10.1177/0018720810376055
• Dell’Acqua, F., McFowland III, E., Mollick, E. R., Lifshitz-Assaf, H., Kellogg, K., Rajendran, S., Krayer, L., Candelon, F., & Lakhani, K. R. (2026). Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of Artificial Intelligence on Knowledge Worker Productivity and Quality. Organization Science. https://doi.org/10.1287/orsc.2025.21838 (Daten aus 2023, erhoben mit GPT-4)
• Kim, E., Garg, A., Peng, K., & Garg, N. (2025). Correlated Errors in Large Language Models. Proceedings of the 42nd International Conference on Machine Learning (ICML). https://arxiv.org/abs/2506.07962