KI-Code-Assistenten in der Praxis: Sicherheit, Qualität und Verantwortung

Einführung

Künstliche Intelligenz (KI) verändert die Softwareentwicklung in rasantem Tempo. Grosse Sprachmodelle (Large Language Models, LLMs) wie ChatGPT, Claude, Gemini und andere sind heute in der Lage, Code in einer Vielzahl von Programmiersprachen zu generieren. Diese Werkzeuge können die Entwicklung deutlich beschleunigen, repetitive Aufgaben reduzieren und Innovationen fördern. Gleichzeitig bergen sie jedoch erhebliche Risiken, die auf Vorstandsebene verstanden und gesteuert werden müssen.

Aktuelle Forschung zeigt nicht nur die Chancen, sondern auch die klaren Grenzen und Verwundbarkeiten von KI-generiertem Code. Dieser Beitrag fasst die wichtigsten Erkenntnisse zusammen, beschreibt die Voraussetzungen für einen verantwortungsvollen Einsatz und gibt konkrete Empfehlungen für fundierte Entscheidungen im Aufsichts- und Managementbereich. Grundlage ist die Analyse «Security and Quality in LLM-Generated Code: A Multi-Language, Multi-Model Analysis» von Mohammed F. Kharma, Soohyeon Choi, Mohammad Alkhanafseh und David Mohaisen, veröffentlicht am 25. Februar 2025.

Chancen und ihre Grenzen

Unbestritten ist, dass die Nutzung von LLMs in vielen Unternehmen bereits die Produktivität steigert. Entwickler können Routineaufgaben automatisieren, Prototypen schneller erstellen und sich stärker auf konzeptionelle und architektonische Fragen konzentrieren. Diese Effizienzgewinne haben jedoch einen Preis.

Die Forschung belegt, dass von LLMs erzeugter Code oftmals gravierende Mängel aufweist. Sicherheitslücken sind weit verbreitet, darunter veraltete kryptografische Verfahren, Buffer Overflows oder fest im Code hinterlegte Zugangsdaten. Die Qualität ist zudem inkonsistent: Struktur, Lesbarkeit und Wartbarkeit variieren stark zwischen den Modellen und Programmiersprachen. Kein getestetes LLM konnte verlässlich sicheren, fehlerfreien oder standardkonformen Code liefern, ohne dass ein erfahrener Entwickler diesen zuvor überprüft. Die Realität ist daher klar: Ohne menschliche Kontrolle und robuste Sicherheitsmechanismen ist KI-generierter Code nicht für den Produktionseinsatz geeignet.

Wesentliche Erkenntnisse für Geschäftsleitungen

Besonders auffällig ist, dass die Sicherheit und Zuverlässigkeit von KI-generiertem Code stark von der verwendeten Programmiersprache abhängen. Python und Java, die eine einfachere Syntax und eine automatische Speicherverwaltung bieten, führen tendenziell zu weniger Fehlern und Schwachstellen. C und C++ hingegen, die ein manuelles Speichermanagement erfordern, bereiten den Modellen grosse Schwierigkeiten, mitunter entstehen hier kritische Sicherheitslücken, die zu Systemausfällen oder Angriffen führen können.

Über alle Modelle hinweg traten wiederkehrende Verwundbarkeiten auf. Dazu zählen unsichere kryptografische Methoden, Speicherfehler, fest einprogrammierte Passwörter sowie fehlende Eingabevalidierungen, die Angriffe wie SQL-Injections oder Cross-Site-Scripting ermöglichen. Auch wenn der generierte Code auf den ersten Blick funktioniert, enthalten viele Abschnitte sogenannte «Security Hotspots», potenzielle Schwachstellen, die im Produktivbetrieb gravierende Folgen haben können.

Die Codequalität ist ebenfalls nicht verlässlich. Während manche Ergebnisse klar und strukturiert sind, fällt anderer Code durch unnötige Komplexität, Redundanzen oder unklare Funktionsbezeichnungen auf. Häufig fehlt auch die notwendige Dokumentation. Ohne systematische Prüfprozesse steigt so das Risiko für technischen Schuldenaufbau und langfristige Wartungsprobleme. Entscheidend ist: Kein getestetes LLM kann als «von Haus aus sicher» gelten. Menschliche Kontrolle und ergänzende Prüfmechanismen sind unverzichtbar.

Voraussetzungen für einen verantwortungsvollen Einsatz

Auf Basis dieser Erkenntnisse sollte die Unterstützung durch LLMs bei der Code-Generierung nur unter klaren Bedingungen erfolgen. Zwingend erforderlich ist eine verpflichtende manuelle Prüfung aller KI-generierten Codes durch erfahrene Entwickler, bevor dieser in Produktivsystemen eingesetzt wird. Ergänzend muss jeder Code automatisiert mit Sicherheitstools wie SonarQube überprüft werden, um bekannte Schwachstellen, Qualitätsmängel und Abweichungen von Standards zu identifizieren.

Organisationen müssen aktuelle Sicherheits- und Programmierstandards konsequent durchsetzen und Code ablehnen, der auf veralteten oder unsicheren Methoden basiert. Die Auswahl der eingesetzten Programmiersprachen sollte gezielt erfolgen: LLM-gestützte Codegenerierung ist vor allem in Hochsprachen wie Python oder Java vertretbar, während der Einsatz in C und C++ auf klar definierte, streng kontrollierte Szenarien beschränkt bleiben sollte.

Ebenso wichtig ist eine umfassende Schulung der Mitarbeitenden, nicht nur zur Bedienung von KI-Tools, sondern auch zu deren Grenzen und Risiken. Governance-Strukturen müssen festlegen, wer für die Prüfung, Freigabe und laufende Überwachung von KI-generiertem Code verantwortlich ist. Zudem sind klare Eskalations- und Auditprozesse notwendig, um bei Vorfällen oder entdeckten Schwachstellen schnell reagieren zu können. Schliesslich sollten regelmässige Audits verpflichtend sein, um die Einhaltung aller Vorgaben zu überprüfen und neue Risiken frühzeitig zu erkennen.

Empfehlung für eine Geschäftsleitung

Der Einsatz von KI-generiertem Code kann nur dann sicher erfolgen, wenn sowohl technische Schutzmassnahmen als auch organisatorische Kontrollmechanismen strikt umgesetzt werden. Der produktive Einsatz darf nicht freigegeben werden, solange nicht gewährleistet ist, dass sowohl menschliche Prüfungen als auch automatisierte Sicherheitsanalysen durchgeführt werden. Das Management sollte verpflichtet werden, dem Vorstand regelmässig über den Stand aller genannten Massnahmen zu berichten, bevor LLM-gestützte Code-Generierung über Pilot- oder Testphasen hinaus eingesetzt wird.

Es empfiehlt sich, zunächst Pilotprojekte in Bereichen mit geringem Risiko durchzuführen und die Ergebnisse regelmässig auszuwerten. Fehlen die beschriebenen Kontrollen oder besteht Unsicherheit, ob diese Standards eingehalten werden, bleibt das Risiko für Sicherheit, Compliance und Reputation der Organisation inakzeptabel hoch.

Schlussfolgerung

KI-gestützte Softwareentwicklung bietet grosses Potenzial, ist jedoch kein Ersatz für Fachwissen und Sorgfalt. Geschäftsleitungen und Verantwortliche sollten ihren Einsatz nur dann autorisieren, wenn strenge Aufsicht, konsequente Prüfung und die Einhaltung bewährter Verfahren gewährleistet sind, und wenn Mitarbeitende darauf vorbereitet sind, KI als Unterstützung, nicht als Ersatz für professionelle Expertise und Verantwortung zu nutzen.

Quelle: Security and Quality in LLM-Generated Code: A Multi-Language, Multi-Model Analysis