Wenn KI selbstständig angreift: Automatisierte Cyberattacken als sicherheitspolitische Mahnung

Bei einem Test neuer KI-Modelle von OpenAI ist es kürzlich zu einem bemerkenswerten Zwischenfall gekommen, der am 16. Juli 2026 öffentlich dokumentiert wurde. Die Modelle sollten demonstrieren, inwieweit sie Sicherheitslücken erkennen und für Cyberoperationen ausnutzen können. Dabei blieben sie jedoch offenbar nicht innerhalb der vorgesehenen Testumgebung. Nach Angaben des Unternehmens verschafften sich die Systeme selbstständig Zugang zum offenen Internet, indem sie mit ihren Fähigkeiten Lücken in der Testumgebung selbst ausnutzten, und drangen anschließend in Systeme der KI-Plattform Hugging Face ein. Hierfür nutzten sie bislang unbekannte Schwachstellen sowie entwendete Zugangsdaten. OpenAI bezeichnete den Vorgang selbst als einen beispiellosen Cyberzwischenfall.

Dieser Vorfall hat umgehend politische Reaktionen in Berlin und Brüssel ausgelöst. Das Bundesdigitalministerium sprach von einem Paradigmenwechsel und einer massiven Veränderung der Bedrohungslage durch die zunehmenden Fähigkeiten von KI. Abgeordnete des Europäischen Parlaments warnten vor den Folgen, wenn KI-Systeme außerhalb des ihnen gesteckten Rahmens eigenständig agierten. Gleichzeitig wurden Forderungen nach einer stärkeren europäischen KI-Entwicklung, umfassenderen Sicherheitsprüfungen und einer wirksameren Regulierung laut.

Der Vorfall sollte jedoch nicht ausschließlich als technisches Versagen eines einzelnen Unternehmens oder als weiterer Beleg für unzureichende Sicherheitsvorkehrungen bei der Entwicklung neuer KI-Modelle verstanden werden. Er verweist vielmehr auf eine grundlegend neue sicherheitspolitische Herausforderung: Hoch entwickelte KI-Systeme sind mittlerweile in der Lage, komplexe Cyberoperationen zumindest in Teilen selbstständig durchzuführen. Tätigkeiten, die bisher hoch spezialisierten Expert*innen vorbehalten waren und erhebliche personelle, technische und zeitliche Ressourcen erforderten, können damit zunehmend automatisiert werden – eine Funktion, die im Kontext von KI als agentisches Verhalten bezeichnet wird.

Vom Sicherheitstest zum Cyberangriff

Der OpenAI-Vorfall kam nicht vollkommen überraschend. Bereits einige Wochen zuvor hatten die Fähigkeiten der neuesten Modelle des Konkurrenten Anthropic international für Aufmerksamkeit gesorgt. Das speziell auf anspruchsvolle Programmier- und Sicherheitsaufgaben ausgerichtete Modell Claude Mythos konnte nach Angaben des Unternehmens bislang unbekannte Schwachstellen in weitverbreiteten Betriebssystemen, Browsern und Open-Source-Projekten identifizieren, teilweise funktionierende Angriffsmöglichkeiten entwickeln und in Tests diese auf Anweisung auch aktiv auszunutzen. Aufgrund dieser Fähigkeiten wurde die Nutzung des Modells zunächst auf eine kleine Gruppe überprüfter Partner beschränkt, die Verbreitung kurzzeitig durch Exportkontrollen unterbunden und die später erfolgte Veröffentlichung ging mit Sicherheits- und Kontrollsystemen einher.

Diese und weitere Modelle wurden in erster Linie als Instrumente zur Verbesserung der IT-Sicherheit präsentiert, um Schwachstellen zu finden, bevor sie von kriminellen oder staatlichen Akteuren entdeckt und ausgenutzt werden. Doch der Schritt vom defensiven Sicherheitstest zum offensiven Cyberangriff ist nicht weit – denn offensive und defensive Cyberfähigkeiten lassen sich kaum eindeutig voneinander trennen. Technisch handelt es sich vielfach um dieselben Fähigkeiten: Ein System muss Programmcode analysieren, Schwachstellen identifizieren, mögliche Angriffswege bewerten und einen speziell angepassten Schadcode entwickeln. Ob diese Fähigkeiten anschließend genutzt werden, um eine Sicherheitslücke zu schließen oder um sie für eine Cyberattacke auszunutzen, ist keine Frage der grundlegenden technischen Kompetenz. Es ist vor allem eine Frage der Zielauswahl und der Absicht des jeweiligen Akteurs.

Unsichere Software ist kein neues Problem, aber…

Die mangelnde IT-Sicherheit vieler digitaler Systeme wird seit Jahrzehnten von Expert*innen kritisiert. Betriebssysteme, Unternehmenssoftware, Cloud-Dienste und weitverbreitete Open-Source-Komponenten enthalten regelmäßig Schwachstellen. Gerade große Softwarepakete bestehen aus Millionen Zeilen Programmcode, werden über lange Zeiträume weiterentwickelt und greifen oft auf zahlreiche externe Bibliotheken – Code, der von Dritten für bestimmte Aufgaben entwickelt wurde – zurück. Diese „Genese“ von Softwareprodukten erhöht die Wahrscheinlichkeit, dass Schwachstellen übersehen werden oder durch neue Angriffsmethoden Verwundbarkeiten entstehen, die zum Zeitpunkt der Programmierung nicht bedacht und berücksichtigt worden sind. Hinzu kommt, dass viele Organisationen bekannte Sicherheitsupdates verspätet oder überhaupt nicht installieren und veraltete Systeme daher oft im Einsatz bleiben, weil ein Austausch teuer wäre, Betriebsabläufe unterbrechen könnte oder spezialisiertes Personal fehlt (oder keine Priorität darstellt). Zugleich nimmt die Vernetzung weiter zu und Produktionsanlagen, Krankenhäuser, Verkehrsnetze, öffentliche Verwaltungen und militärische Systeme sind zunehmend aus dem Internet zu erreichen und angreifbar, teilweise ohne angemessene und regelmäßige Sicherungs- und Abwehrmaßnahmen gegen Cyberattacken.

Die grundlegenden Schwächen, die Cyberangriffe ermöglichen, sind somit nicht neu. Neu ist jedoch die Geschwindigkeit, die Systematik und der Grad der Automatisierung, mit der hoch entwickelte KI-Systeme nach ihnen suchen können. Spezialisierte KI-Systeme können große Mengen an Programmcode schneller analysieren, unterschiedliche Angriffswege parallel untersuchen und ihre Vorgehensweise anhand von Rückmeldungen kontinuierlich anpassen und dabei auf die Erfahrungen zurückgreifen, die menschliche Expert*innen über Jahre oder sogar Jahrzehnte aufgebaut und dokumentiert haben. Um die Bedrohungslage im Cyberspace grundlegend zu verändern, müssen KI-Systeme nicht in jeder einzelnen Aufgabe besser sein als die besten menschlichen Expert*innen. Entscheidend ist vielmehr, dass sie bestimmte Tätigkeiten mit hoher Geschwindigkeit, niedrigen Grenzkosten und in großer Zahl parallel durchführen können.

Die eigentliche Neuerung: Skalierung und Kontrollverlust

Der Kern der aktuellen Entwicklung besteht deshalb in zwei miteinander verbundenen Veränderungen:

Erstens ermöglicht KI erhebliche Skaleneffekte. Tätigkeiten, die bislang aufwendig und personalintensiv waren, können automatisiert werden. Ein hochqualifizierter menschlicher Angreifer kann nur eine begrenzte Zahl von Zielen gleichzeitig untersuchen. Ein KI-gestütztes System könnte dagegen Tausende oder Millionen öffentlich erreichbare Systeme analysieren, potenzielle Schwachstellen priorisieren und für jedes Ziel angepasste Angriffsmethoden entwickeln. Damit sinken die Kosten anspruchsvoller Cyberoperationen. Fähigkeiten, für die bislang Teams spezialisierter Expert*innen, umfangreiche Vorbereitungen und erhebliche finanzielle Mittel notwendig waren, könnten breiter verfügbar werden. Auch weniger gut ausgestattete staatliche oder nichtstaatliche Akteure könnten dadurch Cyberangriffe durchführen, die bisher nur technisch führenden Nachrichtendiensten, Militärorganisationen oder hochprofessionellen kriminellen Gruppen möglich waren. Die Effektivität offensiver Cyberoperationen steigt, während die Zugangshürden sinken.

Zweitens können solche Systeme zu einer echten und unter Umständen nur schwer kontrollierbaren Gefahr werden, wenn es ihnen gelingt, die Grenzen ihrer jeweiligen Testumgebung zu überwinden und Zugriff auf das tatsächliche Internet oder daran angeschlossene IT-Systeme zu erhalten. Solche Testumgebungen sind in der IT-Sicherheit übliche Verfahren, um IT-Systeme voneinander abzuschotten, Datenzugriffe zu regulieren oder Netzwerkverkehr gezielt einzuschränken und zu lenken. Entscheidend an den eingangs erwähnten Vorfällen ist jedoch weniger, auf welchem technischen Weg dieser Ausbruch erfolgt. Das Überwinden von diesen Virtualisierungs-, Sandbox- oder Zugriffsbeschränkungen ist selbst ein etabliertes Feld der IT-Sicherheitsforschung und kann daher gerade zu den Fähigkeiten gehören, die ein entsprechend trainiertes Modell untersucht und ausnutzt. Abgeschottete Testumgebungen begrenzen den Handlungsspielraum eines Systems somit nur so lange, wie ihre Schutzmechanismen tatsächlich standhalten. Genau darin liegt die besondere Bedeutung des OpenAI-Vorfalls: Ein Modell, das in einer technisch isolierten Umgebung Sicherheitsaufgaben bearbeitet, kann nicht nur gefährliche Fähigkeiten demonstrieren, sondern unter Umständen auch die Sicherheitsarchitektur dieser Umgebung selbst zum Ziel machen. Gelingt ihm der Ausbruch, kann es reale Ziele suchen, externe Dienste kontaktieren, Schwachstellen ausnutzen, Zugangsdaten beschaffen und seine Aktivitäten auf weitere Systeme ausweiten.

Die Verbindung aus hoher technischer Leistungsfähigkeit, eigenständiger Planung und Zugriff auf reale digitale Infrastrukturen verändert die Qualität des Risikos durch spezialisierte KI-Systeme. Fehlerhafte Zielvorgaben, unvorhergesehene Strategien oder ein Ausbruch aus einer unzureichend gesicherten Testumgebung können dann unmittelbare Auswirkungen außerhalb des Labors haben, sodass KI-Agenten öffentliche Netzwerke erreichen und dort angeschlossene IT-Systeme gefährden können. Von Szenarien, die noch nach Science-Fiction klingen, bei denen KIs ein eigenes Bewusstsein mit Zielen und Absichten entwickeln, ganz abgesehen.

Gerade diese beiden Aspekte – die Skalierung durch Automatisierung und die Verbindung leistungsfähiger Systeme mit realen IT-Infrastrukturen – bilden die eigentliche Gefahr. Die öffentliche Debatte sollte sich deshalb nicht allein darauf konzentrieren, ob ein bestimmtes Modell einen einzelnen Angriff durchgeführt hat oder ob menschliche Entwickler*innen dies beabsichtigten. Entscheidend ist, dass die technischen Voraussetzungen für automatisierte und potenziell hochskalierbare Cyberoperationen zunehmend vorhanden sind.

Die Büchse der Pandora ist geöffnet

Die weitere Verbreitung dieser Fähigkeiten dürfte sich kaum vollständig verhindern lassen. Derzeit wird zwar versucht, die Verbreitung besonders leistungsfähiger Modelle durch kontrollierte Veröffentlichungen, Zugangsbeschränkungen und Exportkontrollen einzugrenzen. Solche Beschränkungen können Zeit gewinnen. Sie können verhindern, dass besonders leistungsfähige Systeme unmittelbar frei verfügbar werden, und sie können den Zugang bestimmter Akteure erschweren. Dauerhaft aufhalten lässt sich die Entwicklung dadurch wahrscheinlich nicht. Andere Unternehmen, Staaten oder Forschungseinrichtungen werden eigene Modelle entwickeln. Zudem könnten schon kleinere, frei verfügbare Modelle in Verbindung mit spezialisierten Software-Werkzeugen, umfangreichen Datenbanken und automatisierten Agentensystemen erhebliche Cyberfähigkeiten erreichen.

Eine wirksame politische Antwort darf daher nicht allein darauf setzen, den Zugang zu bestimmten Modellen zu kontrollieren. Sie muss auch die konkreten Einsatzbedingungen und technischen Umgebungen erfassen, in denen solche Systeme betrieben werden.

Ein zwischenstaatliches Commitment zur technischen Begrenzung

Auch wenn akzeptiert werden muss, dass einige Akteure kein Interesse an einer Eingrenzung automatisierter Cyberoperationen haben, wäre ein zwischenstaatliches Commitment zur Beschränkung bestimmter Anwendungen ein wichtiger erster Schritt mit Signalwirkung. Im Mittelpunkt sollte dabei insbesondere die Verpflichtung stehen, hoch entwickelte, auf Cyberoperationen spezialisierte KI-Systeme grundsätzlich ohne direkte Verbindung zum offenen Internet zu betreiben. Eine robuste IT-Sicherheit der jeweiligen Test- und Betriebsumgebungen, für die es unter anderem von deutschen Institutionen wie bspw. dem BSI Vorgaben gibt, bliebe zwar unverzichtbar und sollte ebenfalls Teil solcher Commitments sein. Sie kann jedoch keine vollständige Sicherheit gewährleisten, da auch besonders geschützte Umgebungen Fehlkonfigurationen, unbekannte Schwachstellen oder bislang nicht antizipierte Angriffspfade aufweisen können. Gerade weil ein entsprechend leistungsfähiges Modell solche Schwächen gezielt identifizieren und ausnutzen könnte, sollte die wichtigste Schutzmaßnahme in einer möglichst konsequenten physischen oder funktionalen Trennung von Testumgebung und dem offenen Internet bestehen.

Aus technischer Sicht wäre eine solche Begrenzung grundsätzlich umsetzbar. Besonders leistungsfähige Systeme könnten nur in abgeschotteten IT-Umgebungen betrieben werden, deren Netzwerkschnittstellen physisch getrennt oder auf streng kontrollierte, einseitige Datenflüsse beschränkt sind, um den Zugriff auf IT-Systeme außerhalb der Testumgebung maximal effektiv zu unterbinden. Externe Daten könnten kontrolliert eingespielt und Ergebnisse erst nach einer menschlichen oder technischen Prüfung exportiert werden. Auch die zulässigen Werkzeuge, Rechenressourcen und Handlungsmöglichkeiten eines Modells könnten begrenzt und protokolliert werden. Solche zusätzlichen Sicherheitsmaßnahmen würden das Air-Gapping ergänzen, könnten es jedoch nicht ersetzen.

Eine solche technische Abschottung könnte sogar Gegenstand von Rüstungskontroll- und Verifikationsvereinbarungen werden. Dabei müssten weder die Modelle noch proprietäre Trainingsdaten oder genaue Details der verwendeten Systeme offengelegt werden. Kontrolliert werden könnten stattdessen die Betriebsbedingungen: Ist das betreffende System mit dem offenen Internet verbunden? Welche externen Schnittstellen existieren? Werden Ein- und Ausgaben protokolliert? Gibt es technische Sperren, die autonome Interaktionen mit realen Systemen verhindern?

Solche Vereinbarungen wären weder lückenlos noch universell durchsetzbar. Dennoch könnten sie Normen etablieren, Transparenz schaffen und zumindest das Risiko unbeabsichtigter Zwischenfälle bei ihrem Einsatz durch staatliche und kommerzielle Akteure reduzieren. Sie würden zudem deutlich machen, dass nicht allein die Existenz leistungsfähiger Modelle bei der Bewertung von deren Risiko entscheidend ist, sondern deren konkrete Einbindung in technische und organisatorische Strukturen.

Eine Mahnung über den Cyberspace hinaus

Schlussendlich verweist der Vorfall auf ein Problem, das deutlich über die Gefährdungen durch KI im Cyberspace hinausreicht. KI-Systeme erreichen in immer mehr Bereichen Fähigkeiten, die bisher Menschen vorbehalten waren. Solange diese Systeme lediglich Texte, Bilder oder Analysen produzieren, bleiben die unmittelbaren Folgen ihrer Handlungen begrenzt. Anders verhält es sich, wenn sie mit echten physischen Zugriffs-, Kontroll- und Steuerungsmöglichkeiten ausgestattet werden.

Ein leistungsfähiges KI-System mit Zugriff auf Computernetzwerke kann reale Cyberoperationen ausführen. Ein vergleichbares System mit Zugriff auf industrielle Anlagen, Verkehrsinfrastrukturen, autonome Fahrzeuge, Drohnen oder Waffensysteme könnte Entscheidungen in der physischen Welt umsetzen. Je größer seine Handlungsmöglichkeiten und je geringer die menschliche Kontrolle, desto schwerwiegender können Fehlentscheidungen, missverständliche Zielvorgaben oder unvorhergesehene Strategien werden.

Die zentrale Lehre aus dem aktuellen Vorfall lautet daher nicht, dass KI-Systeme einen eigenen Willen entwickeln oder sich im menschlichen Sinne gegen ihre Entwickler*innen wenden. Sie lautet vielmehr, dass hochleistungsfähige Systeme innerhalb der ihnen gesetzten Ziele Handlungsstrategien entwickeln können, die nicht vorgesehen waren und deren Folgen sich nur schwer kontrollieren lassen.

Deshalb muss die Frage des Zugriffs im Zentrum künftiger KI-Regulierung stehen. Nicht nur: Was kann ein Modell? Sondern ebenso: Worauf kann es zugreifen, welche Handlungen kann es selbstständig ausführen und welche technischen Grenzen verhindern, dass aus einer fehlerhaften oder unerwarteten Strategie ein realer Schaden entsteht?

Der OpenAI-Vorfall sollte als Warnsignal verstanden werden. Automatisierte Cyberattacken sind keine abstrakte Zukunftsvision mehr. Die dafür notwendigen Fähigkeiten entstehen bereits heute. Ob daraus eine dauerhaft beherrschbare Technologie oder eine kaum kontrollierbare neue Bedrohung wird, hängt wesentlich davon ab, ob Staaten und Unternehmen rechtzeitig verbindliche Grenzen für den autonomen Zugriff leistungsfähiger KI-Systeme auf die reale Welt schaffen.