Die dunkle Seite neuer KI-Sprachmodelle: Wie Large Language Models die Cybersicherheit herausfordern

Die Diskussion um die Gefahren aktueller KI-basierter Large Language Models (LLMs) für unsere Cybersicherheit hat jüngst nach den Veröffentlichungen des neuesten Modells der Firma Anthropic, Claude Mythos, einen enormen Schub erhalten. Zunächst aus (mutmaßlicher) Angst vor Missbrauch nicht veröffentlicht, mit Sicherheitsvorkehrungen dann doch online, in kürzester Zeit von der US-Regierung unter Exportverbot gestellt und wieder vom Netz genommen – das Ringen um Mythos zeigt die Bedeutung von LLMs in der Cybersicherheit exemplarisch auf. Denn solche neuesten KI-Werkzeuge drohen bereits bestehende Angriffsformen zu skalieren, zu beschleunigen und zu personalisieren. Das verschafft Angreifern einen erheblichen Vorteil und setzt die Defensive unter Druck.

Die Entwicklung künstlicher Intelligenz schreitet in atemberaubendem Tempo voran. Ein Bereich sind neueste Versionen sogenannter Large Language Models (LLMs)¹. Diese sind inzwischen nicht nur erstaunlich gut darin, Rechtschreib- oder grammatikalische Fehler in bestehenden Texten zu identifizieren, sondern auch eigene Texte zu verfassen. Neueste generative KI-Modelle beziehen sich auch nicht mehr nur auf Wissen, das bis zu einem bestimmten Stichtag trainiert wurde, sondern sind in der Lage, selbstständig neue Online-Quellen zu erschließen und neueste Entwicklungen zu berücksichtigen (sogenanntes RAG, Retrieval-Augmented Generation)². Die meisten Nutzenden benutzen LLMs zur Optimierung ihrer eigenen Schreibarbeit oder zur Unterstützung bei der Programmierung. Das birgt schon in sich Gefahren, z.B. wenn die KI Halluzinationen in den Text einbaut oder umgangssprachliche Formulierungen in Programmcode umwandelt (sogenanntes vibe coding)³, ohne dass die Nutzenden den Code verstehen und so Sicherheitslücken und Fehler übersehen. Diese Probleme lassen sich aber durch menschliche Kontrolle minimieren. Anders sieht es aus, wenn KI durch böswillige Akteure bewusst eingesetzt wird, um Cybersicherheit auszuhebeln. Hier kann der Einsatz von KI zu einer neuen Dimension an Cyberbedrohungen führen.   

Bösartige Cyberaktivitäten sind kein neues Phänomen und decken eine weite Bandbreite ab: Sie reichen von „Hacktivism“, dem Überlasten von Servern oder der „Verschandelung“ von Webseiten mit politischen Parolen, über Cyberkriminalität, Cyberspionage bis hin zu Cyberterrorismus, oder gar militärischen Cyberoperationen.⁴ Während in den ersten beiden Fällen meist nichtstaatliche Akteure aktiv sind, sind es in den anderen Bereichen vor allem staatliche Dienste. Trotzdem können auch Hacktivism oder Cyberkriminalität Teil einer hybriden Kriegsführung sein, die darauf zielt, Gesellschaften zu destabilisieren.  

Gemein ist den meisten Cyberoperationen, dass sie vorhandenes Wissen um die Schwachstellen der IT-Infrastruktur der Gegenseite ausnutzen. Durch Schwachstellen oder Fehler im Softwarecode von Betriebssystemen oder Anwendungssoftware können Viren eingeschleust oder Trojaner und andere Schadsoftware installiert werden.

Der enorm schnelle Fortschritt bei LLMs bietet böswilligen Akteuren aber auf ganz verschiedenen Ebenen neue bzw. deutlich verbesserte Möglichkeiten, die bislang in der öffentlichen Diskussion über Cyber-Resilienz (zu) wenig Beachtung finden. Denn der Einsatz von LLMs erweitert das Arsenal und die Optionen böswilliger Angriffe erheblich. 

Social Engineering

Auf der ersten Ebene ermöglicht der gezielte Einsatz von textgenerierender KI Phishing-Mails zu verfassen, die sich in Ton und Stil qualitativ erheblich von den Mails unterscheiden, die Nutzer*innen in der Vergangenheit in ihrem Posteingang (und idealerweise im Spam-Ordner) fanden. Waren die Mails in der Vergangenheit oft durch schlechte Sprache oder inhaltliche Fehler relativ leicht zu identifizieren, sind zumindest Mails, die vorgeben von Institutionen wie Banken oder einem Versandhandel zu kommen, von echten Mails oft nur noch durch den Kontext zu erkennen. Trainiert man LLMs individuell nach (sogenanntes Finetuning)⁵, wird es möglich, individuelle Schreibstile nachzuahmen, z.B. den Ton eines Freundes oder den der Vorgesetzten. Wird eine Mail fälschlicherweise einer vertrauenswürdigen Quelle zugeordnet, ist der Klick auf den Anhang nicht mehr weit. Dies gilt neben Text inzwischen aber auch für die Imitation von Stimmen, Bildern oder Videos. Mit nur wenigen Proben ist es heute kein Problem, Stimmen so zu synthetisieren, dass die Identifikation einer Fälschung schwerfällt.⁶ Folgt einer Mail z.B. noch ein Anruf der vermeintlichen Chefin, die darum bittet, sich den Anhang sofort anzusehen, sinkt die Schwelle zum Fehlklick noch einmal deutlich.  

KI könnte böswilligen Akteuren auch dabei helfen, diejenigen zu identifizieren, die besonders anfällig für Täuschungsmanöver sind, z.B. durch die Auswertung von sozialen Netzwerken.⁷ Persönliche Informationen können gezielt gesammelt werden, um das Vertrauen potenzieller Ziele zu erschleichen. Personen, die hier generell geneigter sind, Beiträge ohne Prüfung weiterzugeben oder sich anderweitig als „vertrauensselig“ herausstellen, können als besonders lohnende Ziele herausgefiltert werden. In diesen Szenarien des Social Engineering sind das Angriffsziel Menschen, die als das schwächste Glied einer IT-Sicherheitskette ausgenutzt werden. 

Malwareentwicklung

Ein weiteres Feld, in dem KI gerade besonders große Fortschritte macht, ist das der Softwareentwicklung. Immer mehr Softwareentwickler nutzen Sprachmodelle, um Programmcode zu entwickeln, auf Fehler prüfen zu lassen oder bestehenden Code um neue Funktionen zu ergänzen.⁸ Auch wenn es noch umstritten ist, wie sehr der Einsatz bei der Programmierung die Effizienz der Programmierenden steigert⁹, oder in welchem Umfang die Nutzung von KI neue Sicherheitslücken generiert,¹⁰ zeigt sich trotzdem, dass jede neue Iteration von Sprachmodellen einen zusätzlichen Vorteil bietet. Entsprechend ist es auch nur konsequent, dass die Programmierer*innen von Schadsoftware KI nutzen. Zwar haben die am Markt gängigen ChatBots Sicherheitsmechanismen und Richtlinien vorgegeben, die verhindern sollen, dass die Programmierung schädlicher oder illegaler Inhalte, wie Schadsoftware oder Pornographie unterstützt wird. Diese können nach Einschätzung von Sicherheitsexpert*innen aber mit entsprechendem Aufwand umgangen werden.¹¹ Mindestens kann KI dabei helfen, technische Erklärungen über die Wirkweise von Malware zu bekommen oder bekannten Schadcode zu analysieren. KI kann so einerseits helfen, neuen Schadcode zu identifizieren, gleichzeitig aber auch dazu beitragen, bestehenden Schadcode so zu verändern, dass er durch die Sicherheitsnetze bestehender Anti-Viren-Software schlüpft, oder gar sich selbst verändernden Code erzeugen, dessen Entdeckung noch einmal schwieriger wird.  

Die Identifikation von Sicherheitslücken

Besonders brisant ist die eigentlich nützliche Fähigkeit aktueller Sprachmodelle, bestehenden Code auf Sicherheitslücken hin zu analysieren. Werden Softwareentwickler*innen über Lücken in ihrem Code informiert, können sie diese durch nachträgliche Änderungen, Patches, beheben. Wichtig ist, dass das Wissen um die Lücke nicht vor der Reparatur an die Öffentlichkeit kommt, weil sonst ein Zeitfenster der Verwundbarkeit besteht. 

Im April dieses Jahres machte in IT-Kreisen die Nachricht die Runde, die amerikanische Firma Anthropic habe die neueste Variante ihres Sprachmodells Claude, die Version Mythos, bewusst nicht öffentlich gemacht, weil das System zu gut darin sei, Schwachstellen in Softwarecode zu finden. So wurde berichtet, das System habe „in kürzester Zeit Tausende zuvor unbekannter Schwachstellen in gängigen Betriebssystemen und Browsern gefunden“, zum Teil in Code, der seit Jahren oder gar Jahrzehnten im Einsatz war.¹²  

Anthropic setzte deshalb im April 2026 „Glasswing“ auf, eine Kollaboration mit ca. 50 bedeutenden Internetfirmen, darunter Amazon Web Services, Anthropic, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, the Linux Foundation, Microsoft, NVIDIA, oder Palo Alto Networks, zur gemeinsamen Identifizierung kritischer Sicherheitslücken.¹³ Etwas mehr als einen Monat später verkündete Anthropic, die Kollaboration habe bislang “more than ten thousand high- or critical-severity vulnerabilities across the most systemically important software in the world” identifiziert.¹⁴ Alle Beteiligten konzentrierten sich jetzt darauf, Patches bereitzustellen. Auch wenn die Zahlen bislang nicht unabhängig überprüft werden konnten und nicht sicher ist, ob wirklich jede gefundene Lücke tatsächlich die zugeschriebene Sicherheitsbedeutung hat, ist trotzdem klar, dass sich die Geschwindigkeit, mit der KI-Modelle Schwachstellen identifizieren können, drastisch gesteigert hat. Selbst Unternehmen wie z.B. Microsoft haben u.U. Probleme, einzelne Patches zeitnah nach der Veröffentlichung einer Sicherheitslücke bereitzustellen. Bis die Patches dann auf allen, z.T. Millionen betroffenen Systemen ganz unterschiedlicher Konfiguration verbreitet und installiert sind, dauert es ebenfalls – in der Praxis oft Wochen oder gar Monate und Jahre – eine Verzögerung, die dann von Angreifern ausgenutzt werden kann. Eine KI, die Sicherheitslücken in schneller Folge finden kann, überlastet also diejenigen massiv, die dann für die neue Sicherheit sorgen sollen. Paradoxerweise ist das Problem nicht nur für ältere Systeme, für die der Support unter Umständen eingestellt wurde, Expert*innen für alte Programmiersprachen fehlen oder bei denen die Herstellerfirmen nicht mehr existieren relevant. Auch Open-Source Code, also offen zugänglichen Code, der von Freiwilligen weiterentwickelt wird und der einen erheblichen Anteil am Betrieb des Internets hat, ist betroffen. Denn während Firmen ihren Code noch durch Geheimhaltung schützen können, liegt Open Source Code offen und kann unproblematisch analysiert werden. Erschwert wird die Situation dadurch, dass es keine, oder zumindest keine zentrale Instanz gibt, die dann für das Patching der der Allgemeinheit zur Verfügung gestellten Codes verantwortlich ist und das Verbreiten der Patches noch einmal schwieriger ist. Die Tatsache, dass der Code dezentral und offen weiterentwickelt wird, kann sich nun als Schwachstelle erweisen.¹⁵ Auch erweist es sich als, euphemistisch gesprochen, ungünstig, dass alte Software häufig in kritischen Infrastrukturen, z.B. Kraftwerken oder Krankenhäusern zum Einsatz kommt. Die Gründe sind vielfältig: Mal reicht die alte Software für die Bedürfnisse, in anderen Fällen bedeutet jede Veränderung der Software eine aufwändige Neuzertifizierung, die den Betrieb lähmt. Gelänge es böswilligen Akteuren, durch KI-Unterstützung ein deutlich größeres Portfolio an Sicherheitslücken zu identifizieren, geriete Cybersicherheit auf breiter Front enorm unter Druck. 

Dass diese Gefahren erkannt und inzwischen sehr ernst werden, zeigte die Reaktion der US-Regierung, nachdem Anthropic Anfang Juni eine in den Augen der Firma sichere Variante öffentlich zugänglich machte. Nur wenige Tage später verhängte die US-Regierung ein Exportverbot für die Software, vermutlich, weil man die Möglichkeit der Umgehung der Sicherheitsbeschränkungen befürchtete, und nannte als Grund etwas lapidar „Sorgen um die nationale Sicherheit“.¹⁶ Anthropic sah aber keine Möglichkeit, den Zugang nur auf Amerikaner*innen zu beschränken und nahm seine neuesten LLMs Fable 5 und Mythos 5 daraufhin vom Netz.¹⁷    

Bei dem Problem allein auf Anthropic zu schauen, wäre aber falsch. Es ist davon auszugehen, dass auch andere auf Programmierung optimierte Modelle, wie z.B. die neuesten Qwen-Modelle (3.6/3.7) des chinesischen Anbieters Alibaba in dieser Fähigkeit kaum nachstehen. Und es können auch weniger leistungsfähige, open-source verfügbare LLMs Code auf Fehler und Schwachstellen hin analysieren. Der Geist ist aus der Flasche.  

Empfehlungen

Insgesamt verändert KI Cybersicherheit also drastisch: Anthropic selbst erklärt, der gezielte Einsatz von KI „could make cyberattacks of all kinds much more frequent and destructive“.¹⁸ Genau damit ist zu rechnen: Deutlich mehr und technisch ausgereiftere Cyberangriffe in immer größerer Zahl. Damit verschiebt sich die Balance zwischen Cyberoffensive und Cyberdefensive dramatisch, zumindest wenn die entsprechenden Modelle in die falschen Hände geraten.   

Was ist also zu tun? Verschiedene Reaktionen drängen sich geradezu auf:   

Projekte wie Glasswing sind zu unterstützen, auch wenn gegenüber den beteiligten US-amerikanischen Firmen berechtigte Bedenken hinsichtlich Transparenz und Kontrolle bestehen. Die Europäische Union und ihre Mitgliedstaaten müssen aktiv darauf drängen, in solche Prozesse eingebunden zu werden, oder eigene europäische Alternativen initiieren. Wissen um und die Priorisierung von systemischen IT-Sicherheitslücken sollten nicht exklusiv in den Händen weniger US-Tech-Konzerne liegen, da dies die europäischen Bemühungen um digitale Souveränität im Bereich IT-Sicherheit beeinträchtigen würde.  

Westliche Staaten müssen bei der Identifikation und dem Abgleich von kritischen Sicherheitslücken viel stärker zusammenarbeiten, als das bisher der Fall war. Vulnerability-Equities-Prozesse staatlicher Stellen, also die Frage, ob das individuelle Wissen über eine Schwachstelle und eine mögliche eigene Ausnutzung mehr wiegen soll als die Bekanntmachung und das Patching, sollten die Offenlegung entdeckter Schwachstellen gegenüber Herstellern deutlich stärker priorisieren als deren geheimdienstliche Nutzung.   

Entscheidungen über das bewusste Zurückhalten kritischer Sicherheitslücken sollten nicht allein exekutiven Sicherheitsbehörden überlassen bleiben, sondern national durch unabhängige Kontrollgremien überprüft werden. Ziel muss es sein, dem Schutz der öffentlichen Cyber-Infrastruktur deutlich Priorität einzuräumen. Deutschland kann hier mit einer entsprechenden Haltung vorangehen.  

Schließlich ist die Bedeutung von KI im Bereich von Social Engineering stärker ins Bewusstsein der Öffentlichkeit zu bringen. Zusätzliche Sicherheitsmaßnahmen, z.B. manuelle Rückfragen, ob die Mail wirklich vom behaupteten Absender stammt, sind zeitraubend und enervierend, vermutlich aber nicht zu umgehen. Entsprechende Aufklärungskampagnen durch die einschlägigen deutschen oder europäischen IT-Sicherheitsbehörden sind ein Muss.

Download (pdf): Schörnig, Niklas (2026): Die dunkle Seite neuer KI-Sprachmodelle. Wie Large Language Models die Cybersicherheit herausfordern, PRIF Spotlight, 8, Frankfurt/M . DOI: 10.48809/prifspot2608

Zu den Fußnoten