Wenn künstliche Intelligenz funktionieren würde
Wenn künstliche Intelligenz funktionieren würde | Zeichnung von Stephan Ink

Murmeltiertag in Genf: Probleme, Knackpunkte, mögliche Lösungen

Die Beratungen über ein mögliches Verbot autonomer Waffen gehen in eine kritische Phase (siehe Teil 1 dieses Beitrags). Welche Themen sind für das weitere Vorgehen zentral und wo sind Auseinandersetzungen absehbar?

Autonome Waffen haben nur bedingt etwas mit künstlicher Intelligenz zu tun

Die Frage, was genau unter einer autonomen Waffe zu verstehen ist, hat die Debatte in Genf seit ihrem Beginn belastet. Alle bisherigen Treffen konnten keine allgemein akzeptierte Definition hervorbringen und es ist unwahrscheinlich, dass es diesmal gelingen wird. Eine Definition ist ebenso wichtig wie schwierig. Denn sie zieht die Grenze zwischen erlaubten und verbotenen Entwicklungen und Waffensystemen. Sie muss idealerweise möglichst trennscharf sein, zwischen destabilisierenden und unerwünschten Systemen einerseits und weniger destabilisierenden Systemen andererseits unterscheiden und gleichzeitig diese Grenze so ziehen, dass im Idealfall eine Überwachung des Verbotes möglich ist.

Einige Staaten schlagen aktuell vor, die definitorische Grenze zwischen zulässigen automatisierten und verbotenen autonomen Waffensystemen entlang des Einsatzes künstlicher Intelligenz im Waffensystem zu ziehen. Schon 2018 hatte z.B. Deutschland in Genf den Aspekt eigenen „Lernens“ auf Basis künstlicher Intelligenz für eine mögliche Definition autonomer Waffen hervorgehoben. Mitte März 2019 erklärte Japan, sich verstärkt für die Regulierung letaler autonomer Waffensysteme – explizit verstanden als KI-basierte Systeme – einsetzen zu wollen. Auch China hebt den Aspekt selbständigen Lernens in der eigenen Definition hervor. Das Argument ist hier, dass es meist nicht möglich ist nachzuvollziehen, was KI-Systeme lernen und eine Vorhersehbarkeit der Handlungen nicht mehr gegeben ist. Ist es also denkbar, dass sich die in Genf diskutierenden Staaten nun endlich auf eine Definition auf Basis lernfähiger KI einigen?

Auf den ersten Blick scheint das Argument durchaus schlagend. Auch würde so dem Wunsch vieler Militärs entsprochen, die Diskussion nur auf zukünftige Systeme zu fokussieren, da maschinelles Lernen in Waffensystemen wohl noch keine Anwendung findet.

Der Fokus auf selbstlernende KI als Differenzkriterium verschleiert allerdings, dass die Trennung zwischen autonomen und automatisierten Systemen deutlich fließender ist, als hier suggeriert wird. Das amerikanische Verteidigungsministerium hat in der 2012 erstveröffentlichten und 2017 im Wesentlichen bestätigten Direktive 3000.09 autonome Waffensysteme als Waffensysteme definiert als „[a] weapon system that […] can select and engage targets without further intervention by a human operator”, also ein System, das die Zielerkennung und -auswahl mit der Entscheidung, das Ziel zu bekämpfen, zusammenführt und auf einen Menschen, der die Zielentscheidung aktiv bestätigen muss, verzichtet. Diese Definition, die auf die zentrale bzw. in der Terminologie des Roten Kreuzes kritische Funktionen eines Waffensystems – Zielerkennnung, Zielidentifizierung und Zielbekämpfung – verweist, zeigt, dass KI mitnichten ein Kriterium für eine autonome Waffe sein muss. Ausreichend komplexe Wenn-dann-Regeln reichen durchaus für ein autonomes Waffensystem nach diesem Verständnis aus. Die Gretchenfrage wird dann, ob wenn-dann-basierte Systeme vorhersagbarer sind als KI basierte – und damit unproblematisch. Allerdings ist bei einer ausreichend hohen Komplexität die Vorhersagbarkeit für den menschlichen Bediener auch nur noch bedingt gegeben. Kommen unerwartete Parameterkonstellationen zusammen, kann sich auch ein vermeintlich regelbasiertes System unerwartet, gefährlich, tödlich und eskalierend verhalten. Die Vorstellung von Kontrolle ist dann nur eine Illusion, die davon ausgeht, dass sich die Wirklichkeit immer ausreichend nah an den Testszenarien abspielt. Einer der weltweit führenden Experten zu autonomen Waffen, der ehemalige US-Soldat Paul Scharre kommt deshalb auch zu dem Schluss:

Es ist aber leider zu vermuten, dass einige Staaten in Genf weiterhin lieber diskursives Jiu Jitsu betreiben, als sich dem Argument zu stellen, dass ihre Definition viele hochproblematische Waffensysteme nicht erfasst.

“Meaningful human control” als Lösung?

Die NGOs versuchen das Problem einer fehlenden Definition dadurch in den Griff zu bekommen, dass sie statt einer konkreten Definition des zu kontrollierenden Gegenstands ein abstraktes Prinzip, das der „bedeutsamen menschlichen Kontrolle“ (BMK), möglicherweise sogar als völkerrechtliches Prinzip, vorschlagen. Grundidee ist, die Entscheidung über Leben und Tod nicht Maschinen zu überlassen, sondern zwischen den kritischen Funktionen Zielerkennung/Zielauswahl und Zielbekämpfung eine fundierte menschliche Entscheidung zu belassen. Dieser Ansatz erscheint auf den ersten Blick vielleicht vielversprechender, hat aber ebenfalls Tücken. Eine steckt in der Operationalisierung des Begriffs „bedeutsam“. Einem Alltagsverständnis zufolge bedeutet „bedeutsam“, dass die Entscheidung informiert (ausreichende Transparenz der Datengrundlage) und reflektiert (ausreichender Zeitraum zur kognitiven Verarbeitung der vorhandenen Informationen) erfolgen muss, sodass sich der Mensch der Tragweite seiner Entscheidung bewusst werden kann. Damit ist das Problem umrissen, denn was genau bedeutet “bedeutsame menschliche Kontrolle“ und wo ist die Grenze zu ziehen, etwa zwischen dem Zeitraum, den ein Mensch braucht, um sich der Tragweite seiner Entscheidung bewusst zu werden und Systemen, bei denen der menschliche Entscheidungszeitraum auf das absolute Minimum begrenzt und der Mensch zum pro-forma Entscheider degradiert wird.

Hinter der Forderung nach bedeutsamer menschlicher Kontrolle könnte sich vermutlich sogar eine Mehrheit der Staaten und ihrer Militärs versammeln, auch wenn einige Staaten, wie z.B. Australien, das Konzept weiterhin ablehnen. Durchschlägt das Konzept bedeutsamer Kontrolle also den Gordischen Definitionsknoten? Hier kommt ein grundsätzliches Problem der Rüstungskontrolle zum Tragen: Selbst wenn es gelänge, das Konzept der bedeutsamen menschlichen Kontrolle konsensual zu operationalisieren, könnten Staaten auf einem System der Verifikation bestehen, das Verstöße gegen das Gebot bedeutsamer menschlicher Kontrolle mit hoher Wahrscheinlichkeit und rechtzeitig erkennt, sodass Gegenmaßnahmen möglich werden. Allerdings reibt sich diese Anforderung mit der technischen Problematik: Die entscheidenden Elemente für Autonomie sind nicht in der Hardware, sondern in der Software zu suchen, was die Überprüfung noch einmal deutlich erschwert.

Wenn man den Weg der bedeutsamen menschlichen Kontrolle in Genf also weiter verfolgt (wovon auszugehen ist), sollten zwei parallele Maßnahmen erfolgen, um mögliche Kritik am Konzept zumindest abzuschwächen.

Innovative Konzepte und eine ausgewogenere Diskussion

Erstens sollten mehr Ressourcen in die Entwicklung neuer und innovativer Rüstungskontrollmaßnahmen investiert werden. Rüstungskontrolle steht immer im Spannungsfeld zwischen dem Wunsch nach hoher Transparenz bei gleichzeitiger Gefahr zu intrusiv zu wirken und sicherheitsrelevante Geheimnisse preiszugeben. Es ist nicht vorstellbar, dass Staaten bereit sein werden, Inspektoren Einblicke in den umfangreichen Quellcode ihrer Waffensysteme zu gewähren. Auch würde dies nur bedingt hilfreich sein, da Software in kürzester Zeit aktualisiert werden kann. Gleichwohl sind Konzepte denkbar, die zum Beispiel aus erfassten Telemetriedaten ex post eine Ableitung des Grades autonomen Verhaltens (also ohne menschliche Kontrolle) ermöglichen könnten. Alternativ ist es denkbar, dass Software in die Lage versetzt wird, Software zu kontrollieren. Hier muss schnell intensiv geforscht werden.

Zugegeben: Der Glaube mit technischen Lösungen eine ausreichend sichere Verifikation menschlicher Kontrolle zu erzielen ist ein Strohhalm. Allerdings wurde es bislang versäumt, die vorhandenen Möglichkeiten konsequent auszuloten. Entsprechend sollte eine internationale Task Force Rüstungskontrolleure, Militärs und vor allem Informatiker zusammenbringen, die sich ausschließlich der Frage, ob, und wenn ja wie Softwarecode tatsächlich verifiziert werden kann, widmet. Angesichts der starken Unterstützung, die ein Verbot autonomer Waffen in Technologiekreisen erfährt, sollten die kritischen Firmen ihren Worten Taten folgen lassen und qualifizierte Mitarbeiter für eine solche Task Force bereitstellen.

Der zweite Ansatz setzt daran an, dass das Prinzip bedeutsamer menschlicher Kontrolle eine maximal breite Unterstützung erfahren muss, um auf der Handlungsebene der Staaten wirkungsmächtig zu werden. Das würde die Verifikationsproblematik zwar nicht lösen, das Vertrauen in eine breite Einhaltung der Norm aber stärken und die Hoffnung nähren, dass nach der grundsätzlichen Festlegung auf einen Bann das Konzept auch ausreichend genau ausbuchstabiert werden kann. Dazu müsste die Norm nicht nur quantitativ von vielen Staaten akzeptiert werden, sondern auch von den technologisch führenden Staaten akzeptiert werden. Wie könnte man aber gerade die Staaten, die technologisch besonders fortgeschritten sind, dazu bekommen, sich dem Gebot zu öffnen?

Hier wird es zum Problem, dass der kritische Diskurs oft zu eng geführt wurde. Kritiker autonomer Waffensysteme greifen in ihrer Kritik in der Regel auf drei zentrale Themenkomplexe zurück, nämlich ethische, völkerrechtliche und sicherheitspolitische Argumente. Allerdings ist dieses Dreieck in der Debatte nicht gleich gewichtet. Nicht zuletzt durch die NGOs werden die ethischen und völkerrechtlichen Argumente deutlich stärker als die sicherheitspolitischen Argumente hervorgehoben. Dies ist angesichts der Geschichte vieler NGOs, die sich besonders im Bereich der humanitären Rüstungskontrolle mit dem Blick auf individuelle Not und persönliches menschliches Leid engagieren, nachvollziehbar. Allerdings muss man zur Kenntnis nehmen, dass die vorgebrachten rechtlichen Bedenken bei autonomen Waffen zumindest diskussionswürdig sind, da es zumindest nicht auszuschließen ist, dass zukünftige Software Völkerrecht ausreichend gut umsetzt, um als rechtskompatibel zu gelten. Und es ist auch ein Fakt, dass die überzeugenderen ethischen Bedenken die bremsenden Staaten oft ungerührt lassen. Auch wenn die sicherheitspolitische Implikationen autonomer Waffen inzwischen stärker diskutiert werden, so sollte man deshalb noch viel stärker die destabilisierenden und eskalierenden Potenziale autonomer Waffen hervorheben. Autonome Waffen sind nicht nur rechtlich fragwürdig und ethisch verwerflich. Sie setzen die Völkergemeinschaft darüber hinaus der Gefahr eines Rüstungswettlaufs mit unkalkulierbaren Folgen, einem rasend schnell eskalierenden Krieg und dem Verlust der Kontrolle über extrem mächtige Waffen aus. Daran kann kein Staat ein Interesse haben. Diese Nachricht gilt es den Bremsern, und allen Politikern und Militärs, deren Augen doch insgeheim funkeln, wenn sie sich die Fähigkeiten hochgradig automatisierter oder vollautonomer Waffen ausmalen, in aller Deutlichkeit zu übermitteln. So können die Bremser vielleicht ins Boot geholt werden. Auf der Seite der Kritiker heißt das aber auch, sich klassischen sicherheitspolitischen Argumenten und bestimmten autonomen Funktionen zu öffnen. Das heißt, in einen offeneren Dialog zu treten, wo konkrete Gefahren gesehen werden, und wo nicht. Unter Umständen müssten Ausnahmen im Prinzip zugelassen werden. So ist es nur schwer vorstellbar, dass Staaten autonome Waffen zur Abwehr von anfliegenden Geschossen und Granaten dem Gebot bedeutsamer menschlicher Kontrolle unterwerfen, wenn dies die Chancen auf erfolgreiche Verteidigung verhindert. Dies geht aber nur mit einem integrativen Ansatz, der alle zentralen Akteure ins Boot holt. Ob dies mit einem strengen völkerrechtlichen Verbot gelingen kann, oder ob der deutsch-französische Ansatz, mit einer politischen Erklärung zu beginnen, auf Basis derer man weiterarbeitet, muss die Diskussion zeigen. Die Hoffnungen ruhen nun auf dem neuen Vorsitzende der GGE, dem es vielleicht gelingt, das argumentative Dreieck wieder gleichschenklig zu gestalten und sicherheitspolitische Fragen stärker zu berücksichtigen.

Niklas Schörnig
Dr. Niklas Schörnig ist Vorsitzender des Forschungsrats, wissenschaftlicher Mitarbeiter und Koordinator der Forschungsgruppe „Research on Emerging Technologies, Order and Stability (rETOS)“ der HSFK. Er forscht zu Emerging Military Technology, der Zukunft der Kriegsführung und Rüstungskontrolle. // Dr. Niklas Schörnig is a chair of Resarch Council, Senior Researcher and Coordinator of “Research on Emerging Technologies, Order and Stability (rETOS)” Research Group at PRIF. His research focusses on emerging military technology, the future of warfare, and arms control. | Twitter: @NiklasSchoernig

Niklas Schörnig

Dr. Niklas Schörnig ist Vorsitzender des Forschungsrats, wissenschaftlicher Mitarbeiter und Koordinator der Forschungsgruppe „Research on Emerging Technologies, Order and Stability (rETOS)“ der HSFK. Er forscht zu Emerging Military Technology, der Zukunft der Kriegsführung und Rüstungskontrolle. // Dr. Niklas Schörnig is a chair of Resarch Council, Senior Researcher and Coordinator of “Research on Emerging Technologies, Order and Stability (rETOS)” Research Group at PRIF. His research focusses on emerging military technology, the future of warfare, and arms control. | Twitter: @NiklasSchoernig

Weitere Beiträge zum Thema

Time for revisions: Local ownership in the UN mission in the DR Congo The UN peacekeeping mission in the DR Congo comes to an end. This happens at a time when the country and especially the eastern provinces are still experiencing violence and armed ...
Vom Scheitern der Bündniskooperation mit Russland. Am 27. Mai wird die NATO-Russland-Grundakte 25 Jahre alt Die NATO-Russland-Grundakte vom 27. Mai 1997 wird 25 Jahre alt. Angesichts der völkerrechtswidrigen Annexion der ukrainischen Halbinsel Krim im März 2014 und der Destabilisierung d...
Die Wahlprogramme zu Auslandseinsätzen der Bundeswehr In den letzten drei Jahrzehnten haben unterschiedliche Mehrheiten im Bundestag die deutschen Streitkräfte in Dutzende Auslandseinsätze außerhalb des NATO-Gebiets geschickt, und das...