FCAS AG Technikverantwortung, Protokoll der Sitzung

1. Begrüßung & Status

Begrüßung & Rückblick auf die Aktivitäten der Gruppe seit dem letzten Treffen am 01./02. Oktober 2020 in Berlin (Protokoll-Abstimmung, Gastbeitrag „Behördenspiegel“, Veröffentlichung der Beiträge von Bischof Overbeck & BND-Präsident Kahl, Interview für die „Wehrtechnik“ mit Ulrike Franke & General Funke sowie Bischof Overbeck & General Rieks).

Vereinbarte Zielsetzung 2021: a) Entwicklungen hin zu einer „ethics by design“-Methode sowie b) Ausweitung der Gruppe und Einbindung französischer & spanischer Stakeholder. Punkt a) ist auf den Weg gebracht und wird in der heutigen Sitzung als Ideenskizze vertieft. Punkt b) wurde intern erörtert mit dem Ergebnis, dass die Einbindung spanischer & französischer Teilnehmer erstmalig in der Herbstsitzung am 1. Oktober 2021 erfolgen soll, und nicht in einer virtuellen Sitzung.

Kurze Vorstellung der Teilnehmerinnen und Teilnehmer, die heute erstmalig an einer Sitzung der AG Technikverantwortung teilnehmen.

Überleitung zu Tagesordnungspunkt.

2. Vorstellung & Diskussion des Papiers der Airbus-Ingenieure „The responsible use of AI in a FCAS“

Präsentation “The responsible use of AI in a FCAS”

PDF öffnen

Zielsetzung, die theoretischen Überlegungen in die Praxis zu implementieren. Das heißt, wie kann man die theoretischen Problemstellungen praktisch implementieren und Lösungen aufzeigen, die aus einer Engineering-Perspektive kommen, zugleich jedoch von ethischen & rechtlichen Aspekten flankiert werden. Im Kern geht es also darum, ein ganzheitliches Design für ein FCAS zu gestalten, in das alle genannten Facetten & Komponenten einfließen. Ein Referenzrahmen könnte dabei der IEEE 7000 Standard sein, den wir uns im Zuge der Entwicklung erster Überlegungen näher angesehen haben, gemeinsam mit den Entwicklern desselben.

Ein Schritt in diese Richtung ist das von KI-Ingenieuren erstellte ausführliche Papier „The responsible use of AI in a FCAS“, in dem zahlreiche für ein FCAS relevanten Technologien näher betrachtet und hinsichtlich ihrer ethischen und rechtlichen Komponenten erörtert wurden.

KI hat viel damit zu tun, dass Dinge, die bisher von Menschen unternommen wurden, an Maschinen delegiert werden. Dass das auch zu Ängsten führt, liegt nahe. Eine zentrale Frage dabei ist: wer trägt die Verantwortungen von Aktionen, die per KI durchgeführt werden? Auch für den militärischen Bereich werden Fragen etwa der Regulierung & Standardisierung eingehend erörtert. Die Arbeit der Ingenieurs-Gruppe hat zwangsläufig einen technischen Fokus, möchte sich aber eingebettet sehen in einen Multi-Stakeholder-Ansatz, der die Debatte umfassend gestaltet. Das genannte Papier ist ein erstes Resultat dieser Diskussionen, es ist work-in-progress und soll im Verlauf der Debatten weiter angepasst und ausgebaut werden. Und letztlich geht es auch darum, mit dem Beitrag für technische Transparenz zu sorgen. Bezug genommen wurde bei der Erarbeitung u.a. auch auf den ALTAI-Katalog der EU High Level Expert Group on AI. Im Fokus jedoch stehen die „FCAS AI use cases“, anhand derer die Anwendung von KI in einem FCAS konkret gemacht werden sollen, insbesondere mit Blick auf den sog. Targeting Cycle, also das Auffinden, Lokalisieren, Klassifizieren, Identifizieren und Angreifen von Zielen.

Generell sind diese „use cases“ nicht allzu weit von Anwendungen entfernt, die z.B. in der Robotik oder beim autonomen Fahren diskutiert werden. Allerdings gilt es im militärischen Kontext besondere Spezifika & Sensibilitäten zu berücksichtigen.

Und genau in diesem Kontext, im Targeting Cycle, geht es um die Frage, wie und wo KI sinnvoller- und legitimerweise zum Einsatz kommen kann und sollte. In anderen Worten: Wie kann man Entscheidungen in einem beschleunigten Entscheidungszyklus an ein technisches System delegieren, und zwar unter der Maßgabe, dass dabei die geltenden militärischen Einsatzregeln eingehalten werden und das mit einer ethischen Wertebasis in Einklang zu bringen ist.

Bei den FCAS AI use cases erfolgte eine entsprechende Referenzierung auf den Kriterienkatalog der EU High Level Expert Group on AImit den drei Komponenten Rechtmäßigkeit, Ethik und Robustheit. Daraus resultiert die ALTAI Assessment Liste entlang von 131 Fragen in 7 Kategorien. Es wurde versucht, diese Fragen entlang einer Auswahl der vorher definierten FCAS AI use cases zu beantworten. Dies geschah in der Erwartung, dass die Beantwortung der Fragen des ALTAI-Katalogs auch Hilfestellung geben im Hinblick auf kritische Designaspekte eines zukünftigien FCAS.

Diskussion

Diskussion über daraus resultierenden Arbeitsauftrag für das FCAS Forum. Vorschlag, dass z.B. die Erstellung eines dezidiert für FCAS relevanten Fragenkatalogs denkbar sei. Gedanke, dass die Heterogenität der Gruppe dazu wichtigen Beitrag leisten kann; ebenso wie der IEEE Standard für die entsprechende Implementierung.

Hinweis, dass das ALTAI-Fragenkatalog sehr generisch und allgemein ist; und eben genauso gelte für z.B. Facebook & vergleichbare Social Media Plattformen wie für das Autonome Fahren. Daraus lässt sich noch kein „ethics by design“ ableiten. Vorschlag: „Use cases“ im Detail sehr genau betrachten und mit einem Multi-Stakeholder-Ansatz rangehen, um die jeweiligen Spezifika zu erarbeiten, die es dann beim Design zu berücksichtigen gilt. Die ALTAI-Liste kann dabei hilfreich sein, zentral wird aber sein, dass die richtigen Stakeholder einbezogen sind, also z.B. auch die Operateure, die Pilotinnen und Piloten. Aus dieser Analyse muss ein technologisches und organisatorisches Design für das künftige System resultieren. Das heißt, wir müssen die ethischen Designanforderungen klar definieren und den Ingenieuren als Standards in einer Art „Ethics Roadmap“ an die Hand geben. Wir müssen definieren, welche Rolle der Mensch in einem solchen System spielen soll, grundsätzlich. Und wie generell der verantwortliche Umgang mit derlei Technologien gestaltet sein muss.

Es gibt bereits Projekte, die das Thema behandeln, ALTAI ist sicherlich eine gute Orientierung, aber es gibt in den akademischen Debatten bereits Projekte die das auf der Szenarien-Ebene detaillierter und tiefer betrachten. Beispiel IPRAW, International Panel on the Regulation of Autonomous Weapons.

Papier greift wichtige Aspekte auf, die auch die Bundesregierung in den Genfer Verhandlungen hinterlegt hat. Zudem wichtig: Dürfen nicht statisch denken, also schauen, was heute in einem solchen System technologisch zur Anwendung käme, sondern müssen künftige Entwicklungen und Trends antizipieren und in unsere Reflexionen einbinden (sowohl normativ als auch operativ).

Details der Technologie und des Gesamtsystems sind wichtig; ebenfalls wichtig sind zudem die militärischen Rahmenbedingungen, also die Operation selbst, deren Umfeld, Vorbereitung etc. Wie sieht es da aus, muss man mit Zivilisten rechnen etc.

Wie werden bis zur avisierten Inbetriebnahme eines FCAS mind. noch zwei große Technologiesprünge erleben. Und künstliche Intelligenz wird dabei im System nicht zentriert verteilt, das ist das Prinzip des System-of-System-Ansatzes; ein Teil wird im Flugzeug sein, ein anderer in den unbemannten Komponenten, wieder ein anderer in der Combat Cloud. Dem muss ein „ethics by design“ Rechnung tragen, im Rahmen eines mehrstufigen Analyse- und Entwicklungsverfahrens. Darum ist es gut, dass wir die Diskussion hierüber so früh begonnen haben.

Notwendigkeit, das Thema nicht in der Breite zu erörtern, sondern ganz konkret entlang der Technologien, um die es in einem FCAS geht – ergebnisorientiert!

FCAS als Projekt ist nicht nur eine technologische Herausforderungen, sondern gerade auch eine gesellschaftliche und politische. Noch haben wir keine Methode, dieser Herausforderung umfassend, gesellschaftlich gerecht zu werden. Müssen die FCAS-Debatte in die übergreifenden Debatten einbetten, etwa im EU-Kontext, wo auch Vorschläge für die verantwortliche Nutzung von KI erarbeitet werden.

Man sollte die Debatte nicht auf KI reduzieren – so wichtig das Thema auch ist. Aber: Es gibt im Kontext FCAS auch weitere sensible Bereiche, die es zu adressieren gilt, z.B. die derzeit zunehmend diskutierte Militarisierung des Weltraums

3. „Ethics by design für ein FCAS“: Ideenskizze für die Operationalisierung entlang ausgewählter Anwendungsfelder („use cases“)

Präsentation “FCAS Ethical AI Demonstrator”

PDF öffnen

Vorstellung einer ersten Ideenskizze, einer konkreten „case study“, die als Demo-Applikation idealerweise den Forumsmitgliedern direkt per Web zur Verfügung gestellt werden soll, um die Interaktion mit einer echten KI im militärischen Kontext persönlich erfahrbar zu machen. Konkreter Anwendungsfall: Aufklärung, Erkennung und Identifikation feindlicher Luftabwehrkräfte mit Hilfe einer KI-basierten automatischen Zielerfassung. Operationeller Hintergrund: SEAD/DEAD (Suppression/Destruction of Enemy Air Defences). Hier: Suche nach den Gefechtsfahrzeugen des feindlichen Luftverteidigungssystems „SA-22 Greyhound“, hierbei handelt es sich um schwere vierachsige Lkw mit 12 montierten Raketen, Radartechnik etc., mobil eisatzbereit binnen 5 Minuten. Zeit von Zielerfassung bis Abschuss 4 bis 6 Sekunden. Herausforderungen: die KI muss auf die „richtigen“ Merkmale angelernt werden, da ansonsten ggf. Verwechslung mit schweren vierachsigen Baustellenfahrzeugen möglich; unterschiedliche Konfiguration des Aufbaus bei Transport (ggf. abgeplant) und in Gefechtsbereitschaft. Auch gezielte Tarnung möglich.

Es handelt sich dezidiert um eine erste Ideenskizze, die es gemeinsam zu gestalten und weiterzuentwickeln gilt.

Was die Maschine gut kann: Eine Vielzahl an Zielen erkennen, sortieren, in Kategorien schieben und die Resultate dem Menschen präsentieren. Dafür würde der Mensch sehr viel länger benötigen. Was der Mensch leisten muss: er oder sie muss die Ambiguität in den gelieferten Bildern bzw. Informationen auflösen. D.h., bei Mensch-Maschine-Interaktion gilt es klug aufzulösen: was kann der Mensch gut, was kann die Maschine gut.

Frage, inwieweit es Sinn macht, ausschließlich auf optische Signale zu setzen, wenn der Gegner z.B. einfach eine farbige Plane über den LKW ziehen kann und dadurch entsprechend das Bild verzerrt. Die nächste Generation derlei Fahrzeuge wird vermutlich Counter-KI-Maßnahmen integriert haben, zur optischen Verzerrung. Antwort: Datenfusion mit SIGINT ist angedacht.

Ziel ist es, KI robust zu machen – natürlich wird der Gegner entsprechend reagieren, darauf muss man dann ebenfalls reagieren.

Ziel der Debatte ist es, zu schauen, ob wir in die richtige Richtung denken; oder ob wir nachjustieren oder ggf. gänzlich umdenken müssen.

Im realen Einsatz muss der Pilot/die Pilotin sehr viel mehr Parameter beachten als im skizzierten Szenario. Und diese sind allesamt dynamisch, d.h., sie verändern sich in Sekunden oder Sekundenbruchteilen. Das heißt, es würde Sinn machen, im Szenario die Parameter ebenfalls dynamisch zu gestalten; und dann überlegen, bei welchen Parametern sich der Operateur wie entscheidet. Man könnte da z.B. 3 Abstufungen einbauen. Und: auch bei der Zeitschiene muss man evtl. noch etwas nachjustieren. Dass man im Flugzeug 30 Sekunden Zeit hat für eine Entscheidung, ist sehr unrealistisch; i.d.R. sind die Zeitfenster für Entscheidungen sehr viel kürze, etwa bei 3 bis 5 Sekunden.

Aufgabe, über das Design des Systems dem Operateur mehr Zeit einzuräumen. Das bedeutet, dass die Aufklärung über entsprechende technische Möglichkeiten, etwa satellitengesteuert, entsprechend verbessert werden muss. Durch die frühzeitige Generierung und Aufbereitung von Datensätzen, lässt sich dann „meaningful human control“ ermöglichen, da der Operateur den nötigen Vorlauf & alle Informationen für seine/ihre Entscheidung hat.

Das hängt immer auch von der Mission ab. Hat man etwas als Operateur eine Lage am Boden, die man 5 Minuten mit dem menschlichen Auge beobachten muss, um sich ein Bild zu machen? Zugleich aber gibt es auch Aufklärung die anderenorts erfolgt, etwa über ein AWACS oder die Kontrollstation am Boden. Aber gibt es unterschiedliche Entwicklungsdynamiken: manchmal muss man einen Konvoi in Echtzeit beobachten, manchmal reicht ein aufbereiteter Datensatz, der zur Verfügung gestellt wird. Wobei man aus der Operateurs-Perspektive dazusagen muss, dass ein Szenario, bei dem man als Pilot einer Entwicklung am Boden 5 Minuten ungeteilte Aufmerksamkeit zukommen lassen kann, eher unwahrscheinlich ist.

Erwartung, dass bei einem FCAS das eigentliche Fliegen der Plattform nicht mehr die Hauptaufgabe des Operateurs sein wird, so dass Kapazität da ist, den Fokus auf andere Dinge zu richten. Und dass sich durch entsprechende Technologien dann das Zeitfenster für menschliche Entscheidungen vergrößern lässt. Das basiert auf der Frage: Was kann ein Mensch/Pilot besser? Was kann die Maschine besser? Und entsprechend müssen die Aufgaben zugeteilt werden. Und hier kann KI einen wichtigen Beitrag leisten. Sicherlich kann KI besser sämtliche gegnerischen Waffensysteme erkennen. Wenn es dann aber in die Nuancen geht, in bestimmte denkbare Abweichungen, wenn es darum geht, die Ambiguitäten aus dem Bild zu nehmen, hierfür bedarf es des Menschen.

Es geht nicht darum, quantitativ immer mehr Technologie ins System zu packen; sondern darum, zu klären, wer oder was liefert in bestimmten Situationen das beste Resultat. Entsprechend gilt es die bestimmten Levels der Automatisierung zu gestalten.