FCAS AG Technikverantwortung Protokoll der Sitzung

31. März 2023 Berlin

Programm Update

Begrüßung durch Mike Schoellhorn. Hervorhebung der Bedeutung von KI und Algorithmen für die moderne Kriegsführung und für ein Programm wie FCAS.

Status Update zum Programm und zur Arbeit der AG Technikverantwortung. Insbesondere die Ergebnisse des Workshops „Applied Ethics, AI & FCAS“ am 13. Januar 2023 im Evangelischen Kirchenamt in Berlin.

Die Diskussion über die aktuelle Lage machte deutlich, wie sehr sich die geostrategische Lage mit dem russischen Angriff auf die Ukraine verändert hat.

In diesem Zusammenhang wurde die europäische Dimension der deutsch-französischen-spanischen Kooperation nochmals unterstrichen.

Military Threat Scenarios 2040

Ben Hodges bot auf der Grundlage seines Buches “Future War: Die Bedrohung und Verteidigung Europas“ einen Überblick über militärische Bedrohungsszenarien, der auch der aktuellen Kriegsentwicklung in der Ukraine Rechnung trug.

Vier Thesen:

Soldaten kämpfen besser, wenn sie ethisch begründeten Richtlinien folgen.
Kriege gewinnt derjenige, der sich am schnellsten an die sich dynamisch verändernde Lage anpassen kann.
Präzision ist (auf lange Sicht) besser als Masse.
(Einfache) neue Technologien mit neuen Konzepten sind eine Gefahr für hochentwickelte (alte) Technologien und Konzepte.

Diskussion:

Wissen wir mehr über die russische Armee jetzt als vor einem Jahr?

Die beiden größten Überraschungen seien die mangelnde Qualität der russischen Luftwaffe und Marine. So sei das Flaggschiff Moskwa durch Drohnen abgelenkt und von Raketen versenkt worden. Die Mannschaft habe eher sich selbst gerettet als das Schiff, das wohl zu retten gewesen wäre. Offen sei, über wie viel Munition und wie viele Soldaten Russland noch verfüge.

Macht „Ethik“ Soldaten performanter gegenüber unethisch Handelnden?

Entscheidend sei der Zusammenhalt zwischen den Soldaten. Ferner sei Vertrauen gegenüber der Armee als solcher und insbesondere zu den jeweiligen Vorgesetzten wichtig. Wenn kein Vertrauen zwischen den Beteiligten bestehe, schwindet die Kampfkraft.

Auch „Humans in the Loop“ können Fehler machen. Wer ist verantwortlich?

KI-basierte Systeme müssten unbekannte Herausforderungen bewältigen. Dazu müssten die Diskussionen auf Ebene der Ethik, der Rules of Engagement und der Concepts of Operations beitragen. Wenn Technologie und Mensch versagten, gäbe es Untersuchungen. Fehler könnten an jeder Stelle der Befehlskette auftreten. Die erforderlichen Übungen und Prozeduren würden weiterentwickelt. Insbesondere müssten für KI-basierte Systeme Doktrinen entwickelt werden, gemäß denen menschliche Kontrolle gewahrt bliebe, wenn sie anwendungsspezifisch eingesetzt würden. Solange Menschen richtig orientiert wären und der Wille bestehe, unvermeidliche Fehler auch auszuhalten, seien verantwortbare Systeme möglich. Die Politik habe die Verantwortung, die Soldaten bestens auszustatten. Die Bundeswehr stehe in der Verantwortung, diese auch zu nutzen. Man müsse Sicherheit bei den Entscheidern gewinnen, indem man sie in den Prozess einbeziehe. Verantwortlichkeit sei wichtig und müsse beachtet werden.

„Ethics-by-Design“: KI in FCAS – Status des Demonstrators

Autonome Systeme und sogenannte General AI wurden einleitend von automatisiert operierenden Systems of Systems wie FCAS abgegrenzt. Als charakteristische KI-Anwendung im militärischen Kontext betrachteten Thomas Grohs und Wolfgang Koch konkrete Phasen des Targeting Cycle, die durch den im Rahmen der AG entwickelten Ethical AI Demonstrator analysierbar werden. Seine Nutzung als Ethical Requirement Operator mit dem Ziel ethische Aspekte von KI anhand konkreter militärischer Einsatzszenarien erfahrbar machen, wurde erläutert.

Insbesondere stand das Problem der Objekterkennung im Fokus. In der Diskussion wurden als politisch relevante Fragen wurde aufgeworfen und erörtert: Soll die KI ein rechtskonformes Ergebnis liefern? Muss die KI eine Regel verstehen? Reicht Umsetzung, die regelkonform ist? Wie verhalten sich Rechtskonformität zu rechtskonformem Verhalten? Eine These lautete, dass politisch und ethisch zu definieren sei, welche Entscheidung eine KI überhaupt treffen dürfe?

In der sich an diesen Impuls anschließenden Diskussion wurde deutlich, dass Schnittstellen geschaffen werden müssten, um Multi-Domain-Fähigkeiten zu gewährleisten. Daten müssten zum richtigen Zeitpunkt am richtigen Ort sein. Dazu wären eine Vielzahl von technischen Herausforderungen zu meistern, insbesondere was bei einem Ausfall der Kommunikation geschehe. Entwicklungsziele müssten so frühzeitig wie möglich definiert sowie juristische und operative Elemente in Einklang gebracht werden.

Als Beispiel wurde das Patriot-System genannt, das seit 30 Jahren mit hochautomatisierten Funktionen arbeite, ohne nennenswerten Fragen aufzuwerfen. Ethisch und rechtlich kritische Funktionen würden auch dort von Menschen wahrgenommen. Für FCAS sei zu klären: Was soll der Mensch übernehmen? Wo braucht man seine Kontrolle? Welche Rolle spielt der Mensch? Dies hänge sensitiv vom operationellen Kontext ab. „Leitplanken“ müssten definiert werden, in deren Rahmen die Maschine operieren soll?

IEEE-7000-Standard und dessen Anwendungspotential bei FCAS

In Rahmen der „Sieben Säulen künstlich intelligenter Systeme“ wurde menschzentriertes Design als zentral herausgestellt. Ein interdisziplinärer Ansatz, der Mathematik, Physik, Ingenieurswissenschaften mit Psychologie, Kognitions- und Arbeitswissenschaft zusammendenkt, warf systemtechnische Forschungsfragen für FCAS auf. Das „IEEE Standard Model Process for Adressing Ethical Concerns during System Design” wurde vorgestellt, das zunächst für nicht-militärische Anwendungen konzipieret worden sei. Begründet wurde, inwiefern dieser Standard möglicherweise nicht vollumfänglich für FCAS anwendbar sei.

Sammelband: „Bundeswehr der Zukunft: Verantwortung und KI“

Abgeschlossen wurde Sitzung durch die Vorstellung des Sammelbandes „Bundeswehr der Zukunft. Verantwortung und Künstliche Intelligenz“, an dem zahlreiche Teilnehmer der FCAS-AG Technikverantwortung als Autoren mitgewirkt hatten, herausgegeben von der Konrad-Adenauer-Stiftung.