Protokoll AG Technikverantwortung

TOP 1: Begrüßung (Florian Keisinger, Wolfgang Koch)

Florian Keisinger eröffnet die Sitzung, begrüßt die Teilnehmer und stellt die Agenda und Hinweise zum Ablauf vor.

TOP 2: Wo stehen wir bei FCAS? Status-Update zur Technologieentwicklung (Thomas Grohs)

Thomas Grohs gibt ein Statusupdate zur technischen Situation im FCAS. Eine Diskussion folgt nach dem nächsten Vortrag (Top 3).

Worum geht es? Das Future Combat Air System (FCAS) folgt dem Konzept des Next Generation Weapon System (NGWS), d.h. es verfolgt einen Cross-Plattform-Ansatz bestehend aus Remote Carrier, Combat Cloud und Next Generation Fighter, wobei die Ergänzung der Einzelfähigkeiten dieser Plattformen sichergestellt werden muss. Es soll gesamtheitlich auch auf neuartige Bedrohungen reagieren können. Das ambitionierte Projekt ist eingebettet in ein europäisches und internationales Umfeld, umgeben von bereits bestehenden sowie neuen Systemen und Plattformen. Speziell im NATO-Verbund besteht hier die Pflicht zur Interoperabilität. FCAS ist außerdem in verschiedenen Dimensionen eingebettet, wozu neben Land, See und Raumfahrt auch der Cyberraum gehört; das bedeutet, dass effektive Schutzmaßnahmen gegen Cyberangriffe entwickelt werden müssen, daher ist die Frage nach dem Selbstschutz sehr vielschichtig und die Vernetzung verschiedener Ressourcen gewinnt somit an Bedeutung.

Wie wird FCAS umgesetzt? FCAS ist in einer dem inkrementellen Ansatz folgenden Zeitleiste verankert. Wir wollen nicht warten, bis das System vollständig entwickelt wurde, bevor es in Einsatz kommt, sondern haben vor, praktische Erfahrungen zu machen, aus denen wir lernen wollen. Ab 2025 soll eine Basiskonnektivität erreicht werden, die von jeder FCAS-Kernnation (d.h. Frankreich, Deutschland und Spanien) mitgetragen werden kann. Darüber hinaus soll FCAS als NGW-System hinsichtlich einer hochdynamischen Bedrohungslage eine gesamtheitliche Lösung dazu bieten, den Operateur bei der Lagebilderstellung und dem Entscheidungsprozess der darauf beruhenden Aktionierung digital zu entlasten und zu unterstützen.

Stand der Studien- und Demonstrationsphase. Seit Februar 2018 wird trinational eine Konzeptstudie (Joint Concept Study, JCS) durchgeführt, und es sollen Demonstratoren eingesetzt werden, um die Technologien, die auf dem kritischen Pfad liegen, zu maturieren. Die Sicherstellung der Inbetriebnahme ist ein Schlüsselziel. Hier gilt es, den französischen Ansatz einer frühen praktischen Umsetzung erarbeiteter Konzepte und die auf deutscher Seite zunächst verfolgten theoretischen Entwicklungen und Simulationen in einem gemeinsamen, stimmigen Vorgehen zusammen zu führen. Die Demonstratoren umfassen verschiedene Pfeiler: die Combat Cloud, den Next Generation Fighter und die Remote Carrier. Bei Letzteren handelt es sich um unbemannte Assets (Assistenzdrohnen), die im Einklang mit dem Fighter agil und bedarfsorientiert für die Bereitstellung weiterer Fähigkeiten sorgen sollen. Es soll eruiert werden, wie die Assets geleitet werden sollten, d.h. wie das Situations-Assessment zur erfolgreichen Umsetzung der Mission beitragen kann und welche Rahmenbedingungen eine Rolle spielen. Hierbei ist ein grundlegendes Vertrauen des Endnutzers in die Entscheidungsvorschläge für die Mission essentiell, d.h. man muss eine Vertrauensbasis schaffen, auf der ein Pilot eine Entscheidung basieren kann. Das Thema des erhöhten Tempos zur Entscheidungsfindung ist extrem wichtig, man muss aber verstehen, dass das System unter der letztendlichen Kontrolle und Verantwortung des menschlichen Operateurs steht (des sog. Human in the Loop), der lediglich von digitalen Applikationen unterstützt wird. Dies befähigt den Operateur, schneller und informierter Entscheidungen zu treffen.

Die OODA-Loop. Auch bei FCAS soll die OODA-Strategie als Leitfaden für den Informationsfluss genommen werden. Das Konzept besteht aus den folgenden vier Aspekten:

• Observe (Wahrnehmen): Zunächst nimmt die Sensorik auf, wo und in welcher Situation ich mich befinde. Hiermit kann digital ein Lagebild erstellt werden, wobei speziell bei Vorhersagen über künftige Ereignisse Unsicherheiten mit einbezogen werden müssen. Dies gibt dem Operateur eine verbesserte Wahrnehmungsfähigkeit.

• Orient (Orientieren): Hier steht im Vordergrund, wie die Mission im Kontext der momentanen Situation umgesetzt werden kann bzw. angepasst werden muss. Digitale Unterstützung bringt hier viel Effizienz und kann auch Redundanzen unterstützen, um z.B. den Ausfall eines unterstützenden Assets zu kompensieren.

• Decide (Entscheiden): Es muss sehr genau überlegt werden, inwieweit das System dem Operator Entscheidungen abnehmen kann oder darf. Hierzu gibt es allerdings bisher keinen ethischen Leitfaden. Vielleicht kann man sogar bewusst Unterbrechungspunkte einbinden, um Entscheidungen aktiv herauszufordern. Hier spielen auch legale und ethische Räume mit ein, die technische Seite soll bereitstellen, was gebraucht ist.

• Act (Handeln): Handlungen basieren auf den gefällten Entscheidungen, jedoch muss die Lage konstant im Auge behalten werden. Geschwindigkeit ist hierbei eine Schlüsselfähigkeit, weshalb die sogenannte „Teaming intelligence“ als Unterstützung so wichtig ist. Das System sollte möglichst nur auf der niedrigsten Ebene entscheiden („Lowest possible decision taking“), allerdings müssen weitreichendere Entscheidungen teilweise auch auf höherer Ebene getroffen werden, was dann legale und ethische Aspekte mit auf den Plan ruft.

Zusammenfassung. Die Industrieseite verfällt gerne schnell auf technische Diskussionen, obwohl politische und strategische Aspekte durchaus auch beleuchtet werden müssen. Auch technische und juristische Argumentationen zu berücksichtigen ist sehr wichtig und interessant. Airbus-Kollegen haben in Eigeninitiative angefangen, Lösungsmöglichkeiten für das Thema Technikverantwortung zu finden und analytisch zu beleuchten. Sie wollen bis Ende des Jahres ein White Paper erarbeiten und in dieser Runde vorstellen. Es wird Themen wie digitale Transparenz und Vertrauensbildung behandeln. Ein Gewöhnungsprozess durch Versuch und Irrtum muss stattfinden, persönlich für jeden Einzelnen, aber auch für die Nation mit „Rules of Engagement“ zur Umsetzung.

TOP 3: Strategische Bedrohungsanalyse in Europa 2040 (Dr. Bruno Kahl)

Wir können heute langfristige Prognosen für einzelne Weltregionen und Themenbereiche treffen, aber nicht mit letzter Gewissheit vorhersagen, welche dieser Entwicklungen letztlich geopolitisch ausschlaggebend sein werden. Nichtsdestotrotz können wir einige Megatrends benennen, die das sicherheitspolitische Umfeld Deutschlands beeinflussen und dadurch die Anforderungen an unsere Sicherheitsarchitektur – und damit auch an unsere Streitkräfte – verändern werden.

Als ein wesentlicher Megatrend zeichnet sich schon länger ab, dass die Welt auch in den nächsten 20 Jahren nicht geordneter und übersichtlicher, sondern noch viel diverser und damit auch noch unsicherer werden wird. Weitere Megatrends sind der technologische Fortschritt, eine Verschiebung der Wirtschaftskraft zwischen Europa, China, Indien und den USA, die demografische Entwicklung, Klimawandel und Ressourcenknappheit, Migrationsbewegungen sowie eine – bei allen isolationistischen und nationalistischen Bewegungen auf der ganzen Welt – voranschreitende Globalisierung.

Alle diese Megatrends haben konkrete Auswirkungen auf das zukünftige militärische Operationsumfeld sowie auf den Charakter militärischer Konflikte. Die Akteure des 21. Jahrhunderts sind schneller, komplexer und volatiler. Das Gefechtsfeld wird durch eine Vielzahl staatlicher, nichtstaatlicher sowie quasi-staatlicher Akteure beeinflusst. Dies erschwert die Freund-Feind-Erkennung.

Konflikte werden zukünftig auch in anderen, neuen Formen ausgetragen. Dies gilt sowohl mit Blick auf die vielfältigen Arten hybrider Bedrohungen als auch für Konflikte, die durch Ressourcenknappheit oder den Klimawandel getriggert sind. Wir erleben eine „Vergesellschaftung“ des Krieges: Militärische Operationen werden sich stärker auf das urbane Umfeld konzentrieren und erfassen damit weite Bevölkerungsteile.

Insgesamt wird der Cyber- und Informationsraum weiter an Bedeutung gewinnen – vor allem wenn es um unklare Konfliktdynamiken und unübersichtliche Bedrohungslagen geht. Soziale Medien und Fake News werden als Wirkmittel immer stärker zur Geltung kommen und Kriege um Narrative entbrennen. Digitale Asymmetrien zwischen verschiedenen Playern sowie eine insgesamt erhöhte Mobilität vereinfachen Proliferation wirkmächtiger Technologien in einem gefährlichen Maße.

Digitalisierung, Automatisierung und technologische Innovationen lassen ein „gläsernes Gefechtsfeld“ entstehen, das im Gegensatz zum früheren, undurchsichtigen „Nebel des Krieges“ die aktuelle Lage aufklärt – und damit wertvolle Informationen für eigene taktische Entscheidungen liefert. Alles in allem verlaufen Konflikte der Zukunft hybrider, vernetzter sowie räumlich und zeitlich entgrenzt.

Wir müssen die künftigen Entwicklungslinien anderer Streitkräfte kennen, um uns adäquat wappnen zu können – wobei hier beispielhaft Russland und China betrachtet werden sollen.

Aus russischer Sicht konkurrieren in der heutigen multipolaren Welt die Großmächte eher nicht in direkten militärischen Auseinandersetzungen, sondern in einer steigenden Zahl lokaler und regionaler Konflikte. Dass solche Konflikte militärisch eskalieren, ist derzeit wahrscheinlicher als ein Krieg im großen Maßstab zwischen den Großmächten.

Russland investiert in neue Waffen, Technologien und Taktiken, die es – wie in Syrien – auch im Einsatz erprobt, um seine Abschreckung glaubhafter zu machen. Dabei gewinnen die Dimensionen Luft und Weltraum in den russischen Streitkräften zunehmend an Bedeutung.

Hybride und zumeist verdeckte Einflussnahmen von russischer Seite gewinnen immer mehr an Bedeutung, während moralisch-ethische und rechtliche Überlegungen hinter eine harte Realpolitik unter Einsatz aller verfügbaren Mittel zurücktreten. Dabei bleibt das russische System auch unabhängig von der Person Putins strukturell ähnlich: Die Sicherheitsbehörden sowie das Militär bilden weiterhin den Kern der Staatsmacht. Angesichts dieser Kontinuität bleibt der Konflikt mit dem Westen systembestimmend.

Auch die multipolare Weltordnung kann Russland zum Vorteil gereichen. Eine geopolitische Konzentration der USA auf Asien bietet Moskau Gelegenheit und Chance, wieder verstärkten Einfluss auf Europa auszuüben. Zugleich beobachtet Russland aber den Aufstieg seines östlichen Nachbarn China mit großer Aufmerksamkeit. Aus wehrtechnischer Sicht wird den russischen Waffensystemen bis 2040 weiterhin ein Technologievorsprung gegenüber China vorhergesagt.

Der sicherheitspolitische und militärische Fokus Beijings wiederum dürfte bis 2040 regional bleiben. Souveränitäts- und Territorialkonflikte direkt an Chinas Peripherie sowie die Rivalität mit den USA in der asiatisch-pazifischen Region bleiben dabei die bestimmenden Einflussgrößen.

Die Weltordnung bis zur Mitte des 21. Jahrhunderts wird entscheidend vom weiteren Aufstieg Chinas unter Führung der Kommunistischen Partei geprägt sein. Nach dem erklärten Willen des Staats- und Parteichefs Xi Jinping soll China bis zum hundertsten Geburtstag der Volksrepublik 2049 die Weltspitze auf Augenhöhe mit den USA erreichen. Für Beijings außenpolitische Ambitionen und seine Sicherheitspolitik bleibt Washington somit der Maßstab des eigenen Anspruchs.

Die Militärdoktrin der Volksrepublik zielt darauf ab, die Position der USA als dominierende Militärmacht im asiatisch-pazifischen Raum mittelfristig einzudämmen und langfristig abzulösen. In diesem Rahmen soll die Volksbefreiungsarmee schrittweise reformiert und bis spätestens 2049 fähig sein, hochintensive regionale Kriege im Informationszeitalter zu gewinnen.

Komplexe chinesische Waffensysteme wie Kampfflugzeuge oder bodengebundene Luftverteidigungssysteme werden im Jahr 2040 über Waffenexporte möglicherweise auch in der Nachbarschaft der NATO anzutreffen sein.

Es ist in diesem Kontext für Deutschland wie auch für unsere europäischen und transatlantischen Verbündeten von sicherheits- und verteidigungspolitischem Interesse zu wissen, wie sich russische und chinesische Rüstungsexporte in unsere europäische oder auch afrikanische Nachbarschaft in die internationale Bedrohungslage einfügen könnten.

Insgesamt spielt aus deutscher Sicht im Allgemeinen und der Perspektive von Bundeswehr und BND im Speziellen auch eine große Rolle, wie wir unsere Soldatinnen und Soldaten im Auslandseinsatz noch besser vor feindlichen Gefahren schützen können.

Nicht zuletzt auf Grundlage der nachrichtendienstlichen Erkenntnisse des BND zur strategischen Bedrohungsanalyse für die kommenden Jahrzehnte müssen sowohl die Politik ihre außen- und sicherheitspolitischen Entscheidungen treffen als auch die europäische Industrie Lösungen mit adäquater Technik und Ausrüstung entwickeln.

Diskussion zu TOP 2 & 3:

Es wird erörtert, ob die Digitalisierung nicht nun auch dem „kleinen Mann“ den Bau von Waffen ermögliche und ob dies im Kontext des internationalen Terrorismus nicht höchst gefährlich sei. Zugleich wird jedoch betont, dass die Ausnutzung der Digitalisierung durch Individuen nicht das zentrale Problem sei; die Fähigkeiten von staatlichen Akteuren wie China seien hier als gefährlicher für die westliche Welt einzustufen.

Angesprochen werden auch die Cyberbedrohung und Virtualisierung als Bedrohungspotential. Mögliche Bedrohungen seien durch die Manipulation der öffentlichen Meinung, Technologiespionage und Cyberangriffe auf kritische Infrastrukturen gegeben, wobei viele dieser Aktivitäten unbemerkt blieben. Auch Unternehmen seien betroffen und sähen daher wachsamer auf die Vertrauenswürdigkeit ihres Personals.

Es werden ferner die Außenwirkung von FCAS diskutiert und ob es auch in China und Russland Bestrebungen zu ähnlichen technologischen Entwicklungen gebe. Generell gilt, dass die FCAS-Aktivitäten mit großer Wachsamkeit verfolgt werden. Es gebe Bestrebungen, eigenständige Systeme zu entwickeln sowie Antworten auf westliche Technologien zu antizipieren. Die Frage nach ethischen Erwägungen auf chinesischer und russischer Seite wurde verneint, eine Priorität liege hier auf dem „Überleben“.

Bezüglich des Urteils des Bundesverfassungsgerichts von Mai 2020 wird diskutiert, welche Bedeutung die stärkere Einbindung der Artikel 5 (Meinungs-, Kunst- und Pressefreiheit) und 10ao (Brief-, Post- und Fernmeldegeheimnis) des Grundgesetzes für die Tätigkeiten des BND und auch für das FCAS-Vorhaben hätten. Es wird darauf verwiesen, dass das Gesetz besonders für die Auslandstätigkeiten des BND und auch die Zusammenarbeit mit anderen Geheimdiensten eine wichtige Bedeutung habe.

Weiterhin werden russische Bestrebungen zur Destabilisierung der westlichen Systeme besprochen, und ob es hier ein einheitliches Akteurs-Spektrum gibt. Dargelegt wird, dass das russische System auf die Politik Putins und den Kreml zentriert sei. Putin verfolge zwei Strategien, um das westliche System der Freiheit und des Wohlstands unschädlich zu machen, nämlich durch die Stärkung des eigenen Systems einerseits und durch die Minimierung der westlichen Attraktivität andererseits. Ferner strebe man an, die Macht Russlands durch Drohpotentiale, d.h. durch Aufrüstung, zu vergrößern und in lokalen Konflikten auf Nachbarstaaten kontrolliert Einfluss zu nehmen.

Eine weitere Nachfrage bezieht sich auf mögliche Auswirkungen von weltweiten Klimaveränderungen auf Konflikte, und was dies für militärische Technologien bedeute. Generell wird konstatiert, dass die durch den Klimawandel verursachte Ressourcenknappheit enormes Konfliktpotential berge. Beispielsweise resultiere der Kampf um Wasser in Afrika in asymmetrischen Konflikten, wobei die Parteien oft nicht die geeigneten Mittel hätten, solche Auseinandersetzungen zu führen.

Die beschriebenen Tendenzen zur Verlagerung zukünftiger Konflikte auf die Gesellschaft und den Cyberraum motiviert die Frage, wie ein FCAS-System einerseits hier wertvolle Beiträge leisten, andererseits aber auch selbst das Ziel von Attacken werden könne. Es wird erläutert, dass FCAS durchaus den Cyber- und den urbanen Raum bediene, und dass einzelne Technologiebausteine dort zum Einsatz kommen könnten, hier sei eine Anknüpfung an eine Multi-Domain Combat Cloud denkbar. Natürlich sei hier die Absicherung gegen Cyberangriffe unumgänglich.

Im Kontext der Multi-Domain Combat Cloud wird angemerkt, dass auch Zertifizierung eine Rolle spielen müsse, insbesondere hinsichtlich des schwierigen und hochdynamischen Felds der künstlichen Intelligenz. Hierauf wird erwidert, dass hierzu noch Zertifizierungsregelungen über den Sicherheitsaspekt hinaus definiert werden müssen, insbesondere auf der internationalen Ebene.

Aus Perspektive der Bundeswehr ist ein zentrales Ziel eines FCAS-Systems, ein breites Spektrum an Bedrohungsarten über den Cyberraum hinaus abzudecken, hierzu müsse ebenfalls eine gesamtstaatliche Zusammenarbeit angestrebt werden. Vernetzung und domänenübergreifende Lösungen in einem System of Systems würden hier einen zentralen Mehrwert von FCAS bilden.

Des Weiteren wird die Frage nach einer Gefahr zukünftiger Abhängigkeiten gestellt, insbesondere in Bezug auf digitale Infrastrukturen; Europa gliedere sich dem US-amerikanischen System unter, während China sich digital separiere. Es wird angenommen, dass die Globalisierung nicht mehr aufzuhalten sei und eine globale Vernetzung angestrebt werde, allerdings sei eine Abschottung totalitärer Mächte ebenso realistisch wie problematisch.

Ferner wird das Thema Redundanz bei FCAS angesprochen, demnach die Flugzeugzulassung auf deutscher Seite strengen Vorgaben unterliege, welche Vierfachredundanzen vorsähen. Konkrete Vorgaben zum Thema Command and Control bzw. Monitoring gäbe es derzeit nicht. Hier befinde man sich bei FCAS allerdings erst im konzeptionellen Stadium.

An diesem Punkt gibt es eine Nachfrage zum Observe-Aspekt im OODA-Loop, warum dies im Manned-Unmanned Teaming nicht vorkäme. Es wird dargelegt, dass Teaming-Intelligenz stark auf der Observierung aufbaue, die Algorithmen jedoch auf den taktischen Bereich in den anderen Zykluselementen konzentriert seien.

Schließlich wird der internationale Austausch zum Thema Ethik zwischen den FCAS-Staaten zur Sprache gebracht. Hier gibt es aus Ingenieursperspektive bisher keinen offiziellen Austausch, weder mit Spanien noch mit Frankreich. Kulturell und historisch hätten Frankreich und Deutschland sehr unterschiedliche Herangehensweisen. Verteidigung und Sicherheit seien in Frankreich viel zentralere politische Themen als in Deutschland, dagegen würden verteidigungstechnische Themen in Deutschland deutlich kontroverser diskutiert, da ein ganz anderes Verantwortungsbewusstsein auf deutscher Seite bestehe. Es sei allerdings eine große Bestrebung, baldigst Brücken aufzubauen.

TOP 4: Konstruktive Konfliktkultur (Militärbischof Franz-Josef Overbeck)

Bischof Franz-Josef Overbeck stellt seine Gedanken zu Verantwortung in einer Konfliktkultur vor.
(Bitte beachten: Der Beitrag wird im Wortlaut auf der Website veröffentlicht, dies ist lediglich eine Zusammenfassung.)

Wie steht es eigentlich mit der Verantwortungsperspektive der bisher angesprochenen Aspekte? Wir befinden uns in einer Welt der Verwissenschaftlichung und Technisierung des militärischen Handwerks, hier entsteht die Frage nach dem Handlungs- und Verantwortungsträger. Je tödlicher die Technologien sind, desto mehr müssen wir wissen, was wir tun. Wir müssen uns bewusstmachen, welchem Ziel die Technologie dienen soll, und auf einem Ethos technischer Verantwortung bestehen. Im christlichen Sinne ist dies eine Verantwortung vor Gott und den Menschen, die dem Frieden dienen soll.

Das strukturelle Konfliktpotential ist gestiegen, hier muss die Destruktivität des klassischen Konflikts vermieden werden, da der Mensch Verantwortung auch für technische Systeme hat und auch hier aufgefordert ist, das Gute zu tun und das Böse zu vermeiden. Gerade bei bewaffneten militärischen Konflikten ist es relevant, ethisch konstruktiv zu arbeiten und Konflikte zu deeskalieren. Soldaten müssen einem universell gedachten Frieden dienen. Der Konfliktbegriff ist in seiner Komplexität sozial und politisch zu erfassen. Konflikte können eine produktive Kraft haben, indem sie Fehler und Missstände sichtbar machen und dadurch gemeinsame Lösungen ermöglichen. Wandel und Erhalt von Bestehendem schließen sich nicht gegenseitig aus; bekannte Ordnungen müssen in Frage gestellt werden, damit Prozesse neu gedacht werden können und Wandel zu initiieren.

Man findet eine lange Tradition katholischer und evangelischer Ethik, die, ähnlich zur Aufklärung, zu Reflexion und Autonomie auffordert. Was heißt das nun für den Einzelnen bzw. den Verantwortungsträger? Entscheidend ist eine konstruktive Konfliktkultur, d.h. man soll nicht nur die negativen Aspekte, sondern auch das produktive Potential eines Konflikts erkennen. Auch ist die Reflexion auf das eigene Gewissen wichtig, denn innere Einstellungen müssen reflektiert sein, um Mitverantwortung übernehmen zu können. Hierzu bietet es sich an, auf das Konzept der klassischen Tugenden als Leitplanke für die Ethik zurückzukommen. Gerade die Diskussion um kontroverse Themen und die Suche nach Verbindendem erfordert Klugheit, Mut und Tapferkeit. Der Mensch hat die Fähigkeit und den Willen zum Guten, deshalb kann und darf er der Frage nach dem Richtig oder Falsch nicht ausweichen. Man muss jedoch zunächst seine sittliche Identität finden. Im religiösen Sinn bedeutet Identität die Begegnung zwischen Gott und den Menschen, man kann hier aber auch von Gewissen oder Autonomie im Sinne des Gewissens sprechen.

Ein ethisches Urteil ist nicht nur aus allgemeinen Normen abgeleitet, sondern auch auf Normen angewendet zu reflektieren. Die Erkenntnis von Normen allein ersetzt jedoch nicht die Anwendung des Gewissens, denn die moralische Existenz des Urteilenden steht hier im Zentrum. Wenn man gegen seine eigene Ethik verstoßen muss, verrät man damit seine sittliche Selbstbestimmung, daher muss man sich unter unklaren ethischen Bedingungen auf sein Gewissen zurückbeziehen und die Last von Urteilen auf sich selbst reflektieren können. Das Recht auf Freiheit zu achten bedeutet, dass man sich nicht gegen sich selbst stellen muss.

Der Aspekt der Autonomie von Waffensystemen wirft ethische und auch völkerrechtliche Fragen auf. Der menschliche Entscheidungsträger könnte leicht hinter einem autonomen System verschwinden, und der ethische Konflikt verschärft sich durch die emotionale Abkopplung autonomer Systeme. Wir dürfen nicht vergessen, dass wir in jedem Einsatz eine Fürsorgepflicht gegenüber Kombattanten und auch Zivilopfern tragen, vor allem wenn wir nicht genau wissen, wen wir eigentlich schädigen. Sollte Vollautonomie jemals möglich sein, gäbe es niemanden, der sich verantwortlich fühlte, denn dann gäbe es keine eindeutige Zuordnung von Verantwortung. Das Töten eines Menschen ist niemals legitim, vor allem, wenn niemand dafür Verantwortung übernehmen kann. Deshalb müssen wir uns fragen, wo der Mensch in der hierarchischen Entscheidungskette stehen soll; dies ist nicht nur eine systemische, sondern auch eine persönliche Frage.

Die Verbindung von Mensch und Robotik steht parallel zur Verbindung zwischen Gewissen und Tugendlehre, d.h. die eigenverantwortliche Aktionsfähigkeit ist von zentraler Bedeutung, damit Individuen identifiziert werden können, die für die Schädigung oder Liquidation von Menschen zur Verantwortung gezogen werden können. Eine Entmenschlichung des Kriegs ohne Verantwortungsbewusstsein widerspricht dem Friedenserhaltungsbestreben.

Diskussion zu TOP 4:

Es wird erörtert, wie die Militärseelsorge soldatische Gewissensschärfung unterstütze und wie die genannten ethischen Gesichtspunkte operationalisiert würden. Dabei wird dargelegt, dass man den Soldaten durch lebenskundlichen Unterricht die intellektuelle Ebene von Verantwortungsträgerschaft näherbringe. In der Mitte stehe immer das Gewissen, wobei manche Soldaten zunächst ein eigenes Ethos entwickeln müssten, d.h. den Mitmenschen im Blick zu haben und möglichst keine Opfer von Gewalt erzeugen zu wollen. Die ethische Valenz des Christentums sei hierbei durchaus auch für Nichtgläubige einsichtig.

Ferner wird die Frage gestellt, ob ein global definiertes Ethiksystem für Algorithmen im Sinne von Virtues of Algorithms vorstellbar sei, parallel zum angelsächsischen Begriff der menschlichen Virtues of Mind. Es wird darauf verwiesen, dass Virtues anders definiert sein als der deutsche Tugendbegriff. Es müsse jedoch einen Qualitätsunterschied zwischen Mensch und Algorithmus geben, letzteren könne man keine Tugenden zubilligen. Solange der Mensch eingreife, könne er seine Ethik anwenden und sich seiner Gott-Mensch-Beziehung und der Endlichkeit der Existenz bewusstwerden; hier sehe man nicht, wie dies auf Algorithmen übertragen werden könne.

Es folgt eine Einschätzung der besprochenen Sachverhalte aus Perspektive der Bundeswehr. Viele Soldaten würden mit der Ethikdiskussion erreicht, hier trage das aktive Erleben von Einsätzen erheblich zur Diskussion bei. Bezüglich der Frage autonomer Waffensysteme wird betont, dass zwischen Autonomie und Automatisierung differenziert werden müsse. Wir seien schon heute umringt von hoher Automatisierung, denn aktuelle Systeme ließen sich nicht mehr einfach per Hand steuern. Daher brauche man eine Technologie, die auf ethischen Grundlagen bestehe und den Human in the Loop mit einbeziehe, und man müsse sich fragen, wie Automatisierungsregeln umsetzbar seien. Solche Kriterien müssten im Vorfeld erarbeitet werden, aufgrund derer die Technologie bewertet und das gewünschte Ergebnis ethisch gestützt herbeigeführt werde. Die Aufgabe dieser Diskussionsrunde sei es, im Kontext von FCAS zu erarbeiten, in welchem Rahmen dies möglich sei.

TOP 5: Zwischenfazit von Nora Bossong / Diskussion:

Was ist freier Wille und was ist der Mensch? Die automatisierte Entscheidung steht der menschlichen Entscheidung gegenüber. Was ist der Mensch noch, wenn die automatisierten Entscheidungen überhandnehmen? Hier haben wir sowohl legale als auch ethische Rahmenbedingungen, aber es ist auch wichtig, diese Fragen in der Gesellschaft zu diskutieren.

Krieg oder Frieden, was soll ich tun? Als Autorin muss ich für den Frieden plädieren, allerdings haben sich die globalen Dynamiken verschoben. Wir müssen uns fragen, was ein Nicht-Eingreifen verursachen würde. Die rein pazifistische Sichtweise der 70er und 80er Jahre scheint in der heutigen Zeit nicht mehr tragbar. Die deutsche Position des „nie wieder“ ist bedingt durch ihre Historie sehr speziell, dennoch ist die Konsequenz interpretierbar, denn man kann auch argumentieren: Nie wieder und gerade deswegen. Im Blick auf Afrika sieht man am Beispiel Ruanda 1994, dass ein Nichteingreifen der Vereinten Nationen einen wiederholten, riesigen Genozid nach sich zog, den schrecklichsten der Nachkriegszeit – wenn man den Begriff Nachkriegszeit auf den zweiten Weltkrieg bezieht.

Was kann ich wissen? Eine Hauptaufgabe der breiten Debatte ist es, der Verbreitung von Fake News entgegenzutreten und ihnen eine Diskussionskultur gegenüberzustellen, um ein Abgleiten in radikalisierte, polarisierte Lager zu vermeiden. Eine gesunde und wehrhafte Zivilgesellschaft kann hier ihren Beitrag leisten.

Wie steht es mit den globalen Herausforderungen? Oft werden nur Russland und China als Opponenten der liberal-westlichen Länder angeführt; hier nimmt die westliche Welt gerne einen fleckenlosen „Herzbuben“-Charakter ein. In Bezug auf Afrika jedoch, wo es um Ressourcenausbeutung und destabilisierte Regionen geht, ist die weiße Weste des Westens zumindest eierschalenfarben. Militärische Mittel in afrikanischen Ländern sind zwar recht rudimentär und weit von einem FCAS entfernt, jedoch mitunter sehr schlagkräftig. Hier gehen die Realitäten der Kriegsführung sehr auseinander, vor allem, wenn wir an den Einsatz von Kindersoldaten denken. Oft werden solche Krisenregionen bewusst instabil gehalten, um an benötigte Ressourcen zu gelangen. Man muss sich genau überlegen, wie man sich zu solchen Ländern und Regionen verhält, da man es hier nicht mit guten Demokratien im westlichen Sinne zu tun hat.

TOP 6: Value-based Engineering for Ethics by Design (Sarah Spiekermann, Universität Wien)

Frau Spiekermann stellt ihr methodisches Konzept zu wertebasiertem Engineering vor und bettet diese in den Kontext einer Entwicklung wie FCAS ein. Hierbei vertritt sie die These, dass wertebasiertes Engineering auch organisatorisches Engineering beinhalten muss, einen Prozess zur Identifizierung mit Werten, der den Aufbau von Funktionalität begleitet.

Der Begriff „Ethik“ kann sehr implizit und persönlich gefasst werden; ein Laie würde ihn eventuell mit Moral gleichsetzen. Für Frau Spiekermann geht der Ethikbegriff weiter: es ist die Theorie des Guten und Richtigen – im Alltag, in der Rolle des Soldaten, des Ingenieurs, des Generals – weshalb ein militärisches Projekt wie FCAS ihres Erachtens gar nicht ohne diese Frage auskommen kann.

FCAS ist nicht isoliert von den IT-Problemen der vergangenen 10-20 Jahren zu betrachten:

a. Die Datenqualität ist ein großes Problem für die Zuverlässigkeit von KI Systemen, genauso wie Softwarequalität (Die Fähigkeit zum „Aufräumen“ ist bedingt, wie das Beispiel der 2 Milliarden „Fake Accounts“ auf Facebook zeigt, die erst nach 6 Monaten in einem Schwung entfernt werden konnten.)

b. Hardwarequalität: wie integriere ich Hardware und Software?

c. Geschäftsmodell: bei einem Blick auf die Zulieferer in einem komplexen System of Systems, die unter Geld- und Zeitdruck stehen, stellt sich die Frage, wie viele der Anforderungen wirklich abgearbeitet werden (Unternehmenskultur der Verantwortung vs. des Geldes)

d. Nachhaltigkeit in der Supply Chain: Ressourcenknappheit ist ein Thema, deshalb soll sich FCAS nicht von Hilfs- und Betriebsstoffen abhängig machen, die nicht aus Europa kommen. Bei solchen Projekten geht es oft um eine Schlacht der Materialien. Die Chinesen haben bereits viel in Afrika investiert zu diesen Zwecken, aber wollen wir in 20 Jahren auf einen chinesischen Zulieferer angewiesen sein? Im Krieg ist solch eine Zuliefererkette für Hilfs- und Betriebsstoffe nicht möglich. Chinesen sitzen mit 10.000 Firmen in Südafrika auf 90% der seltenen Erden.

Die Industrie ist übermannt von diesen Problemen, weshalb sich Unternehmen händeringend Prinzipien zusammensuchen, die sie dann der Presse verkaufen können. Aber bedienen wir mit diesen „Industrie“-Listen die Ethik? Wir müssen es schaffen, die fundamentalen systemischen Probleme mitzudenken, damit die agierenden Akteure mittel- und langfristig in der Lage sind, ihrem Gewissen entsprechend zu handeln. Die Maschine muss dem gehorchen, was der Akteur ethisch verantwortend durchführen will.

Das vorgestellte Konzept denkt fundamentale Punkte mit und greift diese an der Wurzel an, um dann die Systemumwelt zu beleuchten und zu erwirken, dass die Akteure ihrem Gewissen entsprechend handeln. Das Konzept empfiehlt, Werte gemeinsam mit der Arbeitsebene zu erarbeiten und dann vom Management priorisieren zu lassen (Kernwerte). Ein Aspekt dabei ist das Ziel im Blick zu haben, um den richtigen Weg zu finden. Bei FCAS stellt sich die Frage: Geht es um Schutz oder geht es um Macht? Manchmal ist Angriff eben nicht die beste Verteidigung, dies bleibt ein Dilemma für Frau Spiekermann.

Unsere Umwelt (z.B. ein pazifistisches Europa) kann sich verändern und ist zudem von verschiedenen Stakeholdern betroffen, weshalb die sogenannten Kernwerte (z.B. Vertrauen) durch die Partner geteilt sein und im System verankert werden müssen. Wenn wir in eine Biosphäre einbrechen, erschaffen wir eine Harmonisierung / Standardisierung, auch im militärischen Bereich. Der Datenschutz beispielsweise ist nur eine Lösung, die auf ein selbsterschaffenes Problem reagiert. Stattdessen sollten wir systemisch arbeiten und an der Wurzel bzw. den Ursachen beginnen, weshalb ein Systemdesign auch von Anfang an richtig vorbereitet werden soll. Wertebasiertes Engineering sollte ein ähnliches Konzept schaffen wie ISO-Normen im Unternehmen, die heute jeder kennt. In diesem Prozess werden verschiedene Überlegungen angestellt:

1. Definition: Worum geht es? Was ist das System of Interest? Wie weit geht es und was sind seine direkten und indirekten Stakeholder?

2. Umfeld: Wie können wir Partner wählen, über die wir auch morgen noch Kontrolle haben? Haben wir feindliche Strukturen als Nachbarn? Wer hat Zugang zu anderen Systemen?

3. Ressourcen: Haben wir morgen noch genug Ressourcen, um diese Systeme zu bauen? FCAS ist kein Programm, was man loswerden will und „mal eben“ über einen Venture Capitalist verkauft. So ein Projekt ist langfristig angelegt, Kontext und Wertanalyse müssen über die Zeit weiterentwickelt und angepasst werden. Deshalb ist es gut, diesen Dialog für FCAS heute schon zu beginnen.

4. Einbindung: Wie können wir (auch indirekte) Stakeholder bereits ab dem Entwicklungsprozess miteinbeziehen? Z.B. Natur, Gesellschaft, Tribes, Bürger? Es sollten bereits solche Experten in den Engineering-Prozess eingebracht werden, die später Nutzer und Stakeholder des Produktes sind; auch wenn Unternehmen das manchmal nicht so gerne wollen, um ohne Rücksicht auf Gegenargumente ihre angedachte Innovation stringent durchziehen zu können.

5. Situationsanalyse: Chinesisches Denken ist geprägt von den Thesen der Vorbereitung und von Analysen, wir sind dagegen immer sehr auf ein Ziel ausgerichtet, zu dem wir dann einen bestimmten Weg mit bestimmten Mitteln finden. Dabei gehen wir davon aus, dass das funktioniert. In diesem Zusammenhang sind wir abhängig davon, was die IT leisten kann.

6. Kontextunabhängigkeit: Werte sind kontextunabhängig. Es sind einige Prinzipien des „Sein Sollens“ a priori gegeben, das gibt dem Leben Sinn; es ist ein Streben nach Attraktivität, das menschlich ist. Wertekategorien sind einzuteilen in Systemwerte, utilitaristische Werte und Tugenden. Letztere sind Werte, die im Charakter übersetzt werden und ohne die z.B. Streitkämpfe nicht auskommen.

Frau Spiekermann plädiert dafür, persönliche Werte zu formulieren und Systementwicklung und Priorisierung der Werte anhand des kategorischen Imperativs zu wählen: Als Mensch und in Assoziation in der Geschichte hat man das Recht zu vertreten, was man tut, weshalb die Priorisierung der Werte von hoher Wichtigkeit ist. Wir können nicht nur Werte empfinden, sondern auch rationalisieren. Dafür müssen wir Wertqualitäten herunterbrechen und ihnen Namen geben. Dies ist eine biblische Aufgabe, die natürlich nicht einfach ist.

Empirisch angelegt im Innovationsprozess ist eine kritische Sicht auf das System, eine kritische Sicht ist nicht mit klassischem Product Roadmapping zu verwechseln, wo die Technologie an sich oft beschönigt wird. Diese Sicht erlaubt es, zehnmal mehr Dinge sichtbar zu machen, die schiefgehen können. Wenn wir diese antizipieren, sind wir viel resilienter, sogar noch bevor wir bauen. Es kommt bei diesem Prozess gleichzeitig zu einer besseren Qualität von Ideen.

„Wir leben in einer wertegetränkten Welt“ - das erlauben uns diese Prozesse zu sehen. Oft kommen bei einem Mapping bis zu 200 Werte zusammen, die es zu priorisieren und dann mit allen Stakeholdern zusammenzutragen gilt. Ethische Anforderungen seien in ein System Requirements übersetzbar - auf drei Pfaden: direkt, per Risk Based Technical Design, oder mit einer Zwischenlösung, dem Iterative Software Development Approach. Um das System zu bauen, muss man dann nur noch technische und ethische Aspekte zusammenfahren.

Diskussion zu TOP 6:

Es wird diskutiert, ob dieses Prozessmodell eine globale Konsensfähigkeit erreichen könne. Auch wenn es einfach „abzuarbeiten“ sei und der Prozess an sich keine kulturellen Besonderheiten in sich trage, würden sich die Resultate (Tugenden/Wertigkeiten) natürlich sehr unterscheiden.

Außerdem solle dieser Prozess iterativ sein, denn es funktioniere nicht, sich zu Anfang festzulegen und dann nicht mehr von seinen Ideen abzuweichen. Dieser Aspekt der Langfristigkeit wird als etwas schwierig empfunden, da bei einer langfristig gedachten Systemanalyse viele Neuigkeiten (sog. Black Swans) ausgeblendet würden. Abhilfe könne ein Ethical Value Register zur Dokumentation für Entscheidungen schaffen. Wenn sich die Erwartungen nicht bestätigten, könnten neue Prioritäten für neue Aspekte eingeführt werden (z.B. „Privacy“ für Facebook), und so würden diese dann im System mitgesteuert.

Es wird hinterfragt, wie man die Aspekte Zeit und Geld bei FCAS als Einschränkungen mitvereinbaren könne, da diese definitiv auch eine Rolle spielten. Es wird eine Parallele zur Nutzwertanalyse gezogen, in der Designentscheidungen ebenfalls auf Priorisierungen basierten und eine Gewichtung von Subzielen mitsamt Indikatoren erstellt werde. Es wird argumentiert, der betriebswirtschaftliche Rahmen sei bei solchen Betrachtungen eine echte Herausforderung. Unsere heutigen Finanzmärkte und die heutige Wirtschaft seien nicht dafür gemacht, weil eine Kostenstrategie statt einer Qualitätsstrategie verfolgt würde. Als Gegenargument wird dargelegt, es würde manchmal bereits ausreichen, diesbezügliche Entscheidungen schriftlich zu protokollieren, diese Entscheidungen top down zu treffen und diese gemeinsam zu unterschreiben. Eine einfache Rangordnung der Werte bzw. bereits existierende Organisationswerte mit in das Produkt einzubauen, könne auch schon helfen. Systeme könnten nie perfekt geschaffen werden, also sei auch ein ethisch perfektes Produkt nicht erreichbar. Es solle das Ziel sein, einen guten Job zu machen, den wir vertreten können.

Zu der Frage ob FCAS Schutz oder Macht bedeute, wird angemerkt, dass beides gebraucht würde, denn sowohl die Defensive und die Offensive als Fähigkeiten gehörten immer dazu.

Weiterhin wird noch zu der Definition von Werten diskutiert. Es wird eingewandt, dass bei der beschriebenen Methode letztendlich auch nur eine sogenannte „Industrieliste“ herauskäme, wenn vielleicht auch basierend auf gebündelten persönlichen Werten, und dass Werte auch sehr volatil seien. Es sei doch einfacher, sich an Tugenden zu halten. Gemeinsam wird herausgearbeitet, dass man den Anwender in diesen sozio-technischen System mit im Blick haben müsse. Das Design eines Systems könne sich nicht allein an Ethik festhalten – es müsse in den Anforderungen, im Prozess und in den Applikationen betrachtet werden. Für die Analyse müssten Unternehmensprinzipien außerdem auf ihren Ausgangspunkt und ihren Kontext hin überprüft werden: Wenn für ein Videoüberwachungsprodukt Datenschutz ein Wert sei, sei dieser unterschiedlich zu bewerten, je nachdem ob es sich um Überwachungskameras im Krankenhaus, am Bahnhof oder für das eigene Zuhause handele. Das System of Interest sei insofern mit verschiedenen Intentionen hinterlegt.

TOP 7: Man in the loop? Technisches Design zur verantwortlichen Nutzung eines FCAS (Wolfgang Koch)

Wolfgang Koch möchte die Gedanken von Frau Spiekermann aufgreifen und stellt in seine Sicht auf FCAS und mögliche Schritte der Operationalisierung der bisherigen ethischen Überlegungen vor.

Man in the Loop. Die Schlüsselfrage dieses Vortrags ist der Man in the Loop, dies soll den Boden für gutes Engineering bereiten. John F. Kennedys Moon Speech von 1962 hat auch für die heutige KI-Debatte hohe Aktualität, hier können wir den Begriff Space Science leicht durch Artificial Intelligence ersetzen:

„For space science [bzw. artificial intelligence], like nuclear science and all technology, has no conscience of its own. Whether it will become a force for good or ill depends on man […].“

Technologie ist ethikagnostisch, dies müssten wir ihr erst beibringen. Die Frage nach Gut und Böse hängt daher von uns ab.

Wahrnehmen und Wirken. Künstliche Intelligenz, Sensordatenfusion, technische Automation und Ressourcenmanagement sind Werkzeuge, um menschliches Wahrnehmen und Wirken zu unterstützen. Wahrnehmen beantwortet die Frage nach dem Was, d.h. hier geht es um Detektion, Klassifikation, Objekt-Interrelation und Entscheidungsrelevanz. Die Frage des Wirkens ist die Frage nach dem Warum, also welche Ziele ich habe und wie ich sie erreiche, nach welchen Normen und mit welchen Mitteln. Dieses Prinzip geht zurück auf Aristoteles.

Verantwortung. Die Bundeswehr berücksichtigt bereits die digitale Transformation und behandelt u.a. den zielgerichteten Einsatz automatisierter Technologien mit dem Merkmal der persönlichen Verantwortung und des freien Willens. Wie bereits General Wolf Graf von Baudissin sagte, führt die Verwissenschaftlichung zur Beschleunigung des militärischen Handelns; deshalb muss alles getan werden, um die Verantwortung des Menschen immer wieder herauszufordern. Dies ist ein Kerngedanke der Bundeswehr, den wir mit FCAS meistern wollen.

Aspekte eines FCAS. Die Dominanz über das elektromagnetische Spektrum ist für FCAS entscheidend. Die Welt der Algorithmen ist sehr groß, mehr als nur Machine Learning und Deep Learning – diese Welt müssen wir in FCAS beherrschen. Missionen müssen ferner von verantwortenden Menschen geistig und seelisch realisiert werden können. Hier spielen Hard Sciences wie Mathematik, Physik und Informatik eine große Rolle, aber auch „weiche“ Aspekte wie die Ökologie des Menschen, sowie Kognitions- und Arbeitswissenschaften, die den Menschen zum Erkenntnisgegenstand machen. Wie erschaffen wir ein anthropozentrisches Weltbild in der Welt des Computings? Ein Beispiel für ein „Mini-FCAS“ ist das vom Fraunhofer FKIE bearbeitete Projekt Urban Close Air Support durch koordinierte Drohnen. Hier ging es um die Befähigung eines Drohnenverbands mit Aufklärungs- und Bekämpfungsdrohnen. Zur rechtlichen Absicherung wurden sog. Rules of Engagement aufgestellt, diese wurden mittels Compliance by Design systemtechnisch realisiert. Die gesammelten Erfahrungen sollen auch bei FCAS einfließen, auch wenn dessen Fragestellung deutlich komplexer ist.

Die sieben Säulen der Digitalisierung sind:

• Der Zoo der Algorithmen - hierzu gehört noch viel mehr als nur maschinelles Lernen.

• Daten - die Ressource schlechthin, die man für Training und Testing braucht.

• Art of Programming - hier setzen wir auf Qualität unseres Personals anstatt auf Quantität.

• Computing Power - in Zukunft werden Quantencomputer vermehrt eine Rolle spielen.

• Anthropozentrik - der Mensch steht im Mittelpunkt.

• Push, Pull, & Realize - das Spiel zwischen Angebot und Nachfrage.

• Joint and Combined - multinational voneinander lernen.

Mensch-Maschine-Dichotomie: In der Bundeswehr möchte man nicht zwischen Mensch und KI wählen, sondern durch eine geschickte Kombination bestmögliche Aufgabenerfüllung gewährleisten. Das bedeutet, dass Verstand und Wille durch die bereitgestellte Technik unterstützt werden muss. Es geht hier um die fundamentale Dichotomie something for somebody. Streitkräfte werden zur Gefahr, wenn Sachen über den Menschen gestellt werden.

Deep Learning vs. Bayesian Reasoning: Im Paradigma Deep Learning wird nur die Frage nach dem Was, jedoch nicht nach dem Warum beantwortet, deshalb darf eine KI nicht einfach für Zielauswahl und Bekämpfung zertifiziert oder eingesetzt werden. Das Paradigma Bayesian Reasoning hingegen kann Kontextwissen wie z.B. einen Gebäudeplan einsetzen, um Schätzungen genauer zu machen; hier könnte genauso gut auch ethisches Kontextwissen mit einbezogen werden. Für den Umgang mit künstlicher Intelligenz braucht es definitiv menschliche Intelligenz, denn KI gepaart mit Dummheit ist eine große Gefahr. Daher ist es wichtig, dass der Deep Learner nicht alleine bleibt; er ist immer nur die zweitbeste Lösung. KIs können durch sog. Poisonous Noise leicht in die Irre geführt werden, deshalb müssen wir uns mit dem Thema Counter-KI befassen, um Angriffe auf unsere Entscheidungsprozesse zu vermeiden.

Zertifizierung von Verantwortung: Verantwortung muss als Designprinzip implementiert werden, denn nur freie Wesen können Verantwortung tragen und wissen um die Grenzen des Wissens. Den Human in the Loop sicherzustellen ist nicht unproblematisch, weil oft keine Zeit bleibt, manuell auf hoch-agile Bedrohungen wie Lethal Autonomous Weapon Systems (LAWS) zu reagieren. Deshalb müssen wir Hochautomation verantwortbar machen und uns fragen, welche Aufgaben man an die Maschine abgeben darf und welche nicht (autonome Waffen gegen Maschinen vs. gegen Menschen). Der IEEE Standard P7000 zu Ethically Aligned Design soll auf jeden Fall auf FCAS abgebildet werden.

Diskussion zu Top 7:

Es wird auf die Notwendigkeit einer neuen digitalen Ethik verwiesen, die rechtlich designt sei und auf etablierten Rechtsprinzipien beruhe. Hierauf wird erwidert, dass Tugenden auch Werte seien, der Wertebegriff gehe hier über den Rechtsbegriff hinaus. Angemerkt wird, dass man Gesetze in gewisser Weise als geronnene Werte ansehen könne und dass eine Gesellschaft durch eine solide Rechtsgrundlage sicherstelle, dass diese Werte gelebt würden. Man brauche zumindest so etwas wie „harte“ Werte.

Zum Thema Anti-LAWS-Systeme wird gefragt, ob LAWS auch Teil der FCAS-Planung seien oder sein sollten, da aus sicherheitspolitischer Sicht ein Rüstungswettlauf nicht aufzuhalten sei. Es wird erläutert, dass ein drohnensicherer Luftraum für Deutschland ein großes Thema sei. Hier müsse man eine Art Drohnenverkehrspolizei entwickeln, und wenn es darauf ankäme, helfe nur Hard Kill. Diese Gedanken ließen sich leicht auf andere Systeme verallgemeinern. Um Bedrohungen zu kontrollieren, müsse man sie verstehen, daher behindere es nur, wenn man Technologien pauschal banne. Hierzu wird unterstützend angemerkt, dass man sich nicht von Buzzwords beschränken lassen dürfe, auch Minen seien beispielsweise autonome Waffen – hier komme es ganz auf die Anwendung an, was ethisches Handeln bedeute.

Zwei weitere Bemerkungen zielen auf die Festlegung von Begrifflichkeiten. Die bisherigen Diskussionen hätten gezeigt, dass man durch Normenbildung eine Brücke zwischen Werten und Gesetzgebung schlagen müsse. Ferner solle man Anforderungen in Form von Leitprinzipien definieren, um dem Operator ein System zur Verfügung zu stellen, das einerseits vorhersagbar funktioniere und andererseits dem Menschen die Möglichkeit gebe, gemäß rechtlichen, missionsrelevanten und individualethischen Vorgaben zu handeln.

Bzgl. Anti-LAWS-AWS kommt die Frage auf, ob Vollautonomie noch ethisch sein könne und wie bei einprogrammierten Rules of Engagement Erfahrung ins Spiel käme. Dazu wird argumentiert, dass ein Assistenzsystem immer Kontextinformationen einbinden müsse und dass es nie losgelöst vom Kontext funktionieren könne. Ethische Regeln könne man ähnlich zu Raumplänen durchaus in Form von rechtskonformen Rules of Engagement auf dem Rechner abbilden. Der Mensch solle lediglich durch ein Assistenzsystem unterstützt werden, um die Lage schneller und besser zu verstehen.

Am Konzept der rechtsbasierten Wertedefinition werden Bedenken geäußert, denn internationale Standards seien schwierig und es gebe keine klaren Gesetzgeber. Gemäß Georg Jelinek sei Recht ethisches Minimum. Es wird erwidert, dass man sich fragen müsse, wie man sonst einen Konsens über gute und wahre Werte finden könne. Ferner wird angemerkt, dass es durchaus einen globalen Wertekonsens gebe, jedoch die Macht und Schönheit der Kulturen darin bestünde, Werte unterschiedlich auszuleben. Hier sei es angeraten, objektive Kriterien zu bearbeiten, an denen man eine Werte-Priorisierung vornehmen könne.

Als Anmerkung zum Thema Maschinenethik wird auf die Philosophiegeschichte vor Kant verwiesen, als man noch die Begriffe der Intelligenz und der Ratio unterschied. Intelligenz sei die Möglichkeit, sich mit den Dingen ganzheitlich (d.h. in ihrem Gesamtkontext) auseinanderzusetzen, wohingegen die Ratio das rein Vernünftige sei. Es gebe nur die Ratio in künstlicher Form, wohingegen wahre Intelligenz nur der Mensch habe. Hier müsse man auf jeden Fall aufpassen, dass die Intelligenz des Menschen nicht aufgrund einer Begriffsverwirrung vernachlässigt würde.

Es wird vorgeschlagen, basierend auf dem von Frau Spiekermann vorgestellten Prozessmodell die genannten Überlegungen auf FCAS anzuwenden, um die Operationalisierung zu konkretisieren.

TOP 8: Die europäische Dimension des Dialogs – Chancen und Herausforderungen (John Reyels)

Aspekte des europäischen Dialogs. FCAS ist ein deutsch-französisch-spanisches Projekt mit europäischem Anspruch. Strebt man bei FCAS praktische Relevanz an, so ist es wichtig, die europäischen Partner an Bord zu bringen. Es wäre ein Desaster, wenn die in dieser Runde angesprochenen Aspekte nicht umgesetzt würden. Aber welcher Zeitpunkt ist der richtige? Man sollte abwägen, inwieweit sich alle Partner erst einmal auf nationaler Ebene Gedanken machen, bevor man in den Dialog geht. Sicherlich bringt der internationale Austausch auch zusätzliche Komplexität in dieses ohnehin komplexe Thema, wir müssen uns dem aber trotzdem stellen. Airbus und das BMVg führen bereits viele Gespräche, vielleicht gibt es hier schon Erfahrungswerte. Besonders der deutsch-französische Austausch liegt im Herzen von FCAS. Eine Einigung zwischen Frankreich und Deutschland hat immer hohen Einfluss auf gesamteuropäische Entscheidungen, da beide Länder durch ihre unterschiedlichen Einstellungen ein großes Meinungsspektrum abdecken.

Was unterscheidet uns von Frankreich?

• Eine unterschiedliche Grundeinstellung zu Technologien. Im Gegensatz zu Frankreich ist Deutschland sehr technologiekritisch, was beispielsweise die Drohnendebatte gezeigt hat. Ferner fährt Frankreich eine sehr offensive KI-Kommunikation, hierzu hat Präsident Macron 2018 die französische Strategie „AI for Humanity“ vorgestellt. Man strebt danach, unter die Top 5 der KI-Nationen weltweit zu kommen; eine klare Positionierung fehlt hier auf deutscher Seite.

• Eine sehr unterschiedliche Militärkultur. Das französische Militär genießt nach wie vor ein ungebrochenes Prestige, ferner ist Frankreich Nuklearmacht und ständiges Mitglied im Weltsicherheitsrat (den sog. „P5“). Sie zeigen die Bereitschaft, weltweit militärisch einzugreifen und sehen es sogar als ihre Verpflichtung. Ferner soll KI eine operative Überlegenheit der französischen Streitkräfte sicherstellen, wofür man von 2019 bis 2025 100 Mio. Euro bereitstellen will. Gleichzeitig wird ein Ethikkomitee aus Streitkräften, Wirtschafts- und Regierungsvertretern zusammengestellt.

• Ein unterschiedlicher Fokus der Zivilgesellschaft. Die Atomdebatte der 80er Jahre hatte in Deutschland großen Einfluss, in Frankreich sah man Nuklearwaffen als Schutzschirm im Kalten Krieg. Dies führt zu unterschiedlichen Ansätzen in den jeweiligen Sicherheitspolitiken.

Was verbindet uns mit Frankreich?

• Eine gemeinsame Wertetradition. Frankreichs strikte Trennung von Staat und Kirche macht die Wertefindung im Verteidigungskontext zwar ein „Non-Topic“. Dennoch ist die französische Politik wertebasiert und eine paritätisch besetzte Ethikkommission hat ihre Arbeit bereits aufgenommen. Die menschliche Kontrolle ist eines der Grundprinzipien der französischen Streitkräfte; der Terminator werde am 14. Juli nicht defilieren, so Florence Parly.

• Eine gemeinsame Rechtstradition. Beide Länder haben eine Tradition der Kodifizierung, im Gegensatz zum Case Law im angelsächsischen Raum. Ferner versteht man sich als europäische Schicksalsgemeinschaft, daher herrscht ein eiserner Wille zum Kompromiss. Viele schmerzhafte Verhandlungen in der Vergangenheit haben die Kompromissfähigkeit enorm gesteigert, auch hinsichtlich beträchtlicher Meinungsverschiedenheiten.

Argumente für eine Kooperation. Man muss gute Argumente finden, um den Franzosen die Notwendigkeit und den Mehrwert eines Werte-, Ethik- und Rechtskatalogs plausibel zu machen. Ein gemeinsam erarbeiteter Code of Conduct gäbe ein Plus an Sicherheit, denn es würde Destabilisierung eindämmen und Eskalationspotential verringern. Ferner könnte Compliance by Design auch einen globalen Marktwert besitzen, der die Exportchancen für Frankreich und Deutschland erhöhen würde.

Kommunikation. Man sollte sich überlegen, welche Art von Produkt man Frankreich vorschlägt; Leitlinien würden vielleicht eher angenommen als rechtsverbindliche Regeln. Auf keinen Fall darf Deutschland mit seiner nationalen Problemlage argumentieren und die öffentliche Debatte auf die Partner abwälzen; ferner sollten die deutsch-französischen Gemeinsamkeiten in den Vordergrund gerückt werden. Allerdings ist der deutsch-französische Motor in Europa berüchtigt, deshalb sollte Spanien nicht mit einem fertigen Produkt überfahren werden. Es wäre vielleicht sogar angeraten, direkt den trinationalen Dialog anstreben, um die Diskussionslage mit Frankreich zu entspannen.

Der globale Kontext. Es wäre nicht gut, wenn Europa sich auf sich selbst beschränkt. Vielleicht wäre es sinnvoll, einen Dialog mit anderen Systementwicklern herzustellen, z.B. mit den USA oder dem vereinigten Königreich (bzgl. BAE Systems Tempest). Hierzu ist allerdings ein ausreichendes globales Wertesystem nötig, vielleicht könnte man hier auf das Völkerrecht aufbauen und Grundgedanken auf autonome Waffensysteme übertragen. Weltweite Standards müssen hier das Ziel sein.

Diskussion zu TOP 8:

Alle Wortmeldungen in der folgenden Diskussion sprechen sich deutlich für eine Einbeziehung Frankreichs und Spaniens aus. Es werden viele verschiedene Punkte genannt, die in der internationalen Zusammenarbeit für wichtig erachtet werden.

• Bei Airbus habe sich aus Eigeninitiative eine Arbeitsgruppe gegründet, in der man schon länger auf Mitarbeiterebene eine Diskussion im deutsch-französischen Rahmen führe. Hier zeige sich bereits viel Interesse an einer Diskussion.

• Ebenfalls wird angemerkt, dass Frankreich die Federführung in FCAS habe, deswegen seien die französischen Partner schnellstmöglich einzubeziehen. Allerdings wolle auch Spanien eine Diskussion auf Augenhöhe und solle deshalb zum selben Zeitpunkt integriert werden.

• Ein zentrales Argument für eine internationale Ethikdiskussion sei die Unterschiedlichkeit Frankreichs und Deutschlands, die eine starke positive Befruchtung erzeuge. Es wird noch einmal betont, dass Frankreich das Ethikthema sehr ernst nehme und sich ausgeschlossen fühle, wenn man sie zu spät einbeziehe. Da Frankreich geopolitisch denke, sei ein europäischer Austausch für sie unvermeidlich, ferner zähle Ethical AI für Frankreich als Verkaufsargument.

• Hierzu wird angemerkt, dass man koordiniert handeln müsse, um eine Vereinbarkeit mit dem französischen Setup zu gewährleisten, denn Frankreich wolle auf globaler Ebene ethisch richtungsweisend sein. Hier solle man aber auf die Heterogenität der deutschen Ethikdiskussion beharren und sich nicht nur auf Ministerien beschränken. Weltweite Standards zu definieren stehe auf einem ganz anderen Blatt, da allein die Zusammenarbeit mit der Nato durch Uneinigkeiten mit den USA schon eine große Hürde sei, ganz zu schweigen von der Haltung Russlands oder Chinas.

• Es wird eingelenkt, dass Deutschland zwar durchaus Technikskepsis und Bescheidenheit zeige, allerdings in Sachen KI-Strategie den Franzosen in keiner Weise nachstehe. Deutsche KI-Anbieter in Softwarearchitektur und Forschung würden hier durchaus einwirken und Deutschland ebenso eine Technologieführerschaft in Industrie 4.0 postulieren, sogar weltweit. Reflexion zu einer digitalen Strategie finde in Projekten wie zum Beispiel GaiaX statt, welche bereits europäisch gedacht seien, wo Frankreich allerdings erst später eingestiegen sei. Es sei Deutschland auch besonders wichtig, den Hyperscalern wie Google oder Microsoft etwas entgegenzusetzen und beispielsweise bei einer Cloudinfrastruktur unabhängig zu sein.

• Man gibt zu bedenken, dass die Fronten zwischen Frankreich und Deutschland in Genf recht verhärtet seien, hier müsse man regulativ eingreifen. Es gebe militärische Anreize für Control by Design, und der Austausch mit Frankreich gebe sicherlich positive Inputs. Vielleicht wäre eine operative Ethikdefinition eher denkbar als eine generelle.

• Man müsse zunächst klären, was eigentlich genau in einem FCAS integriert werden solle. Eine Kopie menschlichen Verhaltens sei schwer vorstellbar, denn der Mensch mache zwar Fehler, könne allerdings ohne Hintergrundwissen gefühlsbasiert Entscheidungen treffen, was der Maschine versagt bleibe. In diesem Punkt seien vertrauensbildende Maßnahmen zwischen Nationen oder Bevölkerungsgruppen förderlich.

• Um einen Wertekonsens zu finden, müsse man ausloten, wie groß die Schnittmenge zwischen deutschen und französischen Werten sei. Ferner bestehe das französische Ethikgremium zu etwa 80% aus Mitgliedern des Verteidigungsministeriums und es sei bisher recht unsichtbar nach außen, während die AG Technikverantwortung auch Stiftungen und die breitere Öffentlichkeit mit in die Debatte aufnehme; es sei interessant zu sehen, wie Frankreich darauf reagiere.

• Es kommt die Frage auf, ob bzw. wie die KI-Bemühungen der NATO auch bei FCAS berücksichtigt werden sollen. Herr Koch will sich der Sache annehmen.

• Es wird angemerkt, dass die internationale Verständigung über ethische Normen bei FCAS keine leichte Übung für Frankreich werde, denn es ginge zwar „nur“ um Regeln für ein System, aber diese Entscheidungen seien dann auch Material für einen multilateralen Rahmen und somit hochpolitisch. Ethik sei zwar ein großes Thema in Frankreich, jedoch seien es zwei komplett verschiedene Fragen ob auf nationaler oder internationaler Ebene. Daher müsse im Vorfeld diskutiert werden, was operationalisiert und wie es für Frankreich verpackt werden solle. Wichtig sei auch die Zusammenarbeit mit der NATO, denn FCAS sende ein Signal, dass man etwas für das transatlantische Bündnis tue. Der NATO-Rahmen gebe ferner Raum für gemeinsame Standards bzgl. autonomer Waffensysteme.

• Abschließend wird bemerkt, dass es für eine globale Lösung der Ethikdiskussion vielleicht zu früh sei; besser sei es, erst einmal eine kritische Komponente aus FCAS herzunehmen und anhand derer länderübergreifend eine Liste an Werten zu erarbeiten. Dies biete eine Vereinfachung im FCAS-Rahmen, die man im Nachhinein in ausgereifterer Form auf die politische Ebene bringen könne.

TOP 9: Zusammenfassung und nächste Schritte (Florian Keisinger und Wolfgang Koch)

• Ein Protokoll der Sitzung wird bzgl. Feedback/Freigabe an alle Teilnehmer verteilt.

• Es wurde seitens des Behördenspiegels angeboten, einen 8000-Zeichen-Artikel in der Novemberausgabe zu veröffentlichen. Hierzu soll im Namen der Gruppe (ohne individuelle Namensnennung) bis Ende Oktober ein gemeinsamer Text herauskristallisiert werden.

• Als Aktion wird weiterhin definiert, die Diskussion um die Findung von Standards zu formalisieren und Ideen für den Way Ahead zu finden. Diese sollen in den nächsten Runden vorgestellt und iterativ in der Gruppe diskutiert werden.

• Zum Thema des internationalen Austauschs mit Frankreich und Spanien soll ein Konzept überlegt werden.

• Der nächste Termin soll im Frühjahr 2021 stattfinden, hierzu werden bald Terminvorschläge gegeben.

Als Feedback auf die Veranstaltung wird vorgeschlagen, beim nächsten Treffen mehr Raum für Diskussionen zu geben, damit ein besserer Meinungsaustausch stattfinden könne. Hier könne es vielleicht helfen, die Treffen monothematisch zu organisieren und den Fokus auf spezifischere Punkte und Ergebnissicherung zu legen. Es wird erwidert, dass dieses Treffen ein konstitutives gewesen sei, die kommenden Treffen allerdings unter einem Leitthema stattfinden sollten. Hierzu solle ein Diskussionspapier erstellt werden.