Emanuel S. ist mit seinem autonomen Elektrofahrzeug unterwegs. Das Fahrzeug, lenkt, bremst und beschleunigt selbständig. Er liest Zeitung. Plötzlich taucht eine Gruppe von Menschen auf der Straße auf. Das Fahrzeug erkennt eine Ausweichmöglichkeit, doch dort spaziert die unbeteiligte Nadja P. Soll das Fahrzeug durch die Menschenmenge fahren und diese töten, soll das Fahrzeug ausweichen und Nadja töten oder soll das Fahrzeug in die Hausmauer fahren und Emanuel töten? [1]

Dieser Klassiker der Ethik ist unter dem Namen „Trolley-Problem“ [2] bekannt und beschäftigt aktuell auch die Automobilindustrie und das MIT [1]. Wer sich im Verkehr bewegt weiß, dass Fehler passieren. Man versucht keine zu machen und ist beschäftigt die der anderen auszugleichen. Gelingt dies nicht, kommt es zum Unfall. Knappe 38.000 Verkehrsunfälle mit Personenschaden wurden im Jahr 2014 auf Österreichs Straßen verzeichnet. Dabei wurden ca. 48.000 Menschen verletzt und 430 getötet [3]. Zum Vergleich: Durch Terrorismus kamen seit 1970 „nur“ 30 Menschen ums Leben [4].

Für die Industrie ist klar, dass das Dilemma des „Trolley-Problem“ gelöst werden muss, den autonome Fahrzeuge müssen entsprechend programmiert werden, wenn sie alleine Fahren sollen. Dass das kein Science-Fiction mehr ist, zeigen die großen Automobil Hersteller [5] und weitere Unternehmen wie Google [6], die bereits entsprechende Fahrzeuge entwickelt haben. Die technischen Probleme sind gelöst, es sind die juristischen und ethischen Fragen die noch ungeklärt sind.

Fahrzeuge könnten so programmiert werden, dass im Zweifel die Anzahl der getöteten Menschen minimal ist. Für das Beispiel hieße das, dass das Fahrzeug zwischen der unbeteiligten Nadja und dem Fahrer wählen müsste. Nachdem der Fahrer geschützt durch die Fahrgastzelle die höheren Überlebenschancen als die Fußgängerin hat, wäre die optimale Strategie in die Hausmauer zu fahren.

Das Dilemma und die Lösung wurden auch rechtswissenschaftlich untersucht. Das Ergebnis: Nichts davon wäre legal programmierbar, denn nach geltendem Recht, dürfe Leben nicht gegeneinander aufgerechnet werden [7]. Eric Hilgendorf, Leiter der Forschungsstelle RobotRecht an der Uni Würzburg sieht hier ein grundsätzliches Problem das zur Folge habe, dass autonome Autos verboten oder bestehende moralische Kategorien überdacht werden müssen. Er plädiert dabei auf letzteres.

Wir müssen zu einer Quantifizierung von Menschenleben kommen.

Die Gesellschaft soll sich also auf eine Bewertung einigen, die einem Menschen(-leben) einen Wert zuweist. Eine vermeintlich einfache Lösung, deren Auswirkungen in keinster Weiße bedacht wurden, die historisch belastet und auch sonst eher fragwürdig ist. Aus wirtschaftlicher und technischer Sicht ist die Überlegung allerdings nachvollziehbar, denn es gibt ein Dilemma das gelöst werden muss um ein Produkt zu vermarkten. Das Fahrzeug muss jemanden Töten. Wer dabei umkommt, soll gesellschaftlich möglichst anerkannt sein. Ob wir die Technologie allerdings wirklich brauchen steht scheinbar außer Frage.

„Frauen und Kinder zuerst“ ist ein alt bekannter Verhaltenskodex, der vielen bekannt ist [8]. Auch sind die meisten Menschen bestrebt im Zweifel weniger Leben zu opfern [1]. Bei Spezialfällen, wird die Sache aber schnell deutlich komplexer.

• Wenn das Fahrzeug die Wahl zwischen einem Ehepaar im hohen Alter und einem Kind hat, sollte es dann nicht vielleicht lieber das Kind verschonen?
• Wer würde ein Auto kaufen, das einen im Zweifel umbringt? Wenn niemand ein Auto kauft, das im Zweifel den Fahrer tötet, muss es dann nicht doch „die Anderen“ umbringen?
• Wenn das Fahrzeug die Wahl zwischen zwei Motorradfahrern hat, wobei einer einen Helm trägt und der andere nicht, welchen soll es nehmen? Soll der mit Helm bestraft werden, dafür, dass er die höhere Überlebenswahrscheinlichkeit hat? Soll der ohne Helm in den sicheren Tod geschickt werden?
• Wenn sich das Fahrzeug zwischen einem hochwertigen, sicheren Premiumfahrzeug und einem günstigen Modell entscheiden muss: Wer kauft noch Premiumautos, wenn das Risiko höher ist darin zu sterben. Warum sollten die Personen im günstigen Fahrzeug eher sterben, als die im teuren?

Die überwiegende Anzahl der Überlegungen zu diesem Dilemma, basieren implizit auf der Annahme, dass das Fahrzeug die Entscheidung auf Basis von (Sensor-)Daten, die vor Ort erfasst werden, trifft. Durch die Vernetzung [9], [10] wäre das Fahrzeug aber grundsätzlich online und hätte damit Zugriff auf umfangreiche Möglichkeiten zur Datenanalyse [11]. Um den rechtlichen Rahmen zu schaffen, forderte Angela Merkel am 9. IT-Gipfel ein „neues Verständnis“ von Datenschutz [12], bezeichnete Daten als wichtigen Rohstoff des 21. Jahrhunderts [13] und unterstützte die Aufweichung traditioneller Datenschutzprinzipien nachdrücklich. Der Weg für die Verbindung aller Daten scheint also geebnet.

• Die am Unfall Beteiligten könnten über ihre Smartphones identifiziert werden, um auf Basis ihrer Gesundheitsdaten einen Überlebensscore zu berechnen. So könnten bevorzugt Personen mit niedriger Lebenserwartung überfahren werden.
• Informationen von Geheimdiensten, Fahndungslisten und Vorstrafenregister könnten abgeglichen werden um bekannten Terroristen, Terrorverdächtigen und „Kriminelle“ aller Art eher zu überfahren.
• Daten aus sozialen Netzwerken könnten benutzt werden um unbeliebte Menschen eher zu überfahren, als beliebte. Das App „Peeple“ bietet die Möglichkeit Menschen mit einem 5-Stern-System zu bewerten [20]. Mit dieser Datenbasis würden bevorzugt „schlechte“ überfahren werden.
• Demografische Daten könnten herangezogen werden. Die Nationalität, sodass eher Ausländer überfahren werden als Inländer; Das Geschlecht, sodass gleich viele Frauen wie Männer getötet werden, u.s.w.
• Bankdaten könnten als Entscheidungsgrundlage dienen: Personen mit Schulden oder Verzug bei den Kreditraten könnten bevorzugt überrollt werden. Der Kontostand oder Zahlungsverlauf könnte betrachtet werden. Kombiniert mit anderen Daten, würden die profitabelsten Konsumenten überleben.
• Für das Rating gäbe es ein App. Über In-App Käufe, Werbeangebote auf die man klickt oder Aktion die man kauft, könnte man sein Rating verbessern. Aus Computerspielen ist das umstrittene „Pay-to-Win“-Prinzip (Zahle um zu gewinnen) bereits bekannt [21].
• In dieser App könnte man einstellen, wie viel man bereit ist für sein Leben zu bezahlen. Im Falle eines Unfalls, werden die Beträge der beteiligten Personen verglichen. Mit den Überlebenden wird entsprechend verrechnet.
• Reiche Personen könnten sich so ihre „Unverwundbarkeit“ im Straßenverkehr erkaufen. Rote Ampeln wären kein Problem, da alle anderen Verkehrsteilnehmer ausweichen müssten. Sie könnten seelenruhig über eine Autobahn spazieren, denn alle anderen Verkehrsteilnehmer würden sich gegenseitig umbringen, um einen Unfall mit dieser Person zu vermeiden.

Diese Szenarien erscheinen utopisch und erschreckend, doch zeigen auf, was möglich wäre, wenn Menschenleben unterschiedliche Werte bekommen und alle Daten herangezogen werden die verfügbar sind. Der Neoliberalismus steht in seiner potentiellen Grausamkeit dem Faschismus um nichts nach und wirft weitere Fragen auf:

• Warum sollte jemand der mehr für seine Sicherheit bezahlt (nicht) eher überleben, als jemand der weniger dafür bezahlt?
• Warum spielt Geld plötzlich eine so zentrale Rolle, wer bei einem Verkehrsunfall ums Leben kommt?

Doch selbst wenn die moralischen Probleme gelöst und die Märkte entsprechend reguliert sind, wären noch nicht alle Probleme gelöst. Experten sind sich einig, dass derart komplexe Systeme nicht unter allen Umständen sicher sein können und dass selbst gutmeinende intelligente Maschinen, Menschen Schaden zufügen oder gar töten werden. Eric Horvitz, leitender Wissenschaftler in der Forschungsabteilung von Microsoft, unterstrich dies und betonte, dass daher die Frage nach dem Verhältnis von Schaden und Nutzen entscheidend sei [7].

„Jeden Tag sterben Tausende in vermeidbaren Verkehrsunfällen und aufgrund von ärztlichen Fehlern in Krankenhäusern“, mahnt Horvitz. „Ich bin ziemlich sicher, dass wir einen guten Teil davon retten könnten, wenn wir mehr KI-Technologie einsetzen.“

Zusammengefasst kann man also sagen, dass der Zweck die Mittel heiligen soll. Beim Einsatz dieser Technologie müsse man einfach akzeptieren, dass ab und zu jemand getötet wird. Dabei ist aber noch nicht von Software-Fehlern oder gezielter Manipulation die Rede, sondern nur von der grundsätzlichen Unbeherrschbarkeit dieser Systeme.

Bisher gilt in sicherheitskritischen Bereichen die Produkthaftung, d.h. Hersteller haften „für Schäden, die beim Endabnehmer infolge eines fehlerhaften Produkts entstanden sind“ [22]. Wenn ein Fahrzeughersteller ein Auto baut, das von alleine aufs Gaspedal steigt, beschleunigt und gegen eine Wand fährt, ist der Hersteller Schuld. Selbst dem Programmierer droht das Gefängnis, wenn ihm grobe Fahrlässigkeit nachgewiesen wird.

Da es im Falle eines autonomen Fahrzeuges keinen Fahrer gibt und die Hersteller rechtliche Rahmenbedingungen anstreben, mithilfe derer sie sich aus der Verantwortung ziehen können, ist die logische Konsequenz, dass niemand mehr haftet. Genauso wenig wie sich Microsoft für Dokumente verantwortlich fühlt, die man verliert, wenn Word oder Windows abstürzt, genauso wenig will sich die Industrie für ihre Maschinen verantwortlich fühlen, wenn sie Menschen töten.

Selbst bei den Geheimdiensten und den Militärs, ist es nach wie vor ein Mensch, der den Abzug drückt. Der ehemalige Leiter der NSA, General Michael Hayden bestätigte, dass die NSA Verbindungsdaten benutzt um Personenprofile zu erstellen [16] und auf Basis dieser Daten Menschen tötet [17]. Der „Abzug“ wäre die Starterlaubnis, die nach wie vor manuell erteilt wird, für eine Drohne, die am anderen Ende der Welt besagte Person tötet [18]. Rein technisch wäre dies auch vollautomatisch Möglich, weshalb die Menschenrechtsorganisation Human Rights Watch bereits forderte, die Konstruktion und den Einsatz von Killer-Robotern durch die UN-Waffenkonvention ächten zu lassen [19]. Dass Maschinen völlig autonom Menschen töten, wie es Fahrzeuge tun sollen, wäre also eine Premiere.

Wesentlich erschreckender sind daher die Möglichkeiten im Falle von missbräuchlicher Verwendung. Es wurde schon mehrfach bewiesen, dass praktische alle vernetzten Autos gehackt werden können [23], [24], [25]. Da bei einem Unfall niemand Haftet, eröffnet diese Technologie grundsätzlich die Möglichkeit, Menschen ohne rechtliche Konsequenzen zu ermorden. Durch geschicktes ausnutzen der technischen Möglichkeiten, wäre es einfach, ein Auto aus der Ferne als Tötungsmaschine zu benutzen oder die Insassen zu ermorden. Durch gefälschte Sensordaten könnte das Verbrechen vielleicht sogar vertuscht werden.

Noch größeres Missbrauchspotential birgt „die Lizenz zum Töten“, die solche Fahrzeuge hätten. Für verschiedene Verkehrsteilnehmer wird eine Bewertung berechnet. Es ist aufgrund der moralischen Implikationen davon auszugehen, dass dieser Algorithmus öffentlich ist. Die Täter wüssten also in welcher Situation wer „das Opfer“ sein wird. Sie müssten daher nur eine entsprechende Situation schaffen, in der die gewünschte Person die niedrigste Bewertung bekommt und wären damit das perfekte Verbrechen begangen.

Mit einem leichten Hang zu Verschwörungstheorien und Science-Fiction Filmen, könnte man an Szenen denken, wie sie in I-Robot oder Terminator gezeigt wurden. Autos als Killer-Maschine können einem T-800 optisch zwar nicht das Wasser reichen, technisch und rechtlich wäre aber die Basis für Skynet und eine autonome Killer-Arme, die aus der Ferne gesteuert werden kann, gelegt.

In welche Richtung auch immer die Diskussionen zu diesem Thema weitergehen, es ist klar, dass der Gesetzgeber eine große Verantwortung hat. Die Technologien (KI, Big Data, etc.) sind nicht nur essentielle für autonome Fahrzeuge. Sie bilden die Basis der modernen vernetzen Gesellschaft, die in alle Lebensbereiche vordringt [14], [15]. In ihrer (De-)Regulierung liegt der Schlüssel zur Verteilung des Wohlstandes, den diese Technologien generieren. Wieder einmal stehen wir vor der Frage, wer die Gewinner und Verlierer des Fortschritts sind. Dass der Gesetzgeber die Probleme und Möglichkeiten technisch oft nicht durchdringen und verstehen kann, verschärft die Situation zusätzlich. Speziell in diesem Fall, da die Verlierer mitunter mit ihrem Leben bezahlen.