Ethik, KI und das Märchen vom Trolley-Problem
Warum die bekannteste ethische Frage des autonomen Fahrens in der Praxis nicht vorkommt — und welche Fragen sich stattdessen stellen.
Wer über Ethik beim autonomen Fahren spricht, landet nach zwei Minuten bei Oma und Kind. Das Fahrzeug kann nicht mehr bremsen, es muss wählen, wen es überfährt. Solange das nicht geklärt ist, so das Argument, hat kein autonomes Fahrzeug auf der Straße etwas verloren.
Isabel Hernandez Cabrera hat jahrzehntelang bei Mercedes-Benz gearbeitet, zuletzt als Ethikerin im interdisziplinären Team für automatisiertes Fahren — gemeinsam mit Zertifizierung, Produktsicherheit und Recht. Sie sagt: Diese Situation stellt sich nicht. Und die Fragen, die sich tatsächlich stellen, sind unbequemer.
Woher das Trolley-Problem kommt
Das Gedankenexperiment stammt von der Philosophin Philippa Foot. Sie entwickelte es in den 1960er-Jahren — im Kontext einer Abtreibungsdebatte, lange vor dem autonomen Fahren. Es ging um eine Straßenbahn und um die Frage, ob man Schlechtes tun darf, um Gutes zu bewirken. Keine Oma, kein Kind, kein Auto.
Aufgegriffen wurde es später, weil autonome Fahrzeuge Entscheidungen im Voraus festlegen müssen. Menschen entscheiden spontan; im Systemdesign wird vorentschieden. Aus diesem Vorentscheiden entstand der Gedanke: Dann muss man auch Dilemma-Situationen vorentscheiden.
Warum es im Straßenverkehr nicht trägt
Drei Gründe, die zusammen den Fall erledigen.
Das Experiment braucht Schienen. Es funktioniert nur, weil die Bahn einem festen Gleis folgt und die Menschen darauf warten, überfahren zu werden. Realer Straßenverkehr ist dynamisch — alle bewegen sich. Wer nicht vorhersagen kann, was beim Ausweichen passiert, kann auch nicht abwägen.
Die Technik kann es nicht. Personenmerkmale in Bruchteilen von Sekunden zu erkennen und zu klassifizieren — alt, jung, gebrechlich — liegt jenseits des heute technisch Möglichen. Die Voraussetzung der Frage existiert nicht.
Und selbst dann wäre es unzulässig. Im europäischen Rechtsraum ist es undenkbar, unbeteiligte Menschen zu Tode kommen zu lassen, um andere zu retten. Das Bundesverfassungsgericht hat das Luftsicherheitsgesetz aus genau diesem Grund kassiert: Wer jemanden opfert, um andere zu retten, instrumentalisiert ihn und verletzt seine Würde.
Auch die weniger dramatische Variante — Blechschaden statt Personenschaden — scheitert an der Dynamik. Wer einem Kind ausweicht und dabei einen SUV touchiert, weiß nicht, ob dessen Fahrer vor Schreck verreißt und am Ende doch das Kind trifft.
Die Frage, die sich wirklich stellt
Wie sicher ist sicher genug?
Das klingt nach einer technischen Frage. Sie ist keine. Die Regulierung verlangt, dass das System sicherer fährt als ein Mensch. Nur: welcher Mensch?
Der mit dem Handy am Ohr, gestresst von der Arbeit, schlecht geschlafen, das Kind schreit auf dem Nebensitz? Oder der seit dreißig Jahren unfallfreie Fahrer, immer aufmerksam, gute Reaktionsfähigkeit, nie einen Strafzettel?
Zwischen beiden liegt der Unterschied zwischen einem erreichbaren und einem unerreichbaren Sicherheitsziel — und damit der gesamte Nachweisaufwand. Die UN-Regelung setzt den aufmerksamen, ausgeruhten Fahrer als Maßstab.
Daraus folgt die Gegenfrage, die in der Branche selten offen gestellt wird: Wenn wir das vom Fahrzeug verlangen, warum lassen wir dann Menschen ans Steuer, die diesem Anspruch nicht genügen?
Isabels Position: Diese Frage darf weder der Hersteller allein beantworten noch der Regulator allein. Sie betrifft alle, die diesen Fahrzeugen begegnen, ohne sich dafür entschieden zu haben.
Sicherheit für alle ist nicht Sicherheit für jeden
Der Punkt der Folge, der am wenigsten diskutiert wird.
Ein Restrisiko lässt sich nicht auf null bringen. Problematisch wird es, wenn es sich auf eine bestimmte Gruppe konzentriert. Dann wird aus einer Sicherheitsfrage eine Gerechtigkeitsfrage.
Beim Thema ungeschützte Verkehrsteilnehmer denkt jeder an Fußgänger und Radfahrer. Die tatsächliche Liste ist länger: Menschen im Rollstuhl, mit Rollator, Gehstock oder Blindenstock. Liegeräder. Rikschas. Menschen, die vollverhüllt unterwegs sind.
Die Kette dahinter ist kurz und jeder Schritt ist banal:
Wer selten auf der Straße vorkommt, ist selten im Trainingsdatensatz.
Wer selten im Datensatz ist, wird schlechter klassifiziert.
Wer schlechter klassifiziert wird, löst das hinterlegte Fahrverhalten nicht aus.
Kein größerer Abstand, keine Geschwindigkeitsreduktion — höheres Risiko.
Kein Schritt ist böswillig. Das Ergebnis ist trotzdem ungleich verteilt. Der EU AI Act fordert deshalb, den Trainingsdatensatz bewusst auf Repräsentativität zu prüfen. Das ist keine Compliance-Fußnote, sondern Systemdesign.
Was Ethik in der Entwicklung tatsächlich macht
Die Erwartung: Da kommt jemand, der alles verbietet.
Die Aufgabe ist das Gegenteil. Sicherheitsargumentationen bauen, den Referenzfahrer durchdeklinieren, Skepsis überwinden. Die UN-Regelung verlangt einen Safety Case — Hersteller müssen ihre Sicherheit nicht nur nachweisen, sondern schlüssig begründen. Genau dort endet Messtechnik und beginnt Argumentation.
Isabels Formulierung dazu: Wer als Erstes den Knoten löst, ist der Erste auf der Straße.
Über den Gast
Isabel Hernandez Cabrera ist angewandte Ethikerin mit Master in Ethik. Sie war jahrzehntelang bei Mercedes-Benz, zuletzt im interdisziplinären Team für automatisiertes Fahren. Ende 2025 hat sie das Unternehmen verlassen und berät heute Tech-Unternehmen zum Thema Responsible AI.