Partner von
Partner von

Stefan Brandenburg im Interview

Innovationen an sich sind weder gut noch böse – aber sie können missbraucht werden. Der Psychologe und Ethiker Stefan Brandenburg über die moralische Dimension neuer Technologien.





Herr Brandenburg, weshalb braucht die Technische Universität eine Ethik-Kommission?

Die Vergangenheit spricht für sich. Die TU hat, wie viele deutsche Universitäten im Dritten Reich, mit dem NS-Regime kooperiert. Deshalb bietet sie zum Beispiel seit ihrer Neugründung nach dem Krieg neben Ingenieur-Studiengängen auch Fächer wie Psychologie oder Sozialwissenschaften an. Das war damals unter anderem als Korrektiv zu einer rein technisch orientierten Machbarkeitsmentalität gedacht.

Wann wird diese „Machbarkeitsmentalität“ zum Problem?

Der Ingenieur und Technikphilosoph Günter Ropohl hat geschrieben, dass Techniker dazu neigen, „alles zu machen, was sie können“. Viele Ingenieure und Forscher entwickeln neue Technologien, ohne sich für mögliche gesellschaftliche Folgen zu interessieren. Zugespitzt: moralfrei und reflexionsfrei. Die Debatte dazu hat eine lange Geschichte. Albert Einstein und Max Born haben schon in den Fünfzigerjahren diskutiert, ob ein hippokratischer Eid für Wissenschaftler und Ingenieure notwendig ist.

Die Tatsache, dass Forscher mit der Atombombe eine Waffe entwickelt haben, mit der sich die Menschheit ausrotten kann, hat eine breite Auseinandersetzung über die ethischen Grenzen der Wissenschaft ausgelöst, vor allem innerhalb der wissenschaftlichen Gemeinde selbst.

Seitdem sind etliche Ethik-Kodizes für unterschiedliche Disziplinen formuliert worden, für Physiker, Ingenieure, Mediziner. Allerdings sind viele so kompliziert, dass sie kaum anwendbar sind: Der Software Engineering Code of Ethics, den Don Gotterbarn 1997 mitverfasst hat, besteht aus Regeln auf fünf eng bedruckten Seiten. Es ist gängig, umfangreiche, elaborierte Kodizes zu formulieren. Aber das ist selbstreferentiell und am Ende nicht unbedingt effektiv. Einfache, anwendbare Checklisten und Heuristiken, quasi Daumenregeln sind vermutlich hilfreicher.

Der Kernphysiker Robert Oppenheimer, einer der Mitentwickler der Atombombe, hat die Machbarkeitsmentalität in einem berühmten Satz deutlich gemacht: „When you see something that is technically sweet, you go ahead and do it, and you argue about what to do about it only after you have had your technical success. That is the way it was with the atomic bomb.“ Fokussieren sich ehrgeizige Naturwissenschaftler so stark auf das, was sie „technically sweet“ finden, dass sie in Gefahr geraten, alles andere auszublenden?

Das betrifft nicht nur Naturwissenschaftler oder Ingenieure, sondern etwa auch Psychologen, Juristen oder Ökonomen. Für die wissenschaftliche Arbeit muss man sich auf die Frage-stellung eines Projektes konzentrieren. Das den Wissenschaftlern als ethisches Defizit vorzuwerfen wäre unfair.

Aber man kann Menschen dazu bringen, eine neue Perspektive einzunehmen. Und weil sie das nicht immer von selbst tun, kann dabei der Zwang einer Institution sinnvoll sein. Ethik-Kommissionen, wie es sie heute an vielen Universitäten gibt, sind eine Art institutionalisierte Selbstreflexion. Gerade junge Wissenschaftler werden dadurch angeregt, über die potenziellen Wirkungen ihrer Arbeit nachzudenken. Und zwar, bevor ihre Arbeit oder ihre Karriere als Wissenschaftler ein Stadium erreicht, in dem es dafür zu spät ist. Wir sehen, dass gerade jüngere Wissenschaftler für solche Fragen sensibler und aufgeschlossener sind als viele ältere.

Ist das mehr als moralisches Greenwashing? Welche Druckmittel haben Sie?

Wenn Wissenschaftler der TU Anträge zur finanziellen Förderung ihrer Projekte einreichen, etwa bei der Deutschen Forschungsgemeinschaft, müssen wir sie vorher prüfen. Ohne Zustimmung einer Ethik-Kommission wird kein Antrag bewilligt, selbst wenn positive fachliche Gutachten vorliegen. Wir machen von unserem Veto-Recht so selten wie möglich Gebrauch. Aber allein die Tatsache, dass alle wissen, dass wir die Anträge begutachten, sorgt im Vorfeld dafür, dass ethische Aspekte zumindest thematisiert werden. Das ist die institutionalisierte Selbstreflexion.

Das geschieht übrigens nicht nur an Universitäten, sondern auch bei einflussreichen Journalen wie Nature oder Science. Sie veröffentlichen keine Artikel, die gegen ihre ethischen Mindeststandards verstoßen. Das hat durchaus Folgen für die Forschung: Veröffentlichungen in wichtigen Magazinen sind eine harte Währung für akademische Karrieren.

Sorgt das nicht für neue Routinen? Der Profi weiß doch, wie er ethisch korrekte Anträge formuliert – unter Umständen, indem er moralisch fragwürdige Aspekte gezielt kaschiert.

Jein. Es geht nicht nur um gut geschriebene Anträge, wir haben auch einen gewissen Einblick in die jeweiligen Forschungsvorhaben. Aber wir können nach der Bewilligung der Gelder nicht kontrollieren, was der Forscher tatsächlich tut. Deshalb wollen wir in Zukunft laufende Forschungsarbeiten mit einem Monitoring begleiten.

Haben Sie ein konkretes Beispiel?

Vor Kurzem haben wir den Antrag eines Forschers des mathematischen Kompetenzzentrums der TU begutachtet. Er hat EU-Gelder beantragt, um Software für Weltraumteleskope zu entwickeln, die eine höhere Auflösung der Aufnahmen möglich macht. Das ist ein groß angelegtes Projekt mit einem Etat von mehreren Millionen Euro. Es ist keine militärische Forschung, aber wir sehen ein Dual-Use-Risiko, also die Mög- lichkeit, dass die Software auch militärisch genutzt werden könnte. Das widerspricht den EU-Richtlinien für solche Förderungen. Der Forscher bekommt das Geld nur, wenn sein Projekt kontinuierlich von einem Ethiker begleitet wird, der mögliche Dual-Use-Anwendungen an den Geldgeber meldet.

Welche Wirkungen versprechen Sie sich davon? Vermutlich verfügen Rüstungskonzerne und das Militär über ausreichend Ressourcen, um selber so eine Software zu entwickeln und die dafür notwendige Expertise einzukaufen.

Das stimmt wahrscheinlich. Andererseits gelten zum Beispiel an Hochschulen in den USA extrem restriktive Ethik-Regeln, wenn Forschungsprojekte militärisch relevant sein könnten. Andere Länder sind sehr viel strenger als Deutschland. Deshalb ist es im Interesse der TU-Forscher, dass wir auf ebenso strenge Standards achten. Nur so kann die TU etwa mit US-Forschungseinrichtungen kooperieren. Die ethische Kontrolle der Vergabe von Forschungsgeldern hat in den vergangenen Jahren national und international massiv an Bedeutung gewonnen. Vor zehn Jahren war das noch kein Thema.


Mit der Brille lässt sich messen, wohin das Auge blickt, wenn es eine neue Benutzeroberfläche erkennt. Das ist toll – und missbrauchsanfällig?

Sie selbst beschäftigen sich in Ihrer wissenschaftlichen Arbeit mit Problemen des automatisierten Fahrens. Auch da werden in der öffentlichen Debatte ethische Fragen wichtiger. Wollen wir wirklich, dass Algorithmen entscheiden, ob das Auto bei einem Unfall die Schulkinder oder den Rentner umfährt?

Ich halte diese Debatte für überzogen. Es ist nicht möglich, alle theoretisch denkbaren Entscheidungssituationen zu antizipieren. Die Empfehlungen der von der Bundesregierung eingesetzten Ethik-Kommission zum Thema automatisiertes Fahren beziehen sich letztlich auf die Robotergesetze von Isaac Asimov. Dort heißt es, dass ein Roboter – etwa ein selbstfahrendes Auto – Menschen nicht gefährden oder schaden darf. Bei Konflikten soll er in einen „risikominimalen“ Zustand gehen. Was das genau bedeutet, bleibt unklar. Wie würde ein menschlicher Fahrer in solch einer Situation entscheiden? Und können wir von Algorithmen eine höhere Moral als von Menschen verlangen? Das sind offene Fragen.

Ist die Debatte auch deshalb so heftig, weil wir menschliches Versagen im Straßenverkehr weniger anstößig finden, als wenn Algorithmen über Leben und Tod entscheiden?

Ja, schon weil sich bei Algorithmen die Frage nach der Verantwortung für die Entscheidung stellt. Ist bei einem tödlichen Unfall der Programmierer, der Autohersteller oder der Fahrer verantwortlich? Im Sommer 2017 haben der Bundesrat und der Bundestag einen Gesetzesentwurf angenommen, nach dem die gesetzliche Verantwortung beim hochautomatisierten Fahren beim Fahrer liegt.

Das dürfte in der Automobilindustrie für Freude gesorgt haben. Aber vor diesem Hintergrund finde ich es schon bemerkenswert, dass Volkswagen im vergangenen September auf einer Konferenz ein Konzept für automatisiertes Fahren vorgestellt hat, bei dem der Fahrersitz in eine sehr bequeme Position gleitet, weg von den Pedalen und dem Lenkrad.

Was stört Sie daran?

Ich habe mich gefragt, ob der Fahrer schnell genug reagieren kann. VW-Mitarbeiter sagten auf der Konferenz, dass der Sitz in zehn Sekunden in die Fahrerposition wechseln kann. In einer kritischen Situation ist das eine Ewigkeit. Und es ist gleichzeitig sehr wenig Zeit, um aus einem tief entspannten Zustand zu kommen und wieder selber zu steuern. Man kann die Frage stellen, ob das ethisch vertretbar ist.

Studien zeigen, dass es viel anstrengender ist, sich auf das Verkehrsgeschehen zu konzentrieren oder zumindest wach und aufmerksam zu bleiben, wenn man nicht selbst fährt. Der Fahrer kauft ein System, das ihm Entscheidungen abnimmt, muss dann aber in Risikosituationen sehr abrupt Entscheidungen treffen. Doch genau dazu ist er dank der Entspannung, für die das System sorgt, nicht mehr in der Lage. Eigentlich müsste man in risikoarmen Situationen kontrollierte Fehlfunktionen einbauen, um den Fahrer daran zu gewöhnen, die Kontrolle zu übernehmen.

Wäre der Einsatz solcher Unterstützungssysteme trotzdem ethisch gerechtfertigt, wenn dadurch die Zahl der Verkehrstoten insgesamt zurückgeht?

Reicht es, wenn dank selbstfahrender Autos neue Unfallarten hinzukommen, aber insgesamt weniger Unfälle passieren? Das wäre nach der utilitaristischen Moral eine ethische Legitimation für automatisiertes Fahren. Ob das gesellschaftlich mehrheitsfähig wäre, ist eine andere Frage.

Am Ende entscheidet also die Gesellschaft über Gut und Böse?

Es gibt keine absolute Wahrheit. Sind Tierversuche ethisch vertretbar, um Medikamente gegen schwere Krankheiten zu entwickeln? Ein extrem utilitaristisches Argument heißt, die Entwicklung und der Abwurf der Atombomben auf Hiroshima und Nagasaki seien moralisch gerechtfertigt gewesen, weil so der Krieg schneller beendet wurde und vermutlich deutlich weniger Menschen gestorben sind. Es kommt also darauf an, welche ethische Sichtweise sich in einer Gesellschaft durchsetzt.

Bei vielen Forschungsvorhaben sind nicht von Anfang an alle Anwendungsmöglichkeiten absehbar. Sehen Sie die Gefahr, dass ein restriktives Regelwerk Forschung und Innovation schon im Vorfeld verhindert?

Das ist eine wichtige Frage. Viele Wissenschaftler befürchten Blockaden, wenn die Ethik zu wichtig wird. Wir sind an der TU relativ pragmatisch. Wir wollen keine Forschung verhindern, sondern zur Reflexion anregen.

Ich kann das an einem Beispiel erklären: Wissenschaftler der TU haben eine Applikation zur Unterstützung von Skoliose-Patienten entwickelt. Deren Wirbelsäule verkrümmt sich mit der Zeit, vor allem bei Kindern und Jugendlichen zwischen 9 und 20 Jahren. Die Betroffenen müssen deshalb jeden Tag viele Stunden ein stützendes Korsett tragen, das eine echte Zumutung ist. Unsere Sensoren prüfen, ob das Korsett wirklich benutzt wird und übertragen die Daten aufs Smartphone. Das hilft bei der Selbstkontrolle, therapeutisch ist es sinnvoll. Aber natürlich sind die Daten auch für Ärzte, Krankenkassen oder Eltern interessant.

Wir haben bereits im Entwicklungsprozess die Frage thematisiert, was mit diesen Daten geschieht. Ärzte und Eltern wollten sie nur sehen, wenn die Patienten selbst sie aktiv freigeben. Und Krankenkassen haben aus rechtlichen Gründen keinen Zugriff auf die Daten.

Es geht nicht um autoritär verhängte Reglementierungen und Einschränkungen, sondern um genau solche Dialoge. Im Idealfall verbessert der Prozess der ethischen Reflexion die Anwendungsmöglichkeiten. In diesem Fall waren messbare Therapie-Erfolge das Ziel, nicht Kontrolle. Das Produkt wird auf den Markt kommen, ein Hersteller will seine Korsetts damit ausstatten.

Gibt es Grauzonen? Fälle, die sich nicht harmonisch im Dialog klären lassen?

Sicher. Der britische Kybernetiker Kevin Warwick wurde in den Neunzigerjahren damit bekannt, dass er sich im Selbstversuch einen RFID-Chip implantieren ließ. Sein Büro und seine Labore stattete er mit Sensoren aus, sodass er vom Gebäude erkannt wurde: Seine Bewegungen sorgten dafür, dass Licht an- oder ausging – es war ein erstes Smart Home.

Dann hat er sich einen Chip an Muskeln implantieren lassen, der seine Hand steuert. Über ein Interface konnte er ihn mit dem Internet verbinden. Seine Frau hat an ihrer Hand einen ähnlichen Eingriff vornehmen lassen. Er war in den USA, seine Frau in Großbritannien, aber sie hat seine Hand über das Internet gesteuert – seine Hand hat jede ihrer Handbewegungen mitgemacht, ohne dass er das kontrollieren konnte.

In einem anderen Experiment hat er seine Muskeln mit einem Infrarot-Schallsensor verbunden, um sich mit verbundenen Augen zu orientieren, um also beispielsweise Objekten, die er nicht sehen kann, auszuweichen. Er hat sich mit diesen Experimenten an Mensch-Maschine-Schnittstellen ein Stück weit zum Cyborg gemacht. Er wollte zeigen, wie sich die Möglichkeiten des menschlichen Körpers technologisch erweitern lassen.

Aber was bedeutet das unter ethischen Gesichtspunkten? Warwick wollte mit seiner Forschung Menschen mit amputierten Gliedern helfen, die irgendwann ihre Prothesen über mit Chips versehene Nervenbahnen steuern sollen.

Ein potenzieller Anwendungsbereich war für ihn, Kindern Chips zu implantieren, damit die Eltern sie orten können, etwa als Schutz vor Entführungen. Ihn erreichen offenbar noch heute E-Mails von Eltern, die das gern machen lassen würden. Aber er hat dafür viel Ärger bekommen, sodass er solche Eingriffe nicht durchführt.

Wird dieses Wissen, wenn es verfügbar ist und die Nachfrage groß genug, nicht sowieso von anderen Anbietern genutzt?

Möglicherweise. Kevin Warwick selbst sagt, dass ethische Fragen nicht sein Problem seien. Seine Aufgabe als öffentlich finanzierter Forscher sei es, Wissen zu schaffen. Wie das genutzt oder nicht genutzt werde, müssten die gesellschaftliche Debatte und die Politik regeln.

Ähnliche Diskussionen hatten wir in Deutschland bei der Präimplantationsdiagnostik oder zur Genforschung. Vieles, was technisch möglich wäre, ist nicht erlaubt. Das hängt auch von der öffentlichen Debatte und dem Selbstbild einer Gesellschaft ab. Länder wie die USA oder China sind da weitaus toleranter.

Vielleicht weil der gesellschaftliche Reflexionsprozess langsamer ist als die technologische Entwicklung und zudem die Folgen der Forschung schwer abschätzbar sind?

Viele Technikforscher halten das für ein entscheidendes Problem. Wenn man sieht, in welcher Geschwindigkeit etwa die Möglichkeiten der künstlichen Intelligenz wachsen, kann man schon fragen, ob Gesellschaft und Politik in einigen Jahren die Entwicklung noch kontrollieren können.

Das ist ein großes Dilemma, vor allem wenn man Forschung nicht verhindern will. Was bedeutet es, wenn Algorithmen Entscheidungen treffen, diese Algorithmen aber so komplex sind, dass nur sehr wenige Experten nachvollziehen können, wie die Entscheidungen zustande kommen?

Wie reagieren die klassischen Entscheidungsträger auf die neue Konkurrenz?

Der Kognitionspsychologe Gerd Gigerenzer vom Max-Planck- Institut für Bildungsforschung erzählte von einem schönen Beispiel: Banken nutzen heute Algorithmen, um die Entwicklung von Währungskursen einzuschätzen. Gigerenzer berichtete, dass ihm Bank-Vorstände sagen, dass sie die Prognosen ihrer Computerprogramme zwar zur Kenntnis nehmen, aber ihre Entscheidungen nicht allein von diesen extrem komplexen Berechnungen abhängig machen. Sie vertrauen ihren Erfahrungen mehr als den Algorithmen.

Das ist wie bei einem selbststeuernden Auto: Der Fahrer vertraut dem System und darf ihm doch nicht ganz vertrauen. Er gibt Entscheidungskompetenz ab, muss aber dennoch entscheiden, in welchen Situationen er selbst eingreifen muss. Wenn der Bank-Vorstand aber auf Dauer schlechtere Entscheidungen trifft als die Algorithmen, wird er irgendwann überflüssig. Das sehen wir heute schon in einigen Bereichen. //