Corporate Publishing

brand eins Thema Innovation // 2017

Felix Stalder

Sie sind überall

Herr Stalder, was bedeutet es, wenn wir immer mehr Entscheidungen an Algorithmen delegieren?

Entscheidungen sind nie singulär. Eigentlich sind es Prozesse, eine (Teil-)Entscheidung führt zur nächsten. In diesen langen Entscheidungsketten können immer mehr, aber nie alle Schritte an Algorithmen delegiert werden, es sind immer auch Menschen involviert.

Sie haben aber recht, wir lassen immer größere Teile solcher Entscheidungsketten von Algorithmen ausführen. Doch das ist teilweise auch notwendig. Denn wir befinden uns immer häufiger in Entscheidungssituationen, die wir ohne Algorithmen gar nicht bewältigen können: Die Datenmengen sind zu groß, die Probleme zu komplex, die Entscheidungszeiträume zu knapp. Das geht vom Hochgeschwindigkeitshandel mit Devisen über die Steuerung intelligenter Energienetze bis zu Architekturentwürfen oder der Vergabe von Krediten; ganz zu schweigen von der fast allgegenwärtigen Vorsortierung des Internets für jeden Einzelnen. Überall, wo wir durch Daten die Welt erfahren und daraus Schlüsse ziehen, kommen vermehrt Algorithmen ins Spiel.

Und was bringt uns das?

In einer komplexen Informationsumgebung brauchen wir leistungsfähige Mechanismen, um uns zu orientieren und handeln zu können. Das Internet zum Beispiel hat keine filternde, ordnende Redaktion – deshalb ist es chaotisch. Das ist alles in allem gut, weil es extreme Vielfalt und Dynamik zulässt. Aber um sich in diesem chaotischen System zu bewegen, braucht man adäquate Hilfsmittel: die Suchalgorithmen. Ohne sie wäre das Internet unbenutzbar.

Und das gilt allgemein. Große Datenmengen bergen nur dann neue Erkenntnis- und Handlungspotenziale, wenn wir mit Algorithmen hinreichend komplexe Analyse-Instrumente haben, die wiederum einen gesellschaftlichen Komplexitätsschub ermöglichen. Das gilt für Suchmaschinen, aber auch für die Gesundheitsversorgung, das Energienetz oder die Mobilität. Vernetzte, selbstfahrende Autos ermöglichen komplexe Carsharing-Modelle, die die Zahl der benötigten Autos deutlich senkt – bei verbesserter Mobilität. Ich halte das für sinnvoll. Solche positiven Entwicklungen entstehen aber erst durch den mit Algorithmen ermöglichten Komplexitätsschub.

Dann sind Algorithmen erst mal gut?

Man kann grob zwei Kategorien von Algorithmen unterscheiden: solche, die Maschinen koordinieren, die auf komplexe Weise tun, was man ihnen aufgibt. Ein Beispiel: Ein intelligentes, dezentrales Stromnetz sorgt für Effizienzgewinne von großem gesellschaftlichem Nutzen, aber es ist ungeheuer komplex und dynamisch. Doch dank eines Algorithmus muss das den Nutzer nicht kümmern: Er bestimmt nach wie vor selbst, wann er Strom bezieht – einfach, indem er den Lichtschalter bedient.

Etwas anderes sind algorithmische Entscheidungssysteme, die von einer Seite, etwa Banken, Versicherungen oder Internet-Konzernen, genutzt werden, um das Verhalten der anderen Seite – Kreditkunden, Versicherte, Suchmaschinen-Nutzer – zu messen, zu bewerten und zu beeinflussen. Das ist in der Regel für die Vermessenen und Bewerteten nicht transparent. Sie bekommen die Entscheidungen mitgeteilt, aber nicht, warum so entschieden wurde und ob Alternativen möglich wären.

Solche Entscheidungen können weitreichende Folgen haben. Und sich diesem Mechanismus zu entziehen ist kaum möglich, denn wir werden beobachtet auf Grundlage von Daten, die wir zu einem erheblichen Teil freiwillig hinterlassen – beim Surfen, beim bargeldlosen Bezahlen, mit dem Fitness-Tracker, auf der Fahrt im vernetzten Auto. Die Daten gehören uns nicht, es sind Transaktionsdaten. Das erschwert den Datenschutz, denn wir wollen die Transaktionen, in denen sie entstehen. Wir wollen zwar oft nicht, dass unsere Datenspuren an Dritte gehen und zu Datenprofilen kombiniert werden, aber wir haben wenig Möglichkeiten, das zu verfolgen oder gar zu verhindern. Da existiert eine massive Asymmetrie zwischen uns Bürgern und den Konzernen, die die Daten erheben und nutzen.

Ist die Idee vom transparenten, berechenbaren Bürger nicht paranoid?

Vor allem ist sie falsch. Wir werden nicht wirklich transparent und berechenbar. Facebook weiß nicht, ob uns ein Video, das wir „liken“, wirklich gefällt. Doch aufgrund der Datenspuren werden über uns Berechnungen angestellt. Und deren Folgen bekommen wir zu spüren, egal ob die Berechnung stimmt oder nicht. Anders gesagt: Auch wenn wir nicht wirklich transparent sind, werden wir behandelt, als ob wir es wären.

Im Kern geht es um zwei entscheidende Fragen: Ist das Übersetzen von Verhalten in Daten handwerklich seriös? Das ist es häufig nicht. Und wer definiert, nach welchen Kriterien diese automatischen Entscheidungssysteme arbeiten und worauf sie zielen? Wer das entscheidet, hat eine enorme Macht. Bei beiden Fragen fehlt eine politische und gesellschaftliche Debatte. Aber beide haben immense Konsequenzen für jeden Einzelnen, für Unternehmen und für die Gesellschaft.

Weshalb ist die Verwendung der Daten in Ihren Augen häufig unseriös?

Es geht um Übersetzungsprobleme: Wie wird die Realität mit Daten erfasst? Und wie aussagekräftig sind die Daten? Da wird oft gepfuscht. Ein Beispiel: Eine große englische Autoversicherung wollte das Risiko- und Fahrverhalten von Erstwagen-Eigentümern anhand deren Social-Media-Aktivität abschätzen. Wer etwa auf Facebook viele Ausrufezeichen verwendete, wurde als impulsiv bewertet und sollte deshalb in einer höheren Risikoklasse landen. Das ist einigermaßen willkürlich.

Gibt es so etwas häufiger?

Das ist sicher keine Ausnahme. Eine Ausnahme ist nur, dass der Versicherungskonzern das öffentlich gemacht hat, sodass es darüber eine öffentliche Auseinandersetzung gab. Andere Versicherungen arbeiten vermutlich mit ähnlichen Verfahren, sind aber clever genug, das diskret zu machen.

Für Risikoanalysen müssen Versicherungen von früheren Ereignissen auf die Wahrscheinlichkeit künftiger Ereignisse schließen. Deshalb haben sie einen enormen Datenhunger. Eine große Zulieferindustrie bereitet für sie alle möglichen Daten auf, aus denen sie Schlüsse zu ziehen versuchen. Dabei kann alles mit allem verknüpft werden, etwa Einkaufsverhalten mit Bewegungsprofilen, um abzuschätzen, ob eine Person ein erhöhtes Krankheitsrisiko hat. Falls die Analyse die Vorhersagegenauigkeit für die ganze Gruppe verbessert, wird sie angewandt, selbst wenn sie im Einzelfall vielleicht falsch und für den Betroffenen mit Nachteilen verbunden ist.

Die Übersetzung von Verhalten in Daten ist sehr schwierig, weil immer sehr selektiv. Aber Algorithmen sind auf Daten angewiesen. Also werden sie als Abbild der Wirklichkeit genommen, auch wenn dieses Abbild, wie bei der Autoversicherung, ungenau und verfälschend ist. Und auf dieser Basis werden dann Entscheidungen getroffen.

Aber weshalb nutzen Banken und Versicherungen solche Verfahren, wenn sie so unzuverlässig sind?

Weil es sich unterm Strich rechnet. Man weiß, dass automatische Entscheidungs- systeme nicht perfekt sind und viele Fehler produzieren. Aber man nimmt in Kauf, dass Versicherungs- oder Bankkunden dadurch unnötig diskriminiert werden, denn der betriebswirtschaftliche Gesamteffekt ist positiv. Das Interesse der Anbieter, Gewinn zu machen, verdrängt das Interesse der Gesellschaft, jede Art von Diskriminierung zu verhindern. Das erhöht den Druck auf Wettbewerber, solche Effizienzgewinne auch zu nutzen und entsprechende Systeme einzusetzen. Hinzu kommt, dass sie kaum eine andere Wahl haben. So große und komplexe Datenmengen zu akquirieren, zu verwalten und zu analysieren ist nicht trivial.

Außerdem führt die zunehmende Abhängigkeit von komplexen Daten zu massiven Wettbewerbsvorteilen für die Konzerne, die über sie verfügen. Hardware und Software kann man überall kaufen. Aber die Daten von Google, Alibaba, Amazon oder Facebook bekommt man nur von diesen Firmen.

Wieso ist es wichtig, wer die Arbeitsweise von Algorithmen festlegt?

Algorithmen sind keine objektiven, neutralen Prozesse – sie sind interessengesteuert und intransparent. Es sind standardisierte Verfahren, um von A nach B zu kommen. Man hat einen Daten-Input und weiß, welchen Output man will. Oder man definiert ein Problem und weiß, wie die Lösung aussehen soll. Die Frage ist nur: Wer definiert mit welchen Interessen A und B?

Wer die Leistung von Mitarbeitern in einem Unternehmen bewerten will, kann die Bewertungskriterien so festlegen, dass zehn Prozent schwach abschneiden. Oder man nutzt für die Bewertung nur bestimmte, einfach messbare Kriterien, aber komplexere, weniger gut in Daten fassbare soziale Kompetenz und Eigeninitiative zum Beispiel nicht.

Dahinter steht die Idee, dass es um individuelle Konkurrenz geht, sei es bei der Bewertung von Mitarbeitern, Kreditnehmern, Kunden oder Versicherten.

Über die Technologie dringt das in immer mehr Bereiche vor, auch in solche, in denen die Marktlogik fragwürdig ist.

Zum Beispiel Gesundheits-Tracker, die Bewegungsaktivität messen: Was geschieht, wenn Krankenversicherungen den Nutzern solcher Tracker, die sich ausreichend bewegen, so hohe Rabatte gewähren, dass aus dem Anreiz ein Zwang wird? Wenn man sich dem Tracker verweigert oder sich nicht genügend bewegt, kann die Krankenversicherung plötzlich sehr teuer werden.

Es bleibt also nicht beim Datensammeln. Es wird auch subtiler Druck aufgebaut, das Verhalten zu ändern?

Ja, sicher. Das geschieht schon. Die Frage, ob das fair und gesellschaftlich gewollt ist, wird nur durch die scheinbare Neutralität der Technologie überdeckt. Man könnte sich auch dafür entscheiden, in bestimmten Bereichen auf Marktmechanismen und Kosten-Nutzen-Kalküle, die auf das Individuum heruntergebrochen sind, zu verzichten. Das macht man zum Beispiel ganz bewusst bei der Rentenversicherung, beim Recht auf Schulbesuch und anderen Leistungen der Solidargemeinschaft. Die Gefahr ist bloß, dass das erodiert.

Was stört Sie an der Intransparenz?

Algorithmische Systeme schieben sich zwischen uns und die Welt, sie verändern, wie wir sie wahrnehmen. Aber wir können nicht beobachten, wie sie arbeiten. Ich gebe einen Suchbegriff bei Google ein und habe keine Ahnung, was danach passiert. Ich bekomme ein Ergebnis, aber ich weiß nicht, welche möglichen anderen Ergebnisse ich nicht bekomme. Die Suchalgorithmen sind zwar sehr nützlich, doch sie haben gleichzeitig ein großes, intransparentes Potenzial zur Manipulation.

Googles Suchalgorithmen müssen intransparent sein, damit die Ergebnisse nicht von Suchmaschinenoptimierern verfälscht werden können.

Das ist ein legitimer Grund – aber es ist nicht der einzige. Google hat beispielsweise irgendwann beschlossen, Seiten, die womöglich gegen Urheberrechte verstoßen, niedriger zu ranken. Ob das gerechtfertigt ist, müsste ein Urheberrechtsverfahren vor Gericht klären. Doch Google entscheidet einfach, es so zu machen. Und die Betroffenen haben kaum eine Möglichkeit, dagegen vorzugehen.

Das ist Zensur light. Die entscheidende Frage ist: Wie kann man die unbestreitbare Nützlichkeit und Notwendigkeit der Algorithmen mit größerer Transparenz und externen Kontrollmöglichkeiten verbinden?

Die Frage ist auch, welche Folgen das alles für jeden Einzelnen hat.

Das hängt extrem davon ab, wer wie und warum Entscheidungsprozesse automatisiert. Zum Beispiel werden die Möglichkeiten, mit Clustern zu arbeiten, zunehmend verfeinert. Person A gehört durch ihr Datenprofil zur Gruppe X und wird sich mit einer bestimmten Wahrscheinlichkeit ähnlich verhalten wie andere Angehörige dieser Gruppe. Das erlaubt Prognosen. Banale Beispiele für diese Zuordnung von Individuen auf Gruppen sind Buchempfehlungen von Amazon oder das, was Ihnen Facebook zeigt. Auch das sind intransparente Mechanismen.

Bei Banken ist der Wohnort des Kunden schon lange ein Entscheidungskriterium bei der Kreditvergabe.

Das sind Standardverfahren. Was wir jetzt sehen, ist viel ausdifferenzierter, feiner und allgegenwärtig. Heute kann man zum Beispiel sehen, dass Leute dreimal die Woche abends länger ausgehen, sich wenig bewegen oder jeden Abend Pizza essen, was zu einem höheren Gesundheitsrisiko führen kann – und in der Folge zu einem höheren Kreditausfallrisiko oder einer geringeren Chance, in eine Berufsunfähigkeitsversicherung aufgenommen zu werden.

Ein Extrembeispiel solcher datenbasierten Prognoseverfahren zeigt Steven Spielbergs „Minority Report“: Aufgrund von Daten weiß die Polizei, wer wann welches Verbrechen begehen wird, und macht die Täter präventiv unschädlich. Ist das mehr als Science-Fiction?

Es folgt zumindest der gleichen Logik: auf der Basis von Daten Verhalten zu prognostizieren. Bis zu einem gewissen Grad ähnelt das Film-Szenario dem Umgang, den die Geheimdienste mit Selbstmordattentätern pflegen. Das Ziel ist, die Tat im Vorfeld zu verhindern. Eine der Aufgaben von Geheimdiensten ist deshalb, aus komplexen Datenmustern Verhalten zu prognostizieren, um potenzielle Attentäter zu identifizieren. Doch in einem Rechtsstaat stellt sich die Frage, ob das für eine Verhaftung genügt und ob es rechtfertigt, alle Bürger unter einen Anfangsverdacht zu stellen und zu überwachen.

Wir sehen im Nahen Osten bereits seit Jahren US-Drohneneinsätze zur gezielten Tötung von Terrorverdächtigen allein auf der Grundlage von Datenmustern. Und es werden auf diese Weise nicht nur Terroristen ausgeschaltet, von denen man weiß, wer sie sind und was sie tun.

Drohnen töten auch gezielt Leute, von denen man zwar nicht weiß, wer sie sind, die aber aufgrund ihrer Datenmuster als Terrorverdächtige identifiziert sind. Das sind keine Verschwörungstheorien, das ist gut dokumentiert.

Falsch interpretierte Datenmuster, also das, was Sie „schlechtes Handwerk“ nennen, können tödlich sein?

Ja, in diesem Fall wären sie tödlich.

Sie fordern, es nicht den Konzernen zu überlassen, die Spielregeln der digitalen Transformation zu definieren. Das ähnelt der Lage kurz nach Erfindung des Autos: Wir fahren, aber es gibt keine Führerscheine oder Prüfungen, keine Regelungen oder TÜV-Zulassungen, nicht einmal eine Straßenverkehrsordnung.

Die Lage ist insofern ähnlich, als mit der Digitalisierung ein neues gesellschaftliches Handlungsfeld entstanden ist, das tief in den Alltag eingreift. Deshalb ist es eine gesellschaftliche und politische Frage, wie man damit umgehen soll. Der Unterschied zum Auto ist nur, dass diese Entwicklung sehr schwer fassbar und in Teilen fast unsichtbar ist. Einen Autounfall kann man sehen. Die Folgen von Datenmissbrauch oder handwerklich schlecht interpretierten Daten können massiv sein, lassen sich aber nur indirekt auf die Verwendung bestimmter Algorithmen zurückführen.

Zu dieser Unsichtbarkeit gehört, dass man die von Algorithmen gesteuerten Entscheidungen für objektiv und unhinterfragbar hält. Deshalb geht es auch darum, sichtbar zu machen, wie diese Maschinen arbeiten und nach welchen Kriterien sie Entscheidungen treffen. Wir müssen in Zukunft sehr viel besser verhindern, dass dadurch Menschen diskriminiert und ausdifferenzierte Datenprofile unkontrolliert gegen die Interessen der Betroffenen eingesetzt werden. Dafür ist eine gesellschaftliche Debatte notwendig. Aber am Ende wird es nicht ohne staatliche Sanktionsinstrumente gehen.

Hilft größere Transparenz?

Es gibt Diskussionen über einen Algorithmen-TÜV, der Algorithmen prüft, bevor sie eingesetzt werden dürfen. Aber das würde voraussetzen, dass Algorithmen statisch sind – was sie nicht sind. Außerdem gibt es legitime Interessen, Algorithmen nicht allzu transparent zu machen, zum Beispiel zum Schutz vor Manipulation durch Suchmaschinenoptimierer.

Das bedeutet jedoch nicht, dass andere Formen von Transparenz unmöglich sind. Coca Cola muss nicht sein Rezept veröffentlichen, aber die Inhaltsstoffe angeben. Ein anderes Beispiel sind Creative Commons: Hier werden komplexe juristische Sachverhalte auf allgemeinverständliche Piktogramme heruntergebrochen. Die größere Verständlichkeit schafft Transparenz.

Genauso könnte man von Google verlangen, offenzulegen, nach welchen Kriterien in der Suche entschieden wird, in welcher Reihenfolge die Funde angezeigt werden und wie der Konzern das gewonnene Wissen über seine Anwender nutzt. Das Argument, dass sich die Unternehmen staatlicher Intervention ohnehin entziehen werden, teile ich nicht: Die EU ist ein großer Markt und hat mehr Handlungsmöglichkeiten als sie derzeit nutzt. Da fehlt schlicht der politische Wille.

Was wäre politisch sinnvoll?

Für technisch machbar und politisch notwendig halte ich die Einführung einer Auskunftspflicht. Die Bürger sollten ein Recht darauf haben, zu erfahren, auf welcher Grundlage Entscheidungen getroffen werden, zum Beispiel von Banken, Versicherungen und Arbeitgebern. Auch Antidiskriminierungsgesetze sollten auf Entscheidungsverfahren ausgeweitet werden, in denen Menschen nicht aufgrund ihrer Religion oder ihrer Hautfarbe, sondern wegen ihrer Daten zu ihrer Wohngegend, ihrer Gesundheit, ihrem Lebensstil und so weiter benachteiligt werden. Das ist komplex, aber man könnte die Rolle der Datenschutzbehörden in diese Richtung ausweiten.

Aber Sie können doch Banken nicht mit einem Antidiskriminierungsgesetz daran hindern, das Kreditausfallrisiko ihrer Kunden zu kalkulieren, oder Versicherungen zwingen, einem krebskranken Achtzigjährigen eine Lebensversicherung zu den gleichen Konditionen zu verkaufen wie einem gesunden Zwanzigjährigen.

Nein. Aber eine Auskunftspflicht macht Entscheidungen transparenter und ist ein Schutz vor falschen Schlussfolgerungen aufgrund unzureichender Daten. Die gesetzlichen Rahmenbedingungen müssen die Asymmetrie, das Ungleichgewicht der Macht ausgleichen, das zwischen den einzelnen Bürgern und den großen Internetkonzernen herrscht, die unsere Daten sammeln, sowie den Unternehmen, die sie nutzen.

Dank des Lebensmittelrechts kann ich unbesorgt im Supermarkt einkaufen, ohne befürchten zu müssen, mich zu vergiften. Darüber hinaus kann ich zum Beispiel Limonaden vergleichen, um zu sehen, welche wie viel Zucker enthält. Ähnlich sollten gesetzliche Regelungen den Einzelnen viel wirkungsvoller als heute vor Datenmissbrauch schützen.

Natürlich ist auch jeder selbst gefragt: Ohne eine gewisse Grundkompetenz des Einzelnen geht es nicht. Aber man sollte auch in der Lage sein, sie zu erwerben und anzuwenden – etwa indem man Social-Media-Plattformen unkompliziert zwingen kann, Auskunft zu erteilen.

Was kann der Einzelne tun?

Datensammlungen und Datenmissbrauch sind ein strukturelles Problem, das man politisch angehen muss. Auf der individuellen Ebene sollte man aber wenigstens lernen, mit Risiken bewusster umzugehen. Man sollte sich zum Beispiel nicht von einer einzigen Blackbox namens Facebook oder Google abhängig machen – wer verschiedene Dienste benutzt, ist schwerer zu erfassen. Unterschiedliche Aktivitäten auf unterschiedlichen Plattformen machen es zumindest komplizierter, ein Datenprofil zu erstellen, auch wenn das selbstverständlich nicht davor schützt, dass falsche Entscheidungen auf Basis unzureichender Daten getroffen werden.

Es ist auf jeden Fall sinnvoll, den Monopolcharakter dieser Blackboxes aufzubrechen. Wir brauchen mehrere Suchmaschinen, und wir brauchen eine Interoperabilität der Suchmaschinen, also die Fähigkeit zur Zusammenarbeit, sowie Metasuchmaschinen, die auf andere Suchmaschinen Zugriff haben. Ein brauchbarer Filter ist zum Beispiel StartPage, eine Suchmaschine, die Anfragen an Google weiterleitet und dadurch anonymisiert.

Aus Sicht von Geheimdiensten macht sich jemand, der seine Online-Aktivitäten systematisch verschleiert, vermutlich verdächtig.

Jemand, der keine Spuren hinterlässt, macht sich heute sicherlich verdächtig. Aber wenn sehr viele Nutzer sehr viele ihrer Online-Aktivitäten verschlüsseln, funktioniert das nicht mehr als Diskriminierungsmerkmal. Wenn alle verdächtig sind, ist keiner verdächtig. //

Mehr aus diesem Heft

 

Die innovativsten Unternehmen Deutschlands –

Lesen

 

Der Silicon-Kult

Für Inspirations-Suchende und Innovations-Pilger ist das Silicon Valley ein wichtiger Wallfahrtsort. Vom Besuch der heiligen Stätten, den dortigen Konzernzentralen, versprechen sich viele Erleuchtung.

Lesen

Idea
Read