Partner von
Partner von

Jim Manzi

Entscheider brauchen sichere Daten. Daher will Jim Manzi (Foto) die klassische Marktforschung auf den Müll werfen und fordert: erst testen, dann entscheiden.




• In einfachen Worten funktioniert es folgendermaßen, was Jim Manzi, 48, vorschlägt: testen, vergleichen, entscheiden – und zwar am lebendigen Objekt. Manzi, Gründer von Applied Predictive Technologies, einem Unternehmen für Test-Software und -Beratung, ist ein Freund der Experimente. Unternehmen und Politik sollen aus Erfahrung Schlüsse ziehen und sie anwenden. In seinem Buch "Uncontrolled: The Surprising Payoff of Trial-and-Error for Business, Politics and Society" schreibt er, dass viele Politiker und Manager nicht auf Grundlage von empirischer Evidenz Entscheidungen träfen, sondern auf der Grundlage von Vermutungen. Manzi teilt die Welt in solche Phänomene ein, die nicht zu testen sind und solche, die sich testen lassen – und ist dann unerbittlich: Was man testen kann, soll man auch testen.

Manzi ist ein Vertreter der "Experimental Revolution", die die Methoden der Medizinforschung und der modernen Wirtschaftswissenschaft vereint. Frage: Kaufen die Kunden mehr Marmeladengläser oder weniger, wenn die Auswahl größer ist? Man könnte die Kunden jetzt befragen und die Antworten auswerten. Oder man kann es einfach versuchen. In einigen Geschäften lässt man das Angebot, wie es war. In anderen vergrößert man es. Hinterher vergleicht man die Ergebnisse. Auf ähnliche Weise werden auch Medikamente auf ihre Wirksamkeit untersucht. Solche Randomized Field Trials (RFT), wie Manzi sie nennt, decken die Ursachen von menschlichem Verhalten auf. Das klingt einfach, doch bedarf es raffinierter Methoden, um die Daten exakt zu verarbeiten.

Manzi beschränkt sich nicht auf Unternehmen: Auch Politiker sollen solche Methoden anwenden. Denn ihr Handeln sei meist noch viel unausgegorener als das von Managern, behauptet er.

brand eins: Sie wollen die Politik rigorosen Tests unterziehen. Kann das überhaupt funktionieren? Zum Beispiel bei einem solch großen Bereich wie dem Bildungssystem?

Jim Manzi: Erstaunlicherweise sind die allermeisten Maßnahmen, von denen es heißt, sie würden die Schulqualität verbessern, niemals getestet worden. Wir geben in den USA vier Prozent unseres Bruttoinlandsproduktes für Schulbildung aus, aber wir steuern blind! Wir könnten es besser machen. Was will man von Schulen wissen? Ob ein Lehrplan besser ist als ein anderer, also die Schüler mehr lernen? Welche Didaktik tauglicher, welche Klassengröße optimal ist? Dies können wir an unterschiedlichen Schulen ausprobieren, wohl wissend, dass die meisten Veränderungen nichts bringen. Aber gerade deswegen sollten wir Reformen zuerst im Kleinen testen, bevor wir sie im großen Maßstab umsetzen.

Und was werden wir herausbekommen?

Wir werden dabei selten etwas finden, das unter allen Umständen und bei allen Gruppen gleich wirkt. Aber wir wissen hinterher vermutlich besser, dass Methode A, sagen wir, in städtischen Problemvierteln eher Erfolg verspricht, Methode B hingegen bei kleinen Grundschulen auf dem Land.

Ihre Methode hat eine große Schwäche: Die Ergebnisse lassen sich nicht verallgemeinern.

Genau. Daher ist es so gefährlich, aus einem einzigen Test allzu weit tragende Schlüsse zu ziehen. Ein berühmtes Beispiel ist das sogenannte Marmeladenexperiment. Dabei wurde untersucht, ob ein größeres Angebot an Marmeladen dazu führt, dass mehr gekauft werden. In den Medien gilt dieses Experiment oft als Beleg dafür, dass mehr Wahlmöglichkeiten uns unglücklich machen und zu weniger Absatz führen. Am ursprünglichen Experiment haben aber nur 249 Leute teilgenommen, die insgesamt 35 Gläser Marmelade gekauft haben. Inzwischen hat es viele weitere solcher Versuche gegeben, die ziemlich deutlich zeigen, dass mehr Auswahl uns in der Tat weder glücklicher noch unglücklicher macht, aber dass sie den Absatz eben doch steigert. Ein einzelner Test sagt eigentlich gar nichts aus.

Wie weit verbreitet ist Ihre Methode?

Ein Großteil der Fortune-500-Konzerne, die größten Banken, Hotel- und Restaurantketten und die allermeisten Internetfirmen, allen voran Google, Amazon und Ebay, setzen sie ein. Google hat allein 2009 rund 12000 zufallsbasierte Tests unternommen, von denen zehn Prozent zu Veränderungen der Angebote geführt haben. Weltweit werden pro Jahr sicherlich mehrere Hunderttausend dieser Experimente gemacht. Inzwischen gehören diese Tests tatsächlich zum normalen Repertoire innovativer Firmen.

Was ist die wichtigste Erkenntnis aus all diesen Tests?

Grundsätzlich gilt: Echte Verbesserungen sind selten. Die allermeisten neuen Ideen scheitern, das heißt, sie bringen nicht, was man sich von ihnen verspricht. Oder sie verschlechtern die Situation sogar. Das ist wie bei Medikamententests: Nur ein Viertel aller Substanzen wird zugelassen, wiederum nur ein Bruchteil davon setzt sich auf dem Markt durch.

Wenn so viele neue Dinge scheitern - sollten wir dann nicht lieber möglichst wenig Neues versuchen?

Nein, im Gegenteil: Wir sollten viel mehr ausprobieren. Aber in kleinerem Maßstab und stets überprüfen, was wir da machen. Das gilt auch für Unternehmen: testet viel, aber möglichst billig und schnell.

In Unternehmen mag das ja noch funktionieren. Aber jetzt wollen Sie das auch auf die Politik anwenden – damit wir sehen, dass auch sie meistens scheitert?

Richtig.

Warum?

Die große Mehrheit der politischen Maßnahmen ist wirkungslos oder erreicht nicht das, was vorgesehen war.

Wenn so viele Maßnahmen scheitern, wie Sie sagen - können Sie sagen, was wirkt?

Es sind ja nur sehr wenige politische Reformen untersucht worden, aber drei moderate Erfolge haben sich wiederholt bestätigen lassen. In der Kriminalitätsbekämpfung scheint die sogenannte Broken-Windows-Theorie zu stimmen: Demnach sollen schon kleine Verwahrlosungen – eben kaputte Fenster – rasch beseitigt werden und kleine Störungen geahndet, sonst kann ein Stadtviertel schnell abrutschen. In frühe Intervention zu investieren ist wohl kosteneffektiv. In der Sozialhilfe hat es sich zumindest in den USA bewährt, wenn die Empfänger für das Geld auch arbeiten müssen, in Gemeinden oder bei gemeinnützigen Organisationen. Wer das tut, findet schneller wieder einen Job. Die dritte Erkenntnis: Können die Eltern wählen, welche Schule ihre Kinder besuchen, erzielen die Kinder im Durchschnitt bessere Leistungen, und zwar unabhängig davon, ob sie eine private oder staatliche Schule besuchen.

Sie sagen: moderate Erfolge?

Die Programme haben, gemessen an ihren Kosten, positive, aber kleine Effekte. Keines von ihnen löst die großen Probleme der Kriminalität oder des Sozialstaats.

Die Erfolge entsprechen eher einem traditionellen Weltbild – macht uns Ihre Methode konservativ?

Ich sehe nicht, warum das so sein sollte. Die Untersuchungen sind ja in keiner Weise darauf angelegt, ein bestimmtes politisches Spektrum zu bestätigen und ein anderes nicht. Allerdings scheint sich zu zeigen, dass alle Programme, die menschliches Verhalten direkt zu ändern versuchen, eher scheitern. Es ist offenbar besser, nur Anreize zu setzen, gewissermaßen die Umwelt der Menschen zu verändern.

Sie propagieren allerdings, im Zweifel für das Bestehende zu votieren. Das klingt ziemlich konservativ.

Für das Bestehende sollten wir votieren, soweit uns Beweise fehlen, dass das Neue besser ist. Wie gesagt: Es ist eher unwahrscheinlich, dass das Neue wirklich besser ist. Wir sollten also die Beweislast jenen auferlegen, die sich für eine Idee einsetzen. Es ist natürlich auch klar, dass wir nicht immer auf Testergebnisse warten können oder dass manchmal Experimente nicht möglich sind. Letztlich geht es mir um eine Art erkenntnistheoretische Demut. Wir wissen längst nicht so viel, wie wir annehmen, und die Welt ist ein ziemlich unübersichtlicher Ort. Gerade weil wir so unwissend sind, brauchen wir die Freiheit zu experimentieren.

Demut ist in der Regel nicht die Spezialität des politischen Personals. Wie realistisch ist es, dass Ihre Methode sich durchsetzt? Wird es je Politiker geben, die sagen: Wir müssen etwas gegen X oder Y tun – lasst uns ein paar Hundert Experimente machen, und in sechs Jahren sehen wir dann mal weiter?

Die Frage hat zwei Aspekte. Wäre es realistisch, dass eine RFT-Behörde eingerichtet wird? Ich bin absolut dafür. Im US-Erziehungsministerium gibt es bereits eine Abteilung, die Tests in Schulen initiiert und die entsprechenden Standards festlegt. Warum nicht so etwas für alle Politikfelder? Die wichtigste Aufgabe der neuen Behörde wäre es, die Vergleichbarkeit aller Studien sicherzustellen, damit wir auch tatsächlich etwas aus ihnen lernen können. Der andere Aspekt: Würden sich Politiker an den Ergebnissen der Tests orientieren, und zwar immer und grundsätzlich? Die Wahrscheinlichkeit ist gleich null. Aber vielleicht manchmal und ein bisschen. Marginal würden ab und an die Entscheidungen besser, und das wäre den Einsatz an Zeit und Ressourcen wert.

Wie umfangreich müssten diese Ressourcen sein?

Die Abteilung im Department of Education hat rund 200 Mitarbeiter, ist also überschaubar. Je mehr Tests wir machen, desto stärker sinken die Kosten, was ein wichtiger Erfolgsfaktor wäre. Das erste große Testprogramm in den USA hat mehr als 100 Millionen Dollar pro Jahr verschlungen, inzwischen sind die Kosten auf ein bis drei Prozent davon gesunken. Aber was ist das schon bei Reformen, die Milliarden Dollar kosten?

Kann man aus der Wirtschaft lernen, wie so eine Behörde aufgebaut sein müsste?

Firmen können dieses Instrument nur erfolgreich einsetzen, wenn sie drei Bedingungen erfüllen. Die erste: Das Management muss voll dahinterstehen und seine Entscheidungen von den Tests beeinflussen lassen. Die zweite: Die Testabteilung muss organisatorisch vom Rest der Firma getrennt sein. Schließlich: Die Tests müssen Routine werden, normaler Bestandteil der Arbeit. Dasselbe müsste auch für die Politik gelten.

In Ihrem Buch schreiben Sie, es sei so schwierig, Effekte nachzuweisen, weil unsere Gesellschaft eine so hohe "kausale Dichte" aufweise. Was meinen Sie damit?

Wenn wir einen Polio-Impfstoff in Virginia testen, dann können wir ziemlich sicher sein, dass wir ähnliche Ergebnisse auch in einem anderen Bundesstaat bekommen – einfach weil sich die menschliche Biologie überall ähnelt. Auch da gibt es Ausnahmen – Geschlecht, Ernährung, Alter -, aber dennoch: Die möglichen kausalen Einflüsse sind relativ begrenzt. Ganz anders bei sozialen Beziehungen. Wenn wir ein Alphabetisierungsprogramm in Virginia testen, dann sagen diese Ergebnisse nicht viel aus über jene in einem heruntergekommenen Viertel in Dallas oder einem reichen Vorort von Seattle. Es gibt jeweils so viele Einflussfaktoren, dass wir nur selten universale Aussagen treffen können. Wir haben es in der Gesellschaft mit viel komplexeren Problemen zu tun als in der Physik oder der Biologie.

Im Kern fordern Sie eine "Kultur des Experimentierens" – sehen Sie Unterschiede zwischen den USA und Europa?

Ja, erhebliche. Vermutlich hängt das mit der stärker empirischen Forschungstradition der angelsächsischen Länder zusammen und in den USA auch mit der föderalistischen Struktur der Regierung. Das erlaubt mehr Varianz als etwa im zentralistischen Frankreich.

Einer der Kritikpunkte an Ihrem Vorschlag lautet: RFT sind schön und gut, aber die wirklich wichtigen Fragen klären sie nicht. Etwa, wie wir die Eurokrise meistern oder ob ein schuldenfinanzierter Wachstumspakt funktioniert.

Dabei hilft uns meine Methode in der Tat nicht. Ich sehe keine Möglichkeit, wie wir Fragen, die eine ganze Volkswirtschaft oder Nation betreffen, mit dieser Methode klären könnten. Wir können nicht einzelne Gruppen oder Gegenden isolieren, um eine Interventions- und eine Kontrollgruppe zu unterscheiden.

Dennoch schlagen Sie einige große Linien vor: freie Schulwahl etwa oder Einwanderung als Möglichkeit zur Rekrutierung qualifizierter Arbeitskräfte zu begreifen. Was hat das mit rigorosen Tests zu tun?

Über die Schulwahl sprach ich schon. Und was die Einwanderung angeht: Wir könnten Lotterien veranstalten, um Immigranten nach verschiedenen Kriterien auszulosen, um dann nach einigen Jahren zu sehen, welche Gruppen sich am besten geschlagen haben und von welchen wir als Land am meisten profitieren. Auch hier wieder: dezentralisieren, ausprobieren, überprüfen.

Ihr Denken kreist letztlich um die Unsicherheit und Vorläufigkeit unseres Wissens, um das also, mit dem sich Unternehmer jeden Tag konfrontiert sehen. Sind Entrepreneure Ihre wahren Helden?

Ich glaube, dass aller Fortschritt, sei es in der Medizin, in der Politik oder der Wirtschaft, von Menschen abhängt, die viel Energie, Leidenschaft und Ressourcen in Dinge stecken, die unbewiesen sind. Diese Leute müssen die Möglichkeit haben, objektiv zu scheitern oder erfolgreich zu sein. Das zu erkennen, dabei helfen Experimente.

Andere sagen hingegen, das dauernde Testen ersticke die Kreativität.

Das ist falsch. Es beschleunigt vielmehr Kreativität. Weil wir uns nicht mit all den unwirksamen, ineffizienten Dingen aufhalten.