Superforecaster: Was Pandemieplaner von den besten Prädiktoren der Welt lernen könnenExperten haben es laut Dominic Cummings, dem ehemaligen Chefberater des britischen Premierministers Boris Johnson, katastrophal falsch gemacht. Cummings hat argumentiert dass der offizielle wissenschaftliche Rat der britischen Regierung im März 2020 den Verlauf der Pandemie massiv missverstanden hat, was zu einer Verzögerung der Sperrung führte, die Tausende von Menschenleben kostete.

Laut Cummings waren es bestimmte Spezialisten mit weniger Wissen über Pandemien oder Medizin – etwa der Datenwissenschaftler Ben Warner, der Künstliche-Intelligenz-Forscher Demis Hassabis von DeepMind und der Mathematiker Tim Gowers –, die zu diesem Zeitpunkt genauere Vorhersagen machten.

Cummings ist auch bekannt als a Fan of Superforecasting von Philip Tetlock, einem Buch über Menschen, die zukünftige Ereignisse zuverlässiger vorhersagen als die meisten anderen. Einige Superforecaster wurden gelobt für ihre Vorhersagen über die Pandemie, während andere auch so waren kritisch gegenüber den Experten Rekord.

Sollten Regierungen also stärker auf Superforecaster zurückgreifen, anstatt sich auf wissenschaftliche Experten zu verlassen? Die Beweise sind nicht ganz so eindeutig. Aber es scheint sicherlich Dinge zu geben, die Regierungen aus Superprognosen lernen könnten.

In einer berühmte amerikanische Studie Auf Superforecastern, die 2014 veröffentlicht wurden, waren sie eine Elite-Crew. Nur die besten 2% der Anwärter haben in einem geopolitischen Prognoseturnier gut genug abgeschnitten, um den Titel zu gewinnen. Ihre Aufgabe war es, möglichen Antworten auf Dutzende von Fragen Wahrscheinlichkeiten zuzuordnen.


Innerself-Abonnieren-Grafik


Die Forscher liefern einige anschauliche Beispiele. Wer wird 2012 Präsident Russlands? Wird Nordkorea in den nächsten drei Monaten eine weitere Atomwaffe zünden? Wie viele Flüchtlinge werden nächstes Jahr aus Syrien fliehen?

Nur weil jemand ein Jahr gut abschneidet, beweist das natürlich noch lange nicht, dass er geschickter ist als jeder andere. Vielleicht hatten sie einfach Glück. Wir müssen uns ansehen, wie gut sie in den folgenden Jahren abgeschnitten haben, um zu bewerten, wie „super“ sie wirklich sind.

Beeindruckenderweise behaupteten diese Superforecaster ihren Vorsprung, als das Turnier noch drei weitere Jahre andauerte. Nachdem sie zu „Superforecasting-Teams“ zusammengefasst wurden, die nur andere Top-Performer enthielten, stieg ihre Leistung sogar erheblich. Die Forscher fanden auch heraus, dass die Arbeit in Teams und die Teilnahme an entsprechenden Schulungen die Leistung anderer Prognostiker im Vergleich zu Prognostikern in einer Kontrollbedingung verbesserten.

Mannschaften und Training

Unabhängig davon, ob wir Cummings beim Wort nehmen oder nicht, dass die Pandemieplanung Großbritanniens unter einer „klassischen Gruppendenken-Blase“ litt, wissen wir, dass Teams nicht immer kluge Entscheidungen treffen. Was hat die Teams in der US-Studie erfolgreicher gemacht?

Es ist schwer zu sagen, aber die Forscher haben die Teams ausdrücklich ermutigt, präzise Fragen zu stellen, um ein klareres Denken über die Beweise zu fördern, die eine bestimmte Prognose stützen, „nach Beweisen zu suchen, die Ihrer aktuellen Vorhersage widersprechen“ und konstruktiv alternative Standpunkte einzubringen .

Eine solche Debatte kann durchaus sein das kollektive Urteilsvermögen verbessern und hüte dich vor Gruppendenken. Es war auch nicht erforderlich, dass die Teammitglieder zu einem Konsens kamen. Obwohl sie Informationen und Meinungen teilten, machten sie dennoch individuelle Vorhersagen, die durch Algorithmen kombiniert wurden. Vor allem Superforecaster-Teams waren sehr engagiert, häufig Informationen mit anderen Teammitgliedern austauschen und ihnen Fragen stellen.

Eine weitere Studie hat sich genauer angeschaut, welche spezifischen Trainingstechniken am meisten zu helfen schienen. Drei Techniken wurden insbesondere mit einer höheren Genauigkeit in Verbindung gebracht. Das erste war die Verwendung sogenannter Vergleichsklassen.

Wenn ich zum Beispiel versuche, die Wahrscheinlichkeit vorherzusagen, dass Benedict Cumberbatch und Sophie Hunter in fünf Jahren noch zusammen sein werden, kann es hilfreich sein, über andere relevante „Klassen“ nachzudenken – zum Beispiel die Klasse der Promi-Ehen oder sogar Ehen im Allgemeinen. Dies ermöglicht mir, in die Geschichte zu schauen, um meine Vorhersagen zu treffen: Wie viel Prozent der Promi-Ehen enden in einem bestimmten Fünfjahreszeitraum?

Die zweite bestand darin, mathematische und statistische Modelle, sofern verfügbar, zu verwenden, um die eigenen Ansichten zu untermauern. Die dritte war, „die richtigen Fragen auszuwählen“ – eine Empfehlung, mehr Zeit damit zu verbringen, Antworten auf Fragen vorherzusagen, bei denen Sie mehr als andere über das Thema wissen oder bei denen sich zusätzliche Recherchen wahrscheinlich auszahlen werden. Die Forscher betonten jedoch, dass alle Komponenten von Das Training kann ganzheitlich zu einer besseren Leistung beigetragen haben.

Untersuchungen haben dies auch gezeigt Die Genauigkeit verbessert sich, wenn wir unsere bisherige Leistung im Auge behalten - aber die Art des Feedbacks ist wichtig. Sind Ergebnisse, von denen Sie dachten, dass sie in 20 % der Fälle eintreten würden, tatsächlich in 20 % der Fälle eingetreten? Was ist mit den Ergebnissen, von denen Sie dachten, dass sie in 90 % der Fälle eintreten würden? Die Leistung verbessert sich für diejenigen, die diese Art von Informationen erhalten.

Können Regierungen es besser machen?

Hätte die britische Regierung bei COVID-19 besser abschneiden können, indem sie um Beiträge von Teams von Superforecastern gebeten hätte? Es ist möglich. Superforecaster bei Gutes Urteil Offen und geübte Prognostiker bei Metakulus (an der ich teilgenommen habe) scheinen beide bei COVID-19 gut abgeschnitten zu haben, wobei Metaculus behauptet, dies zu haben übertroffene Experten im Juni 2020. Das heißt, in a aktuelle Serie von COVID-19-bezogenen Vorhersagen waren geschulte Prognostiker nicht immer genauer als Experten. Die Forscher hinter der Umfrage experimentieren mit Möglichkeiten, Vorhersagen von Domain-Experten und geschulten Prognostikern zu einer „Konsensprognose“ zu kombinieren.

Es erscheint auch plausibel, dass sogar das Training, das den Nicht-Superioren geholfen hat, bessere Vorhersagen zu treffen, nützlich gewesen wäre. Cummings behauptete beispielsweise, dass zwar den epidemiologischen Modellen viel Aufmerksamkeit geschenkt wurde, aber Beweise, die den Annahmen der Modelle widersprachen – wie Daten, die von Intensivstationen gemeldet wurden – ignoriert wurden. Es scheint sicherlich plausibel, dass jemand, der darauf trainiert wurde, „nach Beweisen zu suchen, die Ihrer aktuellen Vorhersage widersprechen“, dies möglicherweise früher entdeckt hat.

Natürlich sind nicht alle Empfehlungen aus der Literatur im staatlichen Umfeld praktikabel. Theoretisch könnten die Regierungen solche Empfehlungen selbst testen und alle Empfehlungen übernehmen, die als vorteilhaft erscheinen. Leider können Sie nicht verbessern, was Sie nicht messen.

In Superforecasting, betont Tetlock, dass jede Organisation, die ernsthaft ihre Prognosen verbessern will, diese zumindest intern mit konkreten Zahlen belegen muss. Ein Ausdruck wie „ernsthafte Möglichkeit“ kann für eine Person eine Chance von 20 % und für eine andere eine Chance von 80 % bedeuten.

Darauf bezog sich Cummings mit ziemlicher Sicherheit als er sagte,: "Ein Typ namens Phil Tetlock hat ein Buch geschrieben und in diesem Buch sagte er, dass man Wörter wie vernünftig und wahrscheinlich und wahrscheinlich nicht verwenden sollte, weil es jeden verwirrt." Es sollte uns vielleicht nicht überraschen, wenn Organisationen, die Prognosen nicht auswertbar machen, nicht in der Lage sind, zu lernen, wie man sie besser macht. Um sich zu verbessern, müssen Sie es zuerst versuchen.

Über den Autor

Gabriel Recchia, Wissenschaftlicher Mitarbeiter, Winton Center for Risk and Evidence Communication, University of Cambridge

Bücher zum Thema:

Der Körper behält den Überblick: Gehirn, Geist und Körper bei der Heilung von Traumata

von Bessel van der Kolk

Dieses Buch untersucht die Verbindungen zwischen Trauma und körperlicher und geistiger Gesundheit und bietet Einblicke und Strategien für Heilung und Genesung.

Klicken Sie für weitere Informationen oder zum Bestellen

Atem: Die neue Wissenschaft einer verlorenen Kunst

von James Nestor

Dieses Buch untersucht die Wissenschaft und Praxis des Atmens und bietet Einblicke und Techniken zur Verbesserung der körperlichen und geistigen Gesundheit.

Klicken Sie für weitere Informationen oder zum Bestellen

Das Pflanzenparadoxon: Die versteckten Gefahren in "gesunden" Lebensmitteln, die Krankheiten und Gewichtszunahme verursachen

von Steven R. Gundry

Dieses Buch untersucht die Zusammenhänge zwischen Ernährung, Gesundheit und Krankheit und bietet Einblicke und Strategien zur Verbesserung der allgemeinen Gesundheit und des Wohlbefindens.

Klicken Sie für weitere Informationen oder zum Bestellen

Der Immunitätscode: Das neue Paradigma für echte Gesundheit und radikales Anti-Aging

von Joel Greene

Dieses Buch bietet eine neue Perspektive auf Gesundheit und Immunität, stützt sich auf Prinzipien der Epigenetik und bietet Einblicke und Strategien zur Optimierung von Gesundheit und Alterung.

Klicken Sie für weitere Informationen oder zum Bestellen

Der vollständige Leitfaden zum Fasten: Heilen Sie Ihren Körper durch intermittierendes, alternierendes und verlängertes Fasten

von Dr. Jason Fung und Jimmy Moore

Dieses Buch untersucht die Wissenschaft und Praxis des Fastens und bietet Einblicke und Strategien zur Verbesserung der allgemeinen Gesundheit und des Wohlbefindens.

Klicken Sie für weitere Informationen oder zum Bestellen

Dieser Artikel erschien ursprünglich auf Das Gespräch