Home | Lehre | Videos | Texte | Vorträge | Software | Person | Impressum, Datenschutzerklärung | Blog RSS

Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben.

vorheriger | Gesamtliste | jüngste | nächster

Megastudie zu Anreizsystemen

2022-01-17 22:38

Auch, wenn es in Nature erscheint und 43 Autor*innen – darunter so einige, die man für ihr Showwo*manship kennt – draufstehen, wird es nicht unbedingt gut: Megastudies improve the impact of applied behavioural science.

Es geht um "how to improve citizens' decisions and outcomes" (S. 478), also um wissenschaftliche (oder genauer: szientizistische) Gehirnwäsche: Wir wissen, was gut für dich ist! Das wurde an 53 + 1 Interventionen zur Erhöhung der Beteiligung an Körperertüchtigung durchgetestet.

Ein in der Tat hochplausibles Resultat am Rande ist, dass selbst "Profis" die relative Wirkung der verschiedenen Interventionen massiv falsch einschätzen und die absolute Wirkung massiv überschätzen (S. 482). Das sollte nebenbei mal wieder eine Warnung vor Leuten sein, die gaaaanz genau wissen, was zum Beispiel beim Unterrichten funktioniert und was nicht.

Dass Figure 1 nicht die üblichen (unsinnigen) relativen Effektstärken zeigt, sondern die absoluten Effektstärken, ist löblich. Insbesondere sieht man so, wie nutzlos die meisten der angeführten Interventionen in der Praxis sind. Ärgerlich ist aber wieder mal, dass die Fehlerbalken das Konfidenzintervall der Schätzung des Mittelwerts zeigen – und nicht die Streuung in der Population. Denn die ist absurd riesig: "In the four weeks before joining our megastudy, participants' mean number of weekly visits to the gym was 1.27% (s.d. = 1.48)" (S.  480), so dass die Standardabweichung größer wird als der Mittelwert. Das "%" ist dabei eine Editierleiche – halt ein teurer Qualitätsverlag.

Ich nehme an, dass die 53 Interventionen in jeweils einem verschiedenen Institut, einer anderen Stadt und einem anderen Bundesstaat getestet worden sind. Wieso man die Zahlen dennoch vergleichen kann, sehe ich nicht im Paper.

Die Rechnung hierzu hätte ich zu gerne gesehen: "Using the Storey–Tibshirani method of computing the false-discovery rate, we estimate that the results identified as significant at the 5% level have less than a 5.07% chance of being a true null." (S. 480) Aus dem Bauch heraus hätte ich deutlich mehr False Positives erwartet. Man beachte auch die vertrauenserweckend genaue Angabe dieser Wahrscheinlichkeit mit drei signifikanten Stellen.

Wie üblich ist die Analyse naiv, kurzsichtig und eindimensional: Gibt es unintended side effects? (Man geht ins Gym und streicht die Zeit dafür bei der Hausaufgabenhilfe für die Kinder? Man hat nach dem Gym Heißhunger, den man mit Fast Food stillt?) Was passiert nach den beobachteten vier Wochen? (Bricht der Effekt zusammen oder verkehrt sich sogar ins Gegenteil?) Was passiert, wenn man die Top-Intervention zum dauerhaften Standard für alle macht? (Man ist nichts Besonderes mehr, man hat ein Anrecht auf die Belohnung usw.)

Studien dieser Art eignen sich perfekt für die evidenzbasierte Politikgestaltung.

Kommentar vom 2022-01-18, 14:16

Ein weiteres Problem damit ist ja, dass sich keiner mehr allgemein Studien oder Ausarbeitungen wirklich anschaut. Gerade im Konzern, und ich gehe mal davon aus, dass es in der Politik nicht viel anders sein wird, werden ja nur noch fertige Lösungen gesucht. Keiner will sich wirklich mehr irgendwo im Detail einarbeiten, geschweige denn eine komplette Studie lesen. Dadurch werden oftmals unhinterfragt die Ergebnisse von Studien und Ausarbeitungen für die Entscheidung genommen.

Die Frage ist ja, wie schaffen wir es, dass sich jeder mit den Themen ausreichend beschäftigt? Was ist ausreichend? Das treibt mich wirklich gerade um.

Neuer Kommentar

0 Zeichen von maximal 1000

Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.