Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV.
Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben.
Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen
und/oder Darstellungen von Stereotypen enthalten.
Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt.
Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.
Der Artikel Wenn Übung den Meister macht, sollte Übung doch Pflicht sein?! in der ZFHE vom März 2020 bestätigt mich darin, dass die Nullhypothesentesterei in einem zeremoniellen Abspulen magischer Begriffe besteht. Vielleicht könnte man stattdessen auch murmeln: SATOR AREPO usw. Hier ein paar Notizen:
"dass beim Vergleich der Mediane (M 268.6196 und W 302.3296) eine Differenz von 34 Aufrufen vorliegt (t = -1.9957, df = 1327, p-value = 0.04617)" und als Fußnote dazu"95 percent confidence interval: -66.8466462 -0.5733303" (alles S. 158) Die Zahl der Nachkommastellen macht mich als Physiker blass vor Neid. Leider verstehe ich nicht einmal, auf welche Größe sich das Konfidenzintervall (das auch keine Intervallklammern hat?) bezieht, zumal es obendrein noch im Negativen liegt. Dass in einem deutschen Text Dezimalpunkte und englischsprachigen Begriffe vorkommen, lässt ein Copy & Paste aus der Statistiksoftware vermuten. Wie üblich muss man die Angabe vermissen, welcher t-Test überhaupt eingesetzt worden ist (Student's? Welch's? Einseitig? Zweiseitig?).
Riesige Plots mit wenig Gehalt füllen S. 159 und S. 160.
Auf S. 161 haben die df (wohl die Anzahlen der Freiheitsgrade) Nachkommastellen; hier scheint es also Welch's t-Test zu sein. Unklar ist mir, woher die einzelnen t-Werte für jeweils die freiwilligen und die Pflicht-Aufgaben stammen, statt dass es nur einen einzigen t-Wert für den Vergleich freiwillig/Pflicht gibt.
Leider gibt es auf S. 153 nur eine Andeutung, wie die Aufgaben aussehen. Ich hätte gerne konkrete Beispiele gesehen – mit der Angabe, inwieweit jeweils über den Lehrbuchstoff hinausgedacht werden muss. Außerdem stellt sich mir die Frage, ob sich die Aufgaben der späteren Klausur von den vorherigen Übungsaufgaben zum Beispiel nur in den Zahlenwerten unterscheiden.
"Um Ausreißer, also lange 'Time on Task'-Werte bei einer Aufgabe, die auf andere
Aktivitäten hindeuten, nicht zu berücksichtigen, werden die 'Time on Task'-Werte
vorverarbeitet." (S. 155) – Aber wie? Und wie wurde die Verlässlichkeit dieser Maßnahme geprüft?
"[D]ie Gruppe mit den verpflichtenden Aufgaben hat 71 Prozent der verfügbaren Aufgaben bearbeitet" (S. 156) – Dieser Mittelwert hat angesichts der an den beiden Rändern klebenden bimodalen Verteilung (S. 164) nur marginale Bedeutung.
Welche Indikatoren sind untersucht worden, um festzustellen, ob die verschiedenen Jahrgänge (teils mit freiwilligen, teils mit Pflicht-Aufgaben) überhaupt verglichen werden dürfen? Wie steht es zum Beispiel mit der Notenverteilung von Kohorte zu Kohorte in anderen Fächern? (Nebenbei: Wie wirkt die Erhöhung der Workload durch Pflichtaufgaben überhaupt auf die anderen Fächer? Was sind andere Effekte, zum Beispiel Motivationsgewinn durch Kompetenzerleben vs. Verlust an intrinsischer Motivation?)
Der Titel von Abb. 8 auf S. 167 lautet "Klausurergebnis nach Anteil verpflichtende Bearbeitung der Aufgaben", aber die Achsenbeschriftungen sind "Lernzeit in Minuten" und "Klausurergebnis in Prozent".
Das Copy & Paste der Lösungen soll einen großen Effekt haben (S. 161f). Wie groß ist der oder könnte der sein? Welche der gemachten Aussagen sind damit wie starke Unter- oder Überschätzungen? Und warum gibt es keine Gegenmaßnahmen zum Beispiel in Form randomisierter Aufgaben? (Es scheint sich ja um Zahlenaufgaben zu handeln.)
Wieso wird in einer Arbeit, in der es (auch) um die studentische Workload geht, John Hattie zitiert (Arrrgh!), aber nicht Rolf Schulmeister?
[Nachtrag: Warum ist das Ergebnis nicht viel deutlicher? Als Extremvariante könnte man eine "Schein"klausur (wie die gerne heißt) schreiben lassen und nur die Studierenden, welche die bestehen, in die eigentliche Klausur lassen. Das müsste doch eine satte Bestehensquote geben?]
[Nachtrag: Wie sind verpflichtende Übungsaufgaben zusätzlich zu einer Klausur eigentlich vor der Akkreditierungskommission begründbar? "Ein Modul, eine Prüfung!"]
Kommentar vom 2020-03-25, 13:55
Sie haben einen köstlichen Humor. Aus den Fehlern anderer Wissenschaftler zu lernen, ist auch eine interessante didaktische Methode. (Bei jedem Ihrer Beiträge zum Thema frage ich mich: Ab welchen gravierenden Dissonanzen zum Standardwissen in Statistik und quantitativer Sozialforschung darf man sich eigentlich noch so nennen, und/oder gilt quantitative Sozialforschung mittlerweile auch als poststrukturalistische Forschungsrichtung?) ;-)
Kommentar vom 2020-03-25, 16:52
@Kommentator(in) von 13:55: Auf Kosten anderer Leute kann ich das immer gut. ;-) Es fällt auch bedeutend leichter, wenn man nicht mehr auf wohlwollende Gutachten von anderen hoffen muss. – Diese didaktische Methode ist keineswegs neu, siehe etwa die sehr löbliche Unstatistik des Monats (heute übrigens zu Corona). – Das mit dem Standardwissen ist ein Problem, weil das Standardwissen hier (Hattie, p-Werte usw.) so weit hinter dem Stand der Erkenntnis ist. J.L.
Kommentar vom 2020-03-28, 07:44
Neu ist die Methode der erkenntnistheoretischen Kritik wahrlich nicht, schon Plato wandte sie in seinen Dialogen an. :-) "Wohlwollende Gutachten in der quantitativen S.F." müsste als Oxymoron in den Katalog der quantitativen Sozialforschung eingehen. Herzlichen Dank für den "Unstatistik"-Seiten-Link, das ist eine wahrhaftige Wonne!
Neuer Kommentar
0 Zeichen von maximal 1000
Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.
