Jörn Loviscach: Vier Monate nach dem Flipping

Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.

vorheriger | Gesamtliste | jüngste | nächster

Vier Monate nach dem Flipping

2021-12-30 20:16

Endlich mal eine Studie, die nicht nur bei der Prüfung, sondern auch vier Monate später nachgeguckt hat. Vier Monate sind beim Publish or Perish ja schon Äonen!

Pre-class video watching fosters achievement and knowledge retention in a flipped classroom

Zunächst ein paar Sachen, die nicht im Fokus gestanden haben und deshalb besonders unverblümt sind:

Die Präsenz-Veranstaltungen sind darauf zugeschnitten, dass sich die Studierenden vorbereitet haben (S. 6). Aber nur 39 % der Studierenden gucken die Videos vorher (S. 11). Das heißt doch, dass es für etwa zwei Drittel der Studierenden einen eklatanten Widerspruch zwischen Anforderungen und Realität gibt. Die Anwesenheitsquote (Tabelle 2) beträgt vielleicht nicht ohne Grund (nur?) 57 %. Was bedeutet diese Fehlanpassung für das Lernen? Und ist dann die Durchfallquote (von der ich im Paper nichts finde) entsprechend hoch? Wie viele Studierende sind überhaupt abgeschreckt worden und tauchen damit gar nicht in der Statistik auf?

Für jede Befragung muss man die Studierenden inzwischen schmieren: mit verlosten iPads ("we raffled off iPads among all participants at the end of the lecture", S. 8; und "two iPads were raffled off among all participating students again", S. 8). Das verdirbt die Preise: Demnächst gibts keine unbezahlten Umfragen mehr. Außerdem frage ich mich, ob Studierende, die schon zwei iPads haben, weniger als die anderen geneigt sind, teilzunehmen.

Das bekannte Drama mit der Selbsteinschätzung: "Although we surveyed students' activity-related workload throughout the semester, we found that their self-reported video-related workload corresponded to a small extent only (r = 0.14) with their actual video watching behavior." (S. 12) Das mögen sich andere Forscher*innen hinter die Ohren schreiben!

Am spannendsten hätte ich gefunden, zu erfahren, was denn vier Monate nach der Prüfung noch übrig ist. Die mittlere Leistung bei der Klausur war 61,3 von 100 (Tabelle 2); die mittlere Leistung vier Monate später würde ich mir – ohne Gewähr – aus Tabelle 2 und Tabelle 3 errechnen als 64,1–0,491·3,803 = 61,5. Auch wenn der zweite Test nur andere Zahlenwerte hatte (S. 6) mag ich das nicht glauben, insbesondere nicht, weil der zweite Test "low stakes" war. Vielleicht sind die im Paper angegebenen Werte "graded by curve" und nicht nackte Punktzahlen.

Natürlich hat es über die vier Monate einen Schwund gegeben: "a sub-population of 298 of the 451 students could be successfully recruited again" (S. 8). Ob Vorher/Nachher trotzdem vergleichbar sind, ist klarerweise eine große Frage. Diese Frage durch das (bei NHST verbotene) Annehmen der Nullhypothese, dass sie aus derselben Grundgesamtheit stammen, zu beantworten, ist keine glückliche Lösung. (Die "späteren" Studierenden haben erwartungsgemäß mehr und eher Videos geguckt, Tabelle 2.) Das beste Regressionsmodell erklärt nur ein Drittel der Varianz (Tabelle 3), so dass man annehmen muss, dass Variablen mit massivem Einfluss noch fehlen – also auch bei der Betrachtung fehlen, ob die beiden Stichproben vergleichbar sind. Man hätte nur die 298 Studierenden nehmen können, die beide Male dabei waren, und dann per Stratifizierung wieder auf die Gesamtheit zurückrechnen können. Vielleicht hätte auch ein Matching-Verfahren geholfen.

Auf keinen Fall kann man aber aus dieser nichtrandomisierten Studie kausale Schlüsse ziehen, ohne bereits Kausalität in sein Modell eingebaut zu haben. Insofern sind Sätze wie dieser mindestens gewagt: "In this respect, our study has shown that timely pre-course activities enhance students' understanding of subject matter." (S. 11)

Wie lang die 36 Videos insgesamt sind, wird mir nicht klar. Im Text finde ich nur, dass sie in Segmente von 10 bis 13 Minuten zerteilt worden sind (S. 5). Jedes könnte also durchaus mehr als eine Stunde lang sein. Insofern wäre es vielleicht sinnvoller, nicht die angesehenen Videos zu zählen, sondern die Abspieldauer zu bestimmen.

In der Beschreibung des Diagramm auf S. 12, was wann geguckt wurde, muss es wohl "week 12" statt "week 21" heißen. Gerne hätte ich übrigens auch gesehen, wie viele Videos in den Wochen nach der Prüfung angesehen worden sind. Wollen wir wetten, wie viele das waren?

Ein Statement zum Datenschutz und zur Ethikkommission finde ich nicht.

Abschließend bringt mich das Paper auf folgenden Gedanken: Hätten Elon, Jeff oder Marc sich Vorlesungsvideos angeguckt? Sogar vorher? (rhetorische Frage)

Neuer Kommentar

0 Zeichen von maximal 1000

Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.