Jörn Loviscach: Sprachmodell-Detektoren

Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.

vorheriger | Gesamtliste | jüngste | nächster

Sprachmodell-Detektoren

2023-01-28 21:02

Für zwei davon gibts Preprints mit den Details: A Watermark for Large Language Models und DetectGPT: Zero-Shot Machine-Generated Text Detection using Probability Curvature. Und von GPTZero gibts immerhin eine nachgemachte Version mit augenscheinlich identischen Resultaten.

Die Robustheit gegenüber dem Übersetzen mit DeepL oder noch einfacher dem Text-Vernebler scheint bei keinem Verfahren gegeben. Die Arbeit über Wasserzeichen diskutiert immerhin die Robustheit gegenüber anderen Arten von Abwehrmaßnahmen.

Vor Gericht halte ich – zugegebenermaßen als Rechtslaie – alle drei für problematisch. Ohne weitere Indizien (Masterarbeit binnen einer Woche geschrieben usw.) wird das nichts werden, schon allein, weil die*der Verdächtige ein Recht auf Erläuterung hat. Viel Glück damit, das Ergebnis des neuronalen Netzes zu erklären! (Bevor jemand meckert: Nein, wenn ein entsprechend aufgemotztes neuronales Netz eine Erklärung mitliefern sollte, kann man nicht ausschließen, dass die halluziniert ist.)

Wie soll man überhaupt die zwei Kennzahlen von GPTZero intepretieren? Wie verlässlich ist das Ja/Nein von DetectGPT? Das Verfahren mit dem Wasserzeichen liefert immerhin einen (geschätzten!) z-Wert und damit einen p-Wert. Oh je, aber niemand versteht p-Werte, schon gar nicht ein Gericht! Insbesondere beantwortet ein p-Wert die falsche Frage, nämlich die nach P(Teststatistik wie vorliegend oder schlimmer | da ist nix) statt der Frage nach P(da ist was | Teststatistik wie vorliegend).

In den kommenden Monaten wird es viele Gelegenheiten geben, den Mitgliedern von Prüfungsausschüssen und von Hochschul-Justiziariaten die Begriffe frequentisch vs. Bayes, Teststatistik, Grundgesamtheit, Bayes-Regel, Prior, Bayes-Faktor zu erklären. Ich sollte eine kostenpflichtige Weiterbildung anbieten! Wie wärs mit 1000 € die Stunde? Meine E-Mail-Adresse habt Ihr ja.

(mit ausgewählen Umformulierungen von DeepL Write)

Kommentar vom 2023-01-29, 07:42

Da gibt's im Augenblick nur eine Möglichkeit: Das Prüfungssystem so umgestalten, dass nur noch unter Aufsicht (face to face) erzielte Ergebnisse benotet werden.
Übrigens ist das Ganze eine Fortsetzung der Diskussion - nur auf höherer Ebene - ob denn bei Prüfungen Unterlagen, Taschenrechner usw. zugelassen sind, oder ob denn nicht die Eltern den Hausaufsatz geschrieben haben.

Kommentar vom 2023-01-29, 09:48

@Kommentator*in von 07:42: Allerdings setzt das voraus, dass man Eltern hat, die das können. – Und, ja, die elaborierte schriftliche Kommunikation ist sowieso auf dem absteigenden Ast, nichts für das 21. Jahrhundert. Wozu die noch lehren, lernen und abprüfen? J. L.

Kommentar vom 2023-01-29, 15:54

Im übrigen muss der Detektor ja auch gar keine gerichtsverwertbaren Ergebnisse liefern, sondern nur zuverlässig alle ohne unzulässigen Hilfsmittel erstellten Texte erkennen. Für die anderen wird man (siehe Kommentator von 07:42) die Studien-und Prüfungsordnung um die Möglichkeit einer mündlichen Nachprüfung erweitern (um beim kleinsten Zweifel die Unschuldigen reinwaschen zu können). Der Vergleich mit dem Taschenrechner stammt ja auch vom ChatGPT-Entwickler. Ich warte mit der Anmeldung zum Bayes-Faktor noch ...
Gruss (dg)

Kommentar vom 2023-01-29, 18:59

@dg: Inzwischen hat man vor Gericht sogar schlechte Karten als Prüfer*in, wenn man keine*n zweite*n Zeug*in fürs Abschreiben während einer gewöhnlichen Klausur findet. "Im Zweifel für die*den Angeklagte*n" wird sehr weit ausgelegt. Eine "Nachprüfung im Zweifelsfall" wird damit wohl erst recht nicht mit den Rechtsstaatlichkeit vereinbar sein. J. L.

Kommentar vom 2023-01-29, 21:12

@JL: Der Zweifel wird die Regel sein - die mündliche Nachprüfung wird an die Stelle der aktuellen Bewertung der Abschlussarbeit treten (müssen) und es wird eine Option geben, nach der der Prüfer dem Prüfling den Verzicht auf die mündliche Nachprüfung anbieten kann. Es wird sich herausstellen, dass die ChatGPT-Texte so gut wie nie um die mündliche Prüfung herum führen (hier wird schon das Gerücht ausreichen und zwei, drei Exempel tragisch Gescheiterter). Niemand will ja Beweise für ein "Abschreiben" liefern müssen.
Gruss (dg)

Kommentar vom 2023-01-29, 21:25

@dg: "Niemand will ja Beweise für ein 'Abschreiben' liefern müssen." Aber genau das wird (und muss!) jedes Gericht verlangen. Die Student*innen (oder ihre Eltern) wissen das und insofern ist alles andere ein Papiertiger. – Man kann natürlich sagen, dass man eine mündliche Nachprüfung ohne Ausnahme für alle macht. Aber dann muss man sich auch trauen, Leute bei dieser Nachprüfung durchfallen zu lassen. Das habe ich allerdings noch nie erlebt. Wir werden fürs Drittmitteleinwerben und Publizieren bezahlt, aber nicht fürs korrekte Prüfen. J. L.

Kommentar vom 2023-01-29, 21:56

@JL: Natürlich muss man sich dann auch trauen, ChatGPT-Abgaben durchfallen zu lassen - wenn man dazu nicht bereit ist, lohnt sich natürlich der Einsatz der Filter nicht. Dann kann man generell nur mündlich prüfen. Dass Sie das noch nicht erlebt haben, wundert mich nicht, da bisher ja auch kein zuverlässiger Indikator für KI-Einsatz da war. Es ist ja nach dem aktuellen Stand auch kein Betrugsversuch, eher ein Indikator, dass gewisse Kompetenzen nicht ausreichend entwickelt sind. Und das Auslassen von mündlichen Prüfungen ist ein erprobtes Verfahren z.B. für die besseren Abiturienten und beruht auf dem juristischen Prinzip der Beweislastumkehr - da hätte ich eher weniger Bedenken.
Gruss (dg)

Kommentar vom 2023-01-29, 23:15

@dg: Oh, ich meinte, dass ich noch nie erlebt habe (auch und insbesondere als Zweitprüfer), dass jemand bei einer mündlichen Prüfung (Kolloquium) zu einer schriftlichen Arbeit (Bachelorarbeit usw.) durchgefallen ist. Seit alten Zeiten, lange vor der KI. – Wenn man in der Abiturklausur schwächelt, kommt man in die mündliche Nachprüfung, aber doch nicht, wenn der Verdacht besteht, dass man bei der Klausur geschummelt hat. Dieser Verdacht ist entweder gerichtsfest oder aber ohne Belang. Eine Beweislastumkehr gibt es (bisher) nur in ausgewählten Situationen insbesondere als Hilfe für die*den Schwächere*n gegen die*den Stärkere*n (zum Beispiel Kund*in gegen Händler*in). J. L.

Kommentar vom 2023-01-30, 09:52

@JL: Ich sehe, Sie haben die 1000-EUR-Schulungsidee noch nicht ganz abgehakt. Also gut - wir werden bestimmt bald sehen, wohin die Abschlussarbeiten sich entwickeln.
Gruss (dg)

Kommentar vom 2023-01-30, 10:34

[Kommentar wegen beleidigender Äußerung und "Thema verfehlt" nicht veröffentlicht. J. L.]

Neuer Kommentar

0 Zeichen von maximal 1000

Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.