Home
| Lehre
| Videos
| Texte
| Vorträge
| Software
| Person
| Impressum, Datenschutzerklärung
|
Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.
vorheriger | Gesamtliste | jüngste | nächster
2023-07-20 12:56
Nein. Das kann ich beim besten Willen nicht nachvollziehen. Die Mathe-1-Klausur hat GPT-4 gestern (Zoom-Funktion des Browsers verwenden!) mit exakt so vielen Punkten bewältigt wie Ende März. Die Auswahl an Aufgaben aus der Informatik-1-Klausur zeigt im Vergleich zwischen heute und Mitte März mal die eine, mal die andere Version minimal vorne.
Das Marketing-Geblubber von heute scheint mir noch besser als das im März. (Nicht wundern: ChatGPT schreibt über den geteilten Chat das Datum des Teilens drüber, nicht das des Chattens.) Die Ballade über den Kohleausstieg wirkt auf mich in der Version von heute intellektueller, weniger wuchtig als in der Version vom März. Die Erörterung zum Thema "Sind Steuern Diebstahl?" hat heute erst nach Ermahnung Literaturangaben erhalten (von denen nur die fünfte ein wenig halluziniert ist), anders als die Erörterung vom März. Aber alles das kann Zufall sein; man müsste die Prompts mehrfach gemacht haben.
Warum die Aufregung? Weil gerade dies trendet: How Is ChatGPT's Behavior Changing over Time? Aber wer, bittschön, fragt ChatGPT nach Primzahlen, ohne es Wolfram Alpha oder den Python-Interpreter benutzen zu lassen? Selber schuld! Auf der Seite mit den Daten zu jenem Preprint finde ich bislang nur Ergebnisse mit Datum vom Juli, keine früheren.
[Nachtrag: Das waren alles nur Primzahlen. 🤦♂️]
Kommentar vom 2023-07-20, 15:54
Rein logisch musste das so kommen, GPT-3 hat 5 Millionen gekostet, das Training von GPT-4 + was noch dazu kam, hat nochmal eine ganze Ecke mehr gekostet.
Jetzt kommen 2 Systeme ins Spiel, System 1 bekommt 100% der Daten, sagt aber nur 80% der Daten mit 90% Genauigkeit voraus. System 2 übernimmt nun die restlichen 20%. Allerdings zu 1000 mal höheren Kosten, aber mit einer unglaublichen Genauigkeit. Angenommen die Kosten betragen 1000, mit dem neuen System 1 kosten die 100% Datenbewältigung nur noch 1, dazu kommen noch die Kosten von System 2, das die restlichen 20% Anfragen mit Kosten von 200 bearbeitet, neue Rechnung dann 201 statt 1000, cool oder?
Es klingt so, als wären Ihre Anfragen alle bis zum Endsystem durchgereicht worden.
Kommentar vom 2023-07-20, 20:57
@Kommentator*in von 15:54: System 1 und System 2: Ich muss gerade an Kahneman denken! J. L.
Kommentar vom 2023-07-21, 11:25
Interessant dazu:
#59 JEFF HAWKINS - Thousand Brains Theory
Und ein kleiner Test von mirm was diese Idee praktisch bringt, natürlich in kleinerem Maßstab:
https://raw.githubusercontent.com/grensen/ML-Art/master/2022/reassessment_network.png
W = Gewichte, T = Zeit, A = Genauigkeit
Das Beispiel hat ein paar Schwächen, es zeigt aber ganz gut, um wie viel besser ein kombiniertes System sein kann. Die Höhe der Wahrscheinlichkeit entscheidet, ob die Vorhersage genommen wird oder das nächste System aktiv wird.
Kommentar vom 2023-07-23, 10:26
@Kommentator*in von 11:25: Oder ChatGPT bitten, die Frage aus zehn Sichten zu beantworten und dann einen Konsens zu bilden. J. L.
Neuer Kommentar
0 Zeichen von maximal 1000
Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.
