Home
| Lehre
| Videos
| Texte
| Vorträge
| Software
| Person
| Impressum, Datenschutzerklärung
|
Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.
vorheriger | Gesamtliste | jüngste | nächster
2023-11-05 19:04
"Sprachmodelle sagen ja bloß das nächste Token voraus." Aber, oops: Auto-regressive next-token predictors are universal learners. Die spannende Beobachtung ist, dass die autoregressiven Netze durch die Rückkopplung ihrer Ergebnisse viel besser Algorithmen und damit "Denk"-Vorgänge lernen können als die mit klassischer Supervision trainierten Netze. Wenn man bloß genügend solcher Trainingsdaten hat. Im Preprint wird das Prinzip zum Beispiel mit der Multiplikation vierstelliger Zahlen durch ein vierschichtiges Perzeptron vorgeführt.
"Consequently, if there exists some computer program capable of realizing AGI, then it is theoretically plausible to attain AGI through training simple next-token predictors, given the appropriate data." (S. 22) Die hier verwendete Formulierung "theoretically plausible" löst allerdings bei mir Stirnrunzeln aus.
Kommentar vom 2023-11-06, 09:21
Es wäre ja mal interessant, diese Trainingsdaten "manuell" einzugeben. D.h. wie ein kleines Kind mit null Erfahrungswissen zu starten und dem Kind / der Maschine dann durch "Unterhaltung" neue Trainings-Daten einzugeben.
Gekoppelt mit einer Spracherkennung des Lehrers würde so ein "der Maschine sprechen beibringen" über "Unterhaltung" mit der Maschine funktionieren.
Kommentar vom 2023-11-10, 07:25
Deckt sich mit: [Vorsicht! Keine Quellenangabe! Anm. J. L.] Linguisten haben 8 Jahre deterministische Regeln gebaut und modernste Computer genutzt um eine alte Sprache zu analysieren. Mit dem Ansatz neuronaler Netze und ohne Eingabe von Regeln hat das KI-System nach 3 Tagen bessere Ergebnisse geliefert als alle Experten vorher.
These: Wir Menschen lernen vielleicht nicht auf die effektivste Weise ...
Neuer Kommentar
0 Zeichen von maximal 1000
Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.