Home
| Lehre
| Videos
| Texte
| Vorträge
| Software
| Person
| Impressum, Datenschutzerklärung
|
Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.
vorheriger | Gesamtliste | jüngste | nächster
2024-03-29 22:45
Dass die Aufforderung, beim Lösen einer Aufgabe Schritt für Schritt vorzugehen, nicht nur Menschen, sondern auch Maschinen hilft, haben wir ja nun alle gelernt. (Ein Grund dafür könnte sein, dass sich so Brücken zwischen Themen bauen lassen, die beim Lernen getrennt waren.) Nun mal wieder ein Versuch, dies als eine Art inneren Monolog in die KI einzubauen, mit ein paar neuen Finessen: Quiet-STaR: Language Models Can Teach Themselves to Think Before Speaking. Der Name "QuietSTaR" erinnert sicher nur raaaiiin zufällig an "Q*".
Statt handgemachte Trainingsdaten zu verwenden, die Zwischen-Gedankenschritte enthalten, benutzt Quiet-STaR die übliche (self-supervised) Vorhersage des nächsten Tokens, lernt aber per Reinforcement Learning, wie es dieses mit paar Zwischenschritten (zum Beispiel zwölf an der Zahl) besser vorhersagen kann.
Diese Zwischenschritte werden so gelernt, dass sie "in distribution" sind, also normale Sprache (mit jeweils einem optimierten Spezialmarker davor und dahinter), so dass man die Gedanken der Maschine mitlesen kann, wenn man will. Wie in anderen Worten auch im Paper steht (unter "Ethics", of all places), könnte sich die Maschine bei ihren Gedanken selbst belügen. Es könnte auch sein, so das Paper weiter, dass die Maschine "böse" (mein Wort) Gedankengänge lernt, falls denn bloß deren Resultate stimmen. – Wie ich schon mal geschrieben habe, bin ich fast mehr davon fasziniert, wie menschenähnlich die Fehler der Maschine werden, als davon, was die Maschine fehlerfrei und/oder übermenschlich erledigt.
Anders als ein Mensch kann die Maschine mehrere Gedanken gleichzeitig verfolgen; mehr als vier solche parallelen Gedankenfäden scheinen sich aber nicht zu lohnen.
Neuer Kommentar
0 Zeichen von maximal 1000
Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.