Home
| Lehre
| Videos
| Texte
| Vorträge
| Software
| Person
| Impressum, Datenschutzerklärung
|
Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.
vorheriger | Gesamtliste | jüngste | nächster
2022-12-11 12:37
KI-Urgestein Geoffrey Hinton hat eine lustige Idee (Forward-Forward Algorithm), wie man neuronale Netze ohne Backpropagation (vor-)trainieren kann: Man justiert in jedem Layer (einzeln!) die Parameter so, dass für positive Beispiele (echte Bilder, Texte usw.) die Summe der Quadrate der Ausgangssignale maximal wird, aber für negative Beispiele (Pixelmüll mit richtigen Korrelationen auf kleiner Skala usw.) minimal wird. Durch das übliche Normieren nach jeder Schicht lassen sich sogar die Schichten beim Lernen stark entkoppeln.
Am Rande deutet er an, dass Träume negative Beispiele generieren könnten. Er führt das nicht ganz aus, aber vielleicht beantwortet unser Hirn also jede Nacht die Frage "Ist das echt?". Anmerkung am Rande: Wenn man sich diese Frage oft genug explizit stellt, erscheint sie irgendwann im Traum; das, was dann passiert, ist besser als jede 2000-Euro-VR-Brille.
Sicherheitshalber angemerkt: Natürlich gibt es schon tausendundeinen Vorschlag zum Lernen ohne Backpropagation, angefangen bei evolutionären Algorithmen. Aber dieser hier hat was.
Kommentar vom 2022-12-13, 15:36
Gerne mehr darüber, leider verstehe ich den Algorithmus nicht bzw. die Idee wie das Lernen funktionieren soll? Die zahlreichen Anmerkungen, man könne es ja auch anders machen, machen es für mich nur noch schwerer. :/
*lieber anonym bleib*
PS: Die produzierte Demo von ChatGPT funktioniert auch nicht, das Ding redet sich raus.
Neuer Kommentar
0 Zeichen von maximal 1000
Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.