Jörn Loviscach: Die statistische Physik der neuronalen Netze

Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.

vorheriger | Gesamtliste | jüngste | nächster

Die statistische Physik der neuronalen Netze

2021-07-31 21:21

Dass neuronale Netze viel eher zu Physik gehören als zur Informatik, hatte ich ja jüngst schon geäußert. Das E-Book The Principles of Deep Learning Theory weckt bei mir diesbezüglich wehmütige, viele Jahrzehnte alte Erinnerungen.

Die Theorie des Ensembles bis O(1/Breite) und die Praxis des einzelnen Exemplars werden natürlich voneinander abweichen. Das wäre mal ein Thema für N. N. Taleb. Speaking of whom: Was ginge in diesem Spiel mit fat-tailed distributions statt Gaussians?

Kommentar vom 2021-07-31, 21:44

Also eigentlich gehören neuronale Netze ja am ehesten zu den Neurowissenschaften. Aber um das Niveau meines Kommentars dann doch ein wenig zu erhöhen: Wo liegen da eigentlich die Verbindungen in der Forschung? Also beschäftigt sich das maschinelle Lernen auch noch mit den ehemaligen Vorbildern? Oder sind sie schon überlegen (oder gar das Gegenteil, die Netzwerke oder die Forschung)?

Kommentar vom 2021-08-01, 10:34

@Kommentator*in von 21:44: Zu Satz 1: Ja, so wie Chemieparks zum Gebiet der Landschaftsgärtnerei gehören. ;-) Sicherheitshalber: Die (künstlichen) neuronalen Netze sind eine Strichmännchen-Karikatur der biologischen Nervensysteme. Insbesondere weiß man, dass das Hirn auf eine Weise garantiert nicht funktioniert: mit Backpropagation und Gradientenabstieg. – Wer die*der Sieger*in ist, kann man leicht daran erkennen, was das menschliche Gehirn mit 20 Watt in etwas mehr als einem Liter Volumen veranstaltet. J. L.

Kommentar vom 2021-08-01, 11:38

Neuronale Netze gehören zum E-Sport. Ohne unser Taschengeld, das wir fleißig in die Grafikkarten-Industrie gepumpt haben, hätte die Welt längst vergessen, was neuronale Netze sind. Wir haben dafür gesorgt, dass die Power überhaupt realisiert werden konnte, die heute als SOTA verkauft wird.

Kommentar vom 2021-08-01, 11:51

@Kommentator*in von 11:38: Danke 🎁🎁🎁 an Euch heroische E-Sportler*innen! Und natürlich auch vielen Dank an die furcht- und selbstlosen Krypto-Minenden für das Pushen der Technik! Oh wait, die kaufen uns ja die GPUs weg. J. L.

Kommentar vom 2021-08-01, 12:43

Nein, ATI vs. NVIDIA oder auch AMD vs. Intel hatte nichts mit dem Bitcoin zu tun. Die Entwicklung neuronaler Netze in dem Zusammenhang hat auch schon viel eher wieder Fahrt aufgenommen, bevor es auch nur einen Krypto-Miner gab. Den E-Sport damit gleichsetzen zu wollen, und gleichzeitig das komische *innen dran zu hängen, ist irgendwie zu politisch.
Vielleicht ein Grund, warum auf Deutsch keine guten neuronalen Netze mehr gebaut werden?

Neuer Kommentar

0 Zeichen von maximal 1000

Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.