Home | Lehre | Videos | Texte | Vorträge | Software | Person | Impressum, Datenschutzerklärung | Blog RSS

Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.

vorheriger | Gesamtliste | jüngste | nächster

Gradientenabstieg für den Gradientenabstieg

2022-11-29 19:08

Lustig: Wie optimiert man die Lernrate und andere Hyperparameter beim Training eines neuronalen Netzes? Indem man auf den Gradientenabstieg (mit automatischem Differenzieren) einen Gradientenabstieg (mit automatischem Differenzieren) anwendet!

Gradient Descent: The Ultimate Optimizer

Angesichts des ja überhaupt gar nicht aufschneiderischen Titels musste ich an The Great Equalizer denken.

Kommentar vom 2022-11-30, 02:34

Bin beeindruckt, wie verständlich und angenehm leicht geschrieben viele dieser neuen AI-Paper mittlerweile sind. Eigene Webseite, Demos, Erklärplots, Code, ... nicht schlecht. Da könnten sich ein paar andere Bereiche (z.B. Physik) gerne diese 1-Satz-tl;dr's und weniger aufgeblähte Sätze abschauen, es ist regelrecht erfrischend.
(caveat: Bildmanipulation ist natürlich auch ein ausgesprochen dankbares Thema zum Präsentieren. Trotzdem.)

Neuer Kommentar

0 Zeichen von maximal 1000

Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.