Home
| Lehre
| Videos
| Texte
| Vorträge
| Software
| Person
| Impressum, Datenschutzerklärung
|
Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.
vorheriger | Gesamtliste | jüngste | nächster
2023-01-01 11:30
Wie lernen die Sprachmodelle aus Beispielen, die man ihnen im Prompt vorgibt, was man haben will – und das ohne jegliche zeitaufw(e|ä)ndigen Optimierungen? Großes Forschungsthema: "In-Context Learning".
Die Beispiele können falsch sein und trotzdem macht das Sprachmodell absurderweise das "Richtige". Die Wahl und Form der Beispiele scheint es dem Sprachmodell zu erlauben, in den gelernten Daten das richtige Konzept für die Aufgabe zu finden. How does in-context learning work? A framework for understanding the differences from traditional supervised learning
Attention ist eigentlich nur eine Art Tuning per Gradient: What learning algorithm is in-context learning? Investigations with linear models und Transformers learn in-context by gradient descent und Why Can GPT Learn In-Context? Language Models Secretly Perform Gradient Descent as Meta-Optimizers
Und wie kann man diese Art Arbeitsgedächtnis (vulgo: Kurzzeitgedächtnis) der Sprachmodelle erweitern? Man teilt die Beispiele in verdauliche Gruppen auf und rechnet dann die Zwischenstände der Attention zusammen! Structured Prompting: Scaling In-Context Learning to 1,000 Examples
Kommentar vom 2023-01-01, 11:47
Ja, wow! Wäre schon glücklich, genau zu wissen, wie diese Modelle es schaffen, mit dem Buchstaben(+Zahlen)salat umzugehen. Rechtschreibfehler in Verbindung mit Leetspeak werden auch korrekt verarbeitet. Steht da ein riesiger Vector, hinter dem all die kruden Worte stecken? Wohl kaum!
Ich so: c4n yo0u t3ll m3 th3 0pp0s1te 0f b4d?
ChatGPT so: The opposite of bad is good.
Neuer Kommentar
0 Zeichen von maximal 1000
Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.