Home | Lehre | Videos | Texte | Vorträge | Software | Person | Impressum, Datenschutzerklärung | Blog

Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.

vorheriger | Gesamtliste | jüngste | nächster

Wenn die KI Selbstgespräche führt

2023-06-06 15:46

Der innere Monolog ist nicht nur ein Teil des (bisher menschlichen) Bewusstseins, sondern erlangt auch in den Sprachmodellen immer mehr Aufmerksamkeit. Das schlägt "Open"AI schon in seinen Handreichungen vor (Tactic: Use inner monologue or a sequence of queries to hide the model's reasoning process), aber man kann den inneren Dialog auch automatisieren (SelFee: Iterative Self-Revising LLM Empowered by Self-Feedback Generation, mit Demo).

Die Mathematik wird in GPT-4 sicherer, wenn man jeden Schritt einzeln bewertet (Improving mathematical reasoning with process supervision): Process Supervision statt Outcome Supervision. Hmm, das habe ich, glaube ich, schon mal irgendwo gehört. Und das geht nicht nur mit Mathematik, sondern auch im Labyrinth (Thought cloning: Learning to think while acting by imitating human thinking).

Karpathy erklärt in seinem jüngsten Vortrag State of GPT so schön, dass ein Sprachmodell genügend viele Tokens an Raum zum Denken und Sich-selbst-Korrigieren benötigt, und verweist auf Kahnemans "System 2". Letzteres hatte auch ich schon als Entsprechung angeführt.

Verwandte Themen, weil hier unten gerade noch Platz ist:

• Nein, man kann (noch?) nicht im Chat von GPT-4 die Temperatur (aka das Chaos aka die Entropie) verstellen, auch wenn manches das behaupten. Vielmehr scheint GPT-4 gelernt zu haben, was "Temperatur" bedeutet, und dann entsprechend zu fabulieren. Zumindest manchmal.
• Chatbots kann man nicht nur auf hilfreiche Dialoge hin trainieren, sondern auch auf möglichst lange Interaktionen, also sozusagen auf Kund*innenbindung (Rewarding chatbots for real-world engagement with millions of users). Das muss der ultimative Schachzug sein, vor dem uns standig Harari & Co. warnen. Nebenbei erinnert mich sein Vortrag von Ende April daran, dass die menschliche Zivilisation nicht in der Hardware steckt, sondern In-Context-Learning ist. OK, diese Metapher geht zu weit. Stichwort "zu weit gehen": Für das folgende Zitat eine Triggerwarnung wegen der Mikroaggression gegen glaubende Personen. "[R]eligions throughout history claimed that their holy books were written by a non-human intelligence. This was never true before. This could become true very, very quickly, with far-reaching consequences." (11:18)

Kommentar vom 2023-06-07, 15:22

Schöne Hand! LG

Kommentar vom 2023-06-07, 16:45

@LG: Sind aber nur vier Finger + verborgener Daumen. Der Schönheitsstandard ist inzwischen dank KI, sechs Finger an jeder Hand zu haben. J. L.

Kommentar vom 2023-06-07, 17:13

Da hat uns die KI ja wieder etwas voraus!

Kommentar vom 2023-06-07, 20:45

@Kommentator*in von 17:13: The end is nigh! J. L.

Neuer Kommentar

0 Zeichen von maximal 1000

Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.