Home
| Lehre
| Videos
| Texte
| Vorträge
| Software
| Person
| Impressum, Datenschutzerklärung
|
Die Blog-Postings sind Kommentare im Sinne von § 6 Abs. 1 MStV. Der Verfasser ist Jörn Loviscach, falls jeweils nicht anders angegeben. Die Blog-Postings könnten Kraftausdrücke, potenziell verstörende Tatsachenbehauptungen und/oder Darstellungen von Stereotypen enthalten. Die Beiträge der vergangenen Wochen werden als Bestandteil der Internet-Geschichte in ihrer ursprünglichen Form gezeigt. Menschliche Autor*innen können unzutreffende Informationen über Personen, Orte oder Fakten liefern.
vorheriger | Gesamtliste | jüngste | nächster
2023-04-10 11:39
Das floskelhafte "ChatGPT versteht nichts" ist gut als Blockadehaltung, hilft einem aber nicht ernsthaft weiter, denn es führt auf die diffuse Frage, was denn Menschen "verstehen". Also schauen sich die beiden Autoren von The Vector Grounding Problem lieber an, wie es denn mit der Verankerung der inneren Repräsentationen der KI in … – tja, in was denn eigentlich? – aussieht und stoßen so klärenderweise auf gleich fünf Arten, worin denn diese Verankerung bestehen könnte (Abb. 1 auf S. 9).
Moral insgesamt: Sprache hat mehr mit der Welt zu tun, als man naiv glauben könnte. Wenn dann noch Reinforcement Learning with Human Feedback (RLHF) dazukommt, sind alle Ingredienzien für eine bedeutungsvolle innere Repräsentation vorhanden (S. 24).
Schöne Analogie: Schon ohne RLHF lernen die Sprachmodelle "sozial" aus dem, was Menschen in den Trainingsdaten sagen (S. 21). Auch die meisten Menschen haben noch nie angereichertes Uran in den Händen gehalten, verfügen aber dennoch über eine innere Repräsentation davon (S. 21). Ich muss an jemanden denken, die*der nur aus Texten gelernt hat und damit auch gut durchs praktische (!) Leben kommt. Ähnlichkeiten mit existierenden Personen sind rein zufällig.
Undiskutiert bleibt die positivistische Einstellung der Autoren: Gibt es überhaupt eine Welt da draußen? "It is the type of grounding that connects representations to things in the world." (S. 8) Und was sind Dinge in der Welt: Gibt es Kanten schon in der Welt und nicht erst in der Wahrnehmung? "[T]he presence of edges in the world in front of the perceiving subject" (S. 14)
Der hypothetische Sensorigraph "encodes a considerable amount of information about patterns of causal interactions involving human agents in the world" (S. 17). Er beobachtet allerdings nur und kann nicht selbst experimentieren, also wirds mit der Kausalität mindestens schwierig.
Kommentar vom 2023-04-10, 14:03
ChatGPT und verstehen ...
Fall 1: Von Rap versteht es nichts, es versteht nur die Happen, mit denen man es gefüttert hat. (Frag es nach Dingen, wo Du Dich auskennst!)
Fall 2: Moderne Coding Styles (Code-Optimierung war grausam und brachte nix, wenn schon guter Code vorhanden war.)
Fall 3: Baue ein Transformer-Beispiel in der gewünschten Sprache. (Epic Fail, jedes Mal)
Vielleicht waren meine Prompts schuld? Besonders enttäuscht wurde ich von ChatGPT als Assistent bei dem Schreiben von Fachartikeln, in meinem Fall neuronale Netzwerke from scratch von Anfang bis Ende. Visualisierung, Bsp. Code und Text müssen denselben Weg beschreiben. Für mich stellt besonders der Text in englischer Sprache ein Problem da, allerdings mehr die Grammatik als die Logik mit den richtigen Begrifflichkeiten. ChatGPT failed bei Logik, selbst Schritt für Schritt bei kleineren Sätzen, nichts wird verstanden. Es schreibt halt den gelernten Senf.
Aber wann baust Du deinen Transformer? Und darf man dabei sein?
Kommentar vom 2023-04-10, 15:00
@Kommentator*in von 14:03: Die KI muss ja nicht besser als ich auf meinem Spezialgebiet sein. – "Fall 2" kann viel bedeuten: Lambda-Ausdrücke? Dependency Injection? Wie dem auch sei, fehlt vielleicht das Lernmaterial. – Unten GPT-4 "Version vom 23. März" zu Fall 1. J. L.
Schreibe einen Rap über den Atomausstieg!
(Verse 1)
Yo, hier kommt der Atomausstieg, das ist der Plan,
Die Zukunft sichern, das ist der Weg, den wir begann'n.
Kein Atomkraft mehr, nur noch grüne Energie,
Die Sonne, der Wind, sie liefern uns Magie.
Atomausstieg, wir setzen auf erneuerbar,
Denn es ist Zeit für einen Wandel, und das ist wunderbar.
Der Planet schreit nach Hilfe, und wir hören zu,
Die Erde retten, ja, das ist genau das, was wir tun.
(Hook)
Atomausstieg, wir sind dabei, wir sind bereit,
Für eine Zukunft, die strahlt ohne Radioaktivität.
Atomausstieg, wir sind stark, wir sind vereint,
Gemeinsam ziehen wir voran, bis das letzte Atomkraftwerk weint.
(Verse 2)
Windkraft, Solar und Wasserkraft, die sind die Lösung,
Die Atomlobby kämpft, doch wir haben die Entschlüsselung.
Gemeinsam brechen wir die Ketten der Kernenergie,
Denn wir sind die Stimme der Natur und der Ökologie.
Von Fukushima bis Tschernobyl, wir haben's gesehen,
Die Risiken sind zu hoch, wir müssen jetzt handeln, versteh'n.
Die Erde braucht uns jetzt, und wir geben ihr Schutz,
Der Atomausstieg ist unser Weg, der uns führt zu neuer Zukunft.
(Bridge)
Oh, oh, wir lassen die Sonne strahlen,
Oh, oh, wir lassen den Wind uns tragen.
Oh, oh, zusammen machen wir den Wandel,
Atomausstieg, wir sind da, wir sind bereit, wir sind Handel.
(Hook)
Atomausstieg, wir sind dabei, wir sind bereit,
Für eine Zukunft, die strahlt ohne Radioaktivität.
Atomausstieg, wir sind stark, wir sind vereint,
Gemeinsam ziehen wir voran, bis das letzte Atomkraftwerk weint.
(Outro)
Die Welt dreht sich, und wir drehen uns mit,
Der Atomausstieg ist der Beat, der uns trägt, Schritt für Schritt.
Unser Kampf ist lang, aber wir wissen, was wir tun,
Wir halten fest, bis das Atom verschwindet im Morgengrauen.
Kommentar vom 2023-04-10, 15:28
Nochmal @Kommentator*in von 14:03: Für Fall 3 sieht mir dies hier auf den ersten Blick nicht schlecht aus. Mit drei existierenden URLs! J. L.
Kommentar vom 2023-04-11, 14:05
Bei Fall 1 ging es um die Frage "der 10 besten Rapper aller Zeiten", 2Pac, Dr. Dre und Co. gab es nicht in der Liste, dafür die Fugees , Kendrick Lamar und andere fragwürdige Einordnungen.
Kommentar vom 2023-04-11, 14:06
Zu Fall 2, die Frage nach dem guten Code, beginnend hiermit als Basisimplementierung:
static void FeedForwardDefaultArray(float[] neurons, float[] weights, int[] net)
{
for (int i = 0, j = 0, k = net[0], m = 0; i < net.Length - 1; i++)
{
int left = net[i], right = net[i + 1];
for (int l = 0, w = m; l < left; l++)
{
float n = neurons[j + l];
if (n > 0)
for (int r = 0; r < right; r++)
neurons[k + r] += n * weights[w + r];
w += right;
}
m += left * right; j += left; k += right;
}
}
Kommentar vom 2023-04-11, 14:11
Antwort für Fall 2 müsste dann irgendwie so aussehen (Code war über 1000 Zeichen lang, deshalb der Link): https://github.com/grensen/good_vs_bad_code#advanced-vector-simd-no-copy
Besonders problematisch wird es, wenn die tollen neuen Techniken für das LLM noch nicht trainiert werden konnten, zwecks Aktualität. Was hier aber nicht der Fall war!
Das einzige fancy GPT-Beispiel in dem Repo brauchte zumindest kleinere Eingriffe von mir, um zu laufen.
Kommentar vom 2023-04-11, 14:31
Fall 3, ChatGPT kann es fast, so ungefähr, irgendwie, aber letztlich nein, wie der Rap über den Atomausstieg.
Wäre die Prüfung ein Transformer-Beispiel von Anfang bis Ende From Scratch, wäre GPT-4 doch wohl durchgefallen, oder? Es beginnt mit der Frage nach dem Datensatz? Dann wie geht man mit Input-Tokens und Output-Token um? Überhaupt: Wie läuft das mit Strings, die man in Nummern bringt und zurück? Gibt es Backpropagation im Code? Sollte es! Wie sieht schlechter Code aus und wie wird Code besser?
Wie groß können wir bauen, GPT-5-Größe??? ChatGPT bevorzugt bei solcherlei Fragen, speziell wenn ich gern etwas in C# oder Rust Code hätte, mir einen Error auszugeben.
Alles doch eher mehr wollen als können, besonders die Konsequenz, dass das LLM immer wieder Fehler ohne Ende macht, scheint gern ignoriert zu werden. So viele Fehler als Mensch und nicht Linker und ich wäre raus!
Neuer Kommentar
0 Zeichen von maximal 1000
Ich bin die*der alleinige Autor*in dieses Kommentars und räume dem Betreiber dieser Website das unentgeltliche, nichtausschließliche, räumlich und zeitlich unbegrenzte Recht ein, diesen Kommentar auf dieser Webseite samt Angabe von Datum und Uhrzeit zu veröffentlichen. Dieser Kommentar entspricht geltendem Recht, insbesondere in Bezug auf Urheberrecht, Datenschutzrecht, Markenrecht und Persönlichkeitsrecht. Wenn der Kommentar mit einer Urheberbezeichnung (zum Beispiel meinem Namen) versehen werden soll, habe ich auch diese in das Kommentar-Textfeld eingegeben. Ich bin damit einverstanden, dass der Betreiber der Webseite Kommentare zur Veröffentlichung auswählt und sinngemäß oder zur Wahrung von Rechten Dritter kürzt.