Lektion 2 · ca. 13 Minuten
Training: Woher die Wahrscheinlichkeiten kommen
In Lektion 1 hat das Modell Wahrscheinlichkeiten ausgegeben. Jetzt schauen wir, wie es zu diesen Zahlen kommt – und was es deshalb weiss und was nicht.
Nach dieser Lektion kannst du deiner Klasse erklären, was «Training» bedeutet – und daraus ableiten, wann man einem KI-Tutor eigenes Material mitgeben muss.
Bevor du weiterliest: Erkläre dir selbst in einem Satz, warum ein Chatbot «Die Hauptstadt der Schweiz ist Zürich» schreiben kann.
Vergleichen
Das Modell würfelt das nächste Token aus einer Wahrscheinlichkeitsverteilung. Auch ein plausibles, aber falsches Token wie Zürich hat eine kleine Chance, gezogen zu werden.
Milliarden Drehknöpfe
Die Funktion aus Lektion 1 hat sehr viele einstellbare Zahlen, die Parameter. Stell sie dir als Drehknöpfe vor. Wie die Knöpfe stehen, bestimmt, welche Wahrscheinlichkeiten herauskommen. Vor dem Training stehen alle zufällig, und das Modell produziert Buchstabensalat.
Training ist ein riesiger Lückentext
Training heisst: Man nimmt echten Text, verdeckt das nächste Token und lässt das Modell raten. Dann vergleicht man die Vorhersage mit dem Token, das tatsächlich dort steht, und dreht alle Knöpfe ein kleines Stück so, dass dieses Token beim nächsten Mal etwas wahrscheinlicher wird.
Das ist ein winziger Schritt. Wiederholt wird er an unvorstellbar vielen Textstellen.
Woher kommt der Text? Hauptsächlich aus dem öffentlichen Internet. Der offene Datensatz FineWeb, den Andrej Karpathy als Beispiel nutzt, umfasst rund 15 Billionen Tokens aus gefilterten Webseiten.
Probier es aus: Trainiere ein Mini-Modell
Unten siehst du sechs Trainingstexte. Schätze zuerst: Welches Wort wird das Modell nach dem Training am stärksten erwarten? Dann lerne die Texte einzeln und beobachte die Balken.
Zweiter Versuch: Wie oft musst du den Satz «Die Hauptstadt der Schweiz ist Zürich.» hinzufügen, bis das Modell kippt? Leg dich auf eine Zahl fest und probier es dann im Eingabefeld aus.
Das ist die wichtigste Einsicht dieser Lektion: Beim Training gibt es keine Stelle, die prüft, ob ein Satz wahr ist. Häufige, oft wiederholte Inhalte sitzen fest. Seltenes und Widersprüchliches bleibt wackelig.
Was das Modell deshalb weiss und was nicht
Wissen in den Parametern ist verdichtet und unscharf
Das Modell speichert keine Texte wie eine Bibliothek. Es speichert verdichtete Muster. Was millionenfach im Netz steht, gibt es zuverlässig wieder. Bei Nischenwissen wie deiner Schulordnung oder einem regionalen Lehrmittel rät es plausibel.
Training hat ein Enddatum
Irgendwann wird das Training beendet, und die Knöpfe werden eingefroren. Was danach passiert, kennt das Modell nicht, es sei denn, es kann im Web suchen oder du gibst es ihm.
Was im Chat steht, ist direkt verfügbar
Text, den du in den Chat gibst, muss das Modell nicht aus unscharfen Mustern rekonstruieren. Es kann ihn direkt «sehen». Für den Unterricht heisst das: Ein KI-Tutor mit dem Skript im Chat ist verlässlicher als einer, der sich an das Thema «erinnern» muss.
Abrufübung
Aus dem Gedächtnis, nicht nach oben scrollen. Eine Frage stammt aus Lektion 1.
Formuliere zuerst selbst, dann vergleichen:
Ein möglicher Vorschlag
«Ein Sprachmodell hat Billionen Lückentexte aus dem Internet gelöst und dabei gelernt, was häufig wie weitergeht, nicht, was wahr ist. Deshalb ist es stark bei Allgemeinwissen, unsicher bei Seltenem und blind für alles nach seinem Trainingsende. Wenn ihr wollt, dass es zu eurem Stoff stimmt, gebt ihm den Stoff.»
Mini-Unterrichtsidee: Die Klasse schreibt gemeinsam zehn «Trainingstexte» zu einem Satzanfang und schmuggelt einen Mythos mehrfach hinein. Mit dem Mini-Training oben sieht sie, ab wann das Modell den Mythos «glaubt».
Frag mich im Chat, was unklar ist, zum Beispiel: «Wie lange dauert so ein Training?», «Lernt ChatGPT aus meinen Gesprächen dazu?» oder «Warum klingt das Modell trotzdem so sicher?» Die letzte Frage führt direkt zur nächsten Lektion: Halluzinationen.