Referenzblatt · druckbar

Training kompakt

Woher die Wahrscheinlichkeiten kommen, auf einer Seite.

Der Trainingsschritt

  1. Echten Text nehmen, nächstes Token verdecken
  2. Modell rät (Wahrscheinlichkeitsverteilung)
  3. Mit dem tatsächlichen Token vergleichen
  4. Alle Parameter leicht so verschieben, dass das tatsächliche Token wahrscheinlicher wird
  5. Billionenfach wiederholen

Quelle: 3Blue1Brown

Zwei Phasen

Pretraining: Lückentext auf Internettext, zum Beispiel FineWeb mit ca. 15 Billionen Tokens (Quelle). Ergebnis: ein Textfortsetzer.

Post-Training: menschliche Beispiele und Bewertungen (u. a. RLHF). Ergebnis: ein hilfsbereiter Assistent.

Drei Folgen

  • Häufigkeit ≠ Wahrheit. Trainingsdaten haben keine Wahr/Falsch-Labels (OpenAI).
  • Seltenes ist unscharf. Wissen ist verdichtet («lossy compression», Karpathy).
  • Enddatum. Nach dem Training eingefroren (Knowledge cutoff).

Für den Unterricht

  • Eigenes Material in den Chat geben (Skript, Aufgabe, Lösungsweg). Text im Chat ist direkt verfügbar, Trainingswissen nur unscharf.
  • Bei Nischen- und Lokalthemen sowie Aktuellem besonders skeptisch sein.
  • Lernt das Modell im Gespräch dazu? Nicht während des Gesprächs: Die Parameter bleiben gleich, es «sieht» nur den Chatverlauf. Ob Chats später für neues Training genutzt werden, hängt von Anbieter und Einstellungen ab.