Referenzblatt · druckbar

Tokens und Vorhersage

Was ein Sprachmodell bei jedem Schritt tut – auf einer Seite.

Der Kernmechanismus

  1. Text rein (Prompt + bisherige Antwort)
  2. Modell berechnet eine Wahrscheinlichkeit für jedes mögliche nächste Token
  3. Ein Token wird ausgewählt und angehängt
  4. Zurück zu 1 – bis die Antwort fertig ist

Quelle: 3Blue1Brown

Token

Ein Textstück aus einem festen Vokabular: oft ein ganzes Wort, bei seltenen Wörtern ein Wortteil, meist inklusive Leerzeichen davor.

Bern ≠ Bern

Faustregel Englisch: 1 Token ≈ 4 Zeichen ≈ ¾ Wort. Andere Sprachen: tendenziell mehr Tokens.

Quelle: OpenAI Help · selbst testen: OpenAI Tokenizer

Sampling

Das Modell nimmt nicht immer das wahrscheinlichste Token, sondern würfelt gemäss der Verteilung. Folgen:

  • Dieselbe Frage → unterschiedliche Antworten
  • Plausible, aber falsche Tokens können gezogen werden

Was daraus für den Unterricht folgt

  • Flüssig ≠ korrekt. Plausibilität ist das Kriterium des Modells, nicht Wahrheit.
  • Buchstaben-Aufgaben (zählen, rückwärts buchstabieren, Reime auf Silbenebene) sind fehleranfällig.
  • Antworten vergleichen lohnt sich: Abweichungen zeigen Unsicherheit.