Lektion 1 · ca. 12 Minuten
Das nächste Token
Was ChatGPT und Claude bei jedem einzelnen Schritt tun – und warum sie dabei keine Buchstaben sehen.
Nach dieser Lektion kannst du deiner Klasse in zwei Sätzen erklären, was ein Sprachmodell tatsächlich tut – und vorhersagen, an welcher Art Aufgabe es deshalb scheitert.
Eine einzige Aufgabe
Ein Large Language Model (LLM) ist im Kern eine riesige mathematische Funktion. Sie bekommt einen Text und gibt für jedes mögliche nächste Textstück eine Wahrscheinlichkeit aus. Nicht eine Antwort – eine ganze Verteilung.
Wenn du Claude eine Frage stellst, passiert immer dasselbe: Das Modell wählt ein Stück aus der Verteilung, hängt es an den Text an und rechnet von vorn – Stück für Stück, bis die Antwort fertig ist. Es gibt keinen Moment, in dem es «die Antwort nachschlägt».
Die Stücke heissen Tokens
Diese Textstücke sind keine Wörter und keine Buchstaben, sondern Tokens: häufige Zeichenfolgen aus einem festen Vokabular. Ein häufiges Wort ist oft ein einziges Token, ein seltenes wird in mehrere Teile zerlegt, und auch das Leerzeichen gehört meist dazu – Bern ist ein anderes Token als Bern.
Als Faustregel gilt für Englisch: ein Token ≈ vier Zeichen ≈ drei Viertel eines Wortes. Andere Sprachen brauchen tendenziell mehr Tokens für gleich viel Text.
Daraus folgt etwas Überraschendes: Das Modell sieht Erdbeere nicht als E-r-d-b-e-e-r-e, sondern als ein oder zwei Nummern aus seinem Vokabular. Fragen wie «Wie viele e hat Erdbeere?» sind deshalb unerwartet schwer – obwohl jedes Kind sie lösen kann.
Probier es aus: Sei das Modell
Unten siehst du eine Verteilung, wie ein Modell sie nach dem Satzanfang berechnen könnte. Wähle zuerst immer das wahrscheinlichste Token. Dann würfle zehnmal.
Zwei Dinge fallen auf. Erstens: Chatbots würfeln tatsächlich – sie nehmen nicht immer das wahrscheinlichste Token, damit der Text natürlicher klingt. Deshalb bekommen zwei Schüler:innen auf dieselbe Frage unterschiedliche Antworten.
Zweitens: Ab und zu erscheint Zürich. Das Modell «lügt» nicht – es hat ein Token gezogen, das plausibel klingt, aber falsch ist. Merke dir diesen Moment: Er ist der Kern dessen, was später «Halluzination» heissen wird.
Experiment: Wie zerlegt ein echtes Modell Text?
Schätze für jeden Text, wie viele Tokens er hat. Öffne dann den offiziellen Tokenizer von OpenAI, füge den Text ein und trage die echte Zahl ein. Achte im Tokenizer auch darauf, wo die Schnitte liegen.
Abrufübung
Jetzt aus dem Gedächtnis. Das Abrufen ist anstrengender als Nachlesen – und genau deshalb bleibt es hängen.
Versuche, es jetzt selbst in zwei Sätzen zu formulieren – laut oder schriftlich –, bevor du den Vorschlag liest:
Ein möglicher Vorschlag
«Ein Chatbot schlägt nichts nach: Er berechnet immer wieder, welches Textstück – ein Token – wahrscheinlich als Nächstes kommt, und würfelt eines davon aus. Deshalb klingt alles flüssig, kann aber trotzdem falsch sein, und Buchstaben zählen fällt ihm schwer, weil er Wörter nur als Tokens sieht.»
Mini-Unterrichtsidee: Lass die Klasse dieselbe Frage dreimal an einen Chatbot stellen und die Antworten vergleichen. Wer kann den Unterschied mit dem Würfel-Widget erklären?
Ich bin deine Lehrperson für dieses Thema. Wenn etwas unklar ist, frag mich im Chat – zum Beispiel: «Wie gross ist so ein Token-Vokabular?» oder «Woher kommen die Wahrscheinlichkeiten überhaupt?» Die zweite Frage ist übrigens genau das Thema der nächsten Lektion: Training.