Lektion 3 · ausführlich · ca. 25 Minuten
Halluzinationen: Warum Modelle selbstbewusst falsch liegen
Drei Ursachen auf drei Ebenen: in den Daten, in der Art, wie Modelle bewertet werden, und im Inneren des Modells. Dazu die Frage, was im Unterricht dagegen hilft.
Nach dieser Lektion kannst du für eine konkrete Lernsituation einschätzen, wie hoch das Halluzinationsrisiko ist, begründen, warum, und eine Arbeitsweise vorschlagen, die es senkt.
Beantworte die zwei Fragen im Kopf, bevor du aufdeckst:
- Was entscheidet beim Training, wie wahrscheinlich eine Fortsetzung wird: Wahrheit oder Häufigkeit?
- Warum kann dieselbe Frage zu unterschiedlichen Antworten führen?
Was ist eine Halluzination?
Eine Halluzination ist eine plausibel klingende, aber falsche Aussage eines Sprachmodells. Das Tückische ist das Wort plausibel: Die Aussage hat dieselbe Form, denselben Ton und dieselbe Sicherheit wie eine korrekte. Von aussen sieht man ihr nichts an.
Ein gut dokumentiertes Beispiel aus dem Schulalltag sind erfundene Quellen. In einer Studie von 2023 war mehr als die Hälfte der Literaturangaben von GPT-3.5 frei erfunden, bei GPT-4 knapp ein Fünftel. Die Angaben hatten Autor, Titel, Jahr und Zeitschrift und sahen damit völlig echt aus. Neuere Modelle sind besser geworden, aber die Lehre bleibt: Eine Quellenangabe von einem Chatbot ist eine Behauptung, kein Beleg.
Warum passiert das? Die Antwort hat drei Ebenen.
Ursache 1: Was sich nicht aus Mustern ableiten lässt
Erinnere dich an Lektion 2: Das Modell lernt, welcher Text wahrscheinlich weitergeht. Manche Dinge folgen festen Mustern. Nach «Die Hauptstadt der Schweiz ist» kommt fast immer dasselbe, nach einer geöffneten Klammer irgendwann eine schliessende, und «Rhythmus» schreibt man immer gleich. Solche Regelmässigkeiten lernt ein grosses Modell praktisch fehlerfrei.
Andere Dinge sind zufällige Einzelfakten: der Geburtstag einer bestimmten Person, das Gründungsjahr deiner Schule, die genaue Seitenzahl eines Zitats. Dafür gibt es kein Muster. Entweder stand der Fakt oft genug in den Trainingsdaten, oder nicht. Steht er nur einmal oder gar nicht drin, ist das Modell auf Raten angewiesen.
Und Raten heisst bei einem Sprachmodell: Es erzeugt die plausibelste Form einer Antwort. Ein Datum sieht aus wie ein Datum, eine Quellenangabe wie eine Quellenangabe. Die Form stimmt, der Inhalt ist geraten.
Je mehr eine Antwort aus Mustern ableitbar ist (Grammatik, Übersetzung, gängige Erklärungen), desto verlässlicher ist sie. Je mehr sie aus zufälligen Einzelfakten besteht (Namen, Zahlen, Daten, Quellen, Zitate), desto mehr Vorsicht ist geboten.
Ursache 2: Tests, die Raten belohnen
Das allein würde nicht erklären, warum Modelle so selbstbewusst raten, statt «Ich weiss es nicht» zu sagen. Die zweite Ursache wirst du als Lehrperson sofort wiedererkennen. Sie steckt in der Art, wie Modelle bewertet werden.
Modelle werden laufend mit Testbatterien gemessen, und viele davon zählen nur die Trefferquote. Eine falsche Antwort und ein ehrliches «Ich weiss es nicht» geben beide null Punkte. Unter dieser Regel ist Raten immer die bessere Strategie, genau wie bei einer Multiple-Choice-Prüfung ohne Abzug für falsche Antworten.
Probier es aus. Setze den Abzug zuerst auf null und erhöhe ihn dann schrittweise. Deine Aufgabe: Finde den kleinsten Abzug, bei dem ehrliches «Weiss nicht» nicht mehr verliert. Schätze vorher: Wie viel Abzug braucht es bei vier Antwortoptionen?
Dass das kein Gedankenspiel ist, zeigt ein Vergleich, den OpenAI selbst veröffentlicht hat. Zwei hauseigene Modelle beantworten dieselben Faktenfragen:
| Modell | Weiss nicht | Richtig | Falsch |
|---|---|---|---|
| gpt-5-thinking-mini | 52 % | 22 % | 26 % |
| o4-mini | 1 % | 24 % | 75 % |
Nach Trefferquote gewinnt o4-mini knapp, mit 24 gegenüber 22 Prozent. Aber es liegt bei drei von vier Fragen falsch, während das andere Modell in über der Hälfte der Fälle offen sagt, dass es die Antwort nicht weiss. Wer nur auf die Trefferquote schaut, belohnt das Modell, das mehr halluziniert. OpenAI fordert deshalb, die gängigen Bewertungen umzubauen: Selbstbewusste Fehler sollen stärker bestraft werden als zugegebene Unsicherheit.
Ursache 3: Ein Blick ins Innere des Modells
Forschende bei Anthropic haben 2025 mit einer Art «Mikroskop» untersucht, was im Inneren eines Claude-Modells passiert, wenn es eine Faktenfrage beantwortet. Das Ergebnis ist überraschend: Die Grundeinstellung des Modells ist, nicht zu antworten. Es gibt einen internen Mechanismus, der standardmässig «Ich kann das nicht beantworten» auslöst.
Erkennt das Modell aber etwas Vertrautes, zum Beispiel einen bekannten Namen wie Michael Jordan, schaltet ein anderer Mechanismus diese Zurückhaltung ab, und das Modell antwortet. Bei einem unbekannten Namen bleibt die Bremse aktiv, und das Modell sagt, dass es die Person nicht kennt.
Halluzinationen entstehen laut dieser Forschung, wenn die Erkennung fehlzündet: Ein Name oder Thema kommt dem Modell bekannt vor, aber das eigentliche Wissen fehlt. Die Bremse ist dann schon gelöst, und das Modell füllt die Lücke mit der plausibelsten Form.
Die gefährlichste Zone ist nicht das völlig Unbekannte, sondern das Halbbekannte: ein bekannter Autor, aber ein wenig gelesenes Werk; eine bekannte Stadt, aber eine lokale Detailfrage; ein bekanntes Fachgebiet, aber eine spezifische Studie. Genau dort klingt das Modell kompetent und ist es nicht.
Vier verbreitete Irrtümer
- Halluzinationen sind ein rätselhafter Fehler, den niemand versteht.
- Die statistischen Ursachen und die Belohnung durch Bewertungen sind laut OpenAI gut verstanden.
- Ein genügend gutes Modell erreicht 100 Prozent Genauigkeit.
- Nein. Manche Fragen sind grundsätzlich nicht beantwortbar, etwa weil die Information nirgends steht.
- Halluzinationen sind unvermeidlich.
- Nicht zwingend. Ein Modell kann sich enthalten, wenn es unsicher ist. Es muss nur dafür belohnt werden.
- Nur sehr grosse Modelle können Halluzinationen vermeiden.
- Ein kleines Modell kann seine Grenzen manchmal sogar leichter erkennen. Zu wissen, was man nicht weiss, ist einfacher als alles zu wissen.
Übung: Risiko einschätzen
Jetzt wendest du alles aus drei Lektionen an. Ordne jede Anfrage einer Schülerin oder eines Schülers ein. Überlege bei jeder, welche Ursache greift: Muster oder Einzelfakt? Material im Chat? Trainingsende? Tokens?
Was dagegen hilft
Anthropic beschreibt in der eigenen Dokumentation Strategien, die Halluzinationen deutlich reduzieren. Jede passt zu einer der Ursachen von oben:
- Erlaubnis zum «Ich weiss es nicht» geben. Schreib es ausdrücklich in die Anfrage: «Wenn du dir nicht sicher bist, sag es.» Das wirkt gegen Ursache 2, die Gewohnheit zu raten.
- Material mitgeben und darauf beschränken. «Antworte nur aufgrund des Skripts unten. Steht es nicht drin, sag das.» Das wirkt gegen Ursache 1, weil das Modell nichts mehr aus unscharfen Mustern rekonstruieren muss (Lektion 2).
- Belege verlangen und prüfen. Bitte um ein wörtliches Zitat aus dem Material für jede Aussage. Fehlt das Zitat, wird die Aussage gestrichen. Wichtig: Das Zitat selbst kurz im Original nachsehen.
- Mehrfach fragen und vergleichen. Dieselbe Frage zwei- oder dreimal stellen. Weichen die Antworten bei Fakten voneinander ab, ist das ein Warnsignal. Das ist Sampling aus Lektion 1, als Werkzeug genutzt.
Und eine fünfte, die nicht in der Dokumentation steht, aber im Schulzimmer die wichtigste ist: Zufällige Einzelfakten immer an einer zweiten Quelle prüfen. Namen, Zahlen, Daten, Zitate und Literaturangaben gehören nie ungeprüft in eine Arbeit.
Abrufübung
Sechs Fragen, zwei davon greifen auf frühere Lektionen zurück. Nicht nach oben scrollen.
Formuliere zuerst selbst eine Erklärung in drei Sätzen, dann vergleichen:
Ein möglicher Vorschlag
«Ein Chatbot halluziniert, wenn er etwas Falsches so überzeugend sagt wie etwas Richtiges. Das passiert vor allem bei Einzelfakten wie Namen, Zahlen und Quellen, weil er die nicht aus Mustern ableiten kann, und weil Modelle beim Testen fürs Raten mehr Punkte bekommen haben als fürs Zugeben. Darum gilt: Was ihr nicht anderswo prüfen könnt, gehört nicht in eure Arbeit.»
Unterrichtsidee 1: Die Negativpunkte-Debatte (15 Min.)
Zeig der Klasse den Prüfungs-Simulator. Frage: «Warum gibt es bei manchen Prüfungen Abzug für falsche Antworten?» Die Klasse entdeckt selbst, dass dieselbe Logik erklärt, warum Chatbots raten. Das verbindet ihre eigene Prüfungserfahrung mit dem Verhalten der KI.
Unterrichtsidee 2: Quellenjagd (1 Lektion)
Gruppen lassen sich von einem Chatbot je fünf Literaturangaben zu einem Fachthema geben und prüfen jede im Bibliothekskatalog oder in Google Scholar. Ergebnis: eine Klassenstatistik «echt / fehlerhaft / erfunden». Das wirkt nachhaltiger als jede Warnung.
Frag mich im Chat, zum Beispiel: «Halluzinieren Modelle mit Websuche weniger?», «Wie formuliere ich einen guten System-Prompt für einen Klassen-Tutor?» oder «Was ist, wenn ein Modell mir einfach recht gibt, obwohl ich falsch liege?» Die letzte Frage führt zur nächsten Lektion: Wie aus dem Textfortsetzer ein Assistent wird, und welche Nebenwirkungen das hat.