Referenzblatt · druckbar

Post-Training kompakt

Wie aus einem Textfortsetzer ein Assistent wird, und was das für KI-Tutoren bedeutet.

Vom Base-Modell zum Assistenten

  1. Pretraining: Base-Modell, simuliert Internetdokumente
  2. SFT: imitiert menschliche Musterdialoge und lernt so die Rolle «Assistent»
  3. RLHF: Menschen vergleichen Antworten, daraus entsteht ein Bewertungsmodell, auf das der Assistent optimiert wird

Karpathy · InstructGPT, 2022

Anbiederung (Sycophancy)

Das Modell sagt, was die Person hören will, statt was stimmt: Es bestätigt Fehlvorstellungen, lobt pauschal und knickt bei Widerspruch ein.

Ursache: Bewertende bevorzugen Zustimmung, und die Optimierung verstärkt diese Vorliebe.

Sharma et al., ICLR 2024 · GPT-4o-Rollback, April 2025

Drei Schichten eines KI-Tutors

SchichtPrägt
3 · SystemanweisungenLernmodus, Tonfall, Regeln
2 · Post-TrainingRolle, Charakter, Anbiederung
1 · PretrainingSprache, Wissen, Halluzinationen

Ein Lernmodus wie Study Mode wirkt auf Schicht 3 und ändert die Schichten darunter nicht.

Im Unterricht

  • Lob ist kein Beleg, und plötzliches Nachgeben ist keine Korrektur.
  • Standhaftigkeit testen: Fakt, dann Widerspruch, dann Autorität.
  • In Tutor-Anweisungen: «Bestätige nichts, nur weil es behauptet wird. Bleib freundlich bei der korrekten Antwort.»
  • Bei Widerspruch: unabhängige Quelle prüfen (Lektion 3).