# Large Language Models – Resources ## Knowledge - [Video/Artikel: «Large Language Models explained briefly» – 3Blue1Brown (Grant Sanderson)](https://3blue1brown.com/lessons/mini-llm) Visuell klarste Kurzerklärung (~8 Min.): Next-Word-Prediction, Wahrscheinlichkeiten, Sampling, Parameter, Pretraining vs. RLHF. Use for: Einstieg in jede Grundlagenlektion; ideal auch direkt für Schüler:innen. - [Video: «Deep Dive into LLMs like ChatGPT» – Andrej Karpathy](https://www.youtube.com/watch?v=7xTGNNLPyMI) 3,5-Stunden-Vortrag eines OpenAI-Mitgründers für ein allgemeines Publikum, in Kapitel gegliedert. Use for: Tokenisierung, Pretraining-Daten, Post-Training, Halluzinationen, «Modelle brauchen Tokens zum Denken». - [Artikel: «What are tokens and how to count them?» – OpenAI Help Center](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them) Offizielle Faustregeln (1 Token ≈ 4 Zeichen ≈ ¾ Wort im Englischen), Hinweis zu anderen Sprachen. Use for: Zahlen und Definitionen zu Tokens. - [Werkzeug: OpenAI Tokenizer](https://platform.openai.com/tokenizer) Zeigt live, wie ein Text in Tokens zerlegt wird. Use for: Experimente in Lektionen und im Unterricht. - [Artikel: «Why language models hallucinate» – OpenAI (5. Sept. 2025)](https://openai.com/index/why-language-models-hallucinate/) Forschungsbasierte Erklärung: Pretraining ohne Wahr/Falsch-Labels, zufällige Fakten (Geburtstags-Beispiel), Bewertungen, die Raten belohnen (Multiple-Choice-Analogie). Use for: Lektion zu Halluzinationen. - [Paper: «The FineWeb Datasets» – Penedo et al., Hugging Face (2024)](https://huggingface.co/papers/2406.17557) Offener Pretraining-Datensatz: 15 Billionen Tokens aus 96 Common-Crawl-Snapshots. Use for: konkrete Zahlen zu Trainingsdaten. - [Docs: Models overview – Anthropic](https://platform.claude.com/docs/en/about-claude/models/overview) Nennt pro aktuellem Claude-Modell den «Reliable knowledge cutoff». Use for: Trainingsende und Wissensstand. - [Paper: «Why Language Models Hallucinate» – Kalai et al. (OpenAI), 2025](https://arxiv.org/abs/2509.04664) Forschungspaper zum OpenAI-Artikel. Use for: Vertiefung zu den statistischen Ursachen und Bewertungsanreizen. - [Studie: «Fabrication and errors in the bibliographic citations generated by ChatGPT» – Walters & Wilder, Scientific Reports 2023](https://pmc.ncbi.nlm.nih.gov/articles/PMC10484980) 636 Literaturangaben geprüft: 55 % (GPT-3.5) bzw. 18 % (GPT-4) erfunden. Use for: erfundene Quellen, Unterrichtsidee Quellenjagd. - [Forschung: «Tracing the thoughts of a large language model» – Anthropic, 2025](https://www.anthropic.com/research/tracing-thoughts-language-model) Interpretierbarkeitsforschung: Grundeinstellung «kann nicht antworten», Vertrautheit hebt sie auf, Fehlzündung führt zur Halluzination. Konnte nicht direkt abgerufen werden; Inhalt über [Campus Technology](https://campustechnology.com/articles/2025/04/18/anthropic-develops-ai-microscope-to-reveal-the-hidden-mechanics-of-llm-thought.aspx) bestätigt. Use for: Mechanismus im Inneren. - [Docs: «Reduce hallucinations» – Anthropic](https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations) Praktische Gegenmittel: «Ich weiss es nicht» erlauben, Zitate, Belege, Best-of-N, Beschränkung auf Dokumente. Use for: Arbeitsweisen und Tutor-Prompts für den Unterricht. - [Paper: «Training language models to follow instructions with human feedback» (InstructGPT) – Ouyang et al., NeurIPS 2022](https://mlanthology.org/neurips/2022/ouyang2022neurips-training) SFT und RLHF. Ein 1,3-Mrd.-Modell wurde dem 175-Mrd.-GPT-3 vorgezogen. Use for: Post-Training, «brauchbarer statt klüger». - [Paper: «Towards Understanding Sycophancy in Language Models» – Sharma et al. (Anthropic), ICLR 2024](https://proceedings.iclr.cc/paper_files/paper/2024/hash/0105f7972202c1d4fb817da9f21a9663-Abstract-Conference.html) Anbiederung bei fünf führenden Assistenten; Bewertungsdaten bevorzugen Zustimmung. Use for: Anbiederung und ihre Ursache in RLHF. - [Artikel: «OpenAI explains why ChatGPT became too sycophantic» – TechCrunch, 29.4.2025](https://techcrunch.com/2025/04/29/openai-explains-why-chatgpt-became-too-sycophantic) GPT-4o-Update wegen Schmeichelei zurückgezogen; Ursache laut OpenAI: zu viel kurzfristiges Feedback. Use for: aktuelles Praxisbeispiel. - [Artikel: «Introducing study mode» – OpenAI, 29.7.2025](https://openai.com/index/chatgpt-study-mode/) Lernmodus über Systemanweisungen, mit Lehrpersonen entwickelt; Verhalten laut OpenAI teils inkonsistent. Use for: Schicht 3, Lernmodi im Unterricht. - [Studie: «Generative AI without guardrails can harm learning» – Bastani et al., PNAS 2025](https://doi.org/10.1073/pnas.2422633122) ~1000 Gymnasiast:innen in der Türkei, Mathematik: GPT Base +48 % beim Üben, −17 % in der Prüfung ohne KI; GPT Tutor mit Leitplanken +127 % beim Üben, kein Schaden. Verständliche Zusammenfassung: [Knowledge at Wharton](https://knowledge.wharton.upenn.edu/article/without-guardrails-generative-ai-can-harm-education). Use for: Krücken-Effekt, Wert von Leitplanken. - [Studie: «AI tutoring outperforms in-class active learning» – Kestin et al., Scientific Reports 2025](https://pmc.ncbi.nlm.nih.gov/articles/PMC12179260/) Harvard, Einführungskurs Physik, randomisiertes Crossover-Design, 194 Studierende; Tutor mit didaktischer Systemanweisung und Musterlösungen. Use for: was einen guten KI-Tutor ausmacht. Einschränkungen beachten. - [Studie: Lee et al., «The Impact of Generative AI on Critical Thinking», CHI 2025](https://campustechnology.com/articles/2025/02/21/study-generative-ai-could-inhibit-critical-thinking.aspx) 319 Wissensarbeitende: mehr Vertrauen in die KI geht mit weniger kritischem Denken einher. Use for: Vertrauen vs. Prüfen. - [Bericht: «Anthropic Education Report: How university students use Claude» – April 2025](https://www.anthropic.com/research/anthropic-education-report-how-university-students-use-claude) ~47 % direkte Unterhaltungen; Claude übernimmt vor allem Erschaffen (39,8 %) und Analysieren (30,2 %). Use for: tatsächliches Nutzungsverhalten, Auslagern von Denkarbeit. - [Positionspapier: «KI in der Schule» – LCH (Dachverband Lehrerinnen und Lehrer Schweiz)](https://www.lch.ch/fileadmin/user_upload_lch/Politik/Positionspapiere/240429_Positionspapier_KI_in_der__Schule_Vollversion.pdf) Berufsverbands-Sicht auf KI im Unterricht. Use for: Transfer-Teile, Einordnung für den Schulkontext. ## Wisdom (Communities) - [FHNW imedias – Weiterbildung KI](https://www.fhnw.ch/plattformen/imedias/weiterbildung/ki/) Weiterbildungs- und Beratungsstelle der PH FHNW für Medien und Informatik in der Schule. Use for: Austausch mit anderen Lehrpersonen, Praxiserprobung. - Eigene Fachschaft / Kollegium Use for: Unterrichtsideen aus den Lektionen erproben und Rückmeldungen einholen. ## Gaps - Deutschsprachige, hochwertige Primärquelle für Schüler:innen (Video oder Text) noch nicht gefunden. - Belastbare Quelle zu Token-Effizienz speziell für Deutsch fehlt (bisher nur «andere Sprachen brauchen mehr Tokens»). - Aktive Online-Community für Gymnasiallehrpersonen zum Thema KI im DACH-Raum noch nicht identifiziert.