Block I · Grundlagen · Lektion 2
Wie ein KI-Modell denkt (und sich irrt)
Du verstehst, was im Inneren passiert, von deiner Eingabe bis zur Antwort: was Tokens, das Kontextfenster und die Temperatur sind, warum manche Modelle vor der Antwort nachdenken und warum sie manchmal mit voller Überzeugung Daten erfinden.
- 14 Min.
- 13 animierte Folien
- Quiz mit 6 Fragen
- Vertont in 6 Sprachen
Das erwartet dich in dieser Lektion
- Von deiner Frage zu seiner Antwort, Token für Token
Ein Sprachmodell sucht die Antwort nirgendwo: Es schreibt sie Stück für Stück und sagt voraus, was als Nächstes kommt.
- Tokens: die Legosteine der Sprache
Das Modell liest keine Buchstaben und keine ganzen Wörter, sondern Tokens: häufige Textstücke, die wie Bausteine passen.
- So geht's: Zähl die Tokens deines Textes
Füg einen beliebigen Text in den kostenlosen Tokenizer von OpenAI ein, und du weißt vor dem Senden, wie viele Tokens er belegt.
- Wie die Autovervollständigung am Handy, nur riesig
Für jede Lücke berechnet das Modell die Wahrscheinlichkeit Tausender möglicher Tokens und wählt eines der wahrscheinlichsten.
- Training und Inferenz: lernen und Prüfung schreiben
Das Modell lernt einmal, über Monate; bei jeder Frage wendet es nur das Gelernte an. Das ist die Inferenz.
- Das Kontextfenster: sein Arbeitstisch
Das ist alles, was das Modell beim Antworten vor sich hat. Was nicht auf dem Tisch liegt, existiert für es nicht.
- Temperatur: die Prise Salz der Kreativität
Sie regelt, wie viel das Modell bei der Wahl des nächsten Tokens riskiert: niedrig das Wahrscheinlichste, hoch mehr Abwechslung.
- Probier es aus: Vorhersage und Temperatur live
Transformer Explainer ist eine kostenlose Website, die ein kleines Modell in deinem Browser ausführt und dir seine Wahrscheinlichkeiten zeigt.
- Reasoning-Modelle: erst denken, dann reden
Vor der Antwort schreiben sie einen internen Denkentwurf und lösen so Probleme mit mehreren Schritten besser.
- Warum es Dinge so selbstsicher erfindet
Eine Halluzination ist eine falsche Angabe, überzeugt vorgetragen. Kein seltener Fehler: Sie folgt daraus, wie es lernt und bewertet wird.
- Was Raten kostet: die Zahlen von OpenAI
In einem Test mit Faktenfragen traf das Modell, das nie „weiß ich nicht“ sagte, fast genauso oft und irrte sich fast dreimal so oft.
- So fragst du, damit es weniger erfindet
Drei Sätze in deinem Prompt ändern, was sich für das Modell lohnt: Zweifeln ist dann kein Fehler mehr.
- Zusammenfassung: wie es denkt und warum es irrt
Ein Modell ist ein sehr gut trainierter Token-Vorhersager: Zu verstehen, wie es funktioniert, hilft dir, besser zu fragen und rechtzeitig skeptisch zu sein.
Tools und Begriffe
- Tokenizer
- Reasoning
- Temperature
Melde dich mit deinem Google-Konto an und starte diese Lektion und den ganzen Kurs.