Wie eine Antwort entsteht

Vom Prompt zur Antwort: was dazwischen passiert

Sie tippen eine Frage in ein Chatfenster. Kurz darauf erscheint die Antwort. Was in dieser Zeit passiert, ist kein einzelner Schritt, sondern eine Kette aus mehreren Teiloperationen. Wer sie kennt, versteht, warum dieselbe Frage zu unterschiedlichen Antworten führen kann und welche Einstellungen das Ergebnis beeinflussen.

Schritt 1: Tokenisierung der Eingabe

Bevor das Modell eine Ausgabe berechnet, wird Ihr Text in Tokens zerlegt. Wie viele Tokens der Satz "Welche Risiken bestehen beim KI-Einsatz?" belegt, hängt vom eingesetzten Tokenizer ab.

Tokenisierung ist nicht trivial. Die Sprache wird in Einheiten zerlegt, die das Modell während des Trainings am häufigsten gesehen hat. Seltene Wörter brechen in mehrere Tokens auf, häufige Wörter bleiben ganz. Das erklärt, warum deutsche Fachbegriffe (z. B. "Datenschutz-Folgenabschätzung") mehr Tokens verbrauchen als englische Entsprechungen.

Diese Tokens werden in Zahlenvektoren übersetzt, mit denen das neuronale Netz rechnen kann. Aus Ihrem Prompt wird also eine Folge von Zahlen.

Schritt 2: Attention — was wichtig ist und was nicht

In der ersten Lektion haben wir gesehen, dass ein LLM auf einem neuronalen Netz mit Milliarden Parametern basiert. Die zentrale Architektur, die moderne Sprachmodelle so leistungsfähig gemacht hat, heißt Transformer. Das Herz eines Transformers ist der Attention-Mechanismus.

Vereinfacht: Das Modell fragt bei jedem neuen Token, welche Tokens weiter vorne im Text jetzt besonders relevant sind. In einem Satz wie "Der Bericht, den die Abteilung gestern abgeschickt hat, enthält Fehler" verknüpft Attention das Wort "enthält" mit dem weit entfernten Subjekt "Bericht" — nicht mit "Abteilung" oder "gestern".

Attention ist der Grund, warum LLMs lange Zusammenhänge erkennen können, nicht nur die letzten paar Wörter. Sie ist gleichzeitig der Grund, warum das Modell mit sehr langem Kontext rechnerisch teurer wird.

Schritt 3: Die Wahrscheinlichkeitsverteilung

Nach dem Durchlauf durch das Netz hat das Modell eine Wahrscheinlichkeitsverteilung über seinen Token-Wortschatz. Jedes mögliche Token bekommt einen Wert, der angibt, wie wahrscheinlich es als nächstes ist.

Bei einer Anfrage wie "Die Hauptstadt von Frankreich ist" sieht die Verteilung ungefähr so aus:

• "Paris": sehr wahrscheinlich
• "die": mittel wahrscheinlich (als Vorbote von "die Stadt Paris")
• "eine": niedrig wahrscheinlich
• Alles andere: sehr unwahrscheinlich

Jetzt muss das Modell aus dieser Verteilung ein konkretes Token auswählen. Dieser Schritt heißt Sampling.

Schritt 4: Sampling und die Rolle von Temperature

Das einfachste Sampling wäre: nimm immer das wahrscheinlichste Token. Das nennt man Greedy Decoding. Es liefert deterministische, aber oft fade Antworten, die sich wiederholen.

Je nach Modell, Produkt und Einstellung kann die Auswahl randomisiert werden. Zwei verbreitete Parameter sind:

Temperature. Die Temperature steuert, wie "flach" oder "spitz" die Wahrscheinlichkeitsverteilung interpretiert wird. Eine niedrigere Einstellung begünstigt wahrscheinliche Tokens und kann Ausgaben konsistenter machen. Eine höhere Einstellung erhöht die Vielfalt. Keine Einstellung macht eine Antwort automatisch faktisch richtig.

Top-p (Nucleus Sampling). Top-p begrenzt die Auswahl auf eine Gruppe von Tokens, deren kumulierte Wahrscheinlichkeit den gesetzten Wert erreicht. Welche Werte verfügbar und sinnvoll sind, hängt von Modell und Schnittstelle ab.

Für den Alltag heißt das: Wenn Sie über eine API oder spezialisierte Tools auf Modelle zugreifen, können Sie diese Parameter selbst setzen. In Standard-Chatoberflächen (Claude.ai, ChatGPT) sind sie vom Anbieter vorkonfiguriert.

Schritt 5: Token für Token, bis zum Stopp

Nach jedem Sampling-Schritt hängt das Modell das neue Token an den bisherigen Text an und wiederholt den Prozess. Die Antwort entsteht also nicht als fertiger Textblock, sondern Token für Token.

Das erklärt ein wichtiges Verhalten: Die sichtbare Antwort wird schrittweise erzeugt. Je nach Modell können zuvor interne Rechenschritte, Pläne oder Werkzeugaufrufe stattfinden. Daraus folgt trotzdem keine Garantie, dass das Ergebnis vollständig oder richtig ist.

Die Generierung endet, wenn eines der folgenden Ereignisse eintritt:

• Das Modell produziert ein spezielles Stopp-Token.
• Die für Modell oder Anfrage geltende maximale Antwortlänge ist erreicht.
• Eine explizit gesetzte Stopp-Sequenz erscheint.

Schritt 6: Warum dieselbe Frage verschiedene Antworten liefert

Wenn Sampling oder andere nicht deterministische Verarbeitungsschritte aktiv sind, können zwei Antworten auf denselben Prompt voneinander abweichen. Auch gleiche Antworten wären noch kein Beleg für sachliche Richtigkeit.

Was Sie dagegen tun können:

• Sampling-Einstellungen testen. Eine niedrigere Vielfalt kann die Wiederholbarkeit erhöhen, wenn das Tool diese Einstellung anbietet.
• Strukturierte Ausgabe verlangen. Eine JSON-Vorgabe reduziert den kreativen Spielraum.
• Mehrere Läufe vergleichen. Abweichungen zeigen Unsicherheit oder Interpretationsspielraum. Übereinstimmung ersetzt jedoch keine Prüfung an einer belastbaren Quelle.

Was Sie aus dieser Lektion mitnehmen

Eine KI-Antwort ist kein Lookup, sondern eine Kette aus Tokenisierung, Attention, Wahrscheinlichkeitsverteilung und Sampling. Jede dieser Stufen hat Parameter, die Ergebnisse beeinflussen. Die wichtigsten im Alltag sind Temperature und Top-p.

Im nächsten Kapitel schauen wir uns an, warum dieselbe Mechanik, die das Modell so flexibel macht, auch die Ursache für Halluzinationen ist — und welche konkreten Techniken helfen, sie zu reduzieren.