Was ein LLM wirklich ist

Mehr als "Wörter vorhersagen"

Die Kurzerklärung für Large Language Models lautet: "Das Modell sagt das nächste Wort vorher." Präziser ist: Das Modell sagt das nächste Token vorher. Das beschreibt, was ein LLM tut, aber noch nicht, was es ist. Wer KI im Unternehmen sinnvoll einsetzen will, sollte beides unterscheiden können.

In dieser Lektion schauen wir uns an, was ein LLM technisch ist: woher seine Fähigkeiten kommen, was beim Training passiert und warum die Begriffe Token, Parameter und Fine-Tuning im Alltag relevant werden.

Ein riesiges neuronales Netz

Ein Large Language Model wie Claude, GPT oder Gemini ist im Kern ein neuronales Netz. Das ist keine Datenbank, kein Regelwerk und kein Suchindex, sondern eine mathematische Struktur mit Milliarden von Zahlenwerten, sogenannten Parametern oder Gewichten.

Die Zahl und Organisation dieser Parameter unterscheiden sich je nach Modell. Viele Anbieter veröffentlichen keine vollständigen Architekturdetails. Die Parameter sind nicht einzeln programmiert. Sie entstehen im Training, wenn das Modell seine Gewichte so anpasst, dass es die Trainingsaufgabe zunehmend besser erfüllt.

Wichtig ist: Parameter speichern keine Fakten, wie eine Datenbank Datensätze speichert. Sie codieren statistische Muster. Dass Paris die Hauptstadt Frankreichs ist, steckt nicht als Eintrag in einer Tabelle, sondern als Muster, das sich aus Tausenden von Textstellen ergibt, in denen "Paris" und "Hauptstadt" und "Frankreich" gemeinsam auftreten.

Training: wie ein LLM zu dem wird, was es ist

Das Training eines großen Sprachmodells kann mehrere Phasen umfassen. Anbieter setzen unterschiedliche Daten, Verfahren und Reihenfolgen ein und veröffentlichen nicht jedes Detail. Das folgende Schema dient deshalb als technische Orientierung.

Phase 1: Pretraining. Das Modell lernt aus großen Datenbeständen, die je nach Anbieter zum Beispiel Text, Code oder andere Datenarten enthalten können. Bei autoregressiven Sprachmodellen besteht eine zentrale Trainingsaufgabe darin, das nächste Token vorherzusagen und die Gewichte anhand des Fehlers anzupassen.

Das Ergebnis codiert Muster aus den Trainingsdaten. Ein solches Basismodell ist damit noch nicht automatisch ein hilfreicher Assistent.

Phase 2: Überwachtes Fine-Tuning. Kuratierte Beispiele können dem Modell gewünschte Antwortformen und Verhaltensweisen vermitteln.

Phase 3: Feedback-basiertes Post-Training. Je nach Anbieter kommen menschliches oder synthetisches Feedback sowie unterschiedliche Optimierungsverfahren zum Einsatz. Ziel ist, hilfreiches und sicheres Verhalten wahrscheinlicher zu machen.

Erst durch ein geeignetes Post-Training und weitere Systemmaßnahmen wird aus einem Basismodell ein Produkt, das als Assistent eingesetzt werden kann. Das sichtbare Verhalten hängt daher nicht nur vom Pretraining ab.

Tokens: die eigentlichen Bausteine

Sprachmodelle arbeiten nicht direkt mit Wörtern, sondern mit Tokens. Ein Token ist eine Einheit, die das Modell verarbeitet. Welche Zeichenfolge ein Token bildet, hängt vom konkreten Tokenizer ab.

Vereinfachte Beispiele:

• Ein häufiges kurzes Wort kann ein einzelnes Token sein.
• Ein langes zusammengesetztes Wort kann in mehrere Tokens zerlegt werden.
• Derselbe Inhalt kann in zwei Sprachen unterschiedlich viele Tokens belegen.

Diese Beispiele sind keine feste Umrechnung. Für Kosten- oder Längenabschätzungen sollten Sie den Tokenzähler des konkret eingesetzten Anbieters verwenden. Wortzahlen sind dafür nur eine grobe Hilfsgröße.

Was ein LLM nicht ist

Diese technische Sicht macht einige Missverständnisse sofort greifbar:

Ein LLM ist keine Datenbank. Es schlägt nichts nach, es rechnet. Wenn Sie nach einer Kennzahl fragen, rekonstruiert das Modell die wahrscheinlichste Antwort aus gelernten Mustern — auch wenn es die konkrete Zahl nie gesehen hat.

Ein LLM ist keine Suchmaschine. Es hat kein aktives Gedächtnis der Trainingsdaten und kann nicht "in seinem Wissen suchen". Alles, was es produziert, entsteht als Vorhersage im Moment der Anfrage.

Ein LLM ist nicht statisch identisch zu sich selbst. Zwei Anfragen mit demselben Prompt können unterschiedliche Antworten ergeben. Das liegt an einem Zufallsanteil im Sampling, den wir in einer späteren Lektion beleuchten.

Warum das im Unternehmen relevant ist

Wer die Funktionsweise versteht, trifft bessere Entscheidungen:

• Sie wissen, warum Halluzinationen strukturell unvermeidbar sind. Ein Modell, das Muster statt Fakten speichert, kann Muster auch dort anwenden, wo sie nicht passen.
• Sie können einschätzen, wofür Fine-Tuning sinnvoll ist und wofür nicht. Fine-Tuning kann Verhalten und Ausgabeform anpassen, ist aber kein verlässlicher Weg, veränderliche Fakten aktuell zu halten.
• Sie verstehen, warum Sprachen und Fachbegriffe unterschiedliche Tokenbudgets beanspruchen können und deshalb getrennt getestet werden sollten.
• Sie können mit Anbietern auf Augenhöhe sprechen, wenn es um Parameter, Tokens oder Kontextlängen geht.

Im nächsten Kapitel schauen wir uns an, was zwischen Ihrem Prompt und der Antwort konkret passiert: wie eine Anfrage in Tokens zerlegt wird, wie das Modell Token für Token weiterschreibt und welche Rolle Parameter wie Temperature dabei spielen.