Das Context Window: das Kurzzeitgedächtnis der KI

Jede Anfrage hat ein begrenztes Tokenbudget

Wenn Sie mit einem KI-Assistenten chatten, wirkt es, als erinnere sich das Modell an das bisher Gesagte. Technisch kann es nur die Informationen berücksichtigen, die das Produkt für die aktuelle Anfrage bereitstellt. Eine wichtige Grenze dafür ist das Context Window.

Das Context Window bezeichnet das Tokenbudget, das ein Modell innerhalb einer Anfrage verarbeiten kann. Dazu können Systemanweisungen, Dokumente, Chatverlauf, Werkzeugergebnisse, die aktuelle Nachricht und die Ausgabe gehören. Die genaue Abrechnung unterscheidet sich nach Modell und Betriebsart.

Warum die veröffentlichte Grenze nicht die nutzbare Qualität bestimmt

Eine hohe technische Obergrenze sagt zunächst nur, wie viele Tokens eine Anfrage annehmen kann. Sie sagt nicht, ob das Modell jede relevante Stelle gleich zuverlässig nutzt oder ob ein vollständiges Dokument die beste Eingabe ist.

Kosten und Laufzeit

Mehr Eingabetokens erhöhen bei tokenbasierter Abrechnung den Eingabepreis. Auch Laufzeit und verfügbare Ausgabelänge können sich verändern. Wie stark, hängt von Modell, Preislogik, Cache und Schnittstelle ab. Eine feste Kostenrelation über alle Anbieter hinweg wäre daher irreführend.

Positions- und Auswahlprobleme

Die Studie Lost in the Middle zeigte bei den untersuchten Modellen und Aufgaben, dass die Position relevanter Informationen die Leistung beeinflussen konnte. Aktuelle Modelle können sich anders verhalten. Prüfen Sie deshalb mit repräsentativen Testfällen, ob Informationen am Anfang, in der Mitte und am Ende zuverlässig verarbeitet werden.

Irrelevanter Kontext

Zusätzliches Material kann widersprüchliche, veraltete oder sachfremde Passagen enthalten. Ein kuratierter Ausschnitt ist deshalb häufig leichter zu prüfen als ein ungefilterter Dokumentbestand. Ob er bessere Ergebnisse liefert, muss der eigene Test zeigen.

Was passiert, wenn die Grenze erreicht ist?

Das Verhalten ist produktspezifisch. Eine Oberfläche kann ältere Inhalte zusammenfassen, kürzen oder ausblenden. Eine API kann die Anfrage ablehnen oder die Ausgabe an einer Grenze stoppen. Verlassen Sie sich nicht darauf, dass immer zuerst die älteste Nachricht entfernt wird.

Für eine eigene Anwendung sollten Sie daher festlegen:

• wie Tokens vor dem Aufruf gezählt werden,
• welche Inhalte zwingend erhalten bleiben,
• wie alte Gesprächsteile zusammengefasst werden,
• wann Dokumente per Retrieval ausgewählt werden,
• und wie ein Abbruch durch die Kontextgrenze behandelt wird.

Inhalte außerhalb der tatsächlich an das Modell übergebenen Anfrage stehen diesem Modellaufruf nicht zur Verfügung. Eine Produktfunktion kann sie später erneut einspielen, aber das ist eine Funktion der Anwendung und keine menschliche Erinnerung des Modells.

Praktischer Prüfablauf

1. Aktuelle Grenze klären. Prüfen Sie Modell, Tarif, Schnittstelle und Zählregeln in der Anbieterdokumentation.
2. Nur erforderliche Quellen auswählen. Entfernen Sie Dubletten, veraltete Fassungen und fachfremde Anlagen.
3. Kontext strukturieren. Kennzeichnen Sie Quelle, Datum, Gültigkeit und Dokumentgrenzen.
4. Position testen. Platzieren Sie relevante Informationen in verschiedenen Abschnitten und vergleichen Sie die Antworten mit einer Soll-Lösung.
5. Alternativen evaluieren. Vergleichen Sie vollständigen Kontext mit Retrieval, Zusammenfassungen oder einer Kombination daraus.

Diese Schritte sind ein Prüfmodell, keine universellen Token-Schwellen. Die passende Lösung hängt vom Dokumentbestand, der Aufgabe und dem Fehlerrisiko ab.

Speicher über Sitzungen hinweg

Context Window und persistenter Speicher sind verschiedene Konzepte. Produkte können Projekte, gespeicherte Präferenzen oder andere Speicherfunktionen anbieten. Welche Informationen gespeichert, ausgewählt und in eine spätere Anfrage übernommen werden, ist produktspezifisch. Prüfen Sie dafür die aktuelle Produkt- und Datenschutzdokumentation.

Was Sie aus dieser Lektion mitnehmen

Das Context Window ist eine technische Obergrenze, kein Qualitätsversprechen. Entscheidend sind die tatsächlich übergebenen Informationen, ihre Struktur und ein Test mit repräsentativen Fällen. Persistenz über Sitzungen hinweg entsteht durch die umgebende Anwendung, nicht durch ein menschliches Erinnerungsvermögen des Modells.

Im nächsten Kapitel schauen wir uns an, wie Anbieter zusätzliche Rechenzeit für komplexe Aufgaben bereitstellen und wann ein Reasoning-Modus sinnvoll sein kann.