Ausführlich erklärt
Man kann sich das Kontextfenster als Schreibtisch vorstellen. Was darauf liegt, sieht das Modell. Was herunterfällt, existiert für die Antwort nicht mehr. Aktuelle Modelle fassen mehrere hunderttausend bis rund eine Million Token.
Voll wird der Schreibtisch schneller, als man denkt. Eine Akte mit Anlagen, zwei Normen als PDF, ein langer Chat mit Korrekturschleifen: Irgendwann fallen ältere Inhalte heraus oder werden automatisch zusammengefasst. Die Randbedingung aus Ihrer zweiten Nachricht („Maßgeblich ist die Fassung von 2015“) ist dann weg, ohne dass Sie es merken. Im sichtbaren Chatverlauf steht sie weiterhin.
Ein Upload heißt außerdem nicht, dass die ganze Datei im Kontextfenster liegt. Viele Dienste extrahieren, kürzen oder durchsuchen Dateien und geben nur Abschnitte weiter. Bei Scans hängt alles von der Texterkennung ab. Und ein großes Fenster heißt nicht, dass alles darin gleich gut beachtet wird (siehe „Lost in the Middle“).
Praktische Folgen: ein Auftrag und ein Thema pro Chat. Wichtige Randbedingungen bei Themenwechseln wiederholen. Bei langen Arbeitssitzungen eine Zusammenfassung erstellen lassen, sie prüfen und in einem neuen Chat weiterarbeiten.
Praxisregel
Datei hochgeladen heißt nicht vollständig gelesen. Lassen Sie sich ausweisen, welche Dokumente und Seiten tatsächlich ausgewertet wurden.
Verwandte Begriffe
- Token – Ein Token ist die Texteinheit, mit der ein Sprachmodell rechnet: ein Wort, ein Wortteil, eine Zahl oder ein Satzzeichen.
- Lost in the Middle – „Lost in the Middle“ bezeichnet den Effekt, dass Sprachmodelle Informationen am Anfang und am Ende einer langen Eingabe zuverlässiger berücksichtigen als in der Mitte.
- Systemprompt – Der Systemprompt enthält die Anweisungen, die der Anbieter oder Entwickler eines KI-Werkzeugs dem Modell im Hintergrund mitgibt und die bei jeder Antwort gelten.