Ausführlich erklärt
Stellen Sie sich eine 400-seitige Akte vor. Die Klageschrift steht vorne, der Beweisbeschluss hinten. Das Schreiben des Elektroinstallateurs, in dem er die nachträgliche Änderung an der Unterverteilung einräumt, liegt auf Seite 214. Genau diese Stelle ist gefährdet: Sie wird in einer Zusammenfassung verkürzt, bei einer Widerspruchsprüfung übersehen oder in der Antwort gar nicht erwähnt.
Beschrieben hat den Effekt eine Forschungsgruppe um Nelson F. Liu in der Studie „Lost in the Middle: How Language Models Use Long Contexts“, 2023 als Vorabdruck, 2024 in der Fachzeitschrift Transactions of the Association for Computational Linguistics.
Die Werbung mit einer Million Token verleitet dazu, die ganze Akte „reinzukippen“ und dem Ergebnis zu vertrauen. Was hilft: Akten abschnittsweise bearbeiten lassen, gezielt nach Fundstellen mit Seitenzahl fragen statt nach einer Gesamtbewertung, eine Liste der verarbeiteten Unterlagen führen und die Mitte der Akte selbst lesen.
Praxisregel
Zerlegen Sie lange Akten in Abschnitte und sichern Sie für jeden Abschnitt Abdeckung und Fundstellen.
Quellen
- Liu et al., Lost in the Middle: How Language Models Use Long Contexts, TACL 2024 (Vorabdruck 2023)
aclanthology.org
Verwandte Begriffe
- Kontextfenster – Das Kontextfenster ist die Menge an Text, die ein Sprachmodell bei einer Antwort gleichzeitig berücksichtigen kann, gemessen in Token.
- Auslassung – Eine Auslassung liegt vor, wenn die KI relevante Informationen weglässt, ohne darauf hinzuweisen.