KI-Hersteller wie OpenAI, Anthropic und andere werben aggressiv damit, dass ihre neuesten Sprachmodelle enorm lange Kontextfenster verarbeiten können, bis zu Millionen von Token (kleinste bedeutungsvolle Texteinheiten). Dies würde theoretisch bedeuten, dass ein KI-Modell ganze Bücher oder Tausende von Dokumenten auf einmal analysieren könnte. In der Praxis zeigt sich jedoch ein erheblicher Unterschied: Diese Modelle performen bei grösseren Dokumenten deutlich schlechter als erwartet.
Das Phänomen wird oft als "Lost in the Middle"-Problem bezeichnet. Obwohl ein Modell angeblich eine Million Tokens verarbeiten kann, sinkt die Qualität der Antworten, wenn die relevanten Informationen in der Mitte eines sehr langen Textes liegen. Das Modell scheint bei langen Eingaben dazu zu neigen, die Anfangs- und Endbereiche zu bevorzugen, während mittlere Abschnitte übersehen werden.
Die technischen Gründe sind komplex: Training und Testing von Modellen finden typischerweise mit kürzeren Sequenzen statt. Wenn dann ein längeres Kontextfenster implementiert wird, geschieht dies oft durch mathematische Tricks und Interpolationsmethoden. Diese funktionieren theoretisch, überfordern aber in der Praxis die Attention-Mechanismen des Modells, die neuronalen "Aufmerksamkeitsmechanismen", die relevante Teile eines langen Textes prioritieren sollen.
Für Unternehmen, die planen, KI-Systeme zur Analyse grosser Dokumentmengen einzusetzen, ist wichtig zu verstehen, dass die beworbenen Kontextgrössen nicht naiv vertrauen sollte. Stattdessen sollte in Pilotprojekten konkret getestet werden, wie gut das Modell tatsächlich mit der geplanten Dokumentlänge und -struktur umgeht. Oft ist es strategischer, lange Dokumente vorher zu zerlegen, zu summarisieren oder in Chunks aufzuteilen, bevor sie ein KI-Modell analysiert, statt vollständig auf die hohen Kontextversprechen zu verlassen.