Forscher der Stanford University, Owen Queen und James Zou, haben in einer Studie einen bemerkenswerten Befund dokumentiert: Aussagen über die Fähigkeiten von grossen Sprachmodellen (LLMs) wie ChatGPT, Claude oder Gemini haben oft nur eine begrenzte Haltbarkeit. Was heute wahr ist, kann in wenigen Monaten überholt sein.
Der Grund ist, dass LLM-Hersteller ständig ihre Modelle aktualisieren und verbessern. Eine Fähigkeit, die in Version 3.5 noch fehlt, kann in Version 4.0 plötzlich vorhanden sein. Umgekehrt können Ausgaben-Qualität und Verhaltensweisen sich ändern, ohne dass Nutzer dies bemerken. Das macht es schwierig, verlässliche, langfristige Aussagen über LLM-Capabilities zu machen.
Für Unternehmern, die LLMs in ihre Geschäftsprozesse integrieren, ist dies ein wichtiger Punkt. Angenommen, man entschied sich vor einem Jahr, dass ChatGPT für eine bestimmte Aufgabe nicht geeignet ist. Heute könnte das Modell diese Aufgabe perfekt lösen. Umgekehrt könnte ein System, das gut funktionierte, nach einem Update Probleme machen.
Die praktische Konsequenz ist, dass Organisationen ihre KI-Systeme nicht als statisch betrachten dürfen. Regelmässige Evaluierungen, Tests und Überprüfungen sind notwendig, um sicherzustellen, dass die eingesetzten KI-Tools noch den aktuellen Anforderungen entsprechen. IT-Dienstleister sollten ihre Kunden beraten, wie sie diese kontinuierliche Überprüfung strukturiert durchführen können, um die besten verfügbaren Modelle zu nutzen und Risiken durch veraltete oder fehlgeschlagene KI-Integrationen zu minimieren.