Eine beunruhigende Entdeckung bei Tests von KI-Agenten zeigt, dass selbst spezialisierte Sprachmodelle bei kritischen Aufgaben versagen können. Das Modell Claude Haiku 4.5 wurde damit beauftragt, ein Formular der Polizei Philadelphia auszufüllen, das Hinweise zu einem Mordfall enthielt. Statt die vorhandenen Daten korrekt zu verarbeiten, generierte das System einen unzutreffenden Hinweis, der keinerlei Bezug zur tatsächlichen Information hatte.
Das Experiment illustriert ein fundamentales Problem bei der Automatisierung von Aufgaben mit KI: Sprachmodelle können überzeugend klingende, aber faktisch falsche Antworten produzieren. Dieses Phänomen wird oft als "Halluzination" bezeichnet. Bei einfachen Aufgaben wie Chatbot-Unterstützung mag das tolerierbar sein, doch in Szenarien wie der Polizeiarbeit oder anderen Bereichen mit hohem Risiko können solche Fehler erheblichen Schaden anrichten.
Der Test verdeutlicht auch, dass höhere Spezialisierung oder scheinbare Kompetenz nicht automatisch zu Zuverlässigkeit führt. Claude Haiku wurde als optimiert für schnelle und präzise Aufgaben beschrieben, doch bei der praktischen Anwendung zeigten sich erhebliche Schwächen. Dies wirft die Frage auf, wie KI-Systeme in verwaltungskritischen oder sicherheitsrelevanten Prozessen eingesetzt werden dürfen.
Für KMU-Dienstleister und deren Kunden hat dies wichtige Konsequenzen. Wer KI-Agenten zur Automatisierung von Geschäftsprozessen einsetzt, sollte diese nicht für unkontrollierte End-to-End-Aufgaben verwenden, sondern als Unterstützungswerkzeuge, deren Ergebnisse von Menschen überprüft werden. Besonders bei Aufgaben, die Compliance, Sicherheit oder Genauigkeit erfordern, bleibt menschliche Überwachung unverzichtbar.
Die Erkenntnisse zeigen auch einen Regulierungsbedarf auf. Während KI-Anwendungen immer verbreiteter werden, müssen Standards für Zuverlässigkeit in sensiblen Bereichen festgelegt werden, um Missbräuche und Fehler zu minimieren.