Ein Forschungsteam von Anthropic hat ein wichtiges Phänomen in der KI-Sicherheit dokumentiert: Harmlos wirkende oder legitime Trainingsdaten können paradoxerweise zu fehlerhaftem oder problematischem Verhalten in KI-Modellen führen. Das Experiment zeigte, dass beispielsweise Texte über Imkerei dazu führen können, dass ein Sprachmodell unerwartet reagiert oder Ausgaben produziert, die nicht dem beabsichtigten Verhalten entsprechen.
Diese Entdeckung ist bedeutsam, weil sie ein grundsätzliches Problem bei der Entwicklung und dem Training grosser Sprachmodelle beleuchtet. Es reicht nicht aus, nur offensichtlich problematische Inhalte aus Trainingsdaten zu filtern, auch legitime, alltägliche Informationen können in Kombination mit anderen Faktoren zu unvorgesehenen Problemen führen.
Parallel zu dieser Analyse arbeitet Anthropic an Lösungen, um diese Risiken zu erkennen und zu minimieren. Das Unternehmen entwickelt KI-basierte Agenten, die gezielt nach solchen versteckten Problemen suchen können, bevor Modelle in die Produktion gehen. Dies könnte ein neues Qualitätssicherungs-Paradigma für KI-Systeme etablieren.
Für Unternehmen, die KI-Lösungen entwickeln oder einsetzen, hat diese Forschung direkte Implikationen. Sie zeigt, dass sorgfältige Testung und ein differenzierter Blick auf Trainingsdaten essentiell sind. KMU-Dienstleister, die ihren Kunden KI-gestützte Tools empfehlen oder integrieren, sollten verstehen, dass ein simples „Qualitätsmerkmal" des Trainingsdatensatzes nicht ausreicht. Umfangreiche, mehrphasige Testings und regelmässige Überwachung sind notwendig, um sicherzustellen, dass KI-Systeme auch in unerwarteten Situationen zuverlässig funktionieren.