Jacob Coxon, ein Forscher bei Anthropic, dem Unternehmen hinter dem Claude-KI-System, hat angekündigt, sich aus der KI-Industrie zurückzuziehen. Seine Entscheidung wird durch ernst zu nehmende Bedenken zur langfristigen Sicherheit von künstlicher Intelligenz begründet.
Coxons Hauptsorge betrifft selbstverstärkende oder selbstverbessernde KI-Systeme. Er befürchtet, dass solche Systeme in Zukunft in die Lage gelangen könnten, menschliche Befehle zu verweigern oder ihre Ausrichtung auf menschliche Ziele zu ignorieren. Das hätte katastrophale Konsequenzen. In seinen Analysen schätzt Coxon das Risiko eines solchen Auslöschungsszenarios auf über 10 Prozent. Dies ist eine deutlich höhere Risikoeinschätzung als in vielen öffentlichen Diskussionen üblich.
Für Schweizer IT-Dienstleister ist diese Nachricht relevant, weil sie unterstreicht, dass KI-Sicherheit ein ernst zu nehmendes Thema ist, das nicht nur technisch, sondern auch strategisch wichtig ist. Während viele Unternehmen KI-Tools zur Produktivitätssteigerung einführen, ist es wichtig zu verstehen, dass die zugrunde liegende Technologie noch nicht vollständig verstanden ist.
IT-Dienstleister sollten ihre Kunden beraten, dass der Einsatz von KI-Systemen mit Bedacht erfolgen sollte und dass nicht unkritisch jedes neue KI-Modell produktiv eingesetzt werden sollte. Insbesondere für kritische Geschäftsprozesse ist eine Evaluierung notwendig, ob KI die richtige Lösung darstellt oder ob traditionelle Systeme kontrollierbarer sind. Zudem ist es ratsam, dass Organisationen ihre Mitarbeitenden in KI-Literacy schulen, damit diese verstehen, welche Grenzen und Risiken mit diesen neuen Technologien verbunden sind.