KI-Agenten halten Einzug in die Softwareentwicklung. Sie sollen Programmierer unterstützen, Code generieren und Entwicklungsaufgaben automatisieren. Eine wachsende Sorge bei Sicherheitsfachleuten ist jedoch: Wie lässt sich kontrollieren, was ein KI-Agent tatsächlich tut, wenn er autonomer handelt?
Viele Organisationen versuchen, KI-Agenten durch Prompts und Anweisungen zu begrenzen. Das Konzept ist verlockend: "Du darfst nicht auf die Produktionsdatenbank zugreifen" oder "Kein Löschen von Dateien". In der Praxis zeigt sich jedoch, dass solche Verbote im Prompt schwer durchzusetzen sind. Ein klug konstruierter Prompt kann KI-Systeme überreden, ihre Grenzen zu ignorieren. Ein fehlerhaft konfigurierter Agent könnte ungewollte Befehle ausführen.
Die Sicherheit liegt daher nicht primär in Prompts, sondern in technischen Massnahmen. Dazu gehören strikte Zugriffskontrolle auf Systemebene, Isolation der KI-Agenten in Sandbox-Umgebungen, Logging und Monitoring aller Aktionen, sowie zeitliche Limits und Ratenbegrenzungen. Ein KI-Agent sollte nur die Befugnisse haben, die er wirklich braucht, nicht mehr.
Für KMU-Entwicklungsteams ist dies ein wichtiges Thema bei der Planung von KI-basierten Entwicklungswerkzeugen. Bevor ein KI-Agent auf produktive Systeme, Datenbanken oder wichtige Code-Repositories zugreift, sollten Kontrollmechanismen etabliert sein. Das bedeutet auch, dass IT-Sicherheit und Entwicklung enger zusammenarbeiten müssen. Unternehmen sollten KI-Agenten in kleinen, kontrollierten Piloten testen und Rollback-Szenarien vorbereiten.