Mit der zunehmenden Verbreitung von Large Language Models (LLMs) und KI-Agenten entsteht eine neue Klasse von Sicherheitsbedrohungen: Prompt Injections. Diese Attacken versuchen, KI-Systeme durch manipulierte Eingaben zu täuschen oder zum Ausführen unerwünschter Aktionen zu bringen. Google hat sich intensiv mit diesem Problem auseinandergesetzt und Sicherheitsmassnahmen entwickelt, die nun im Unternehmen eingesetzt werden.

Prompt Injections funktionieren ähnlich wie klassische SQL-Injections: Ein Angreifer fügt versteckte Befehle oder Anweisungen in normale Eingaben ein, die ein KI-System dann ausführt. Dies kann dazu führen, dass ein KI-Agent unerwünschte Aktionen durchführt, vertrauliche Informationen offenbart oder sein Verhalten in unvorgesehener Weise ändert. Die Schwierigkeit liegt darin, dass Prompt Injections teilweise schwer zu erkennen sind und die Grenze zwischen legitimer Eingabe und Angriff fliessend ist.

Google hat mehrschichtige Schutzmechanismen implementiert. Diese umfassen sowohl technische Massnahmen (z.B. Input-Validierung und Kontextualisierung), als auch Ansätze auf Modellebene, die das LLM selbst robuster gegen solche Attacken machen. Darüber hinaus arbeitet Google an Richtlinien und Best Practices für die sichere Gestaltung von KI-Agenten.

Im Interview erläutert Viviana Sutedjo von Google die spezifischen Techniken, die ihr Team entwickelt hat. Sie betont, dass Sicherheit nicht nachträglich addiert werden kann, sondern in der Architektur verankert sein muss. Zudem werden kontinuierliche Tests und Red-Team-Exercises durchgeführt, um neue Angriffsvektoren zu identifizieren.

Für KMU-Unternehmen, die KI-Agenten einsetzen oder planen einzuführen, sind diese Erkenntnisse wertvoll. Jedes Unternehmen sollte verstehen, dass der Einsatz von LLMs und Agenten sicherheitstechnische Anforderungen mit sich bringt, die über klassische IT-Sicherheit hinausgehen. IT-Dienstleister sollten ihre Kunden beraten, Prompt-Injection-Risiken zu evaluieren und Sicherungsmassnahmen zu ergreifen, lange bevor Agenten in Produktion gehen. Dies könnte beispielsweise durch strenge Input-Validierung, Logging aller Agent-Aktionen und regelmässige Sicherheitstests geschehen.