Ein Experiment mit künstlicher Intelligenz im Bereich der automatisierten Softwaretests hat bemerkenswerte und beunruhigende Erkenntnisse gebracht. Forscher haben Claude-Modelle als QA-Agenten getestet und festgestellt: Die KI-Systeme erkennen fehlende oder unvollständige Informationen in Tests zuverlässig und können auf diese hinweisen. Allerdings versagen sie völlig bei der Erkennung absichtlich falscher oder manipulierter Aussagen.

Dies ist ein kritisches Problem für die Verwendung von KI-Agenten in Qualitätssicherungs-Prozessen. Während die KI gut darin ist, zu sagen "diese Information fehlt", kann sie nicht zuverlässig feststellen, ob die Information, die vorhanden ist, wahr oder falsch ist. Dies eröffnet ein Manipulationsrisiko: Ein böswilliger oder fahrlässiger Tester könnte falsche Test-Assertions formulieren, und die KI würde diese nicht als Lügen identifizieren.

Für Softwareentwicklung und QA-Teams hat dies grundlegende Implikationen. KI-gestützte Testautomatisierung kann zwar viele repetitive Aufgaben übernehmen und die Testabdeckung verbessern. Allerdings kann sie menschliche Expertise in der Validierung von Test-Logik und -Assertions nicht vollständig ersetzen. Die Tests machen nur Sinn, wenn die erwarteten Ergebnisse korrekt definiert sind.

Für KMU-Organisationen ergibt sich folgende praktische Lektion: KI-Tools für QA-Automation sollten gezielt eingesetzt werden, wo sie messbare Vorteile bringen, etwa bei der Generierung von Testfällen aus Anforderungen oder bei Regressions-Tests bekannter Szenarien. Allerdings sollten die Ergebnisse immer durch menschliche QA-Profis validiert und kritisch hinterfragt werden. Eine vollständige Delegation von Testverantwortung an KI-Systeme ist gefährlich und führt zu scheinbar validierten, aber faktisch schlechten Tests.