OpenAI hat ein speziell für Jugendliche konzipiertes ChatGPT-Angebot eingeführt, das mit altersgerechteren Sicherheitsvorkehrungen ausgestattet sein soll. Laut eigenen Angaben des Unternehmens wird die Plattform von Jugendlichen bisher relativ moderat genutzt, deutlich weniger als etablierte soziale Netzwerke wie Instagram oder TikTok.
Trotz dieser moderaten Nutzungszahlen warnen unabhängige Sicherheitsprüfer jedoch vor Lücken in den Sicherheitsmassnahmen. Sie haben nach eigenen Tests Mängel in den Schutzmechanismen identifiziert, die zum Beispiel verhindern sollen, dass der Chatbot für schädliche oder unangemessene Inhalte missbraucht wird. Dies könnte Jugendliche potenziell gefährden oder dem Gesundheitsschutz des Unternehmens schaden.
Das Kernproblem liegt in der Balance zwischen Funktionalität und Sicherheit: KI-Chatbots sind per Definition relativ flexibel in ihren Antworten, was sie vielseitig nutzbar macht, aber auch schwer zu kontrollieren. Es ist technisch herausfordernd, einen Chatbot so zu konfigurieren, dass er mit einer breiten Palette von Fragen hilfreich umgehen kann, dabei aber alle potentiell schädlichen Inhalte herausfiltert.
Für Eltern und Schulen ist diese Situation mit gemischten Gefühlen verbunden: Einerseits könnten solche Tools wertvoll für die Unterstützung bei Hausaufgaben und Lernen sein. Andererseits besteht ein reales Risiko, dass Jugendliche der Plattform sensible persönliche Informationen anvertrauen oder auf manipulative Inhalte treffen.
Für Unternehmen, die KI-Systeme für vulnerable Nutzergruppen entwickeln, ist dies eine wichtige Lehre: Sicherheitsüberprüfungen durch unabhängige Fachleute sind essentiell. Dies gilt nicht nur für Kinder-orientierte Anwendungen, sondern für alle B2C-Systeme, bei denen Missbrauch oder Datenschutzprobleme zu Haftung führen könnten. IT-Dienstleister sollten verstärkt auf solche Prüfungen angewiesen werden.