Die Integration von künstlicher Intelligenz in traditionelle Berufssparten schreitet schneller voran, als viele Institutionen darauf vorbereitet sind. Ein Gerichtsbeschluss des Hessischen Verwaltungsgerichtshofs offenbart, dass ChatGPT bereits Eingang in die Arbeit deutscher Richter gefunden hat, teilweise ohne dass dies offengelegt wird.
Das Problem ist subtil, aber grundlegend. Der betreffende Gerichtsbeschluss wurde dem Europäischen Gerichtshof (EuGH) vorgelegt und zeigt Formulierungen, die auffällig ähnlich zu ChatGPT-Ausgaben sind. Dies deutet darauf hin, dass der Richter KI-generierte Texte kopiert und eingefügt hat, ohne dies angemessen zu kennzeichnen oder zu überprüfen. Dies ist problematisch, weil KI-Modelle bekannt dafür sind, überzeugend klingende, aber möglicherweise fehlerhafte oder halluzinierte Informationen zu generieren.
In der Justiz ist rechtliche Genauigkeit nicht optional, sondern essentiell. Ein Urteil, das auf fehlerhaften Rechtsprinzipien basiert, kann zu falschen Entscheidungen führen, die Menschen schaden. ChatGPT und ähnliche Modelle können zwar bei Recherchen hilfreich sein, müssen aber gründlich überprüft und validiert werden, bevor sie in rechtliche Dokumente einfliessen. Das Modell hat keine echte Kenntnis des Gesetzes, sondern generiert wahrscheinliche Texte basierend auf Trainingsmaterial.
Die Kontroverse verschärft die bereits bestehende Debatte über KI-Risiken in kritischen Systemen. Andere Länder und Institutionen beobachten diesen Fall aufmerksam. Die Europäische Union hat bereits Regelungen wie den AI Act erlassen, um KI-Anwendungen in hochriskanten Bereichen stärker zu kontrollieren. Die Justiz muss auf dieser Liste ganz oben stehen.
Für IT-Dienstleister und Organisationen ist dies ein wichtiger Weckruf. KI-Werkzeuge sollten in kritischen, rechtlich relevanten Kontexten nur mit grosser Vorsicht eingesetzt werden. Unternehmen sollten klare Richtlinien etablieren, wo und wie KI-Tools genutzt werden dürfen. Dies gilt besonders für Rechtsabteilungen, die mit Verträgen und regulatorischen Anforderungen arbeiten. Ein „KI-first"-Ansatz ohne angemessene Überprüfung ist hier nicht geeignet.