Ein praktisches Problem der KI-Ära findet eine technische Lösung: Cloudflare hat neue Filterregeln eingeführt, die zwischen legitimen Suchmaschinen-Crawlern und KI-Trainings-Crawlern unterscheiden können. Dies adressiert einen seit Monaten andauernden Konflikt zwischen Webseitenbetreibern, die ihre Inhalte schützen wollen, und KI-Unternehmen, die Trainingsmaterial brauchen.
Das Problem entstand, weil viele KI-Unternehmen (wie OpenAI und Google) ihre Modelle mit Inhalten aus dem Internet trainiert haben. Webseitenbetreiber möchten einerseits, dass ihre Seite in Google-Suchergebnissen auftaucht, wollen aber nicht, dass ihre Inhalte ohne Erlaubnis zum Training von Konkurrenz-KI-Modellen genutzt werden. Der classische Ansatz (robots.txt blockieren) war zu grob, da er auch Suchmaschinen-Zugriff verhinderte.
Mit Cloudflares neuer Differenzierung können Betreiber nun Google-Crawler akzeptieren, während sie gleichzeitig Zugriffe von OpenAI-Crawlern oder anderen KI-Trainings-Systemen blockieren. Das ist technisch elegant, weil es die Nutzbarkeit erhöht und gleichzeitig Kontrollmöglichkeiten eröffnet. Allerdings ist es kein Allheilmittel, da KI-Unternehmen möglicherweise alternative Trainingsmethoden oder andere IP-Ranges nutzen könnten.
Für Website- und Content-Betreiber bietet dies neue Optionen, ihre Inhalte zu schützen. KMU mit wertvollen Inhalten oder proprietärer Information sollten überprüfen, ob sie solche Schutzmechanismen einsetzen möchten. Gleichzeitig bleibt das grössere Thema der Nutzungsrechte von Trainingsmaterial eine offene Frage, die in den kommenden Jahren durch Gerichte und Regulierung beantwortet werden wird.