Der Content-Delivery- und Sicherheitsanbieter Cloudflare hat ein neues Feature vorgestellt, das es Webseitenbetreibern erlaubt, KI-Trainingsbots und Web-Crawler gezielt zu unterscheiden und selektiv zu blockieren. Diese Massnahme ist entstanden, weil viele Website-Betreiber einerseits ihre Inhalte in Google und anderen Suchmaschinen sichtbar halten möchten, andererseits aber nicht wünschen, dass ihre Daten zum Trainieren von KI-Modellen verwendet werden.
In den letzten Jahren haben zahlreiche Unternehmen grosse KI-Modelle mit Inhalten aus dem Internet trainiert, ohne die Urheber zu fragen oder zu bezahlen. Dies hat zu rechtlichen Debatten und zu Datenschutzbedenken geführt. Websitebetreiber, Journalisten und Content-Creator möchten ihre Inhalte daher vor unbefugtem Zugriff durch KI-Systeme schützen, während sie gleichzeitig von traditionellen Suchmaschinen-Rankings profitieren.
Das alte Standardverfahren, bei dem man alle Bots mit der "robots.txt"-Datei blockiert, war zu grob gestrickt: Wer Suchmaschinen aussperrte, konnte seine Seite auch nicht mehr in Google-Suchergebnissen finden. Cloudflares neue Funktion ermöglicht es, diese Unterscheidung viel differenzierter vorzunehmen. Websites können jetzt KI-Trainingsbots von OpenAI, Google, Anthropic und anderen blockieren, während sie gleichzeitig den Zugriff durch Google-Search, Bing und andere legitime Suchmaschinen erlauben.
Für KMU und Content-Publisher ist dies ein wichtiges Werkzeug, um ihre Daten selbstbestimmt zu schützen. Kleine Agenturen, Verlage und digitale Dienstleister können so verhindern, dass ihre einzigartigen Inhalte und ihr Knowhow unerlaubt für KI-Training genutzt werden, während sie gleichzeitig ihre Suchmaschinen-Sichtbarkeit beibehalten. Dies trägt zur Fairness im digitalen Ökosystem bei und gibt kleineren Akteuren mehr Kontrolle über ihre Daten.