Das Internet hat eine lange Tradition von Standards für die Kommunikation zwischen Websites und automatisierten Systemen. Eine davon ist die robots.txt-Datei. Diese liegt im Wurzelverzeichnis jeder Website und teilt Suchmaschinen-Crawlern mit, welche Bereiche der Seite sie indexieren dürfen und welche nicht.
Ein neues Problem ist entstanden, seit KI-Modelle trainiert werden: Zahlreiche Firmen schicken Bots los, um Websites zu durchsuchen und Trainingsdaten zu sammeln. Website-Betreiber haben bislang wenig Kontrolle darüber. Manche möchten nicht, dass ihre Inhalte zur KI-Ausbildung herangezogen werden, sei aus Urheberrechtsgründen oder weil sie Kontrolle über ihre Daten haben wollen.
Google kündigt an, dass es ab 2027 einen neuen Standard in robots.txt unterstützen wird, den die Internet Engineering Task Force (IETF) erarbeitet hat. Dieser neue Token soll Website-Betreibern erlauben, mit einem einzigen Eintrag alle KI-Trainings-Bots zu blockieren. Das ist praktikabler als einzelne Bot-Namen zu sperren, da ständig neue Dienste hinzukommen.
Das System soll nicht perfekt sein. Es funktioniert auf Basis von Regeln, die Betreiber freiwillig befolgen. Bösewillige KI-Trainings-Dienste könnten sich auch nicht daran halten. Aber für legitime, grosse Anbieter wird dies ein wichtiges Steuerungswerkzeug.
Googles bestehendes system, Google-Extended, bleibt bestehen und erlaubt präzisere Kontrolle.
Für Website-Betreiber und Content-Creator ist das eine wichtige Entwicklung. Sie erhalten mehr Kontrolle über ihre Daten. Für Unternehmen, die Websites pflegen oder Inhalte online stellen, wird es künftig einfacher, zu entscheiden, ob und wie ihre Daten für KI genutzt werden. Dies berührt auch Fragen von Datenschutz und Urheberrecht, die für die Schweiz relevant sind.