Die Robots.txt ist seit Jahrzehnten der Standard-Mechanismus, mit dem Website-Betreiber Suchmaschinen und anderen automatisierten Systemen mitteilen können, welche Inhalte durchsucht oder automatisch verarbeitet werden dürfen. Doch mit dem Aufstieg der KI und spezialisierter Trainings-Crawler hat sich ein neues Problem entwickelt: Viele dieser Systeme missachten die Robots.txt-Einträge geflissentlich und scrapen Webseiteninhalte ohne Rücksicht auf die ausdrücklichen Anweisungen der Website-Eigentümer.
Diese Praxis hat zu erheblichen Spannungen zwischen Tech-Unternehmen und Content-Erstellern geführt. Website-Betreiber fühlen sich ihres Rechts beraubt, über die Nutzung ihrer Inhalte zu entscheiden, während KI-Unternehmen argumentieren, dass grössere Trainingsdatenmengen bessere Modelle ermöglichen. Der Kompromiss bleibt bislang unbefriedigend.
Google hat nun angekündigt, die Robots.txt zum verpflichtenden Standard erheben zu wollen, damit alle Anbieter von KI-Crawlern diese Vorgaben respektieren müssen. Das bedeutet konkret, dass Website-Betreiber durch eine einfache Datei auf ihrem Server kontrollieren könnten, ob und wie KI-Systeme ihre Seiten durchsuchen dürfen. Auch der Datenschutz könnte dadurch gestärkt werden, da sensible Daten und persönliche Informationen besser vor automatisiertem Zugriff geschützt wären.
Für KMU-Betreiber, die eine Website hosten, hätte dies praktische Vorteile: Sie könnten künftig eigenverantwortlich entscheiden, ob ihre Website-Inhalte zum Training von KI-Systemen herangezogen werden, oder zumindest die Nutzung einschränken. Dies ist insbesondere für Unternehmen mit geschütztem Know-how oder spezialisiertem Inhalt relevant. Ob sich alle Anbieter an einen solchen Standard halten würden, bleibt allerdings offen, es fehlte bisher eine Durchsetzungsmechanismus. Dennoch könnte ein von Google propagierter Standard zumindest für die etablierten KI-Unternehmen bindend wirken.