Kevin Kelley ha presentato alla IETF una proposta che permette agli editori di vietare l’accesso ai crawler AI con una sola riga nel file robots.txt. La misura elimina la necessità di inserire istruzioni separate per ogni provider.
Secondo la proposta, per impedire l’uso dei contenuti da parte di crawler AI è sufficiente aggiungere la seguente direttiva:
User-Agent: __usage_ai-training Disallow: /
Questa regola blocca l’uso dei contenuti per l’addestramento dei modelli AI, ma gli editori possono ancora mantenere le istruzioni precedenti per gestire singoli crawler, come Google-Extended o GPTBot. L’azienda di Mountain View ha sottolineato che lo standard è conforme al codice di condotta previsto dall’AI Act europeo, anche se il rispetto non è obbligatorio.
Anthropic ha già implementato la nuova istruzione. Google e Microsoft prevedono di adottare lo standard all’inizio del 2027, mentre OpenAI ha comunicato di introdurlo nei prossimi mesi. Meta non ha fissato una scadenza. Microsoft ha annunciato controlli più granulari: dal 1 marzo 2027 sarà possibile specificare preferenze distinte per addestramento e grounding, migliorando l’affidabilità delle fonti dei modelli AI.
