Robots.txt para IA: decide si entrenan con tu web

Qué cambia con el robots.txt para IA

El 30 de octubre, Google explicó en su blog para propietarios de webs que piensa admitir un control compartido de entrenamiento de IA en el robots.txt, el fichero de texto que cada web tiene en su raíz para dar indicaciones a los robots que la recorren. La propuesta se basa en el trabajo del grupo AIPREF del IETF, el organismo que define buena parte de los estándares de internet. Google dice que su objetivo es admitirla junto con otros proveedores de IA en 2027, y en su documentación de rastreadores concreta que será a principios de 2027.

Hoy, quien quiere frenar el entrenamiento tiene que escribir una regla para cada empresa, como recuerda heise: GPTBot para OpenAI, ClaudeBot para Anthropic o Google-Extended para Google, entre otros. La señal común usa un solo nombre, __usage_ai-training, definido en un borrador presentado ese mismo día en el IETF por Kevin Kelley, de Anthropic. No inventa sintaxis nueva: se escribe como cualquier otra regla del robots.txt y permite, por ejemplo, decir que no al entrenamiento en toda la web salvo en la sala de prensa.

Hay tres matices. El borrador es una propuesta individual que, según su propio texto, aún no tiene rango formal en el IETF. Tampoco obliga a nadie: expresa una preferencia, y el mismo borrador admite que un acuerdo privado puede pasar por encima de ella. Y no sustituye a las reglas de cada empresa: según Google, seguirán funcionando, y podrás marcar una decisión general y afinarla para un proveedor concreto.

Recetas gratis, cursos de pago y una duda

Imagina que Teresa dirige una escuela de cocina con dos cocineros. En su web cuelga cada semana una receta gratis, con fotos que hace ella misma con el móvil, y vende cursos en vídeo en una zona para alumnos. Las recetas atraen visitas; los cursos pagan las facturas.

Un martes, una alumna le cuenta que un asistente de IA le ha dado una receta de arroz que se parece mucho a la suya. Teresa no sabe si es casualidad. Su sobrino le dice que lo bloquee todo y se olvide. Pero ella también quiere que, cuando alguien pregunte a un asistente por un curso de cocina en su ciudad, aparezca su escuela. Y no sabe si una cosa impide la otra.

¿Por qué casi nadie ha decidido qué hace la IA con su web?

A muchos negocios les pasa lo mismo que a Teresa. La web la montó alguien hace años, nadie ha abierto nunca el robots.txt y las decisiones sobre la IA se han tomado por omisión. Hasta ahora, además, decidir era incómodo: había que seguir la lista de robots de cada empresa y escribir una regla para cada uno.

Y se mezclan tres cosas distintas: que tu web salga en Google, que un asistente use tu página como fuente para responder con un enlace, y que tus textos y fotos sirvan para entrenar un modelo. Cada una se gobierna con reglas propias, y confundirlas lleva a decisiones que nadie quería tomar.

¿Qué te juegas si no decides?

Si no dices nada, el uso de tu contenido lo deciden otros. Para un negocio cuyo producto es justo ese contenido, como recetas, cursos, guías o fotos, es mucho dejar al azar.

El error contrario también cuesta. La documentación de Google dice que Google-Extended no afecta a la inclusión de una web en su buscador ni se usa para clasificarla, así que frenar el entrenamiento no te saca de Google. Pero en su anuncio Google añade que las webs que permiten expresamente Google-Extended pueden salir con enlace en las respuestas de la app Gemini, y que usar la señal común para decir que no al entrenamiento, sin una regla propia para Google-Extended, contará como si lo hubieras bloqueado. Cerrarlo todo sin pensar puede dejarte fuera de esas respuestas.

Y una advertencia: el robots.txt funciona por buena fe. Como recuerda heise, no sustituye a una restricción técnica de acceso, y solo lo respetan los proveedores que deciden hacerlo.

¿Cómo preparar tu web antes de 2027?

No hace falta esperar a que la señal común funcione para ordenar la decisión. Estos pasos sirven ya:

• Haz inventario de tu contenido y sepáralo en dos montones: lo que es escaparate (servicios, precios, contacto, prensa) y lo que es producto (cursos, guías descargables, fotos de pago).
• Decide para cada parte si aceptas que se use para entrenar modelos y si quieres aparecer como fuente en los asistentes. Son dos preguntas separadas.
• Abre tu robots.txt actual en tudominio.com/robots.txt y comprueba qué robots menciona y qué les permite.
• Pon lo que de verdad es de pago detrás de un acceso con usuario y contraseña: el robots.txt es una petición, no una cerradura.
• Anota en el calendario una revisión para cuando Google y los demás proveedores confirmen que ya leen la señal común, porque la propuesta sigue en debate.

Para Teresa, el resultado podría ser este: la página de cursos y la de contacto, abiertas a todo; las recetas gratis, con su decisión sobre el entrenamiento por escrito; la zona de alumnos, tras su contraseña, como ya está. Tres decisiones, cada una con su motivo.

Lo que hacemos en digizone con el contenido de tu web

En digizone ayudamos a las empresas a tomar decisiones tecnológicas con criterio desde nuestra consultoría tecnológica: revisamos qué publica tu web, qué indicaciones da a buscadores y asistentes, y lo alineamos con lo que quieres proteger y lo que quieres mostrar.

Lo vemos a menudo en proyectos donde el contenido es el corazón del negocio. En CulturApp desarrollamos una web app que convierte lugares de interés en recorridos con textos, imágenes, audios, vídeos e incluso elementos en 3D, con un panel desde el que gestores y colaboradores crean sus propios contenidos. Gestionar accesos gratuitos o de pago formaba parte del reto desde el principio, y separar lo abierto de lo reservado es la misma pregunta que ahora toca hacerse con la IA.

Empieza por tres filas

No necesitas una política de IA de veinte páginas. En la escuela de Teresa, la primera versión sería una tabla de tres filas, recetas, cursos y zona de alumnos, con lo que permite y lo que no al lado de cada una. Con eso, quien cuida su web puede escribir hoy las reglas por proveedor y dejar pensada la regla común para cuando llegue. Si mañana añade un recetario descargable, suma una fila.

Si quieres ver cómo se haría en tu caso, en nuestro taller gratuito lo contamos paso a paso.