¿Hay que autorizar los robots de las IA en su sitio?

Dos familias de robots, dos decisiones diferentes

OpenAI documenta tres robots. OAI-SearchBot sirve para hacer que aparezcan sitios en los resultados de búsqueda de ChatGPT; un sitio que lo excluye no se muestra en sus respuestas de búsqueda, aunque aún puede aparecer como enlace de navegación. GPTBot recopila contenidos que pueden servir para entrenar sus modelos. ChatGPT-User interviene en ciertas acciones de los usuarios. OpenAI precisa que cada ajuste es independiente: un sitio puede autorizar OAI-SearchBot para aparecer en la búsqueda y al mismo tiempo prohibir GPTBot.

Anthropic hace la misma distinción. ClaudeBot recopila contenidos para el entrenamiento; bloquearlo excluye los futuros contenidos del sitio de los datos de entrenamiento. Claude-SearchBot mejora la calidad de los resultados de búsqueda, y Claude-User accede a los sitios cuando un usuario hace una pregunta; bloquearlos puede reducir la visibilidad del sitio en las respuestas. En Google, Google-Extended decide si los contenidos pueden servir para entrenar los futuros modelos Gemini, y Google precisa que no tiene ningún efecto sobre la inclusión de un sitio en la búsqueda de Google ni sobre su clasificación.

Lo que hemos medido en los robots.txt

Hemos leído el archivo robots.txt de cada sitio devuelto por la búsqueda de ChatGPT, Claude y Gemini en una decena de sectores de actividad consultados en francés, el día de la recopilación, el 10 de septiembre de 2026. Primera observación: la gran mayoría de los sitios no mencionan los robots de las IA. OAI-SearchBot solo es mencionado por el 5% al 6% de los sitios, y GPTBot por el 11% al 16%, dependiendo de si fueron citados o no.

Segunda observación: menos del 1% de los sitios devueltos por la búsqueda de ChatGPT prohibían OAI-SearchBot, y ninguno de los sitios que citó, lo que concuerda con la documentación de OpenAI. En cambio, prohibir el entrenamiento no impidió la mención: el 3% de los sitios citados por ChatGPT prohibían GPTBot, frente al 8% de los sitios que devolvió sin citarlos. En Claude, el 5% de los sitios citados prohibían ClaudeBot, frente al 4% de los sitios no citados; en Gemini, el 2% de los sitios citados prohibían Google-Extended.

Lo que significan estas cifras

Bloquear un robot de entrenamiento no cierra la puerta a las respuestas. Aquellos sitios que rechazan que sus contenidos entrenen a GPT, Claude o Gemini siguen siendo encontrados y citados por estas IA cuando buscan en la web, porque son otros robots, o el propio motor de búsqueda, los que leen las páginas en ese momento.

Por el contrario, bloquear un robot de búsqueda retira el sitio de las respuestas de la IA en cuestión. En ChatGPT, la conclusión es clara: entre los sitios que citó, no encontramos ninguno que prohibiera OAI-SearchBot. Autorizar este robot no basta para ser citado; según OpenAI, prohibirlo es suficiente para no ser mostrado en sus respuestas de búsqueda.

Lo que esto cambia para una empresa

Verifique su archivo robots.txt. Si desea ser citado, permita el acceso a los robots de búsqueda: OAI-SearchBot y ChatGPT-User para ChatGPT, Claude-SearchBot y Claude-User para Claude, y Googlebot para Google y sus respuestas de IA. Verifique también que un cortafuegos o un servicio de protección contra robots no los bloquee incluso antes de la lectura del archivo.

Para los robots de entrenamiento, GPTBot, ClaudeBot y Google-Extended, la decisión depende de su política sobre el uso de sus contenidos, no de su visibilidad en las respuestas: nuestras mediciones no muestran que bloquearlos impida ser citado. Es una elección que debe tomarse con conocimiento de causa, no un ajuste técnico que deba dejarse al azar.

Lo que no sabemos

Hemos leído los robots.txt el día de la recopilación, sin verificar si los robots respetan realmente estos archivos ni si un cortafuegos los bloqueaba. Claude-SearchBot y Claude-User no formaban parte de los robots leídos. Un archivo ausente se contabilizó como si no mencionara ningún robot.

Fuentes

1. OpenAI — robots de indexación de OpenAI, consultada el 16 de septiembre de 2026.
2. Anthropic — robots de Anthropic y bloqueo por parte de los sitios, actualización del 7 de abril de 2026.
3. Google Search Central — robots de exploración habituales de Google, actualización del 14 de julio de 2026.
4. Mediciones de FaireDuBruit, del 4 al 16 de septiembre de 2026 — ver «Cómo medimos».

Preguntas relacionadas

• ¿Ayuda el archivo llms.txt a ser citado por las IA?
• ¿Basta con mi sitio web para ser visible en las IA?
• ¿Por qué ChatGPT no cita a mi empresa?
• ¿Estar bien posicionado en Google ayuda a ser citado por ChatGPT?

Todas las preguntas sobre la visibilidad en las IA · Nuestra oferta