Español

MXDATADatos y método

Datos y método

Consulta qué recogemos, cómo contamos y cuáles son los límites. Registramos señales publicadas sin determinar su significado jurídico.

7886 sitios accesibles · 5767 robots.txt válidos · 2026-10-16

Cobertura

Última captura:

Sitios de la muestra
10.000
Sitios accesibles
7886
robots.txt válidos
5767

Señales recogidas

SeñalUbicaciónQué registramos
Reglas de IA en robots.txt (RFC 9309)/robots.txtPara cada uno de los 36 rastreadores de IA: bloqueo total, parcial, permitido o no mencionado. El grupo comodín * se registra por separado.
Content SignalsLíneas Content-Signal: en robots.txtValores de search, ai-input y ai-train
RSL (Really Simple Licensing)License: en robots.txt o <link type="application/rsl+xml">URL de licencia, usos permitidos y prohibidos, y hasta 2 archivos de licencia del mismo sitio
TDMRep/.well-known/tdmrep.json, cabecera o meta tdm-reservationPresencia de la reserva y del archivo, si está disponible
ai.txt/ai.txtPresencia y contenido del archivo
noai / noimageai<meta name="robots">, X-Robots-TagPresencia de cualquiera de las directivas

Rastreadores de IA

2026-10-16 · 5767 archivos robots.txt válidos

CCBotCommon Crawlentrenamiento72398890
GPTBotOpenAIentrenamiento7062031068
BytespiderByteDanceentrenamiento69161781
ClaudeBotAnthropicentrenamiento634149918
Google-ExtendedGoogleentrenamiento529149823
meta-externalagentMetaentrenamiento50776627
Applebot-ExtendedAppleentrenamiento49878624
cohere-aiCoheremixto48149554
anthropic-aiAnthropicanterior48071603
AmazonbotAmazonmixto47783610
DiffbotDiffbotmixto47118502
omgiliWebz.iomixto46313479
PerplexityBotPerplexitybúsqueda454172783
Claude-WebAnthropicanterior38847480
ChatGPT-UserOpenAIa petición del usuario377197727
YouBotYou.combúsqueda37637435
FacebookBotMetaanterior37042443
TimpibotTimpimixto3278337
ImagesiftBotImageSiftmixto30810321
Webzio-ExtendedWebz.ioentrenamiento2718280
OAI-SearchBotOpenAIbúsqueda262200618
AI2BotAi2entrenamiento25720280
DuckAssistBotDuckDuckGoa petición del usuario25447318
Meta-ExternalFetcherMetaa petición del usuario25028294
Perplexity-UserPerplexitya petición del usuario24583381
Claude-UserAnthropica petición del usuario23487384
cohere-training-data-crawlerCohereentrenamiento22916248
Claude-SearchBotAnthropicbúsqueda22698384
Google-CloudVertexBotGooglemixto21318240
MistralAI-UserMistral AIa petición del usuario19628242
PanguBotHuaweientrenamiento1958203
Kangaroo BotKangaroo LLMentrenamiento1695175
Ai2Bot-DolmaAi2entrenamiento16311175
BrightbotBright Datamixto83386
Gemini-Deep-ResearchGooglea petición del usuario8121109
TikTokSpiderByteDancemixto7710102

Muestra fija

Seguimos los primeros 10.000 dominios de la lista Tranco Y8JGG, del 2026-10-15. La muestra no cambia, por lo que las variaciones reflejan cambios en los sitios. El SHA-256 de la lista es 1e49477006b7d63dced741c2ce51666463c31d9881248df5ec7f4fafbb1376cf. Al ampliar la cobertura, añadiremos una muestra nueva y mantendremos esta.

1e4947…76cf1e49477006b7d63dced741c2ce51666463c31d9881248df5ec7f4fafbb1376cf

Cómo recogemos

  1. Cada día desde las 01:07 UTC solicitamos https://{domain}/robots.txt. Si hace falta, probamos con www..
  2. Si robots.txt permite el rastreo, solicitamos /ai.txt, /.well-known/tdmrep.json, la página de inicio y hasta dos licencias RSL del mismo sitio. De la página de inicio guardamos solo las etiquetas <meta> y <link> de <head>.
  3. Las solicitudes a un sitio son secuenciales, como máximo una por segundo. Recoger los 10.000 sitios lleva unos 21 minutos.
  4. User-Agent: MXDATA-signals/1.0 (+AI usage-rights signal archive; daily, low-rate; robots.txt respected). Más detalles en la página del rastreador.

Conservación

  • Cada respuesta: URL solicitada y final, estado HTTP, cabeceras sin cookies, fecha UTC, latencia y SHA-256 del cuerpo.
  • Archivos originales: Guardamos robots.txt, ai.txt, tdmrep.json y RSL sin cambios, eliminando duplicados por SHA-256. De las páginas de inicio conservamos <meta>, <link> y el hash de todo el <head>.
  • Manifiestos diarios: Cada captura lista los hashes de sus archivos y enlaza el manifiesto anterior. Modificar un archivo archivado rompe la cadena de verificación. Último manifiesto: 7e56985581858d76305bd18d7a9562b36950ef7a54c965acdbdc331615feb130.
  • Análisis reproducible: Las tablas se pueden regenerar desde los archivos. Corregir el análisis actualiza el historial derivado, nunca los bytes archivados.
Manifiesto SHA-256
7e5698…b1307e56985581858d76305bd18d7a9562b36950ef7a54c965acdbdc331615feb130

Cómo vemos cambios

Comparamos capturas diarias consecutivas. Las señales robots.txt se comparan si ambos días tienen un archivo válido; las de inicio, si ambas páginas devuelven 200. Para ai.txt y tdmrep.json, ambos días deben devolver 200, 404 o 410. Así reducimos las falsas alarmas por caídas. Cada cambio incluye los hashes anteriores y posteriores.

Límites

  • El 2026-10-16, 2114 de 10.000 sitios eran inaccesibles, a menudo por protecciones contra bots. Los contamos como inaccesibles, no como sitios sin señales.
  • Solo revisamos la página de inicio. No recogemos señales de artículos ni las añadidas por JavaScript.
  • Los bloqueos totales y parciales reflejan nuestra interpretación de RFC 9309. El archivo original queda disponible para revisión.
  • La muestra fija favorece los sitios populares y no representa toda la web.
  • El historial comienza el 16 de octubre de 2026. No disponemos de registros anteriores.
  • Una señal expresa lo que declara un sitio. No determinamos su carácter vinculante ni a quién afecta.

Descargar datos

Descarga datos agregados bajo CC BY 4.0. Solicita una muestra para obtener registros de sitios concretos.

Pide un informe para los sitios que necesitas revisar.

Pedir una muestra