Français

MXDATADonnées et méthode

Données et méthode

Comment nous collectons et comptons les signaux, et quelles sont leurs limites. Nous ne jugeons pas leur portée juridique.

7 886 sites accessibles · 5 767 fichiers robots.txt valides · 2026-10-16

Couverture

Dernier relevé :

Sites du panel
10 000
Sites accessibles
7 886
robots.txt valides
5 767

Signaux collectés

SignalEmplacementChamps relevés
Règles IA robots.txt (RFC 9309)/robots.txtPour chacun des 36 robots IA nommés : blocage total, partiel, autorisation ou absence de nom. Le groupe générique * est relevé séparément.
Content SignalsLignes Content-Signal: dans robots.txtValeurs déclarées de search, ai-input et ai-train
RSL (Really Simple Licensing)License: dans robots.txt ou <link type="application/rsl+xml">URL de licence, usages autorisés et interdits, et jusqu’à 2 fichiers de licence du même site
TDMRep/.well-known/tdmrep.json, en-tête ou meta tdm-reservationPrésence du signal de réserve et fichier, si disponible
ai.txt/ai.txtPrésence du fichier et son contenu
noai / noimageai<meta name="robots">, X-Robots-TagPrésence de l’une ou l’autre directive

Robots IA

2026-10-16 · 5 767 fichiers robots.txt valides

CCBotCommon Crawlentraînement72398890
GPTBotOpenAIentraînement7062031 068
BytespiderByteDanceentraînement69161781
ClaudeBotAnthropicentraînement634149918
Google-ExtendedGoogleentraînement529149823
meta-externalagentMetaentraînement50776627
Applebot-ExtendedAppleentraînement49878624
cohere-aiCoheremixte48149554
anthropic-aiAnthropicancien48071603
AmazonbotAmazonmixte47783610
DiffbotDiffbotmixte47118502
omgiliWebz.iomixte46313479
PerplexityBotPerplexityrecherche454172783
Claude-WebAnthropicancien38847480
ChatGPT-UserOpenAIà la demande377197727
YouBotYou.comrecherche37637435
FacebookBotMetaancien37042443
TimpibotTimpimixte3278337
ImagesiftBotImageSiftmixte30810321
Webzio-ExtendedWebz.ioentraînement2718280
OAI-SearchBotOpenAIrecherche262200618
AI2BotAi2entraînement25720280
DuckAssistBotDuckDuckGoà la demande25447318
Meta-ExternalFetcherMetaà la demande25028294
Perplexity-UserPerplexityà la demande24583381
Claude-UserAnthropicà la demande23487384
cohere-training-data-crawlerCohereentraînement22916248
Claude-SearchBotAnthropicrecherche22698384
Google-CloudVertexBotGooglemixte21318240
MistralAI-UserMistral AIà la demande19628242
PanguBotHuaweientraînement1958203
Kangaroo BotKangaroo LLMentraînement1695175
Ai2Bot-DolmaAi2entraînement16311175
BrightbotBright Datamixte83386
Gemini-Deep-ResearchGoogleà la demande8121109
TikTokSpiderByteDancemixte7710102

Panel fixe

Nous suivons les 10 000 premiers domaines de la liste Tranco Y8JGG, datée du 2026-10-15. Le panel reste fixe : les changements viennent des sites, pas de l’échantillon. SHA-256 de la liste : 1e49477006b7d63dced741c2ce51666463c31d9881248df5ec7f4fafbb1376cf. Toute extension utilisera un nouveau panel, sans arrêter celui-ci.

1e4947…76cf1e49477006b7d63dced741c2ce51666463c31d9881248df5ec7f4fafbb1376cf

Collecte

  1. Chaque jour à partir de 01:07 UTC, nous demandons https://{domain}/robots.txt. Si nécessaire, nous essayons le nom d’hôte www..
  2. Si robots.txt autorise notre robot, nous demandons /ai.txt, /.well-known/tdmrep.json, la page d’accueil et jusqu’à deux licences RSL du même site. De l’accueil, nous conservons uniquement les balises <meta> et <link> du <head>.
  3. Les requêtes à un site sont séquentielles, au maximum une par seconde. La collecte des 10 000 sites prend environ 21 minutes.
  4. User-Agent : MXDATA-signals/1.0 (+AI usage-rights signal archive; daily, low-rate; robots.txt respected). Consultez la page du robot.

Archives sources

  • Détails des réponses : URL demandée et finale, statut HTTP, en-têtes sans cookies, date UTC, durée et SHA-256 du corps.
  • Fichiers originaux : robots.txt, ai.txt, tdmrep.json et RSL sont conservés tels quels et dédupliqués par SHA-256. Pour l’accueil : balises <meta>, <link> et hash du <head> complet.
  • Manifestes quotidiens : chaque relevé liste les hashes des fichiers et celui du manifeste précédent. Modifier un fichier archivé rompt la chaîne de vérification. Dernier manifeste : 7e56985581858d76305bd18d7a9562b36950ef7a54c965acdbdc331615feb130.
  • Analyse reproductible : les tableaux peuvent être recalculés à partir des fichiers conservés. Les corrections modifient l’historique dérivé, jamais les octets archivés.
Manifeste SHA-256
7e5698…b1307e56985581858d76305bd18d7a9562b36950ef7a54c965acdbdc331615feb130

Changements

Nous comparons les relevés quotidiens consécutifs. Les signaux robots.txt exigent un fichier valide les deux jours ; ceux de l’accueil exigent deux réponses 200. Pour ai.txt et tdmrep.json, chaque jour doit donner un résultat définitif : 200, 404 ou 410. Ces vérifications limitent les fausses alertes dues aux pannes. Chaque changement conserve les hashes avant et après.

Limites des données

  • Le 2026-10-16, 2 114 sites sur 10 000 étaient inaccessibles à notre robot, souvent à cause de protections antibot. Ils comptent comme inaccessibles, et non comme « sans signal ».
  • Nous lisons uniquement l’accueil. Les signaux des articles ou ajoutés par JavaScript ne sont pas collectés.
  • Les blocages robots.txt totaux et partiels reflètent notre interprétation des règles RFC 9309. Le fichier original reste disponible pour vérification.
  • Le panel fixe privilégie les sites populaires et ne représente pas le Web entier.
  • Notre historique commence le 16 octobre 2026. Nous n’avons aucun relevé antérieur.
  • Un signal décrit la déclaration d’un site. Sa portée juridique et les personnes concernées ne sont pas déterminées ici.

Téléchargements

Les agrégats JSON sont disponibles sous CC BY 4.0. Demandez un exemple pour les relevés par site.

Demandez un rapport exemple pour vos sites.

Demander un exemple