数据与方法

网站样本

我们追踪 Tranco 榜单 Y8JGG（2026-10-15 版）的前 10,000 个域名。样本名单固定，因此变化来自网站本身，而非样本更替。名单文件的 SHA-256 为 1e49477006b7d63dced741c2ce51666463c31d9881248df5ec7f4fafbb1376cf。扩大覆盖时会新增样本，这份样本继续运行。

采集步骤

1. 每天 UTC 01:07 起，请求 https://{domain}/robots.txt。必要时改试 www. 主机名。
2. robots.txt 允许我们的爬虫时，才请求 /ai.txt、/.well-known/tdmrep.json、首页及最多两个同站 RSL 授权文件。首页仅保留 <head> 内的 <meta> 和 <link> 标签。
3. 对同一网站顺序请求，每秒最多一次。采集全部 10,000 个网站约需 21 分钟。
4. User-Agent 与采集细节见爬虫说明页。

如何保存证据

• 响应细节：请求与最终 URL、HTTP 状态、去除 cookie 后的响应头、UTC 时间戳、耗时及正文 SHA-256。
• 文件原文：robots.txt、ai.txt、tdmrep.json 和 RSL 文件保留原文，并按 SHA-256 去重。首页保留 <meta>、<link> 标签及完整 <head> 的哈希。
• 每日清单：每次快照的清单列出文件哈希，并连接前一天清单的哈希。修改存档文件会使校验链条失配。最新清单：7e56985581858d76305bd18d7a9562b36950ef7a54c965acdbdc331615feb130。
• 可重现的解析：信号表可从存档文件重新生成。解析器更正会更新派生历史，存档字节始终不变。

如何检测变化

比较相邻两天的快照。robots.txt 类信号只在两天都取得有效 robots.txt 时比较；首页类信号只在两天首页都返回 200 时比较。ai.txt 和 tdmrep.json 则要求两天都返回明确结果：200、404 或 410。这些条件用于减少网站暂时不可访问造成的误报。每处变化都附变化前后的文件哈希。

数据有哪些局限

• 2026-10-16 当天，爬虫无法访问 2,114 个样本网站，常见原因是反爬保护。它们计为「不可访问」，不计为「没有信号」。
• 只检查首页。单篇文章或由 JavaScript 添加的信号不在本次采集范围内。
• robots.txt 的完全或部分屏蔽分类，是我们对 RFC 9309 匹配规则的解读。文件原文始终可供复核。
• 固定样本偏向热门网站，不代表整个互联网。
• 历史记录始于 2026 年 10 月 16 日，我们没有更早的记录。
• 信号记录的是网站的表态。它是否有约束力、约束谁，是法律问题，我们不作判断。

下载聚合数据

聚合数据以 CC BY 4.0 许可提供。逐站记录请通过样例报告申请获取。