MXDATA資料與方法
資料與方法
查看採集範圍、統計口徑與局限。MXDATA只記錄網站信號，不判斷其法律含義。
可存取7,886站 · 有效robots.txt 5,767份 · 2026-10-16
採集覆蓋
最新快照：
- 樣本網站
- 10,000
- 可存取網站
- 7,886
- 有效robots.txt
- 5,767
信號範圍
| 信號 | 位置 | 記錄欄位 |
|---|---|---|
| robots.txt AI規則（RFC 9309） | /robots.txt | 記錄36個AI爬蟲的完全屏蔽、部分屏蔽、允許或未點名狀態；另記通配符*組。 |
| Content Signals | robots.txt中的Content-Signal:行 | search、ai-input與ai-train的聲明值 |
| RSL (Really Simple Licensing) | robots.txt中的License:或<link type="application/rsl+xml"> | 授權URL、允許與禁止用途，及最多2個同站授權檔案 |
| TDMRep | /.well-known/tdmrep.json、tdm-reservation回應頭或meta | 權利保留信號及可獲取的檔案 |
| ai.txt | /ai.txt | 檔案是否存在及其內容 |
| noai / noimageai | <meta name="robots">、X-Robots-Tag | 是否存在其中任一標記 |
追蹤的爬蟲
2026-10-16 · 5,767 份有效robots.txt
| CCBot | Common Crawl | 訓練 | 723 | 98 | 890 |
| GPTBot | OpenAI | 訓練 | 706 | 203 | 1,068 |
| Bytespider | ByteDance | 訓練 | 691 | 61 | 781 |
| ClaudeBot | Anthropic | 訓練 | 634 | 149 | 918 |
| Google-Extended | 訓練 | 529 | 149 | 823 | |
| meta-externalagent | Meta | 訓練 | 507 | 76 | 627 |
| Applebot-Extended | Apple | 訓練 | 498 | 78 | 624 |
| cohere-ai | Cohere | 混合 | 481 | 49 | 554 |
| anthropic-ai | Anthropic | 舊版 | 480 | 71 | 603 |
| Amazonbot | Amazon | 混合 | 477 | 83 | 610 |
| Diffbot | Diffbot | 混合 | 471 | 18 | 502 |
| omgili | Webz.io | 混合 | 463 | 13 | 479 |
| PerplexityBot | Perplexity | 搜尋 | 454 | 172 | 783 |
| Claude-Web | Anthropic | 舊版 | 388 | 47 | 480 |
| ChatGPT-User | OpenAI | 使用者觸發 | 377 | 197 | 727 |
| YouBot | You.com | 搜尋 | 376 | 37 | 435 |
| FacebookBot | Meta | 舊版 | 370 | 42 | 443 |
| Timpibot | Timpi | 混合 | 327 | 8 | 337 |
| ImagesiftBot | ImageSift | 混合 | 308 | 10 | 321 |
| Webzio-Extended | Webz.io | 訓練 | 271 | 8 | 280 |
| OAI-SearchBot | OpenAI | 搜尋 | 262 | 200 | 618 |
| AI2Bot | Ai2 | 訓練 | 257 | 20 | 280 |
| DuckAssistBot | DuckDuckGo | 使用者觸發 | 254 | 47 | 318 |
| Meta-ExternalFetcher | Meta | 使用者觸發 | 250 | 28 | 294 |
| Perplexity-User | Perplexity | 使用者觸發 | 245 | 83 | 381 |
| Claude-User | Anthropic | 使用者觸發 | 234 | 87 | 384 |
| cohere-training-data-crawler | Cohere | 訓練 | 229 | 16 | 248 |
| Claude-SearchBot | Anthropic | 搜尋 | 226 | 98 | 384 |
| Google-CloudVertexBot | 混合 | 213 | 18 | 240 | |
| MistralAI-User | Mistral AI | 使用者觸發 | 196 | 28 | 242 |
| PanguBot | Huawei | 訓練 | 195 | 8 | 203 |
| Kangaroo Bot | Kangaroo LLM | 訓練 | 169 | 5 | 175 |
| Ai2Bot-Dolma | Ai2 | 訓練 | 163 | 11 | 175 |
| Brightbot | Bright Data | 混合 | 83 | 3 | 86 |
| Gemini-Deep-Research | 使用者觸發 | 81 | 21 | 109 | |
| TikTokSpider | ByteDance | 混合 | 77 | 10 | 102 |
網站樣本
固定採集Tranco榜單Y8JGG（2026-10-15版）前10,000個網域。名單不變，便於區分網站變化與樣本更替。名單SHA-256：1e49477006b7d63dced741c2ce51666463c31d9881248df5ec7f4fafbb1376cf。擴大覆蓋時新增樣本，舊樣本繼續運行。
1e4947…76cf
1e49477006b7d63dced741c2ce51666463c31d9881248df5ec7f4fafbb1376cf採集步驟
- 每天UTC 01:07起請求
https://{domain}/robots.txt，必要時改試www.主機名稱。 - 僅在robots.txt允許時，請求
/ai.txt、/.well-known/tdmrep.json、首頁及最多兩個同站RSL授權檔案。首頁只保留<head>內的<meta>和<link>標籤。 - 單站順序請求，每秒最多一次。採集10,000個網站約需21分鐘。
- User-Agent：
MXDATA-signals/1.0 (+AI usage-rights signal archive; daily, low-rate; robots.txt respected)。採集細節見爬蟲說明。
證據留存
- 回應細節：請求與最終URL、HTTP狀態、去除cookie後的回應頭、UTC時間、耗時及正文SHA-256。
- 檔案原文：robots.txt、ai.txt、tdmrep.json與RSL檔案按SHA-256去重並保留原文。首頁保存
<meta>、<link>標籤及完整<head>的雜湊。 - 每日清單：列出當天檔案雜湊，連接前一天清單的雜湊。存檔改動會使鏈條失配。最新清單：
7e56985581858d76305bd18d7a9562b36950ef7a54c965acdbdc331615feb130。 - 可重算的解析：信號表可從存檔重算。解析更正會更新派生歷史，原始位元組不變。
清單SHA-256
7e5698…b130
7e56985581858d76305bd18d7a9562b36950ef7a54c965acdbdc331615feb130變化檢測
比較相鄰兩天快照，減少存取故障造成的誤報。robots.txt信號須兩天均取得有效檔案；首頁信號須兩天均返回200；ai.txt與tdmrep.json須兩天均返回200、404或410。每處變化保留前後檔案雜湊。
資料局限
- 2026-10-16的10,000個樣本中，有2,114個網站無法存取，常見原因是反爬保護。記為「不可存取」，不視為「沒有信號」。
- 只讀首頁，不採集文章頁或JavaScript添加的信號。
- 完全或部分屏蔽是我們對RFC 9309規則的解讀，robots.txt原文可供複核。
- 固定樣本偏向熱門網站，不代表整個網際網路。
- 記錄始於2026年10月16日，無法提供更早記錄。
- 信號是網站聲明。是否有約束力、約束誰，我們不作判斷。
下載資料
聚合資料採用CC BY 4.0許可。逐站記錄請申請樣本報告。
需要網站記錄？申請樣本報告。
申請樣本報告