MXDATA爬蟲說明
爬蟲說明
在日誌中看到MXDATA-signals？這裡說明採集內容、頻率和退出方法。
爬蟲標識
User-Agent
MXDATA-signals/1.0 (+AI usage-rights signal archive; daily, low-rate; robots.txt respected)
robots.txt中的User-Agent：MXDATA-signals
採集內容
| 資源 | 採集條件 |
|---|---|
/robots.txt | 每天一次 |
/ai.txt、/.well-known/tdmrep.json、/（首頁） | 每天一次，僅當robots.txt允許MXDATA-signals |
同站RSL授權檔案，最多2個 | 每天一次，僅限被引用且允許的檔案 |
採集頻率
每個網站每天一輪。單站順序請求，每秒最多一次。
不採集什麼
不登入、不提交表單、不執行JavaScript、不抓文章或圖片、不蒐集個人資訊。
如何退出
robots.txt
User-agent: MXDATA-signals Disallow: /
加入以下規則後，我們不再請求其他檔案。仍每天讀取一次robots.txt，確認指示並保存這份公開聲明。如需將網域完全移出樣本，請寄信聯絡。
聯絡我們
crawler@mxdata.ai
我們爭取在2個工作日內回覆。
爬蟲IP
固定出口地址後將在此公佈IP範圍。
需要網站記錄？申請樣本報告。
申請樣本報告