MXDATA / 爬虫说明
爬虫与退出方法
在日志里看到 MXDATA-signals？这里说明它请求什么、多久访问一次，以及如何退出。
爬虫标识
MXDATA-signals/1.0 (+AI usage-rights signal archive; daily, low-rate; robots.txt respected)
robots.txt 中的 User-Agent： MXDATA-signals
请求的文件
| 资源 | 采集条件 |
|---|---|
/robots.txt | 每天一次 |
/ai.txt、/.well-known/tdmrep.json、/（首页） | 每天一次，前提是 robots.txt 允许 MXDATA-signals |
同站 RSL 授权文件，最多 2 个 | 每天一次，仅抓取被引用且允许的文件 |
请求限制
对同一网站逐个发送请求，每秒最多一次。每个网站每天采集一轮。
不在采集范围内
不登录、不提交表单、不运行 JavaScript、不抓取文章页或图片，也不收集个人信息。
停止其他抓取
User-agent: MXDATA-signals Disallow: /
robots.txt 包含这条规则后，我们停止请求其他文件。我们仍会每天读取一次 robots.txt，以确认你的指示，并保存这份公开声明的记录。如需将域名完全移出样本，请通过邮件联系。
爬虫相关问题
我们争取在 2 个工作日内回复。
爬虫 IP
有固定出口地址后，我们会在这里公布 IP 范围。
需要来源网站的记录？申请一份样例报告。
申请样例报告