MXDATACrawler
Unser Crawler
Steht MXDATA-signals in Ihren Protokollen? Hier erfahren Sie, was er abruft, wie oft und wie Sie ihn stoppen.
Kennung
MXDATA-signals/1.0 (+AI usage-rights signal archive; daily, low-rate; robots.txt respected)
User-Agent für robots.txt: MXDATA-signals
Abgerufene Dateien
| Ressource | Abrufregel |
|---|---|
/robots.txt | Einmal täglich |
/ai.txt, /.well-known/tdmrep.json, / (Startseite) | Einmal täglich, wenn robots.txt MXDATA-signals erlaubt |
Bis zu 2 RSL Lizenzdateien derselben Website | Einmal täglich, wenn verlinkt und erlaubt |
Abruflimits
Anfragen an eine Website laufen nacheinander, höchstens einmal pro Sekunde. Wir erfassen jede Website einmal am Tag.
Außerhalb des Umfangs
Wir melden uns nicht an, senden keine Formulare und führen kein JavaScript aus. Wir erfassen keine Artikelseiten, Bilder oder personenbezogenen Daten.
Crawler stoppen
robots.txt
User-agent: MXDATA-signals Disallow: /
Mit dieser Regel rufen wir keine weiteren Dateien ab. robots.txt lesen wir weiterhin einmal täglich, um Ihre Vorgaben zu kennen und die öffentliche Aussage zu erfassen. Zur vollständigen Entfernung einer Domain aus der Auswahl schreiben Sie uns.
Kontakt
Wir bemühen uns, innerhalb von 2 Werktagen zu antworten.
IP Adressen
Wir veröffentlichen die IP Bereiche, sobald feste Adressen verfügbar sind.
Fordern Sie einen Bericht für Ihre Quellen an.
Muster anfordern