Daten und prüfbare Belege

Webregeln für KI

MXDATA erfasst, was Websites zur KI Nutzung erlauben oder ablehnen. Datierte Originale und Berichte helfen Ihnen, Quellen zu prüfen, Änderungen nachzuvollziehen und Prüfungen zu dokumentieren.

KI Signale von Websites
Datierte Originale
Berichte für Ihr Team

Für Organisationen · Umfang und Vergütung nach Bedarf

Muster anfordern Beispiel ansehen

Tägliche Erfassung einer festen Auswahl der führenden 10.000 Websites.

Stand 2026-10-16 · 7.886 erreichbare Websites · 5.767 gültige robots.txt Dateien

Was Sie erhalten

Aussagen verschiedener Websites in einem einheitlichen Datensatz, mit der Quelle zu jedem Ergebnis.

Signaldaten

Sehen Sie Crawlingregeln und Aussagen zur KI Nutzung. Öffentliche Statistiken zeigen die Vorgaben innerhalb der festen Auswahl.

Vergleichen Sie Signale nach einheitlichen Kriterien.

Daten ansehen

Datierter Verlauf

Prüfen Sie Aussagen zu erfassten Zeitpunkten. Bei vergleichbaren Erfassungen sehen Sie Änderungen und die Dateien davor und danach.

Rekonstruieren Sie Aussagen im verfügbaren Verlauf.

Format ansehen

Prüfbare Berichte

Sehen Sie Signale, Originaldateien, Erfassungsdetails und SHA-256 Hashes. Im Beispielbericht können Sie Dateien direkt prüfen.

Geben Sie Ihrem Team überprüfbare Quellen.

Bericht ansehen

Zusammenarbeit

Wir liefern Daten und Belege für Organisationen. Prüfen Sie öffentliche Daten und einen Musterbericht, bevor Sie Ihr Projekt mit uns besprechen.

Für Unternehmen

Nennen Sie uns Domains, Zeiträume und Ihre Fragen. Wir prüfen die vorhandenen Aufzeichnungen und vereinbaren Umfang, Liefergegenstände und Vergütung nach Ihrem Bedarf.

Bedarf besprechen

Abdeckung und Lieferung werden für jede Anfrage bestätigt.

Öffentliche Daten

Statistiken und Methoden ansehen. Aggregierte JSON Daten unter CC BY 4.0 herunterladen.

Daten ansehen

Kostenloses Muster

Fordern Sie einen Bericht zu bis zu 5 Domains der festen Auswahl an. Prüfen Sie Inhalt und Format, bevor Sie weiteren Bedarf besprechen.

Muster anfordern

Muster ansehen
Prüfen Sie Dateien, Daten und Prüfschritte.
Bedarf schildern
Nennen Sie Domains, Zeiträume und Verwendungszweck.
Lieferung klären
Bestätigen Sie verfügbare Daten, Umfang und Vergütung.

Für Ihr Team

KI Datenteams

Prüfen Sie die Aussagen einer Quelle zum Erfassungsdatum und dokumentieren Sie Ihre interne Prüfung.

Beispielbericht

Verlage

Prüfen Sie die Aufzeichnung Ihrer Aussagen und vergleichen Sie Signalformate anderer Websites.

Beispielbericht

Kanzleien

Finden Sie datierte Aussagen und prüfen Sie die relevanten Originaldateien.

Beispielbericht

Forschung

Vergleichen Sie eine feste Auswahl über die Zeit mit öffentlichen Daten und klaren Definitionen.

Beispielbericht

Prüfbare Belege

Originaldateien
Wir bewahren die exakten Bytes jeder Signaldatei auf. Vergleichen Sie das Original mit den ausgewerteten Ergebnissen.
Erfassungsdetails
Jede Anfrage enthält URL, Weiterleitungsziel, HTTP Status, Antwortheader und UTC Zeitstempel.
Verknüpfte Manifeste
Jedes Tagesmanifest enthält Dateihashes und den Hash des Vortags. Geänderte Archivbytes unterbrechen die Kette.

MXDATA erfasst Aussagen von Websites. Wir beurteilen weder deren Rechtswirkung noch, ob ein KI Unternehmen sie befolgt hat.

Aktuelle Abdeckung

Die Zahlen gelten für den veröffentlichten Stand, die feste Auswahl und die erfassten Zeitpunkte. Unerreichbare Websites zählen nicht als Websites ohne Signale.

10.000

Websites in der täglichen Erfassung

2026-10-16
10.000 Websites der festen Auswahl

1.044

sperren mindestens einen KI Crawler vollständig (18,1% der gültigen robots.txt Dateien)

2026-10-16
5.767 gültige robots.txt Dateien

1.534

veröffentlichen eine maschinenlesbare KI Regel oder ein Signal

2026-10-16
7.886 erreichbare Websites

namentlich erfasste KI Crawler

2026-10-16
10.000 Websites der festen Auswahl

Gesperrte Crawler

Alle Crawler ansehen →

CCBotCommon Crawl

723

GPTBotOpenAI

706

BytespiderByteDance

691

ClaudeBotAnthropic

634

Google-ExtendedGoogle

529

meta-externalagentMeta

507

Applebot-ExtendedApple

498

cohere-aiCohere

481

anthropic-aiAnthropic

480

AmazonbotAmazon

477

Websites, deren robots.txt einen Crawler vollständig sperrt (Disallow: /). Sperren einzelner Pfade zählen auf der Datenseite separat. 2026-10-16 · 5.767 gültige robots.txt Dateien.