Deutsch

MXDATADaten und Methode

Daten und Methode

Erfahren Sie, was wir erfassen, wie wir zählen und wo die Grenzen liegen. Wir dokumentieren veröffentlichte Signale, ohne sie rechtlich zu bewerten.

7.886 erreichbare Websites · 5.767 gültige robots.txt Dateien · 2026-10-16

Abdeckung

Neuester Stand:

Websites der Auswahl
10.000
Erreichbare Websites
7.886
Gültige robots.txt
5.767

Erfasste Signale

SignalFundortErfasste Angaben
KI Regeln in robots.txt (RFC 9309)/robots.txtFür jeden der 36 genannten KI Crawler: Vollsperre, Teilsperre, erlaubt oder nicht genannt. Die Platzhaltergruppe * wird separat erfasst.
Content SignalsContent-Signal: Zeilen in robots.txtWerte für search, ai-input und ai-train
RSL (Really Simple Licensing)License: in robots.txt oder <link type="application/rsl+xml">Lizenz URL, erlaubte und untersagte Nutzung sowie bis zu 2 Lizenzdateien derselben Website
TDMRep/.well-known/tdmrep.json, Header oder Meta tdm-reservationVorhandener Vorbehalt und Datei, falls verfügbar
ai.txt/ai.txtVorhandene Datei und ihr Inhalt
noai / noimageai<meta name="robots">, X-Robots-TagVorhandensein einer der Direktiven

KI Crawler

2026-10-16 · 5.767 gültige robots.txt Dateien

CCBotCommon CrawlTraining72398890
GPTBotOpenAITraining7062031.068
BytespiderByteDanceTraining69161781
ClaudeBotAnthropicTraining634149918
Google-ExtendedGoogleTraining529149823
meta-externalagentMetaTraining50776627
Applebot-ExtendedAppleTraining49878624
cohere-aiCoheregemischt48149554
anthropic-aiAnthropicälter48071603
AmazonbotAmazongemischt47783610
DiffbotDiffbotgemischt47118502
omgiliWebz.iogemischt46313479
PerplexityBotPerplexitySuche454172783
Claude-WebAnthropicälter38847480
ChatGPT-UserOpenAInutzerveranlasst377197727
YouBotYou.comSuche37637435
FacebookBotMetaälter37042443
TimpibotTimpigemischt3278337
ImagesiftBotImageSiftgemischt30810321
Webzio-ExtendedWebz.ioTraining2718280
OAI-SearchBotOpenAISuche262200618
AI2BotAi2Training25720280
DuckAssistBotDuckDuckGonutzerveranlasst25447318
Meta-ExternalFetcherMetanutzerveranlasst25028294
Perplexity-UserPerplexitynutzerveranlasst24583381
Claude-UserAnthropicnutzerveranlasst23487384
cohere-training-data-crawlerCohereTraining22916248
Claude-SearchBotAnthropicSuche22698384
Google-CloudVertexBotGooglegemischt21318240
MistralAI-UserMistral AInutzerveranlasst19628242
PanguBotHuaweiTraining1958203
Kangaroo BotKangaroo LLMTraining1695175
Ai2Bot-DolmaAi2Training16311175
BrightbotBright Datagemischt83386
Gemini-Deep-ResearchGooglenutzerveranlasst8121109
TikTokSpiderByteDancegemischt7710102

Feste Auswahl

Wir verfolgen die führenden 10.000 Domains der Tranco Liste Y8JGG vom 2026-10-15. Die Auswahl bleibt gleich; Änderungen betreffen daher die Websites. Der SHA-256 Hash der Liste lautet 1e49477006b7d63dced741c2ce51666463c31d9881248df5ec7f4fafbb1376cf. Bei einer Erweiterung kommt eine neue Auswahl hinzu, während diese weiterläuft.

1e4947…76cf1e49477006b7d63dced741c2ce51666463c31d9881248df5ec7f4fafbb1376cf

So erfassen wir

  1. Täglich ab 01:07 UTC rufen wir https://{domain}/robots.txt ab. Bei Bedarf versuchen wir den Hostnamen mit www..
  2. Wenn robots.txt unseren Crawler erlaubt, rufen wir /ai.txt, /.well-known/tdmrep.json, die Startseite und bis zu zwei RSL Lizenzdateien derselben Website ab. Von der Startseite speichern wir nur <meta> und <link> aus <head>.
  3. Anfragen an eine Website erfolgen nacheinander, höchstens einmal pro Sekunde. Die Erfassung der 10.000 Websites dauert etwa 21 Minuten.
  4. User-Agent: MXDATA-signals/1.0 (+AI usage-rights signal archive; daily, low-rate; robots.txt respected). Weitere Angaben auf der Crawlerseite.

Belege aufbewahren

  • Antwortdetails: angefragte und endgültige URL, HTTP Status, Antwortheader ohne Cookies, UTC Zeitstempel, Latenz und SHA-256 des Inhalts.
  • Originaldateien: robots.txt, ai.txt, tdmrep.json und RSL werden unverändert gespeichert und nach SHA-256 dedupliziert. Bei Startseiten bewahren wir <meta>, <link> und den Hash des gesamten <head> auf.
  • Tagesmanifeste: Jede Erfassung listet Dateihashes und verknüpft das Manifest des Vortags. Eine geänderte Archivdatei unterbricht die Prüfkette. Neuestes Manifest: 7e56985581858d76305bd18d7a9562b36950ef7a54c965acdbdc331615feb130.
  • Wiederholbare Auswertung: Signaltabellen lassen sich aus den Dateien neu erzeugen. Korrekturen ändern den abgeleiteten Verlauf, niemals die archivierten Bytes.
Manifest SHA-256
7e5698…b1307e56985581858d76305bd18d7a9562b36950ef7a54c965acdbdc331615feb130

Änderungen erkennen

Wir vergleichen aufeinanderfolgende Tage. Für robots.txt müssen beide Tage eine gültige Datei liefern; für Startseitensignale müssen beide Seiten 200 zurückgeben. Bei ai.txt und tdmrep.json müssen beide Ergebnisse eindeutig sein: 200, 404 oder 410. Das verringert Fehlmeldungen durch Ausfälle. Jede Änderung enthält die Dateihashes davor und danach.

Grenzen

  • Am 2026-10-16 waren 2.114 von 10.000 Websites unerreichbar, oft wegen Botschutz. Sie zählen als unerreichbar, nicht als Websites ohne Signale.
  • Wir prüfen nur die Startseite. Signale auf Artikelseiten oder durch JavaScript ergänzte Signale werden nicht erfasst.
  • Vollständige und teilweise Sperren beruhen auf unserer Auslegung der RFC 9309 Regeln. Die Originaldatei bleibt prüfbar.
  • Die feste Auswahl bevorzugt beliebte Websites und bildet nicht das gesamte Web ab.
  • Unsere Aufzeichnungen beginnen am 16. Oktober 2026. Frühere Datensätze liegen nicht vor.
  • Ein Signal dokumentiert eine Aussage der Website. Ob und für wen diese verbindlich ist, beurteilen wir nicht.

Daten herunterladen

Laden Sie aggregierte Daten unter CC BY 4.0 herunter. Für einzelne Websites können Sie einen Musterbericht anfordern.

Fordern Sie einen Bericht für Ihre Quellen an.

Muster anfordern