# robots.txt der Islamischen Zeitung # # 2026-08-22, W-06 (1): Zwei Pfadsperren ergaenzt. Die Datei hatte bis dahin # KEINE einzige Pfadsperre (Bericht 111, S4). # # WARUM DIESELBEN ZWEI ZEILEN IN JEDER GRUPPE STEHEN - das ist kein Versehen: # Nach dem Robots-Exclusion-Standard waehlt ein Crawler GENAU EINE Gruppe, # naemlich die mit der passendsten User-agent-Zeile, und ignoriert alle # anderen vollstaendig. Es gibt keine Vererbung von "User-agent: *". # Googlebot, Bingbot, GPTBot und die uebrigen namentlich genannten Crawler # lesen also NUR ihre eigene Gruppe. Haetten die Sperren allein unter "*" # gestanden, waeren sie fuer genau die Crawler wirkungslos geblieben, deren # Crawlbudget sie schonen sollen. # # Innerhalb einer Gruppe entscheidet die laengste passende Regel: fuer # /?s=suchwort schlaegt "Disallow: /?s=" (5 Zeichen) das "Allow: /" (1 Zeichen). # # Gesperrt wird: # /?s= Suchergebnisseiten (stehen ohnehin auf noindex) # /*?add-to-cart= Warenkorb-Aktionsadressen (erzeugten 123 404 in 15 Tagen) # # 2026-09-28, A-0733 (Bericht 446, V-3): Drei Pfadsperren fuer den # Anzeigenmarkt ergaenzt - /anzeige/, /listings/, /user-listings/. # # WARUM: Im Internet-Archiv lagen am 2026-09-28 vierundneunzig Aufnahmen von # Einstellerseiten mit einundfuenfzig verschiedenen Kennungen, alle in einem # Schritt zurueckrechenbar, elf davon in Vor- und Nachnamensform. Eine # Archivaufnahme, die eine Einstellerseite MIT sichtbarer Anzeige zeigt, # verbindet den alten Klarnamen mit einer Anzeigennummer - und die Nummer # fuehrt zur heutigen Chiffre. Damit waere die Chiffre gebrochen. Heute # trifft das auf keine Anzeige zu, weil keine Aufnahme juenger als der # 16.06.2026 ist; der Weg steht aber offen, sobald eine neue Aufnahme # entsteht. # # WAS ES NICHT KOSTET, gemessen am 2026-09-28: Alle drei veroeffentlichten # Anzeigen und die Uebersicht tragen bereits "noindex" - die Uebersicht # zusaetzlich "nofollow". Es geht also keine Sichtbarkeit verloren, die # bestuende. # # 🔴 WAS DIESE ZEILEN NICHT LEISTEN - die benannte Grenze: Sie wirken NUR # NACH VORN und nur bei Diensten, die robots.txt befolgen. Bestehende # Archivaufnahmen entfernen sie nicht; dafuer braucht es einen Loeschantrag # beim Archivdienst (Bericht 446, E-1 - Christians Entscheidung, Post nach # aussen). Und OB der Archivdienst diese Datei befolgt, ist hier NICHT # gemessen worden. User-agent: * Disallow: Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: Googlebot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: Bingbot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: OAI-SearchBot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: PerplexityBot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: Applebot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: DuckDuckBot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: YandexBot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: GPTBot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: anthropic-ai Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: ClaudeBot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: Google-Extended Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ User-agent: CCBot Disallow: / User-agent: FacebookBot Disallow: / User-agent: Meta-ExternalAgent Disallow: / User-agent: Diffbot Disallow: / User-agent: Bytespider Disallow: / User-agent: Amazonbot Disallow: / User-agent: cohere-ai Disallow: / User-agent: AI2Bot Disallow: / # --------------------------------------------------------------------------- # 2026-08-22, W-27: Bremse fuer die vier SEO-Werkzeuge - getrennt statt entfernt. # # Die frueher sitesweit gesetzte Zeile "Crawl-delay: 10" war vollstaendig # verschwunden (am 22.08. am gelieferten robots.txt gemessen: null Vorkommen). # Sie gehoert nicht zurueck fuer alle: Googlebot wertet Crawl-delay ohnehin # nicht aus, und bingbot lag am 16.08. mit 6.446 Anfragen am Limit - eine # Bremse dort kostet Indexaktualitaet ohne Gegenwert. # # Fuer die vier Werkzeuge unten gilt das Gegenteil: sie liefern keinen # Suchverkehr, sondern lesen den Bestand fuer fremde Auswertungen aus. # Gemessene Anfragen in access.log am 22.08.: MJ12bot 1.989, AhrefsBot 890, # SemrushBot 483, DotBot 278. # # Kennungen aus dem Zugriffsprotokoll uebernommen, nicht geraten: # MJ12bot/v1.4.8, MJ12bot/v2.0.5, AhrefsBot/7.0, SemrushBot/7~bl, DotBot/1.2. # # Die zwei Pfadsperren stehen auch hier, weil ein Crawler genau eine Gruppe # liest und es keine Vererbung von "User-agent: *" gibt (siehe oben). # --------------------------------------------------------------------------- User-agent: MJ12bot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ Crawl-delay: 10 User-agent: AhrefsBot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ Crawl-delay: 10 User-agent: SemrushBot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ Crawl-delay: 10 User-agent: DotBot Allow: / Disallow: /?s= Disallow: /*?add-to-cart= Disallow: /anzeige/ Disallow: /listings/ Disallow: /user-listings/ Crawl-delay: 10 Sitemap: https://islamische-zeitung.de/sitemap_index.xml