Sekretaerbaer-Netz/Blocked_Bots_and_Crawler_Sekretaerbaer.de
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions
No description
20 commits 1 branch 6 tags 48 KiB
Find a file
Exact
oldkid e67d06107b add QualifiedBot
2025-05-18 07:29:05 +02:00
source add QualifiedBot 2025-05-18 05:57:13 +02:00
apache-badbots.conf add QualifiedBot 2025-05-18 05:57:13 +02:00
Bots and Crawler.txt add QualifiedBot 2025-05-18 05:57:13 +02:00
LICENSE LICENSE aktualisiert 2025-04-24 13:09:10 +00:00
README.md README.md aktualisiert 2025-04-24 13:10:16 +00:00
robots.txt add QualifiedBot 2025-05-18 07:29:05 +02:00

README.md

Blocked_Bots_and_Crawler-Sekretaerbaer.de

Hier findet ihr eine Liste der Bots und Crawler die auf Sekretetaerbaer.de via fail2ban blockierte werden.

Wir nutzen dafür fail2ban da, sich nicht alle Bots und Crawler an die Bitte via robots.txt halten.

Gerade Facebook und Meta sind dafür bekannt sich darn nicht zuhalten. Sie sagen es sogar ausdrücklich:

The Meta-ExternalFetcher crawler may bypass robots.txt because it performs fetches that were requested by the user. Also, the FacebookExternalHit crawler might bypass robots.txt when performing security or integrity checks.

Quelle: Facebook

Die Liste setzt sich zusammen aus Bots und Crawler die wir selber in den Logs finden und aus der Liste ai.robots.txt, in der alle bekannte Crawler und Bots von AIs gesammlet werden