13 lines
No EOL
933 B
Markdown
13 lines
No EOL
933 B
Markdown
# Blocked_Bots_and_Crawler-Sekretaerbaer.de
|
|
|
|
Hier findet ihr eine Liste der Bots und Crawler die auf Sekretetaerbaer.de via fail2ban blockierte werden.
|
|
|
|
Wir nutzen dafür fail2ban da, sich nicht alle Bots und Crawler an die Bitte via robots.txt halten.
|
|
|
|
Gerade Facebook und Meta sind dafür bekannt sich darn nicht zuhalten. Sie sagen es sogar ausdrücklich:
|
|
|
|
>The Meta-ExternalFetcher crawler may bypass robots.txt because it performs fetches that were requested by the user. Also, the FacebookExternalHit crawler might bypass robots.txt when performing security or integrity checks.
|
|
|
|
Quelle: [Facebook](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/?locale=de_DE#identify-4)
|
|
|
|
Die Liste setzt sich zusammen aus Bots und Crawler die wir selber in den Logs finden und aus der Liste [ai.robots.txt](https://github.com/ai-robots-txt/ai.robots.txt), in der alle bekannte Crawler und Bots von AIs gesammlet werden |