diff --git a/README.md b/README.md index f8d297a..72aa018 100644 --- a/README.md +++ b/README.md @@ -1,2 +1,13 @@ -# Blocked_Bots_and_Crwaler-Sekretaerbaer.de +# Blocked_Bots_and_Crawler-Sekretaerbaer.de +Hier findet ihr eine Liste der Bots und Crawler die auf Sekretetaerbaer.de via fail2ban blockierte werden. + +Wir nutzen dafür fail2ban da, sich nicht alle Bots und Crawler an die Bitte via robots.txt halten. + +Gerade Facebook und Meta sind dafür bekannt sich darn nicht zuhalten. Sie sagen es sogar ausdrücklich: + +>The Meta-ExternalFetcher crawler may bypass robots.txt because it performs fetches that were requested by the user. Also, the FacebookExternalHit crawler might bypass robots.txt when performing security or integrity checks. + +Quelle: [Facebook](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/?locale=de_DE#identify-4) + +Die Liste setzt sich zusammen aus Bots und Crawler die wir selber in den Logs finden und aus der Liste [ai.robots.txt](https://github.com/ai-robots-txt/ai.robots.txt), in der alle bekannte Crawler und Bots von AIs gesammlet werden \ No newline at end of file