Sekretaerbaer-Netz/Blocked_Bots_and_Crawler_Sekretaerbaer.de
1
0
Fork 0
Code Issues Pull requests Projects Releases Packages Wiki Activity Actions

README.md aktualisiert

Browse source
This commit is contained in:
oldkid 2025-04-24 13:10:16 +00:00
parent 021b6603ee
commit 27d4434cfa
1 changed files with 12 additions and 1 deletions
Download patch file Download diff file Expand all files Collapse all files

13
README.md
View file

@ -1,2 +1,13 @@
# Blocked_Bots_and_Crwaler-Sekretaerbaer.de # Blocked_Bots_and_Crawler-Sekretaerbaer.de
Hier findet ihr eine Liste der Bots und Crawler die auf Sekretetaerbaer.de via fail2ban blockierte werden.
Wir nutzen dafür fail2ban da, sich nicht alle Bots und Crawler an die Bitte via robots.txt halten.
Gerade Facebook und Meta sind dafür bekannt sich darn nicht zuhalten. Sie sagen es sogar ausdrücklich:
>The Meta-ExternalFetcher crawler may bypass robots.txt because it performs fetches that were requested by the user. Also, the FacebookExternalHit crawler might bypass robots.txt when performing security or integrity checks.
Quelle: [Facebook](https://developers.facebook.com/docs/sharing/webmasters/web-crawlers/?locale=de_DE#identify-4)
Die Liste setzt sich zusammen aus Bots und Crawler die wir selber in den Logs finden und aus der Liste [ai.robots.txt](https://github.com/ai-robots-txt/ai.robots.txt), in der alle bekannte Crawler und Bots von AIs gesammlet werden