Linux服务器
-
网站被亚马逊蜘蛛和Facebook爬虫搞崩溃,Linux服务器怎么屏蔽IP段?
首先如果你的网站打开特别慢,你可以怀疑是AI的爬虫来爬你的内容了,这些爬虫非常疯狂,之前就有OpenAI把乌克兰网站Trilegangers爬崩溃的例子,ChatGPT公司表示会尊…
-
网站被Amazonbot和Facebook爬虫爬崩溃?按照这个方法屏蔽爬虫和他们的IP
这两天我的网站直接被亚马逊和Facebook的爬虫爬崩了,为了训练AI到处爬,我也是无语了,在服务器上网站日志看到以下代码就是Facebook的爬虫: +https://devel…