AI爬虫

因为我自己网站是真的被Facebook爬虫和Amazonbot这两个狗东西爬崩溃过，所以我给每个WordPress都加上了robots.txt这个文件。 大家可以去了解以下每个爬虫…

首先如果你的网站打开特别慢，你可以怀疑是AI的爬虫来爬你的内容了，这些爬虫非常疯狂，之前就有OpenAI把乌克兰网站Trilegangers爬崩溃的例子，ChatGPT公司表示会尊…