robots.txt

360搜索不收录网站，很多站长都是经历过的，其实就是人家看不上小网站，去360社区提交是没有什么用的，不要浪费那个时间，多花点时间给自己网站多搞点内容，慢慢的收录就会好起来。 而面…

因为我自己网站是真的被Facebook爬虫和Amazonbot这两个狗东西爬崩溃过，所以我给每个WordPress都加上了robots.txt这个文件。 大家可以去了解以下每个爬虫…