蜘蛛

robots.txt是指导各种爬虫是否允许爬取的一个信号，就是大多数爬虫是遵守这个规则的，里面写了不让它爬，他就不会爬了，当然了也有很多爬虫是不遵守规则的，不重要，一般小爬虫才不遵…

网站的robots.txt怎么写？不同网站写法不一样，主要是看你用的什么程序，像是WordPress有个默认的robots.txt文件，你直接在网站后加上robots.txt按回车…

导致服务器CUP占用率过高的可能性有很多，正常来说，你的网站被DDOS攻击了，或者是CC攻击，都会占用你服务器线程，导致你的CUP长期占用率高达100%，甚至直接宕机。 但是还有一…

蜘蛛池是什么？ 经常靠做网站一天赚个一两万的站长朋友们都知道，蜘蛛池就是一个或多个聚集很多搜索引擎蜘蛛的内容网站。 蜘蛛池怎么做？ 很多蜘蛛池有专门的程序，搭建好后会自动批量生成二…