字节跳动的爬虫Bytespider真烦啊，直接把他ban了！
互联网 10
Bytespider这个蜘蛛最近很疯狂，完全不像百度搜狗那些老牌蜘蛛，知道一天控多少量。
字节跳动家的蜘蛛都是每秒并发多少条的，直接把服务器干崩，中小网站的噩梦。
robots.txt添加这两行屏蔽它:
User-agent: Bytespider
Disallow: /
nginx屏蔽规则:
if ($http_user_agent ~* “Bytespider”) {
return 403;
}
Apache屏蔽规则:
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} Bytespider [NC]
RewriteRule .* – [F,L]