Barkrowler是什么蜘蛛？如何屏蔽?
互联网 10
Barkrowler蜘蛛/爬虫属于营销类型，由eXenSa开发运行。您可以继续阅读下方信息，以深入了解Barkrowler基本信息，用户代理和访问控制等。
我们可以在网站日子里看到：＂Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)＂，这就是它加的蜘蛛。
屏蔽方法
在robotx.txt上加上这两行：
User-agent: Barkrowler
Disallow: /
我们基本上只需要搜索引擎的蜘蛛，其它蜘蛛都可以屏蔽掉。