AhrefsBot/7.0是什么爬虫？在robots.txt屏蔽它的方法
互联网 8
AhrefsBot/7.0 是 Ahrefs 的网络爬虫的用户代理（User Agent），专门用于扫描和索引网页，为 Ahrefs 的 SEO 工具（如关键词分析、外链检测等）提供数据支持。但是这个蜘蛛只是扫描数据并不能为网站带来什么实际的效果而且经常占用大量的网络资源。因为它既不是搜索引擎那样抓取数据能够帮助站长带来流量，而是一个检测外链的工具仅仅是帮助别人分析外链而已。
在robots.txt里加入下面两行内容屏蔽它
User-agent: AhrefsBot
Disallow: /