【干货】恶意爬虫太多网站MySQL总是宕机,服务器拦截与过滤攻击方法教程

各位站长们啊,这两年的恶意爬虫真的暴增,我一直研究服务器上防御恶意爬虫,还是不够,偶尔还是会被爬虫把服务器上MySQL爬宕机,最直接看到的就是网站打开直接500错误。

所以最好开一个10分钟一次的计划任务,命名为:MySQL守护

脚本内容里填这个代码:

pgrep -x mysqld &> /dev/null
if [ $? -ne 0 ];then
bash /www/server/panel/script/rememory.sh
/etc/init.d/mysqld start
fi

好了,上面是自动启动MySQL的脚本,不属于爬虫拦截,本文主要内容是整理各种防御拦截恶意爬虫的方法,首晒网内搜索“防御”很多都是无服务防御的教程,本文会写清楚。

robots.txt文件已经没有用了,这些爬虫根本不遵守,Amazon和Facebook这种大厂的都不遵守,所以不必设置这个文件。

使用Fail2ban自动屏蔽高频访问IP

这是一个服务器软件,如果你的服务器安装了宝塔面板,直接在软件商店了搜索并安装,然后设置即可,记得封禁时间不要太长,因为可能会封禁到Bing和谷歌这些搜索引擎的蜘蛛,需要及时放出来。

非宝塔面板安装教程:https://www.gua5.com/p/1100

直接识别爬虫的UA并放回403

先说说为啥返回403而不返回404那些,经过我的分析,返回403是最节省服务器资源的,因为它在运行php之前就被拦截返回了,也不会运行MySQL,而404会运行PHP和MySQL,增加服务器压力。

比如Nginx拦截的代码:

server {
if ($http_user_agent ~* (sqlmap|nikto|wpscan|nmap|masscan|dirbuster|gobuster|acunetix|nessus|semrush|ahrefs|mj12bot|dotbot|petalbot|gptbot|chatgpt-user|openai-search|ai2bot|claudebot|anthropic-ai|amazonbot|meta-webindexer|facebookexternalhit|externalfetcher|meta-externalagent|sitechecker|seoscout|seranking|Applebot|Reflectionbot)) {
return 403;
}
}

你可以看看你服务器上的网站日志,还有什么新发现的恶意爬虫,可以加到|Reflectionbot后面,正常的Bingbot、Googlebot是搜索引擎蜘蛛,不要加到里面,GPT、Applebot这些爬虫是AI爬虫,被抓取后内容会被AI引用,也就是当下热门的GEO,要不要加也看你们自己。

如果你的服务防御用的是Apache而不是Nginx,看这篇文章:https://fuwuqi.beweme.com/post/240

网站禁止访问后台登陆页面

最近有很多人用自动化程序访问后台登陆页面,一直尝试登陆密码,先不说他们能不能尝试出密码登陆进去,光是一直访问就很方,所以我们可以禁止访问后台登录页,直接前端登陆后在进后台,例如.htaccess(伪静态)设置加这段:

<FilesMatch “(wp-login\.php|wp-admin)”>
Require ip 120.36.0.0/16
Require all denied
</FilesMatch>
<FilesMatch “wp-admin/admin-ajax\.php”>
Require all granted
</FilesMatch>

这段代码会直接禁止WordPress的后台页面访问,允许120.36.0.0/16 IP段访问,其它IP都会被封禁,但是如果你用的CloudFlare,这个允许访问的IP段设置就没用了,因为就算你在这个IP段内,服务器上受到的是CloudFlare的IP,一样是被封禁的。

不过没有关系,直接在前端登陆后进入后台即可。

WordPress精准拦截xmlrpc.php

RewriteRule ^xmlrpc\.php$ – [F,L,NC]

这个设置可以加一下,这个是旧WP的一个漏洞,虽然新安装的WP不会启动这个文件,已经有Rest API接口代替了,当时恶意爬虫一直扫描这个文件,直接给它拦截了。

还有一些我还没试过的服务器防御方法,你们也可以试试:

Cloudflare 免费套餐

  • 提供基本的机器人程序防御功能
  • 自动阻止明显的恶意流量
  • 提供针对特定威胁的可自定义防火墙规则

服务器自带的防火墙IPtables也可以开起来试试:

Linux服务器上使用iptables自动封IP 配合ipset封恶意爬虫IP教程

后期我还会尝试开启更多的服务器防御,亲自试试效果怎么办,都会分享给大家。

本文来自投稿,不代表首晒立场,如若转载,请注明出处:https://www.shoushai.com/p/2031

赞 (1)

发表回复

登录后才能评论

猜你喜欢