昨天在公众号看到了一篇关于网站的搜索页面收录了占用爬虫资源的文章，据说Google于今年放开了对搜索页面的管控，以前是默认不收录，现在要不要收录看你自己。
有些平台有相关搜索词，一个搜索词会显示N个相关搜索词，爬虫顺着爬下去，每个词下又有N个搜索词，爬虫按理说会一直爬下去，但是搜索引擎分配给每个网站的抓取量是有限的，爬到一定值会自己停止断开连接。
WordPress的站长如果你没有特意放开搜索页的noindex则不必担心，WP默认搜索页面是noindex的，也就不会被收录。而我之前特意放开了搜索页面，改成了index，搜索引擎就会在这里浪费爬虫资源。
什么是被别人滥用的情况？
不知道你们有没有用过自动外链工具网站，现在去Bing搜索都还有一大堆这样的网站，他们的原理就是找一堆网站，然后通过 域名/?q=关键词 这样的结构批量做成链接，他们的网站会访问一次这个链接，用户一般都是用自己的域名当关键词，这个页面在目标站上留下搜索历史时，被搜索引擎收录了，就留下了一个文字外链，虽然不是描文本外链我不知道有什么用，但是很多人都这样做。
有一些CMS是带有搜索历史、相关搜索，并且搜索页面能够被搜索引擎收录的，这种你们就要注意了，检查这个很简单，在你们自己的网站上随便搜索一个词，然后右键查看源代码，看看head中有没有noindex，没有noindex标签和标签是index这两种情况都会被收录，这种你们就要处理一下了。
既想被收录有用的搜索页面，又不想被别人滥用怎么办？
Poy上一篇帖子给了我一些灵感：https://poy.me/post/230
网站有搜索功能的话，看看你的搜索页面是index还是noindex吧，看head中的meta标签。
WordPress是默认noindex的不用管，除非你可以把它改成了index就会被收录了。
批量外链工具见过吧？他们就是用上千个网站的搜索结果页面给你加外链的，留下搜索结果，等被收录了就加上了一个文字外链。
于是我让AI帮我加上一个条件，搜索结果少于n个的页面显示为noindex,nofollow，只要我们网站上没有发他的网站，那就让搜索引擎不收录这个页面，他们就蹭不到这外链了！
对，我就是用这个方法让AI帮我在后台加了一个搜索页noindex控制条件，N值随便我填的，比如我填10，那么搜索页少于10个结果的页面，</head>前面的
<meta name=”robots” content=”index,follow“>
自动改为
<meta name=”robots” content=”noindex,nofollow“>
也就是该页面不得收录，该页面上的所有链接不要再继续往下爬了。而搜索结果大于10个结果的页面，就可以被正常收录。
这样做有什么好处呢？
他们不是用自动外链留链接吗！有些人还直接把你搜索页面放到他们自己的网站上等爬虫来爬，因为自动外链工具只是查一次，不一定留下记录，而在他们自己网页上放几天，爬虫爬完后删除，这种爬虫爬到的概率就很高了。
而我经过这样处理后，只要我的网站不发布他网站的内容，那他在我网站搜索他的网址，搜索结果就是0，那不好意思了，我白得几天外链，而我网站的这个搜索页面搜索引擎不收录，他们什么都留不下！
本文来自投稿，不代表首晒立场，如若转载，请注明出处：https://www.shoushai.com/p/2024
