360搜索不收录网站,很多站长都是经历过的,其实就是人家看不上小网站,去360社区提交是没有什么用的,不要浪费那个时间,多花点时间给自己网站多搞点内容,慢慢的收录就会好起来。
而面对大网站,360是压根不管你的robots.txt协议,像是知乎,只允许了几个搜索引擎抓取,360蜘蛛和其它都是被禁止抓取的,但是用site:查知乎收录,有很多。
小红书也是一样的,小红书的robots.txt文件现在是禁止所有搜索引擎抓的,其它搜索引擎很守规矩,360搜索就还有几百个收录不删干净,感觉它的数据库很乱没法控制似的。
360搜索的蜘蛛,即360Spider,在早期确实存在不遵守robots.txt规则的情况。这个问题在2012年至2016年间引发了广泛的讨论和争议,特别是与百度之间的“3B大战”,期间360被指控违反了Robots协议,强行抓取百度的数据和其他网站上的内容,这违背了行业规范并可能涉及侵权行为。
Robots协议(也称为Robots Exclusion Protocol或REP)是一个用于告知搜索引擎哪些页面可以被抓取、哪些不可以的标准。它不是法律要求,而是互联网业界普遍接受的一种惯例。尽管如此,大多数搜索引擎都尊重这一协议,并按照网站管理员通过robots.txt文件所设定的规则进行抓取活动。
关于360Spider不遵守robots.txt的问题,有几点需要注意:
- 行业惯例:虽然Robots协议不是强制性的法律法规,但它已经被视为一种行业标准。当一个搜索引擎选择忽视这些规则时,可能会引发其他网站管理员和服务提供商的不满,因为它可能导致隐私泄露、服务器负载增加等问题。
- 法律观点:如上述信息中提到的,多位法律专家认为360的行为涉嫌侵犯著作权、法人数据库以及构成不正当竞争等违法行为。如果内容源网站明确指定了不允许某些特定搜索引擎抓取其内容,而该搜索引擎仍然进行了抓取,则可能会面临法律责任。
-
技术手段:一些网站报告称,即使他们设置了robots.txt来限制360Spider,但360依旧会抓取那些不应该被访问的内容。此外,还有报道指出360可能使用了隐蔽的技术手段绕过了部分网站设置的保护措施。
- 官方立场:360方面则声称自己一直遵循各网站通过Robots协议做出的提示,并强调Robots协议并非行业规范,也不具备法律约束力。不过,这种说法并没有得到广泛认同。
- 后续发展:随着时间推移,尤其是在面对来自同行和公众的压力下,360可能已经调整了其做法以更好地遵守Robots协议。然而,具体的改变程度以及是否完全符合行业标准仍需进一步观察。
综上所述,360Spider曾经有过不遵守robots.txt规则的行为,这引发了行业内对搜索引擎道德底线和技术伦理的关注。对于网站所有者来说,确保自己的robots.txt文件正确配置是非常重要的,同时也可以考虑采取额外的安全措施来保护敏感数据免受未经授权的访问。如果你遇到类似问题,建议直接联系相关搜索引擎的支持团队,或者根据需要寻求法律咨询。
本文来自投稿,不代表首晒立场,如若转载,请注明出处:https://www.shoushai.com/p/986