Snoopy爬虫无法爬取百度搜狗这种页面，问题出在哪？

通天 7个月前互联网 231

不是https的问题，这个问题已经解决了，爬其他的https页面都正常了，但是百度搜狗他们的首页都爬不到内容，是什么原因有人知道吗？

回复

共1条回复我来回复

大菠萝
这个人很懒，什么都没有留下～
评论

可能是这两个原因:

需要设置User-Agent，没有用户标识的不让访问。

另一个应该是js问题，这些网站内容都是JavaScript动态加载的，Snoopy只能获取到静态页面的数据。

第二个原因可能性更大。

7个月前 0条评论