爬虫实战,selenium爬取斗鱼吃鸡所有主播信息和人气

2018-07-23 分类:Python, 爬虫 阅读(1343) 评论(0)

吃鸡很火,咱们爬下斗鱼的网站,把所有的刺激战场的主播和人气爬下来,存到excel里面,初步做个分析,网站是 https://www.douyu.com/g_jdqscjzc。

咱们大致浏览一下这个网页,发现它的数据都是动态加载的,把网站的js禁用了之后,页面上基本上没啥东西了。

禁用javaScript

重新刷新网页

发现下一页都没有了,页面上图片都没有了,这样子的网站就是js动态加载的网页了。

那就不能用原来那种发http请求的方式了,就得用selenium打开浏览器,渲染页面,拿到数据了。

咱们用selenium获取到渲染后的页面html,然后用lxml模块解析,找到咱们想要的数据,然后保存起来存到excel里面。

当然里面的xpath需要自己分析一下斗鱼的html页面,找到对应数据的class,然后取

代码如下:

下面是爬到的数据,可以看到有1600+的主播

 

您可能也喜欢:

Python的重试模块

我们写代码的时候,经常会用到重试,如果出错了,或者出现了其他的问题,就重试一次或者N次,自己写实现起来比较复杂,用retrying模块就可以很容易的解决了。 1 pip instal...

more

python使用rsa加密

rsa加密 对称加密   对称加密,对称加密意思就是解密和加密的方式是一样的,比如说你自己设计了一段加密规则,b d s f => 2,3,4,5 这4个字母是相对应的,那只要知道这个加密的规则,也就可以解密了,这就是对称加密。   非对称加密(rsa)   rs...

more

协程、gevent实现异步io、进程、线程、协程对比

异步io的说白了就是遇到io操作的时候,就停下来去做别的事情。io分网络io和磁盘io,网络io比如说打开一个网站获取数据,下载一首歌等等,磁盘io就是把数据存到一个文件里面,写到磁盘上。 从网站上获取数据或者把数据写到磁盘上都是需要时间的,那就得等待了,这样的话,很多任务的时候就比较慢了,而异步i...

more

评论&留言
欢迎新朋友你的到来!
还没有人抢沙发呢~
昵称

登录

忘记密码 ?

切换登录

注册