Windows安装Scrapy

2017-12-13 分类:爬虫, 首页 阅读(468) 评论(0)

Scrapy是python开发的一个爬虫框架,如果你要学习它的话,可能第一步在安装的时候,就会遇到很多问题,因为Scrapy很多模块都是基于linux下的,可能你在mac上或者linux上面安装的时候,不会有什么问题,但是Windows上面安装的话,可能会有各种各样的问题。

这里我就把遇到的问题整理下,怎么解决。

1、直接安装 pip install scrapy

2、安装的时候scrapy它要依赖很多其他的模块,一般都是其他的模块安装的时候会报错,因为pip安装的版本和实际的操作系统需要的版本对应不上,比如说twisted

3、在pip安装scrapy的时候,他会自动安装其他依赖的模块,安装到哪个模块报错了,它会停止安装,看下面的图,就在安装twisted的时候报错了

4、打开https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到安装报错的模块,手动下载对应操作系统的安装包,手动安装。

https://www.lfd.uci.edu/~gohlke/pythonlibs/这个网站是美国一个医科大学的网站,他这个里面有很多python第三方模块的安装包,打开这个网站之后,咱们要装twisted,就直接搜twisted就可以了,可以看到有好几个安装包,根据自己的python版本和操作系统版本下载就好了,看下面的图。

6、下载之后它是一个whl的文件,也是直接用pip安装就行了

7、重复第一步

基本上安装scrapy出现的错误,都是因为单个依赖包有问题导致的,用此方法可以解决大部分问题

 

您可能也喜欢:

爬虫学习笔记(十)scrapy入门,使用scrapy爬取猫眼电影top100

上面篇博客说了scrapy的流程,这次先做个小项目,爬取到猫眼电影排行榜前100的电影名称、评分、上映时间、主演,存储到mongodb里面。再做这个项目的过程中,来学习scrapy各个组件的用法。 需要把mongodb装好,启动,linux下不会装的可以在我的博客里面搜一下mongodb,有教程,W...

more

爬虫学习笔记(九)scrapy爬虫框架流程介绍

Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架,用途非常广泛。 当然用咱们前面学的requests、正则表达式、selenium、Beautiful Soup、lxml等等的也可以爬取到数据,代码量也不大。为什么还要用scrapy呢,因为scrapy框架封装了...

more

爬虫实战,selenium爬取斗鱼吃鸡所有主播信息和人气

吃鸡很火,咱们爬下斗鱼的网站,把所有的刺激战场的主播和人气爬下来,存到excel里面,初步做个分析,网站是 https://www.douyu.com/g_jdqscjzc。 咱们大致浏览一下这个网页,发现它的数据都是动态加载的,把网站的js禁用了之后,页面上基本上没啥东西了。 禁用javaScri...

more

评论&留言
欢迎新朋友你的到来!
还没有人抢沙发呢~
昵称

登录

忘记密码 ?

切换登录

注册