Windows安装Scrapy

2017-12-13 分类:爬虫, 首页 阅读(326) 评论(0)

Scrapy是python开发的一个爬虫框架,如果你要学习它的话,可能第一步在安装的时候,就会遇到很多问题,因为Scrapy很多模块都是基于linux下的,可能你在mac上或者linux上面安装的时候,不会有什么问题,但是Windows上面安装的话,可能会有各种各样的问题。

这里我就把遇到的问题整理下,怎么解决。

1、直接安装 pip install scrapy

2、安装的时候scrapy它要依赖很多其他的模块,一般都是其他的模块安装的时候会报错,因为pip安装的版本和实际的操作系统需要的版本对应不上,比如说twisted

3、在pip安装scrapy的时候,他会自动安装其他依赖的模块,安装到哪个模块报错了,它会停止安装,看下面的图,就在安装twisted的时候报错了

4、打开https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到安装报错的模块,手动下载对应操作系统的安装包,手动安装。

https://www.lfd.uci.edu/~gohlke/pythonlibs/这个网站是美国一个医科大学的网站,他这个里面有很多python第三方模块的安装包,打开这个网站之后,咱们要装twisted,就直接搜twisted就可以了,可以看到有好几个安装包,根据自己的python版本和操作系统版本下载就好了,看下面的图。

6、下载之后它是一个whl的文件,也是直接用pip安装就行了

7、重复第一步

基本上安装scrapy出现的错误,都是因为单个依赖包有问题导致的,用此方法可以解决大部分问题

 

您可能也喜欢:

爬虫学习笔记(六)PyQuery模块

PyQuery模块也是一个解析html的一个模块,它和Beautiful Soup用起来差不多,它是jquery实现的,和jquery语法差不多,会用jquery的人用起来就比较方便了。 Pyquery需要依赖lxml模块,不装的话,使用会报错。 安装 ...

more

爬虫学习笔记(五) Beautiful Soup使用

上篇博客说了正则表达式,但是正则学起来比较费劲,写的时候也不好写,这次说下Beautiful Soup怎么用,这个模块是用来解析html的,它操作很简单,用起来比较方便,比正则学习起来简单多了。 这是第三方模块需要安装 ...

more

爬虫学习笔记(四)正则表达式

上一篇博客写了怎么发请求和获取到数据,接下来就是该怎么处理数据了,打开一个网站之后,它会返回很多数据,数据很多,有很多都是咱们不需要的,咱们写爬虫的话只获取到对咱们自己有用的数据,就要从返回的数据里面找到咱们需要的数据,然后保存起来。那怎么筛选到咱们需要的数据呢,就得用正则表达式了,正则表达就是写各...

more

评论&留言
欢迎新朋友你的到来!
还没有人抢沙发呢~
昵称

登录

忘记密码 ?

切换登录

注册