centos使用squid搭建代理服务器

2018-07-05 分类:Linux, 爬虫 阅读(442) 评论(0)

我们在爬取某个网站的时候,如果有的网站做了反爬虫,如果频繁访问的话,就把我们的ip封掉了,不能访问了,那怎么办呢,就得使用代理了,代理的意思就是,先把请求发到代理上,然后代理帮你把请求发出去,这样你要爬取的网站收到的就是代理发出去的请求了。

网上有很多提供代理的网站,可以搜一下,每天都有免费的代理可以使用。

当然自己有服务器的话,可以自己搭建一个代理,这里使用使用squid在centos下搭建一个代理服务。

搭建步骤很简单,1、安装、2、配置 3、启动就ok了。

安装

使用yum安装即可。

配置

默认squid只允许本地的ip访问,其他的ip不能访问,需要配置一下。

上面就是常用的配置了,记得修改完之后要重启~

 

您可能也喜欢:

linux常用命令之强大的find命令

find命令大家都很熟悉,是用来查找文件的。 今天就写一些它的扩展用法,它可以帮你删除文件,查找指定日期的文件等等。 命令使用方式如下: 123456789101112131415161718192021222...

more

mysql主从配置

一、MySQL主从介绍   什么是主从呢,就是一个是正常用的,另外是一个是他的备份。主的叫做master,从叫做salve。什么时候master挂掉了,就启用salve,保证系统可以正常运行。 当我们系统数据量比较大的时候,一台数据库服务器速度就比较慢了,影响性能,也可以通过主从的方式来提...

more

linux常用命令

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565...

more

评论&留言
欢迎新朋友你的到来!
还没有人抢沙发呢~
昵称

登录

忘记密码 ?

切换登录

注册