centos使用squid搭建代理服务器

2018-07-05 分类:Linux, 爬虫 阅读(222) 评论(0)

我们在爬取某个网站的时候,如果有的网站做了反爬虫,如果频繁访问的话,就把我们的ip封掉了,不能访问了,那怎么办呢,就得使用代理了,代理的意思就是,先把请求发到代理上,然后代理帮你把请求发出去,这样你要爬取的网站收到的就是代理发出去的请求了。

网上有很多提供代理的网站,可以搜一下,每天都有免费的代理可以使用。

当然自己有服务器的话,可以自己搭建一个代理,这里使用使用squid在centos下搭建一个代理服务。

搭建步骤很简单,1、安装、2、配置 3、启动就ok了。

安装

使用yum安装即可。

配置

默认squid只允许本地的ip访问,其他的ip不能访问,需要配置一下。

上面就是常用的配置了,记得修改完之后要重启~

 

您可能也喜欢:

mysql主从配置

一、MySQL主从介绍   什么是主从呢,就是一个是正常用的,另外是一个是他的备份。主的叫做master,从叫做salve。什么时候master挂掉了,就启用salve,保证系统可以正常运行。 当我们系统数据量比较大的时候,一台数据库服务器速度就比较慢了,影响性能,也可以通过主从的方式来提...

more

linux常用命令

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565...

more

vi常用操作

什么是vi:     vi是Linux/Unix底下最常用的文本编辑器,可以理解为和Windows下的txt一样,咱们一般操作linux服务器的时候都是没有图形化界面的, 怎么移动光标,到哪个位置,替换修改什么的都得用vi里面的操作  ...

more

评论&留言
欢迎新朋友你的到来!
还没有人抢沙发呢~
昵称

登录

忘记密码 ?

切换登录

注册