爬虫需要通过代理进行网络的突破，否则只能非常缓慢的采集数据，这就没有意义了，使用爬虫目的就是要快并大量进行采集，在使用代理方面上，也有一些问题。比如：

　　都知道免费代理的IP有效性非常低，但不想花钱，还是需要进行免费IP的抓取，并且进行IP有效性检测。但你知道怎么抓取免费IP吗，又是怎么检测代理是否有效的呢？

　　一、怎么抓取免费IP

　　提供免费代理IP的网站还挺多的，可以在网上搜索并进行爬取，比如：

　　其他地区或类型的可自行改URL，可能是网站内容在实时更新的原因，若从第一页开始抓取不怎么稳定，所以我从第二页开始抓取，打印部分结果如下：

　　二、怎么检测代理是否有效

　　由于所处的网络可能连不上此代理或该代理连不上目标网址等原因，我们抓取的代理有可能是无效的，我们有必要验证所抓取代理IP的有效性。在urllib.request包中的ProxyHandler类可以设置代理访问网页，代码如下：

　　若IP是有效的，则可打印出网页源码，否则会出现错误。所以我们可以通过以上代码对所抓取的代理IP逐个进行验证。

　　三、多线程快速验证

　　按顺序逐个验证代理IP的有效性速度比较慢，python中有多线程模块，多线程类似于同时执行多个不同程序，使用多线程可以把占据长时间的程序中的任务放到后台去处理，在一些需要等待的任务实现上线程就比较有用了。多线程验证的主要程序如下：

　　程序部分运行结果如下：

　　亲测多线程验证比单线程验证快了好几倍，所以以后在爬取网页量比较大时就可以先用此程序抓一些有效的代理IP，这样就可以解决IP被屏蔽的问题啦。

　　怎么检测代理是否有效？通过上文，可以知道使用多线程快速验证IP的可用性。其实免费IP即使不花钱，但时间成本也不低，对于一个技术而言，时间成本是最高的，为了提升工作效率，还是建议去付费。精灵代理的动态高质量代理IP很适合用来做爬虫，不妨一试！