采集数据是要花时间，但是也不能一直等着，否则什么都别做了，特别是需要采集大量数据的时候。那么怎么提升爬虫采集效率是非常关键的，同时也要考虑目标网站的情况，下面精灵代理带大家一起去了解一下怎么提升爬虫采集效率问题。

    1.尽量减少访问次数

    单次爬虫的主要耗时在于网络请求等待响应，所以能减少访问就少访问，既减少自己的工作量，也减轻网站的压力，还降低被封的风险。

    首先要做的就是流程优化，尽可能精简流程，一些数据如果可以在一个页面内获取而不必非要在多个页面下获取，那就只在一个页面内获取。

    然后去重也是非常重要的手段——网站并不是严格意义的互不交叉的树状结构，而是多重交叉的网状结构，所以从多个入口深入的网页会有很多重复，一般根据url或者id进行唯一性判别，爬过的就不再继续爬了。

    2.分布式爬虫

    即使把各种法子都用尽了，单机单位时间内能爬的网页数仍是有限的，面对大量的页面队列，可计算的时间仍是很长，这种时候就必须要用机器换时间了，这就是分布式爬虫。

    首先，分布式不是爬虫的本质，也不是必须的，对于互相独立、不存在通信的任务就可手动对任务分割，然后在多台机器上分别执行，减少每台机器的工作量，耗时就会成倍减少。

    比如有100W个页面待爬，可以用5台机器分别爬互不重复的20W个页面，相对单机耗时就缩短了5倍。

    但是如果存在着需要通信的状况，比如一个变动的待爬队列，每爬一次这个队列就会发生变化，即使分割任务也就有交叉重复，因为各个机器在程序运行时的待爬队列都不一样了——这种情况下只能用分布式，一个Master存储队列，其他多个Slave各自来取，这样共享一个队列，取的时候互斥也不会重复爬取。scrapy-redis是一款用得比较多的分布式爬虫框架。

    以上介绍了两种怎么提升爬虫采集效率的方法，相信大家都非常清楚如何提高采集的效果了，在采集的过程中还需要注意目标网站的反爬机制，可以使用精灵代理，千万级独立ip地址，ip池内ip遍布全国各地，可以突破IP限制，IP可用率高，可以提升采集效果。