用爬虫会遇到哪些问题以及爬虫常见问题案例分析[马上阅读]

互联网的流量至少有一半是爬虫产生的，许多企业都会使用爬虫进行数据的采集，虽然说爬虫使用范围广，但也会经常遇到问题，导致采集信息有问题，通常用爬虫会遇到哪些问题？

2018-12-17 15:50

爬虫怎么加快速度采集？使用多线程还是多进程好[马上阅读]

现在网页信息比较多，即使是小的网站数据也不少，更何况大网站，如果想要采集大量数据，爬虫怎么加快速度采集？如果还是按照单线爬虫的采集速度，企业根本没有时间耗...

2018-12-17 15:13

自动识别字符验证码--识别模型、标记、特征选择[马上阅读]

验证码如果不使用自动识别软件，想要实现自动识别字符验证码的方法比较麻烦，上文说到爬虫怎么突破验证码限制，在素材收集、处理、切割之后，还需要进行模型训练、标记，以及特征的

2018-12-15 17:08

自动识别字符验证码--素材收集、处理、切割[马上阅读]

验证码的出现主要是为了区分用户是计算机还是人，比如数字验证码、字符验证码、滑动验证码等等。通常验证码是用来防止爬虫程序恶意抓取信息，或者防止批量注册等等，但是这验证码并不

2018-12-15 16:50

爬虫怎么突破验证码限制[马上阅读]

除了常见的IP限制，爬虫在采集数据时还会遇到验证码研制，特别是12306的验证码，大家都深有体会，难倒了多少人啊！但神奇的是，难倒了大批人，爬虫的速度还是那么的快，这是为什么呢？

2018-12-14 18:06

爬虫如何实现多线程分步爬取[马上阅读]

大数据时代，爬虫需要采集的数据越来越多，小爬虫是无法满足采集工作的，而且效率也非常慢，通常爬虫可以使用多线程加快采集工作，提高工作的效率，那么如何实现多线程分步爬取呢？

2018-12-14 17:53

爬虫的入门基础，先搞懂爬虫与框架、网页的关系[马上阅读]

初出茅庐的数据小白，就幻想着爬虫正常运行，正常抓取数据，一切看起来都是那么美好。然而实际上，在学习爬虫上会有许多的疑问，首先要弄懂一些必要的原理，不是照搬别人的代码就行。

2018-12-13 17:30

代理是怎么伪装IP的？不同的代理，隐藏IP的能力不一样[马上阅读]

很多人都说代理可以伪装IP，这是什么原理，为什么可以伪装呢？代理是怎么伪装IP的？许多网页对于伪装IP的问题比较多，下面根据代理是怎么伪装IP的原理来分析一下。

2018-12-13 17:10

如何构建代理IP池？使用Java构建免费代理IP池方法[马上阅读]

爬虫需要的IP量比较大，特别是爬去大量的数据，而且有一些网站的反爬虫机制比较严格，或许需要更优质的IP，这时候可以尝试构建代理IP池，那么如何构建代理IP池？

2018-12-12 16:38

Python爬虫怎么提取免费IP[马上阅读]

爬虫经常会遇到IP限制，如果不使用IP进行切换，是没有办法继续采集的。这主要是网站针对爬虫的措施，那么如何能够突破IP限制呢？最简单快捷的方法就是使用IP池，频繁切换IP访问...

2018-12-12 16:10