自动识别字符验证码--识别模型、标记、特征选择[马上阅读]

验证码如果不使用自动识别软件，想要实现自动识别字符验证码的方法比较麻烦，上文说到爬虫怎么突破验证码限制，在素材收集、处理、切割之后，还需要进行模型训练、标记，以及特征的

2018-12-15 17:08

自动识别字符验证码--素材收集、处理、切割[马上阅读]

验证码的出现主要是为了区分用户是计算机还是人，比如数字验证码、字符验证码、滑动验证码等等。通常验证码是用来防止爬虫程序恶意抓取信息，或者防止批量注册等等，但是这验证码并不

2018-12-15 16:50

爬虫怎么突破验证码限制[马上阅读]

除了常见的IP限制，爬虫在采集数据时还会遇到验证码研制，特别是12306的验证码，大家都深有体会，难倒了多少人啊！但神奇的是，难倒了大批人，爬虫的速度还是那么的快，这是为什么呢？

2018-12-14 18:06

爬虫如何实现多线程分步爬取[马上阅读]

大数据时代，爬虫需要采集的数据越来越多，小爬虫是无法满足采集工作的，而且效率也非常慢，通常爬虫可以使用多线程加快采集工作，提高工作的效率，那么如何实现多线程分步爬取呢？

2018-12-14 17:53

爬虫的入门基础，先搞懂爬虫与框架、网页的关系[马上阅读]

初出茅庐的数据小白，就幻想着爬虫正常运行，正常抓取数据，一切看起来都是那么美好。然而实际上，在学习爬虫上会有许多的疑问，首先要弄懂一些必要的原理，不是照搬别人的代码就行。

2018-12-13 17:30

代理是怎么伪装IP的？不同的代理，隐藏IP的能力不一样[马上阅读]

很多人都说代理可以伪装IP，这是什么原理，为什么可以伪装呢？代理是怎么伪装IP的？许多网页对于伪装IP的问题比较多，下面根据代理是怎么伪装IP的原理来分析一下。

2018-12-13 17:10

如何构建代理IP池？使用Java构建免费代理IP池方法[马上阅读]

爬虫需要的IP量比较大，特别是爬去大量的数据，而且有一些网站的反爬虫机制比较严格，或许需要更优质的IP，这时候可以尝试构建代理IP池，那么如何构建代理IP池？

2018-12-12 16:38

Python爬虫怎么提取免费IP[马上阅读]

爬虫经常会遇到IP限制，如果不使用IP进行切换，是没有办法继续采集的。这主要是网站针对爬虫的措施，那么如何能够突破IP限制呢？最简单快捷的方法就是使用IP池，频繁切换IP访问...

2018-12-12 16:10

网络爬虫怎么预防被封杀？通用五种预防方法介绍[马上阅读]

对于爬虫而言，要获得大量的信息，要了解对方的反爬虫机制情况，预防在采集过程中被批量封杀IP，那么网络爬虫怎么预防被封杀？

2018-12-11 17:09

python怎么做数据分析[马上阅读]

电商兴起后，越来越多的企业通过爬虫采集电商数据，并从中挖掘到有价值的资料，那么爬虫是如何知道哪些数据是有用的，哪些数据没有用呢？

2018-12-10 17:59