虽然说，大部分的数据，都可以通过各种的方法实现采集，但是在采集的过程中，肯定会遇到各种各样的麻烦，有一些网站的反爬虫机制特别严格，下面分享一些比较常见的数据采集容易遇到哪些问题。在进行采集数据之前，需要先考虑一下这些反爬虫机制，而且每个网站的反爬虫机制都不一样，能解决这些问题，才能顺利的采集到数据。

　　一、app数据采集容易遇到哪些问题

　　1.模拟器中的坑

　　APP自动识别你的运行环境进行屏蔽，最厉害的还是某信，连你是用模拟器打开还是真机打开，是什么内核的，全部进行限制。曾经见过牛人，找某手机厂商专门定做真机来配合。

　　2.签名算法

　　以某信的文章列表页及某信息页为例，对其http访问进行抓包，会发现其url的一个核心参数是我们无法知道如何生成的，这就导致，我们不可能直接用该url进行信息爬取；签名算法如果无法破解，HTTP这条路就是死路了。

　　3.帐号的坑

　　这个坑就有点大了，要找号、养号，都不是件容易的事情，更惨的是封号，真真让你一夜回到解放前。

　　4.http爬取回来的信息和页面显示不一致

　　以某信的某信息页为例，对比直接访问某信页面及http爬取的信息，可明显发现http爬取到的信息较少。造成得两种方式都用，才能既照顾速度又照顾完整性。

　　二、网页数据爬取容易遇到哪些问题

　　1.某些网站阻止爬虫工具

　　有一些网站为了防止一些恶意抓取，会设置防抓取程序，你会发现明明很多数据显示在浏览器上，但是却抓取不出来。

　　2.乱码问题

　　当然我们成功抓取到网页信息之后，也不是可以顺利进行数据分析的，很多时候我们抓取到网页信息之后，会发现我们抓取的信息都乱码了。

　　3.网页不定时更新

　　网络上的信息都是不断更新的，所以我们在抓取信息的过程中，需要定期来进行操作，也就是说我们需要设置抓取信息的时间间隔，以避免抓取网站的服务器更新，而我们做的都是无用功。

　　4.IP被封禁

　　如果你在客户端遇到了HTTP错误，尤其是403禁止访问错误，这可能说明网站已经把你的IP当作机器人了，不再接受你的任何请求。你要么等待你的IP地址从网站黑名单里移除，要么就换个IP地址（使用精灵代理）。

　　上文介绍了数据采集容易遇到哪些问题，采集手机app数据与采集网页数据会遇到的问题大部分是不一样的，进行采集时，需要根据具体情况分析。