我们生活在信息爆炸的时代，穷尽一个人的一生也无法浏览完万分之一的网络信息。采集信息也是，现在大数据时代，需要分析大量的数据进行挖掘有价值的工作，单靠人工采集也是采集不完的，这就需要使用到爬虫。爬虫可以大规模的进行采集，速度也远超人工采集，但是爬虫采集会被对方封杀，因此爬虫需要伪装。爬虫模仿用户行为是为了更好的隐藏自己的身份，借用户的身份去访问，从而完成采集工作。那么爬虫如何模仿用户行为呢？

　　1.user-agent

　　这也是一个比较重要的数据特征，要做在爬虫里面灵活设置，最好和目前主流浏览器环境的user-agent一模一样，随着浏览器的版本变化，你的user-agent也会变化。pyspider的user-agent是在一个爬虫项目里面做爬取全局设置。

　　2.模仿浏览器请求

　　有个简便方法：看chrome网络请求，然后copy as cURL，pyspider的crawl接口的URL字段可以直接支持curl，这种方式发送的请求和浏览器请求完全一致，如果爬取方设定一些针对请求参数特征的反爬措施，这种方式一般就足够了，不过爬取方如何做了基于数据挖掘的反爬机制，那在请求参数的构造设计上还得下更大功夫。

　　3.cookie

　　这个东西可能会被很多爬虫开发者所忽视，实际上它是非常重要的，cookie行为的仿真不但涉及到用户行为模拟，而且会直接导致某些访问请求碰到权限或者其他方面的错误。pyspider的cookie可以直接在爬取请求里面设置。

　　4.登录session问题

　　session问题在客户端主要是cookie问题，如果你能做到cookie全局仿真，session肯定不是问题。

　　5.IP隐藏

　　现在网上有很多高匿http代理，所谓高匿代理，就是代理对被访问服务器完全隐藏其被代理的客户端。使用网上的高匿代理时，一定要先在自己的服务器上试一下，防止伪高匿发生。

　　使用高匿代理，可以用精灵代理，这是目前比较多用户喜欢使用的代理IP之一，IP资源量大，所有IP均为高匿，可以很好的隐藏爬虫的身份，同时还能突破IP限制，使用大量IP进行切换，可以持续访问目标。

　　如果我的网站总是让人爬来爬取的，经常被虚拟访问者骚扰，我也是蛮烦的，而且如果遇到“霸道”一点的爬虫，都能直接把服务器卡死。因此，我们在爬取别人网站的时候，也多为对方考虑考虑。