现如今因为搜索引擎的流行，网络爬虫已经成了很普及网络技术了，除了专门做搜索的Google，Yahoo，微软，百度以外，几乎每个大型门户网站都会有做自己的搜索引擎，有叫得出来名字得就几十种，就更不用说还有各种不知名的小小的爬虫了。对于一个内容型驱动的网站来说，受到网络爬虫的光顾是不可避免的。

一些智能的搜索引擎爬虫的爬取频率比较合理，对网站资源消耗比较少，但是很多糟糕的网络爬虫，对网页爬取能力很差，经常并发几十上百个请求循环重复抓取，这种爬虫对中小型网站往往是毁灭性的打击，特别是一些缺乏爬虫编写经验的程序员写出来的爬虫破坏力极强，造成的网站访问压力会非常大，会导致网站访问速度缓慢，甚至有可能无法访问。

现在的网站一般会从三个方面来反爬虫：用户请求的Headers，用户行为，网站目录和数据加载方式.前两种是比较容易遇到的，所以大多数网站都从这些角度来反爬虫。第三种会有一些应用ajax的网站会采用，这样就增大了爬取的难度，减少了初级爬虫的爬取麻烦，同时也不会阻止到一些搜索引擎的爬取。

通过Headers反爬虫：从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对于检测Headers的反爬虫，在爬虫中修改或者添加Headers就能很好的绕过。