本文目录一览：

• 1、网络爬虫的几种常见类型
• 2、通俗的讲,网络爬虫到底是什么?
• 3、网络爬虫是什么？具体要学哪些内容？
• 4、淘宝12亿条客户信息遭爬取，黑客非法获利34万，客户信息是如何泄露的？
• 5、如何正确利用网络爬虫

网络爬虫的几种常见类型

版权归作者所有，任何形式转载请联系作者。

作者：盛世阳光（来自豆瓣）

来源：

1.批量型网络爬虫：限制抓取的属性，包括抓取范围、特定目标、限制抓取时间、限制数据量以及限制抓取页面，总之明显的特征就是受限；

2.增量型网络爬虫（通用爬虫）：与前者相反，没有固定的限制，无休无止直到抓完所有数据。这种类型一般应用于搜索引擎的网站或程序；

3.垂直网络爬虫（聚焦爬虫）：简单的可以理解为一个无限细化的增量网络爬虫，可以细致的对诸如行业、内容、发布时间、页面大小等很多因素进行筛选。

这些网络爬虫的功能不一，使用方法也不同。例如谷歌、百度搜索就是典型的增量型爬虫，提供大而全的内容来满足世界各地的用户。另外像天猫、京东很多店铺都需要屏蔽外来的抓取，这时就需要爬虫根据一些低级域名的链接来抓取他们进行排名。

后来随着爬虫使用越来越灵活，很多网站都使用多个爬虫同步进行抓取。例如现下很多视频网站，都是先通过一般爬虫或者人工批量抓取内容，然后给用户一些可选项，让客户自己给聚焦爬虫划定范围最后找到匹配度足够高的内容，整个过程极大的降低了资源和时间的消耗。相反如果这些内容全部用聚焦爬虫来完成，不仅要消耗大量的网络资源，而且会延长搜索时间时间，影响客户体验。

通俗的讲,网络爬虫到底是什么?

网络爬虫，又被称为网页蜘蛛、网络机器人，在FOAF社区中间，更经常地被称为网页追逐者。网络爬虫是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。

传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。

聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。

简单粗暴地理解网络爬虫的话，就好比一只虫子在互联网上爬来爬去，把它“看”到的信息反馈给用户。我们平时使用的听歌软件，它大体上了解每个人的听歌喜好，“每日推荐”、“年度听歌报告”等都会推荐、整理和总结每个人偏好的类型、曲风、歌手等等。

还有一些团购平台，也会根据个人的喜好去推荐休闲娱乐的类型、地点等等，这就是利用网络爬虫的结果，网络爬虫根据用户平日的搜索类型，把所有与之相关的信息全部爬取过来，统统搬运到用户这里。这时候它就是一只“益虫”，是有益的“合法爬虫”。

说完听歌和团购，再来说说抢票。甭管飞机票火车票演唱会门票，相信大家十有八九都抢过。先拿演唱会门票来说，疫情之前，追星的少男少女们都好看看演唱会，演唱会里边属周杰伦的票最难抢，抢过票的都知道。

你要是抢到了，我敬你的网络爬虫爬得快。虽然这是句玩笑，可事实上，的确是有一些人或团体通过强行突破网站反爬措施，窃取后台数据，爬走了大量门票，让粉丝无路可走。

同理，一些针对飞机票、火车票的抢票软件，也是以此手段抓取航空公司官网或火车购票平台的信息，导致用户无法通过正常渠道购票。这个时候，网络爬虫就变成了“害虫”，也因此被定义为“恶意爬虫”。

不论是“合法爬虫”还是“恶意爬虫”，网络爬虫本质上就是数据的搬运工，无数据，不爬虫。因此，要研究爬虫，就要先明确数据来源。尤其是对小型公司来说，往往需要更多外部数据辅助商业决策。

俗话说，“君子爱财，取之有道”，失了“道”，那肯定就不够“君子”了。而对于网络爬虫来说，一旦它变得不再“君子”，它就成为了一只害虫。这时候，反爬虫就应运而生了。在搬运数据的过程中，爬虫与反爬虫永远处于一个此起彼伏、此消彼长的博弈状态。

随着数据资源的爆炸式增长，网络爬虫的应用场景和商业模式也变得更加广泛而多样，网络爬虫作为数据抓取的实践工具，构成了互联网开放和信息资源共享理念的基石。爬虫本身是无罪的，也并未违背法律和道德。

但程序在运行的过程中，有可能对他人经营的网站造成破坏，爬取的数据有可能涉及隐私或机密，数据本身也可能产生法律纠纷。在使用爬虫时，爬虫开发者的道德自持和企业经营者的良知才是避免触碰法律底线的根本所在。

网络爬虫是什么？具体要学哪些内容？

简单来讲，爬虫就是一个探测机器，它的基本操作就是模拟人的行为去各个网站溜达，点点按钮，查查数据，或者把看到的信息背回来。就像一只虫子在一幢楼里不知疲倦地爬来爬去。

你可以简单地想象：每个爬虫都是你的「分身」。就像孙悟空拔了一撮汗毛，吹出一堆猴子一样。

你每天使用的百度，其实就是利用了这种爬虫技术：每天放出无数爬虫到各个网站，把他们的信息抓回来，然后化好淡妆排着小队等你来检索。

抢票软件，就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上拍下来，然后对你喊：土豪快来付款。

那么，像这样的爬虫技术一旦被用来作恶有多可怕呢？

正好在上周末，一位黑客盆友御风神秘兮兮地给我发来一份《中国爬虫图鉴》，这哥们在腾讯云鼎实验室主要负责加班，顺便和同事们开发了很多黑科技。比如他们搞了一个威胁情报系统，号称能探测到全世界的「爬虫」都在做什么。

我吹着口哨打开《图鉴》，但一分钟以后，我整个人都不好了。

我看到了另一个「平行世界」：

就在我们身边的网络上，已经密密麻麻爬满了各种网络爬虫，它们善恶不同，各怀心思。而越是每个人切身利益所在的地方，就越是爬满了爬虫。

看到最后，我发现这哪里是《中国爬虫图鉴》，这分明是一份《中国焦虑图鉴》。

我们今天要说的，就和这些 App 有关。

一、爬虫的「骚操作」

爬虫也分善恶。

像谷歌这样的搜索引擎爬虫，每隔几天对全网的网页扫一遍，供大家查阅，各个被扫的网站大都很开心。这种就被定义为「善意爬虫」。

但是，像抢票软件这样的爬虫，对着 12306 每秒钟恨不得撸几万次。铁总并不觉得很开心。这种就被定义为「恶意爬虫」。（注意，抢票的你觉得开心没用，被扫描的网站觉得不开心，它就是恶意的。）

给你看一张图：

这张图里显示的，就是各行各业被爬「叨扰」的比例。（注意，这张图显示是全世界，不是全中国。）而每一个色块背后，都是一条真实而强大的利益链条。

接下来，中哥就给你科普一下里面的骚操作。

1、排名第一的是出行

出行行业中爬虫的占比最高（20.87%）。在出行的爬虫中，有 89.02% 的流量都是冲着 12306 去的。这不意外，全中国卖火车票的独此一家别无分号。

你还记得当年 12306 上线王珞丹和白百何的「史上最坑图片验证码」么？

这些东西不是为了故意难为老老实实卖票的人的，而恰恰是为了阻止爬虫（也就是抢票软件）的点击。刚才说了，爬虫只会简单地机械点击，它不认识白百何，所以很大一部分爬虫就被挡在了门外。

你可能会说，不对啊，我现在还可以用抢票软件抢到票啊。

没错。抢票软件也不是吃素的。它们在和铁总搞「对抗」。

有一种东西叫作「打码平台」，你可以了解一下。

打码平台雇用了很多叔叔阿姨，他们在电脑屏幕前不做别的事情，专门帮人识别验证码。那边抢票软件遇到了验证码，系统就会自动把这些验证码传到叔叔阿姨面前，他们手工选好哪个是白百何哪个是王珞丹，然后再把结果传回去。总共的过程用不了几秒时间。

当然，这样的打码平台还有记忆功能。如果叔叔阿姨已经标记了这张图是「锅铲」，那么下次这张图片再出现的时候，系统就直接判断它是「锅铲」。时间一长，12306 系统里的图片就被标记完了，机器自己都能认识，叔叔阿姨都可以坐在一边斗地主了。

你可能会问：为什么 12306 这么抠呢？它大方地让爬虫随意爬会死吗？

答：会死。

你知道每年过年之前，12306 被点成什么样了吗？公开数据是这么说的：「最高峰时 1 天内页面浏览量达 813.4 亿次，1 小时最高点击量 59.3 亿次，平均每秒 164.8 万次。」这还是加上验证码防护之后的数据。可想而知被拦截在外面的爬虫还有多少。

况且这里还没有讨论，被抢票软件把票抢走，对我们父母那样的不会抢票的人来说，是不是公平呢？

铁路被爬虫「点击」成这样已经够惨了，但它还有个难兄难弟，就是航空。

而航空里，被搞得最惨的不是国航，不是海航，也不是东航。而是亚航。

航空类爬虫的分布比例。

很多人可能都没坐过亚洲航空。这是一家马来西亚的廉价航空公司，航线基本都是从中国各地飞往东南亚的旅游胜地，飞机上连矿泉水都得自费买，是屌丝穷 X 度假之首选。

为什么爬虫这么青睐亚航呢？因为它便宜。确切地说，因为它经常放出便宜的票。

本来，亚航的初衷只是随机放出一些便宜的票来吸引游客，但这里面黄牛党是有利可图的。

据我所知，他们是这样玩的：

技术宅黄牛党们利用爬虫，不断刷新亚航的票务接口，一旦出现便宜的票，不管三七二十一先拍下来再说。

亚航有规定，你拍下来半小时（具体时间记不清了）不付款票就自动回到票池，继续卖。但是黄牛党们在爬虫脚本里写好了精确的时间，到了半小时，一毫秒都不多，他又把票拍下来，如此循环。直到有人从黄牛党这里定了这个票，黄牛党就接着利用程序，在亚航系统里放弃这张票，然后 0.00001 秒之后，就帮你用你的名字预定了这张票。

「我是中间商，我就要赚差价！」这波骚操作，堪称完美。

2、排名第二的是社交

社交的爬虫重灾区，就是你们喜闻乐见的微博。

给你看张图：

这是爬虫经常光顾的微博地址。

淘宝12亿条客户信息遭爬取，黑客非法获利34万，客户信息是如何泄露的？

近些日子，一则“淘宝12亿条客户信息遭爬取，黑客非法获利34万”的问题，引发了广大网友们的热议，在网上闹的沸沸扬扬。那么，客户的信息是如何泄漏的呢？这个黑客使用了python的爬虫技术，爬出了淘宝的信息。然后这个黑客把这些拿到的信息，都拿去售卖给了其他需要这些信息的公司，各有所需。这些信息泄漏之后，轻则让我们收到更多的垃圾信息和骚扰电话，重则被骗取钱财。那么具体的情况是什么呢？我来给大家分享一下我的看法。

一.黑客爬取信息

这些黑客是通过python这个语言，利用了爬虫的功能，爬取了淘宝的12亿条客户的信息。不得不说，这个黑客的技术也是确实很硬，能够把淘宝这样的大公司的信息给爬取出来。

二.黑客售卖信息

爬取到了12亿条信息之后，黑客是售卖了这12亿条的淘宝客户的信息。成功的盈利了34万的一个金额，也是非常的多了。

三.信息泄漏的后果

信息邪路的后果，有轻有重。轻则是受到更多的垃圾短息，已经骚扰电话。重则是可能银行卡会被盗刷，掌握了自己的关键信息，导致自己更加的容易受骗等等。                                                                                        

以上就是我对于这个问题所发表的看法，纯属个人观点，仅供参考。大家有什么不同的看法都可以在评论区留言，大家一起讨论一下。大家看完，记得点赞，加关注哦。

如何正确利用网络爬虫

基本步骤

1、发现可读且可访问的URL。

2、浏览种子或URL列表以识别新链接并将它们添加到列表中。

3、索引所有已识别的链接。

4、使所有索引链接保持最新。

很多网站都具有反爬虫策略，常见的方式有：验证码、登陆、限制IP等。

1、验证码。可以利用打码平台破解(如果硬上的话用opencv或keras训练图)；

2、登陆。利用requests的post或者selenium模拟用户进行模拟登陆；

3、限制IP。使用代理IP，因免费IP效果非常差，所以建议选择收费代理IP。