用JAVA写一个知乎爬虫
用java来实现一个知乎爬虫
操作方法
(01)这里,耗费了不少的业余时间,专门为爬虫入门或初中级写了一个知乎爬虫。为什么选择知乎呢?应为这里例子可以尽量多的将爬虫涉及的技术点包含进去,同时又不至于那么复杂,学习和提升兼顾。下面说明知乎爬虫的源码和涉及主要技术点:(1)程序package组织
(02)(2)模拟登录(爬虫主要技术点1)要爬去需要登录的网站数据,模拟登录是必要可少的一步,而且往往是难点。知乎爬虫的模拟登录可以做一个很好的案例。要实现一个网站的模拟登录,需要两大步骤是:(1)对登录的请求过程进行分析,找到登录的关键请求和步骤,分析工具可以有IE自带(快捷键F12)、Fiddler、HttpWatcher;(2)编写代码模拟登录的过程。
(03)(3)网页下载(爬虫主要技术点2)模拟登录后,便可下载目标网页html了。知乎爬虫基于HttpClient写了一个网络连接线程池,并且封装了常用的get和post两种网页下载的方法。
(04)(4)自动获取网页编码(爬虫主要技术点3)自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。
(05)(5)网页解析和提取(爬虫主要技术点4)使用Java写爬虫,常见的网页解析和提取方法有两种:利用开源Jar包Jsoup和正则。一般来说,Jsoup就可以解决问题,极少出现Jsoup不能解析和提取的情况。Jsoup强大功能,使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。
(06)(6)正则匹配与提取(爬虫主要技术点5)虽然知乎爬虫采用Jsoup来进行网页解析,但是仍然封装了正则匹配与提取数据的方法,因为正则还可以做其他的事情,如在知乎爬虫中使用正则来进行url地址的过滤和判断。
(07)(7)数据去重(爬虫主要技术点6)对于爬虫,根据场景不同,可以有不同的去重方案。(1)少量数据,比如几万或者十几万条的情况,使用Map或Set便可;(2)中量数据,比如几百万或者上千万,使用BloomFilter(著名的布隆过滤器)可以解决;(3)大量数据,上亿或者几十亿,Redis可以解决。知乎爬虫给出了BloomFilter的实现,但是采用的Redis进行去重。
(08)(8)设计模式等Java高级编程实践除了以上爬虫主要的技术点之外,知乎爬虫的实现还涉及多种设计模式,主要有链模式、单例模式、组合模式等,同时还使用了Java反射。除了学习爬虫技术,这对学习设计模式和Java反射机制也是一个不错的案例。
(09)4. 一些抓取结果展示
特别提示
配置参数准确度
-
微信帐号被盗怎么办?
若发现微信帐号在其他地方登录或被盗,请及时登录官方网站申请微信帐号冻结,或联系腾讯客服(微信帐号有绑定QQ)申请冻结微信帐号,以保证帐号信息的安全及避免盗号者利用帐号进行欺诈行为!操作方法(01)请通过电脑登录官方网站,点击“开始冻结”即可。(02)请通过电脑登录腾讯...
-
如何学习HTML语言
学会HTML语言的好处是什么?1:很轻松的修改你的网站、博客的网页结构。2:对SEO网站优化很有用处。3:拿来主义,通过保存其他网站页面源代码,适当的修改,可以仿制出你想要的模板。4:当你有一张漂亮的PSD源文件图片时,你可以很轻易的把图片切割制作成网页。5:无论是PHP、ASP...
-
小米优惠券怎么用
拥有了小米优惠券该怎么使用呢?哈哈,小米优惠券相当于代金券,可以在您支付购买的小米手机及其配件时使用优惠券,可以达到减免部分费用的效果,哈哈哈,接下来就让我来帮助大家看看怎么使用小米优惠券。操作方法(01)首先,提醒大家啊,小米优惠券只有在小米商城才能使用哦~大...
-
word中替换功能的六个实用技巧
在这个讲效率的年代,word的使用也需要效率,那么,我们怎么才能使word的使用也有效率呢,这就需要我们在平时多积累一些实用小技巧,但如何能够更加了解word各个功能的使用技巧呢?那下面我们就以Word中替换功能为例,详细讲解它的6个技巧。操作方法(01)第一、去除word里括号...