用JAVA写一个知乎爬虫
用java来实现一个知乎爬虫
操作方法
(01)这里,耗费了不少的业余时间,专门为爬虫入门或初中级写了一个知乎爬虫。为什么选择知乎呢?应为这里例子可以尽量多的将爬虫涉及的技术点包含进去,同时又不至于那么复杂,学习和提升兼顾。下面说明知乎爬虫的源码和涉及主要技术点:(1)程序package组织
(02)(2)模拟登录(爬虫主要技术点1)要爬去需要登录的网站数据,模拟登录是必要可少的一步,而且往往是难点。知乎爬虫的模拟登录可以做一个很好的案例。要实现一个网站的模拟登录,需要两大步骤是:(1)对登录的请求过程进行分析,找到登录的关键请求和步骤,分析工具可以有IE自带(快捷键F12)、Fiddler、HttpWatcher;(2)编写代码模拟登录的过程。
(03)(3)网页下载(爬虫主要技术点2)模拟登录后,便可下载目标网页html了。知乎爬虫基于HttpClient写了一个网络连接线程池,并且封装了常用的get和post两种网页下载的方法。
(04)(4)自动获取网页编码(爬虫主要技术点3)自动获取网页编码是确保下载网页html不出现乱码的前提。知乎爬虫中提供方法可以解决绝大部分乱码下载网页乱码问题。
(05)(5)网页解析和提取(爬虫主要技术点4)使用Java写爬虫,常见的网页解析和提取方法有两种:利用开源Jar包Jsoup和正则。一般来说,Jsoup就可以解决问题,极少出现Jsoup不能解析和提取的情况。Jsoup强大功能,使得解析和提取异常简单。知乎爬虫采用的就是Jsoup。
(06)(6)正则匹配与提取(爬虫主要技术点5)虽然知乎爬虫采用Jsoup来进行网页解析,但是仍然封装了正则匹配与提取数据的方法,因为正则还可以做其他的事情,如在知乎爬虫中使用正则来进行url地址的过滤和判断。
(07)(7)数据去重(爬虫主要技术点6)对于爬虫,根据场景不同,可以有不同的去重方案。(1)少量数据,比如几万或者十几万条的情况,使用Map或Set便可;(2)中量数据,比如几百万或者上千万,使用BloomFilter(著名的布隆过滤器)可以解决;(3)大量数据,上亿或者几十亿,Redis可以解决。知乎爬虫给出了BloomFilter的实现,但是采用的Redis进行去重。
(08)(8)设计模式等Java高级编程实践除了以上爬虫主要的技术点之外,知乎爬虫的实现还涉及多种设计模式,主要有链模式、单例模式、组合模式等,同时还使用了Java反射。除了学习爬虫技术,这对学习设计模式和Java反射机制也是一个不错的案例。
(09)4. 一些抓取结果展示
特别提示
配置参数准确度
-
windows 计划任务未启动
设置好的计划任务未能按时启动。操作方法(01)1.设置计划任务,指定启动时间。过了时间计划任务脚本为启动运行。(02)第一种方法:在计划任务上右键,“属性”-“常规”选项中勾选“仅在登录后启用”(03)第二种方法1、Ctrl+R键,运行2、选择计算机配置---Windows设置---安全设...
-
快手电脑版如何下载 电脑怎么玩快手
快手是手机上比较火的一款APP,现在还有了直播的功能,越来越强大。我们目前用快手的时候可能因为手机性能的问题,操作不是很好,那么快手有电脑版吗?怎么在电脑上在线用快手看视频呢?今天我们就来说说快手电脑版如何下载电脑怎么玩快手。操作方法(01)首先我们打开自己的...
-
Win7系统无法开启显卡硬件加速的解决办法
在Win7系统中想要开启显卡硬件加速的话,需要进入"个性化—显示设置—疑难解答—硬件加速—更改设置"中进行设置。但是很多用户直接卡在更改设置这块了,整个更改设置按钮为灰色的无法点击。操作方法(01)1.首先我们需要下载三个dll文件;显卡全加速DLL文件(02)接着我们来...
-
无法定位程序输入点 于动态链接库上怎么办
很多朋友在系统软件启动时出现无法定位程序输入点于动态链接库上,提示的dll文件也是多种多样,那么该怎么去处理无法定位程序输入点于动态链接库上?小编给大家带来了处理方法。操作方法(01)我们首先在网上找一下出错的那个程序,找到目标并进入网站。(02)将下载的dll文件...