Jsoup实战——抓取正方教务系统
爬虫的原理很简单，无非就是分析HTTP(s)请求，然后通过代码模拟浏览器去发起请求，对于发起网络请求框架可选Apache的HttpClient，然后拿到网页后就需要解析网页关键内容，此时Jsoup就发挥作用了，通过节点选择器 + 表达式可以很方便的拿到想要的数据了。
HttpClient
1<dependency>
2 <groupId>org.apache.httpcomponents</groupId>
3 <artifactId>httpclient</artifactId>
4 <version>4.5.2</version>
5</dependency>
Jsoup
我们抓取到页面之后，还需要对页而进行解析。可以使用字符串处理工具解析页面，也可以使用正则表达式，但是这些方法都会带来很大的开发成本，所以我们需要使用一款专门解析HTML页面的技术。
jsoup介绍
Jsoup是一款Java的HTML解析器，可直接解析某个URL地址、HTML文木内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
Jsoup的主要功能
1.从一个URL，文件或字符串中解析HTML;
2.使用DOM或CSS选择器来查找、取出数据;
3.可操作HTML元素、属性、文本;
Jsoup实战
1<dependencies>
2 <dependency>
3 <groupId>org.apache.httpcomponents</groupId>
4 <artifactId>httpclient</artifactId>
5 <version>4.5.2</version>
6 </dependency>
7 <dependency>
8 <groupId>org.slf4j</groupId>
9 <artifactId>slf4j-log4j12</artifactId>
10 <version>1.7.25</version>
11 </dependency>
12 <dependency>
13 <groupId>org.jsoup</groupId>
14 <artifactId>jsoup</artifactId>
15 <version>1.11.3</version>
16 </dependency>
17
18 <dependency>
19 <groupId>commons-io</groupId>
20 <artifactId>commons-io</artifactId>
21 <version>2.6</version>
22 </dependency>
23
24 <dependency>
25 <groupId>org.apache.commons</groupId>
26 <artifactId>commons-lang3</artifactId>
27 <version>3.7</version>
28 </dependency>
29
30 <dependency>
31 <groupId>junit</groupId>
32 <artifactId>junit</artifactId>
33 <version>4.12</version>
34 <scope>test</scope>
35 </dependency>
36</dependencies>
1@Test
2public void testUrl() throws Exception {
3 Document document = Jsoup.parse(new URL("http://zouchanglin.cn"), 5000);
4 String title = document.getElementsByTag("title").first().text();
5 System.out.println(title);
6}
7
8@Test
9public void testString() throws Exception {
10 String html = FileUtils.readFileToString(new File("C:\\Users\\15291\\Desktop\\index.html"), "UTF-8");
11 Document document = Jsoup.parse(html);
12 String title = document.getElementsByTag("title").first().text();
13 System.out.println(title);
14}
15
16@Test
17public void testFile() throws Exception {
18 Document document = Jsoup.parse(new File("C:\\Users\\15291\\Desktop\\index.html"), "UTF-8");
19 String title = document.getElementsByTag("title").first().text();
20 System.out.println(title);
21}
虽然使用Jsoup可以替代HttpClient直接发起请求解析数据，但是往往不会这样用，因为实际的开发过程中，需要使用到多线程，连接池，代理等等方式，而Jsoup对这些的支持并不是很好，所以我们一般把Jsoup仅仅作为Html 解析工具使用。
Dom方式遍历文档
元素获取 1、根据id查询元素getElementByld 2、根据标签获取元素getElementsByTag 3、根据class获取元素getElementsByClass 4、根据属性获取元素getElementsByAttribute
元素中获取数据 1、从元素中获取id 2、从元素中获取className 3、从元素中获取属性的值 attr 4、从元素中获取所有属性attributes 5、从元素中获取文本内容text
Selector选择器
tagname：通过标签查找元素，比如: span
#id：通过ID查找元素，比如: #city_bj
.class：通过class名称查找元素，比如: .class_a
[attribute]：利用属性查找元素，比如:[abc]
[attr=value]：利用属性值来查找元素，比如: [class=s_name]
Selector选择器组合使用
el#id：元素+ID，比如：h3#3city_bj
el.class：元素+class，比如：li.class_a
el[attr]：元素+属性名，比如：span[abc]
任意组合：比如: span[abc].s_name
ancestor child：查找某个元素下子元素，比如: .city_con li查找city_con下的所有li
parent > child：查找某个父元素下的直接子元素，比如：.city_con > ul > li查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
parent > *：查找某个父元素下所有直接子元素
1package jsoup;
2
3import org.apache.commons.io.FileUtils;
4import org.jsoup.Jsoup;
5import org.jsoup.nodes.Attributes;
6import org.jsoup.nodes.Document;
7import org.jsoup.nodes.Element;
8import org.jsoup.select.Elements;
9import org.junit.Test;
10
11import java.io.File;
12import java.io.IOException;
13import java.net.URL;
14import java.util.regex.Matcher;
15import java.util.regex.Pattern;
16
17public class JsoupFirstTest {
18 @Test
19 public void testUrl() throws Exception {
20 Document document = Jsoup.parse(new URL("http://zouchanglin.cn"), 5000);
21 String title = document.getElementsByTag("title").first().text();
22 System.out.println(title);
23 }
24
25 @Test
26 public void testString() throws Exception {
27 String html = FileUtils.readFileToString(new File("C:\\Users\\15291\\Desktop\\index.html"), "UTF-8");
28 Document document = Jsoup.parse(html);
29 String title = document.getElementsByTag("title").first().text();
30 System.out.println(title);
31 }
32
33 @Test
34 public void testFile() throws Exception {
35 Document document = Jsoup.parse(new File("C:\\Users\\15291\\Desktop\\index.html"), "UTF-8");
36 String title = document.getElementsByTag("title").first().text();
37 System.out.println(title);
38 }
39
40 @Test
41 public void testDom() throws Exception {
42 /**
43 * 1、根据id查询元素getElementByld
44 * 2、根据标签获取元素getElementsByTag
45 * 3、根据class获取元素getElementsByClass
46 * 4、根据属性获取元素getElementsByAttribute
47 */
48 Document document = Jsoup.parse(new File("C:\\Users\\15291\\Desktop\\index.html"), "UTF-8");
49 Element element = document.getElementById("threeSpan");
50 System.out.println("threeSpan内容是：" + element);
51
52 System.out.println(element.getElementsByTag("a").first().attr("href"));
53
54 Elements spans = document.getElementsByTag("span");
55 for(Element el: spans) System.out.println(el);
56
57 System.out.println(document.getElementsByAttributeValue("type", "button").first());
58 System.out.println(document.getElementsByAttributeValue("type", "button").first().attr("value"));
59 /**
60 * 1、从元素中获取id
61 * 2、从元素中获取className
62 * 3、从元素中获取属性的值 attr
63 * 4、从元素中获取所有属性attributes
64 * 5、从元素中获取文本内容text
65 */
66 Element button = document.getElementsByAttributeValue("type", "button").first();
67 Attributes attributes = button.attributes();
68 System.out.println(attributes);
69 }
70
71 @Test
72 public void testSelector() throws Exception {
73 /**
74 * `tagname`：通过标签查找元素，比如: `span`
75 * `#id`：通过ID查找元素，比如: `#city_bj`
76 * `.class`：通过class名称查找元素，比如: `.class_a`
77 * `[attribute]`：利用属性查找元素，比如:`[abc]`
78 * `[attr=value]`：利用属性值来查找元素，比如: `[class=s_name]`
79 */
80 Document document = Jsoup.parse(new File("C:\\Users\\15291\\Desktop\\index.html"), "UTF-8");
81 Elements span = document.select("span");
82 System.out.println(span);
83 System.out.println("===============================");
84 System.out.println(document.select("#threeSpan").first());
85 System.out.println(document.select("#threeSpan").first().text());
86 }
87
88 @Test
89 public void testSelectorTwo() throws Exception {
90 /**
91 * `el#id`：元素+ID，比如：`h3#3city_bj`
92 * `el.class`：元素+class，比如：`li.class_a`
93 * `el[attr]`：元素+属性名，比如：`span[abc]`
94 * 任意组合：比如: `span[abc].s_name`
95 * `ancestor child`：查找某个元素下子元素，比如: `.city_con li`查找""city_con"下的所有li
96 * `parent > child`：查找某个父元素下的直接子元素，比如：`.city_con > ul > li`查找city_con第一级（直接子元素）的ul，再找所有ul下的第一级li
97 * `parent > *`：查找某个父元素下所有直接子元素
98 */
99 Document document = Jsoup.parse(new File("C:\\Users\\15291\\Desktop\\index.html"), "UTF-8");
100 System.out.println(document.select("span#oneSpan").first());
101 System.out.println(document.select("span[style]").first());
102 System.out.println(document.select(".my_div div"));
103 System.out.println("======================================");
104 System.out.println(document.select(".my_div > div"));
105 System.out.println("======================================");
106 System.out.println(document.select(".my_div *"));
107 }
108
109
110 @Test
111 public void course() throws IOException {
112 Document document = Jsoup.parse(new File("C:\\Users\\15291\\Desktop\\new 10.html"), "UTF-8");
113 Element tbody = document.select("table.blacktab > tbody").first();
114 Elements tds = tbody.select("tr td");
115 for(Element td: tds){
116 String tdContent = td.text();
117 if(tdContent.contains("{")){
118 System.out.println(tdContent);
119 handel(tdContent);
120 }
121 }
122 }
123
124 private void handel(String tdContent) {
125 String[] split = tdContent.split(" ");
126 System.out.print(split[0] + "\t");
127 System.out.print(split[1].substring(0, 2) + "\t");
128
129 System.out.print(split[1].substring(split[1].indexOf("第")+1, split[1].indexOf("节")) + "\t");
130 System.out.print(split[1].substring(split[1].indexOf("{")+2, split[1].indexOf("}") - 1) + "\t");
131 System.out.print(split[2] + "\t");
132 System.out.print(split[3] + "\t");
133 System.out.println("");
134 }
135}
正方教务爬虫
1、引入依赖
1<dependencies>
2 <dependency>
3 <groupId>com.gitee.zouchanglin</groupId>
4 <artifactId>spider_xpu</artifactId>
5 <version>1.2</version>
6 </dependency>
7</dependencies>
8
9<repositories>
10 <repository>
11 <id>jitpack.io</id>
12 <url>https://jitpack.io</url>
13 </repository>
14</repositories>
2、使用示例
1import cn.zouchanglin.spider_xpu.SpiderResult;
2import cn.zouchanglin.spider_xpu.cache.ResultCache;
3import cn.zouchanglin.spider_xpu.core.SpiderCore;
4
5import javax.security.auth.login.LoginException;
6import java.awt.*;
7import java.net.URI;
8import java.util.Scanner;
9
10public class Main {
11 public static void main(String[] args) throws Exception {
12 // Key就是一个标识用户唯一的键（如可以传OpenId、UnionId、学号、身份证号等）
13 // TODO 填充Key、userId、password等字段
14 String key = "";
15 String userId = "";
16 String passsword = "";
17
18 // 1、获取验证码URL
19 String url = SpiderCore.getCheckCodeUrl(key);
20
21 // 打开浏览器并输入验证码
22 Desktop desktop = Desktop.getDesktop();
23 if (Desktop.isDesktopSupported() && desktop.isSupported(Desktop.Action.BROWSE)) {
24 URI uri = new URI(url);
25 desktop.browse(uri);
26 }
27 Scanner scanner = new Scanner(System.in);
28 String code = scanner.nextLine();
29
30 // 记录用时
31 long millis = System.currentTimeMillis();
32 SpiderResult spiderResult = null;
33 try {
34 // 2、获取同步调用结果只返回用户信息 + 当前学年的课表
35 spiderResult = SpiderCore.go(userId, password, code, key);
36 }catch (LoginException e){
37 // 登录失败
38 System.out.println(e.toString());
39 }
40 // 同步调用结果
41 System.out.println("同步调用只返回用户信息+当前学年的课表：" + spiderResult);
42 System.out.println("执行耗时:" + (System.currentTimeMillis() - millis));
43
44 // 阻塞等待缓存池中存在结果对象
45 while(!ResultCache.SPIDER_RESULT_CACHE.containsKey(key));
46
47 // 取出缓存池中的结果
48 SpiderResult result = ResultCache.SPIDER_RESULT_CACHE.get(key);
49 System.out.println(result);
50
51 //TODO 持久化
52 System.out.println("完成持久化....");
53
54 // 从缓存池中移除结果对象
55 ResultCache.SPIDER_RESULT_CACHE.remove(key);
56 }
57}
通过对学生信息和学生所有课表的爬取，效果还行：
