jsoup 解析HTML信息


jsoup簡介

jsoup是一款Java的HTML解析器,可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API,

可通過DOM,CSS以及類似於jQuery的操作方法來取出和操作數據。

jsoup的主要功能如下

  • 1、從一個URL,文件或字符串中解析HTML

  • 2、使用DOM或CSS選擇器來查找、取出數據

  • 3、可操作HTML元素、屬性、文本

jsoup的主要類層次結構如圖所示:

這里寫圖片描述

文檔輸入

jsoup可以從包括字符串、URL地址以及本地文件來加載HTML文檔,並生成Document對象實例。

// 直接從字符串中輸入 HTML 文檔
String html = "<html><head><title>learn jsoup</title></head>"
+ "<body id='body'><p>Parse and traverse an HTML document.</p></body></html>";
Document doc = Jsoup.parse(html);

// 從URL直接加載 HTML 文檔
Document doc = Jsoup.connect("http://itmyhome.com/").get();
String title = doc.title();

// 從文件中加載HTML文檔
File input = new File("D:/index.html");
Document doc = Jsoup.parse(input, "UTF-8","http://itmyhome.com");

第三種方式parse方法也可以不指定第三個參數,因為HTML文檔中會有很多例如鏈接、圖片以及所引用的外部腳本、css文件等,

而第三個名為baseURL的參數的意思就是當HTML文檔使用相對路徑方式引用外部文件時,

jsoup會自動為這些URL加上一個前綴,也就是這個 baseURL。

例如 <a href=/project>itmyhome</a> 會被轉換成 <a href=http://itmyhome.com/project>itmyhome</a>

數據抽取

使用DOM方法來遍歷一個文檔

String html = "<html><head><title>learn jsoup</title></head>"
+ "<body id='content'><a href='itmyhome.com'>hello</a>"
+ "<a href='blog.itmyhome.com'>jsoup</a></body></html>";

Document doc = Jsoup.parse(html);
Element content = doc.getElementById("content");
Elements links = content.getElementsByTag("a");
for (Element link : links) {
String linkHref = link.attr("href");
String linkText = link.text();

System.out.println(linkHref + ", " + linkText);
}

打印

itmyhome.com, hello
blog.itmyhome.com, jsoup

說明

Elements這個對象提供了一系列類似於DOM的方法來查找元素,抽取並處理其中的數據。具體如下:

查找元素

  • getElementById(String id)

  • getElementsByTag(String tag)

  • getElementsByClass(String className)

  • getElementsByAttribute(String key) (and related methods)

  • Element siblings: siblingElements(), firstElementSibling(), lastElementSibling(); nextElementSibling(), previousElementSibling()

  • Graph: parent(), children(), child(int index)

元素數據

  • attr(String key)獲取屬性 attr(String key, String value)設置屬性

  • attributes()獲取所有屬性

  • id(), className() and classNames()

  • text()獲取文本內容text(String value) 設置文本內容

  • html()獲取元素內HTMLhtml(String value)設置元素內的HTML內容

  • outerHtml()獲取元素外HTML內容

  • data()獲取數據內容(例如:script和style標簽)

  • tag() and tagName()

操作HTML和文本

  • append(String html), prepend(String html)

  • appendText(String text), prependText(String text)

  • appendElement(String tagName), prependElement(String tagName)

  • html(String value)

使用選擇器語法來查找元素

Document doc = Jsoup.connect("http://itmyhome.com/").get();
Elements links = doc.select("a[href]"); // 帶有href屬性的a元素
Elements pngs = doc.select("img[src$=.png]");// 擴展名為.png的圖片
Element icons = doc.select("span.icon").first();// class等於icon的span標簽
Elements resultLinks = doc.select("#header p"); // id為header元素之后的p元素

從以上可以看出jsoup使用跟jQuery一模一樣的選擇器對元素進行檢索,jsoup的選擇器還支持表達式功能

下表是jsoup選擇器的所有語法詳細列表。

表1. 基本用法:

tagname 使用標簽名來定位,例如 a
ns|tag 使用命名空間的標簽定位,例如 fb:name 來查找 <fb:name> 元素
#id 使用元素 id 定位,例如 #logo
.class 使用元素的 class 屬性定位,例如 .head
[attribute] 使用元素的屬性進行定位,例如 [href] 表示檢索具有 href 屬性的所有元素
[^attr] 使用元素的屬性名前綴進行定位,例如 [^data-] 用來查找 HTML5 的 dataset 屬性
[attr=value] 使用屬性值進行定位,例如 [width=500] 定位所有 width 屬性值為 500 的元素
[attr^=value], [attr$=value], [attr*=value] 這三個語法分別代表,屬性以 value 開頭、結尾以及包含
[attr~=regex] 使用正則表達式進行屬性值的過濾,例如 img[src~=(?i)\.(png|jpe?g)]
* 定位所有元素

以上是最基本的選擇器語法,這些語法也可以組合起來使用,下面是 jsoup 支持的組合用法:

表2:組合用法:

el#id 定位 id 值某個元素,例如 a#logo -> <a id=logo href= … >
el.class 定位 class 為指定值的元素,例如 div.head -> <div class=head>xxxx</div>
el[attr] 定位所有定義了某屬性的元素,例如 a[href]
以上三個任意組合 例如 a[href]#logo 、a[name].outerlink
ancestor child 這五種都是元素之間組合關系的選擇器語法,其中包括父子關系、合並關系和層次關系。
parent > child
siblingA + siblingB
siblingA ~ siblingX
el, el, el

除了一些基本的語法以及進行組合外,jsoup還支持使用表達式進行元素過濾選擇。下面是jsoup支持的所有表達式一覽表:

表3:表達式:

:lt(n) 例如 td:lt(3) 表示 小於三列
:gt(n) div p:gt(2) 表示 div 中包含 2 個以上的 p
:eq(n) form input:eq(1) 表示只包含一個 input 的表單
:has(seletor) div:has(p) 表示包含了 p 元素的 div
:not(selector) div:not(.logo) 表示不包含 class=logo 元素的所有 div 列表
:contains(text) 包含某文本的元素,不區分大小寫,例如 p:contains(oschina)
:containsOwn(text) 文本信息完全等於指定條件的過濾
:matches(regex) 使用正則表達式進行文本過濾:div:matches((?i)login)
:matchesOwn(regex) 使用正則表達式找到自身的文本

從元素抽取屬性,文本和HTML

  • 要取得一個屬性的值,可以使用Node.attr(String key) 方法

  • 對於一個元素中的文本,可以使用Element.text()方法

  • 對於要取得元素或屬性中的HTML內容,可以使用Element.html(),或Node.outerHtml()方法

示例:

String html = "<p>my <a href='http://itmyhome.com/'><b>blog</b></a> link.</p>";
Document doc = Jsoup.parse(html);// 解析HTML字符串返回一個Document實現
Element link = doc.select("a").first();// 查找第一個a元素

String text = doc.body().text(); // "my blog link" 取得字符串中的文本
String linkHref = link.attr("href"); // "http://itmyhome.com/" 取得鏈接地址
String linkText = link.text(); // "blog" 取得鏈接地址中的文本

String linkOuterH = link.outerHtml();// "<a href="http://itmyhome.com/"><b>blog</b></a>"
String linkInnerH = link.html(); // "<b>blog</b>" 取得鏈接內的html內容

System.out.println(text);System.out.println(linkHref);
System.out.println(linkText);System.out.println(linkOuterH);
System.out.println(linkInnerH);

打印:

my blog link.
http://itmyhome.com/
blog
<a href="http://itmyhome.com/"><b>blog</b></a>
<b>blog</b>

說明

上述方法是元素數據訪問的核心辦法。此外還其它一些方法可以使用:

  • Element.id()

  • Element.tagName()

  • Element.className() and Element.hasClass(String className)

修改數據

在解析文檔的同時,我們可能會需要對文檔中的某些元素進行修改,例如我們可以為文檔中的所有圖片增加可點擊鏈接、修改鏈接地址或者是修改文本等。

下面是一些簡單的例子:

doc.select("div.comments a").attr("rel", "nofollow"); // 為所有鏈接增加 rel=nofollow 屬性
doc.select("div.comments a").addClass("mylinkclass"); // 為所有鏈接增加 class=mylinkclass 屬性
doc.select("img").removeAttr("onclick"); // 刪除所有圖片的 onclick 屬性
doc.select("input[type=text]").val(""); // 清空所有文本輸入框中的文本

道理很簡單,你只需要利用jsoup的選擇器找出元素,然后就可以通過以上的方法來進行修改,

修改完直接調用 Element(s)的 html()方法就可以獲取修改完的HTML文檔。

HTML文檔清理

在做網站的時候,經常會提供用戶評論的功能。有些不壞好意的用戶,會搞一些腳本到評論內容中,

而這些腳本可能會破壞整個頁面的行為,更嚴重的是獲取一些機要信息,例如XSS跨站點攻擊之類的。

使用jsoup HTML Cleaner 方法進行清除,看看下面這段代碼:

String unsafe = "<p><a href='http://itmyhome.com/' onclick='stealCookies()'>itmyhome</a></p>";
String safe = Jsoup.clean(unsafe, Whitelist.basic());
System.out.println(safe); //輸出 : <p><a href="http://itmyhome.com/" rel="nofollow">itmyhome</a></p>

jsoup使用一個Whitelist類用來對HTML文檔進行過濾,該類提供幾個常用方法:

none() 只允許包含文本信息
basic() 允許的標簽包括:a, b, blockquote, br, cite, code, dd, dl, dt, em, i, li, ol, p, pre, q, small, strike, strong, sub, sup, u, ul, 以及合適的屬性
simpleText() 只允許 b, em, i, strong, u 這些標簽
basicWithImages() 在 basic() 的基礎上增加了圖片
relaxed() 這個過濾器允許的標簽最多,包括:a, b, blockquote, br, caption, cite, code, col, colgroup, dd, dl, dt, em, h1, h2, h3, h4, h5, h6, i, img, li, ol, p, pre, q, small, strike, strong, sub, sup, table, tbody, td, tfoot, th, thead, tr, u, ul



作者:itmyhome


注意!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系我们删除。



 
粤ICP备14056181号  © 2014-2021 ITdaan.com