a亚洲精品_精品国产91乱码一区二区三区_亚洲精品在线免费观看视频_欧美日韩亚洲国产综合_久久久久久久久久久成人_在线区

首頁 > 編程 > Regex > 正文

使用正則表達(dá)式實現(xiàn)網(wǎng)頁爬蟲的思路詳解

2020-03-16 20:47:11
字體:
供稿:網(wǎng)友

網(wǎng)頁爬蟲:就是一個程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù)。

思路:

1.為模擬網(wǎng)頁爬蟲,我們可以現(xiàn)在我們的tomcat服務(wù)器端部署一個1.html網(wǎng)頁。(部署的步驟:在tomcat目錄的webapps目錄的ROOTS目錄下新建一個1.html。使用notepad++進(jìn)行編輯,編輯內(nèi)容為:

正則表達(dá)式,網(wǎng)頁,爬蟲

2.使用URL與網(wǎng)頁建立聯(lián)系
3.獲取輸入流,用于讀取網(wǎng)頁中的內(nèi)容
4.建立正則規(guī)則,因為這里我們是爬去網(wǎng)頁中的郵箱信息,所以建立匹配 郵箱的正則表達(dá)式:String regex="/w+@/w+(/./w+)+";
5.將提取到的數(shù)據(jù)放到集合中。

代碼:

import java.io.BufferedReader;import java.io.InputStream;import java.io.InputStreamReader;import java.net.URL;import java.util.ArrayList;import java.util.List;import java.util.regex.Matcher;import java.util.regex.Pattern;/* * 網(wǎng)頁爬蟲:就是一個程序用于在互聯(lián)網(wǎng)中獲取指定規(guī)則的數(shù)據(jù) *  *  */public class RegexDemo { public static void main(String[] args) throws Exception {  List<String> list=getMailByWeb(); for(String str:list){ System.out.println(str); }  } private static List<String> getMailByWeb() throws Exception {  //1.與網(wǎng)頁建立聯(lián)系。使用URL String path="http://localhost:8080//1.html";//后面寫雙斜杠是用于轉(zhuǎn)義 URL url=new URL(path); //2.獲取輸入流 InputStream is=url.openStream(); //加緩沖 BufferedReader br=new BufferedReader(new InputStreamReader(is)); //3.提取符合郵箱的數(shù)據(jù) String regex="//w+@//w+(//.//w+)+"; //進(jìn)行匹配 //將正則規(guī)則封裝成對象 Pattern p=Pattern.compile(regex); //將提取到的數(shù)據(jù)放到一個集合中 List<String> list=new ArrayList<String>();  String line=null; while((line=br.readLine())!=null){ //匹配器 Matcher m=p.matcher(line); while(m.find()){ //3.將符合規(guī)則的數(shù)據(jù)存儲到集合中 list.add(m.group()); } }  return list; }}

注意:在執(zhí)行前需要先開啟tomcat服務(wù)器

運行結(jié)果:

正則表達(dá)式,網(wǎng)頁,爬蟲

總結(jié)

以上所述是小編給大家介紹的使用正則表達(dá)式實現(xiàn)網(wǎng)頁爬蟲的思路詳解,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回復(fù)大家的。在此也非常感謝大家對VEVB武林網(wǎng)網(wǎng)站的支持!


注:相關(guān)教程知識閱讀請移步到正則表達(dá)式頻道。
發(fā)表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發(fā)表
主站蜘蛛池模板: 精品久久中文字幕 | 日韩在线成人 | 一区二区不卡视频在线观看 | 97视频网址 | 一级黄色影片在线观看 | 日韩城人网站 | 亚洲精品乱码久久观看网 | 高清不卡一区 | 日韩中文视频 | 国产性久久 | 麻豆freexxxx性91精品 | 美女视频久久 | 欧美一区二区三区在线 | 亚洲国产精品久久久久久 | 日本三级在线观看中文字 | 亚洲视频中文字幕 | 亚洲精品国偷拍自产在线观看蜜桃 | 欧美日韩另类在线 | 日韩影音 | 亚洲最黄网站 | 国产丝袜一区二区三区免费视频 | 六月丁香av | 欧洲大片精品免费永久看nba | 国产一区日韩 | 在线免费观看一区 | 亚洲国产福利 | 国产福利一区二区三区四区 | 亚洲网站在线免费观看 | 91精品国产乱码久久久久久久久 | 国产伦理一区二区 | 天天在线综合 | 亚洲精品视频一区 | 日韩欧美一区二区三区视频 | 日韩欧美一区二区三区免费观看 | 天天干夜夜操 | 欧美日韩精品 | 欧美一区二区久久 | 亚洲精品午夜视频 | 久草精品视频 | 色网站免费看 | 久久天天躁狠狠躁夜夜躁2014 |