a亚洲精品_精品国产91乱码一区二区三区_亚洲精品在线免费观看视频_欧美日韩亚洲国产综合_久久久久久久久久久成人_在线区

首頁 > 編程 > C# > 正文

c# 抓取Web網頁數據分析

2019-10-29 21:48:22
字體:
來源:轉載
供稿:網友
通過程序自動的讀取其它網站網頁顯示的信息,類似于爬蟲程序。比方說我們有一個系統,要提取BaiDu網站上歌曲搜索排名。分析系統在根據得到的數據進行數據分析。為業務提供參考數據。
 
 
為了完成以上的需求,我們就需要模擬瀏覽器瀏覽網頁,得到頁面的數據在進行分析,最后把分析的結構,即整理好的數據寫入數據庫。那么我們的思路就是: 
  1、發送HttpRequest請求。 
  2、接收HttpResponse返回的結果。得到特定頁面的html源文件。 
  3、取出包含數據的那一部分源碼。 
  4、根據html源碼生成HtmlDocument,循環取出數據。 
  5、寫入數據庫。 
程序如下:   
復制代碼代碼如下:

//根據Url地址得到網頁的html源碼 
private string GetWebContent(string Url) 

string strResult=""; 
try 

HttpWebRequest request = (HttpWebRequest)WebRequest.Create(Url); 
    //聲明一個HttpWebRequest請求 
request.Timeout = 30000; 
//設置連接超時時間 
request.Headers.Set("Pragma", "no-cache"); 
HttpWebResponse response = (HttpWebResponse)request.GetResponse(); 
Stream streamReceive = response.GetResponseStream(); 
Encoding encoding = Encoding.GetEncoding("GB2312"); 
StreamReader streamReader = new StreamReader(streamReceive, encoding); 
strResult = streamReader.ReadToEnd(); 

catch 

MessageBox.Show("出錯"); 

return strResult; 

為了使用HttpWebRequest和HttpWebResponse,需填名字空間引用 
  using System.Net; 
以下是程序具體實現過程: 
private void button1_Click(object sender, EventArgs e) 

//要抓取的URL地址 
string Url = "http://list.mp3.baidu.com/topso/mp3topsong.html?id=1#top2"; 
//得到指定Url的源碼 
   string strWebContent = GetWebContent(Url); 
richTextBox1.Text = strWebContent; 
   //取出和數據有關的那段源碼 
int iBodyStart = strWebContent.IndexOf("<body", 0); 
int iStart = strWebContent.IndexOf("歌曲TOP500", iBodyStart); 
int iTableStart = strWebContent.IndexOf("<table", iStart); 
int iTableEnd = strWebContent.IndexOf("</table>", iTableStart); 
string strWeb = strWebContent.Substring(iTableStart, iTableEnd - iTableStart + 8); 
//生成HtmlDocument 
   WebBrowser webb = new WebBrowser(); 
webb.Navigate("about:blank"); 
HtmlDocument htmldoc = webb.Document.OpenNew(true); 
htmldoc.Write(strWeb); 
HtmlElementCollection htmlTR = htmldoc.GetElementsByTagName("TR"); 
foreach (HtmlElement tr in htmlTR) 

string strID = tr.GetElementsByTagName("TD")[0].InnerText; 
string strName = SplitName(tr.GetElementsByTagName("TD")[1].InnerText, "MusicName"); 
string strSinger = SplitName(tr.GetElementsByTagName("TD")[1].InnerText, "Singer"); 
strID = strID.Replace(".", ""); 
//插入DataTable 
AddLine(strID, strName, strSinger,"0"); 
string strID1 = tr.GetElementsByTagName("TD")[2].InnerText; 
string strName1 = SplitName(tr.GetElementsByTagName("TD")[3].InnerText, "MusicName"); 
string strSinger1 = SplitName(tr.GetElementsByTagName("TD")[3].InnerText, "Singer"); 
//插入DataTable 
strID1 = strID1.Replace(".", ""); 
AddLine(strID1, strName1, strSinger1,"0"); 
string strID2 = tr.GetElementsByTagName("TD")[4].InnerText; 
string strName2 = SplitName(tr.GetElementsByTagName("TD")[5].InnerText, "MusicName"); 
string strSinger2 = SplitName(tr.GetElementsByTagName("TD")[5].InnerText, "Singer"); 
//插入DataTable 
strID2 = strID2.Replace(".", ""); 
AddLine(strID2, strName2, strSinger2,"0"); 

//插入數據庫 
InsertData(dt); 
    
dataGridView1.DataSource = dt.DefaultView; 

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板: 久久精品在线观看视频 | 欧美日韩中文在线观看 | 国产精选一区二区 | 欧美视频在线观看 | 日韩在线中文 | av片网 | 男女羞羞视频在线免费观看 | 欧美a在线看| 国产情侣一区二区三区 | 日韩视频二区 | 亚洲欧美综合一区 | 亚洲一区二区三区免费视频 | www欧美| 成人在线播放 | 精品国产一区二区三区久久久 | 在线观看亚洲大片短视频 | 99在线精品视频 | 亚洲一区久久 | 日本免费一区二区视频 | 精品国产高清一区二区三区 | 亚洲精品久久久久久久久久久久久 | 色橹橹欧美在线观看视频高清 | 欧美午夜理伦三级在线观看 | 久久午夜影院 | 在线观看中文视频 | 激情久久av一区av二区av三区 | 亚洲成人一区二区 | 国产日韩精品视频 | 免费精品| 亚洲人成网亚洲欧洲无码 | 国产伦理一区二区 | 日本一级二级三级久久久 | 欧美乱码久久久久久蜜桃 | 欧美视频一区 | 蜜臀91精品国产高清在线观看 | 国产欧美一区二区精品忘忧草 | 国产精品爱久久久久久久 | 91福利视频导航 | 亚洲综合国产 | 国产成人精品免费视频 | 日韩欧美网 |