a亚洲精品_精品国产91乱码一区二区三区_亚洲精品在线免费观看视频_欧美日韩亚洲国产综合_久久久久久久久久久成人_在线区

首頁 > 網站 > 建站經驗 > 正文

batchcollect pagecollect來自官方杰奇jieqi定時采集配置方法參

2019-11-02 17:03:54
字體：大 中 小
來源：轉載
供稿：網友
前言

要實現采集，默認方式是根據配置好的采集規則，在瀏覽器提交相應的參數即可完成后面的采集入庫全部動作。

而實現定時采集，與人工在瀏覽器提交有些區別，主要分兩大步驟：

一、編寫采集的url和相關參數，訪問這個url即可實現想要的采集模式。（這個url直接在瀏覽器提交同樣可以實現采集）

二、把定時訪問這個url的功能加到系統的定時任務里面，實現無人值守的定時采集。

具體實現方法請參考下面內容：

1、對采集配置文件的解釋

任何一個采集都會用到兩個采集配置文件（跟后臺采集規則配置對應），都可以用文本編輯器打開查看。

其中 /configs/article/collectsite.php 是對總的采集站點配置，記錄了一共允許采集哪幾個站點。

里面包含類似這樣的內容：

$jieqiCollectsite['1']['name'] = '采集站點一'; 

$jieqiCollectsite['1']['config'] = 'abc_com'; 

$jieqiCollectsite['1']['url'] = 'http://www.abc.com'; 

$jieqiCollectsite['1']['subarticleid'] = 'floor($articleid/1000)';

$jieqiCollectsite['1']['enable'] = '1';

$jieqiCollectsite['2']['name'] = '采集站點二';

$jieqiCollectsite['2']['config'] = 'def_net';

$jieqiCollectsite['2']['url'] = 'http://www.def.net';

$jieqiCollectsite['2']['subarticleid'] = '';

$jieqiCollectsite['2']['enable'] = '1';

參數含義解釋如下：

['1'] - 這里的 1 表示采集網站的數字序號，不同的采集站序號不能重復。

['name'] - 采集網站名稱。

['config'] - 網站英文標識，這個網站采集規則配置文件有關，比如這個值是 abc_com ，那么采集規則配置文件就是 /configs/article/site_abc_com.php。

['url'] - 采集網站網址。

['subarticleid'] - 采集網站，文章子序號運算方式，本項目主要為了兼容以前程序，新版本里面文章子序號可以通過采集獲得。

['enable'] - 是否允許采集，1 表示允許，0 表示禁止，默認為 1。

如前面所說，每個采集網站有個專門的采集規則配置文件，/configs/article/ 目錄下以 site_ 開頭的php文件，如 /configs/article/site_abc_com.php。

里面內容都與后臺采集規則設置相對應，具體細節不一一解釋。需要了解的是本文件里面內容分兩大部分，前面內容都是對網站內容采集規則的配置，而最后面 $jieqiCollect['listcollect']['0']，$jieqiCollect['listcollect']['1'] 這樣的設置是對網站"批量采集規則"的配置，比如按最近更新采集、按排行榜采集，可以設置多個。['0'] 這里的數字 0 表示批量采集類別的數字序號，同一個網站也不能重復。

2、編寫采集內容的url及參數

這里的采集是針對多篇文章批量采集，分兩種模式：

一、按頁面批量采集，比如采集最新更新列表或者排行榜列表，每個鏈接采集一頁。

鏈接格式如下：

http://www.jb51.net/modules/article/admin/pagecollect.php?action=collect&siteid=1&collectname=0&startpageid=1&maxpagenum=1¬addnew=0&jieqi_username=admin&jieqi_userpassword=1234

參數含義解釋如下：

www.jb51.net - 是指您的網址。

action - 字符串，程序執行的動作命令，固定值為 collect。

siteid - 數字類型，要采集的網站序號，具體哪個網站對應什么序號見配置文件collectsite.php。

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
主站蜘蛛池模板： 特级毛片在线 | 久久成人一区 | 男女羞羞羞视频午夜视频 | 91一区二区在线 | 自拍偷拍视频网站 | 98久久久 | 午夜天 | 在线看片福利 | 盗摄精品av一区二区三区 | 成人免费视频毛片 | 久久精品8| 亚洲精品亚洲人成人网 | 九九在线视频 | 欧美78videosex性欧美 | 国产精品成av人在线视午夜片 | 午夜性电影 | 中文字幕在线不卡 | 亚洲一区二区免费 | 有码一区 | 日本午夜网 | 日韩爱爱视频 | 夜夜骑天天射 | 亚洲精区 | 欧美日韩综合精品 | 色综合99| 日韩成人免费 | 国产激情美女久久久久久吹潮 | 国产一区二区免费视频 | 中文字幕一区在线观看 | 中文字幕在线免费视频 | 午夜免费视频观看 | 久操伊人 | 国产成人在线看 | 亚洲狠狠 | 亚洲午夜视频在线观看 | 国产精品1页 | 日本在线一区二区 | 性感视频网站 | 亚洲九九 | 特级毛片在线 | 国产精品成人一区二区三区夜夜夜 |