試用 購買(mǎi)
留言論壇
當前頁(yè)面:熊貓智能采集軟件> 留言論壇

如何采集網(wǎng)頁(yè)中變化的數據

作者: fanyi9 | 閱讀: 43625/2   2012/12/5 17:19:45
 
你好,想問(wèn)一下,如何采集網(wǎng)頁(yè)中變化的數據。例如帖子的訪(fǎng)問(wèn)量、某個(gè)視頻的播放量等,每天采集,一個(gè)月后看總量的變化。謝謝


2 樓: 測試專(zhuān)用賬號 2012/12/5 22:35:55
 
你提到的這種需求,需要將重復采集的數據累加到數據庫中,而不是更新原有的數據記錄,熊貓原來(lái)是有這種重復數據直接追加的模式,只是使用很少,且容易造成用戶(hù)誤操作,故而隱去。

這次更新軟件順帶把這個(gè)功能繼續啟用。

具體設置位置在:
項目基礎設置-重復數據處理方式-(選擇)不判斷重復,尾部累加

即可。

熊貓判斷數據是否重復,是依據采集的數據的來(lái)源頁(yè)面的URL記錄進(jìn)行判斷,在選擇這種重復數據尾部累加后,將不再判斷數據來(lái)源URL是否重復,每次采集的數據一律追加在數據庫表的尾部。

你這個(gè)需求,每次更新采集后,新的數據會(huì )追加到數據庫表尾部,在需要匯總數據的變化規律時(shí),依據數據庫表尾部的記錄URL的字段PandaWebUrl的值進(jìn)行排序匯總即可。





友情鏈接: 建筑結構軟件 中國制造業(yè)博覽 飛翔下載 好特下載 當下軟件園 資訊采集器 六度軟件下載 ZOL應用下載

Copyright @ 2011 t6bz.cn All Rights Reserved 上海齊索信息科技有限公司 滬ICP備16048952號-4

国产精品天干天干在线观看_人人妻人人澡人人爽欧美一区_久久亚洲精品AB无码播放_欧美多人混交免费观看