酷知百科網

位置:首頁 > 遊戲數碼 > 互聯網

今日頭條數據採集:八爪魚教程

互聯網2.13W

今日頭條數據採集:八爪魚教程

操作方法

(01)步驟1:創建採集任務1)進入主介面選擇,選擇“自訂模式

今日頭條數據採集:八爪魚教程

(02)2)將上面網址的網址複製粘貼到網站輸入框中,點擊“儲存網址”

今日頭條數據採集:八爪魚教程 第2張

(03)3)儲存網址後,頁面將在八爪魚採集器中開啟,紅色方框中的資訊是這次演示要採集的內容

今日頭條數據採集:八爪魚教程 第3張

(04)步驟2:設定ajax頁面加載時間l  設定開啟網頁步驟的ajax滾動加載時間l  找到翻頁按鈕,設定翻頁循環l  設定翻頁步驟ajax下拉加載時間1)網頁開啟後,需要進行以下設定:開啟流程圖,點擊“開啟網頁”步驟,在右側的進階選項框中,勾選“頁面加載完成向下滾動”,設定滾動次數,每次滾動間隔時間,一般設定2秒,這個頁面的滾動方式,選擇直接滾動到底部;最後點擊確定

今日頭條數據採集:八爪魚教程 第4張

(05)注意:今日頭條的網站屬於瀑布流網站,沒有翻頁按鈕,這裏的滾動次數設定將影響採集的數據量

今日頭條數據採集:八爪魚教程 第5張

(06)步驟3:採集新聞內容l  創建數據提取列表1)如圖,移動鼠標選中評論列表的方框,右鍵點擊,方框底色會變成綠色然後點擊“選中子元素”

今日頭條數據採集:八爪魚教程 第6張

(07)注意:點擊右上角的“流程”按鈕,即可展現出可視化流程圖。2)然後點擊“選中全部”,將頁面中需要需要採集的資訊添加到列表中

今日頭條數據採集:八爪魚教程 第7張

(08)點擊注意: 在提示框中的字段上會出現一個“X”標識,點擊即可刪除該字段。

(09)3)點擊“採集以下數據”

今日頭條數據採集:八爪魚教程 第8張

(10)4)修改採集字段名稱,點擊下方紅色方框中的“儲存並開始採集”

今日頭條數據採集:八爪魚教程 第9張

(11)步驟4:數據採集及匯出1)根據採集的情況選擇合適的採集方式,這裏選擇“啓動本地採集”

今日頭條數據採集:八爪魚教程 第10張

(12)說明:本地採集佔用當前電腦資源進行採集,如果存在採集時間要求或當前電腦無法長時間進行採集可以使用雲採集功能,雲採集在網絡中進行採集,無需當前電腦支援,電腦可以關機,可以設定多個雲節點分攤任務,10個節點相當於10臺電腦分配任務幫你採集,速度降低爲原來的十分之一;採集到的數據可以在雲上儲存三個月,可以隨時進行匯出操作。2)採集完成後,選擇合適的匯出方式,將採集好的數據匯出

今日頭條數據採集:八爪魚教程 第11張
標籤:八爪 頭條