一、前言

  最近因為有爬一些招聘網(wǎng)站的招聘信息的需要,而我之前也只是知道有“網(wǎng)絡(luò)爬蟲”這個神奇的名詞,具體是什么、用什么實現(xiàn)、什么原理、如何實現(xiàn)比較好都不清楚,因此最近大致研究了一下,當(dāng)然,研究的并不是很深入,畢竟一個高大上的知識即使站在巨人的肩膀上,也不能兩三天就融會貫通。在這里先做一個技術(shù)儲備吧,具體的疑難知識點、細(xì)節(jié)等以后一點一點的完善,如果現(xiàn)在不趁熱打鐵,以后再想起來恐怕就沒印象了,那么以我的懶惰的性格估計就要拋棄對它的愛情了。廢話不多說,讓我們開始在知識的海洋里遨游吧。哎,等等,說到這我突然想到昨天新記的一首詩感覺挺好,給大家分享一下,緩解一下氣氛,再給大家講爬蟲吧:

         君生我未生,我生君已老 君恨我生遲,我恨君生早
                   君生我未生,我生君已老 恨不生同時,日日與君好
                   我生君未生,君生我已老 我離君天涯,君隔我海角
                   我生君未生,君生我已老 化蝶去尋花,夜夜棲芳草  

二、什么是網(wǎng)絡(luò)爬蟲

  是一種按照一定的規(guī)則,自動地抓取萬維網(wǎng)信息的程序或者腳本。

三、優(yōu)點

  簡單易理解,管理方便。

四、WebMagic總體架構(gòu) 

網(wǎng)友評論