最近因為劇荒，老大追了愛奇藝的一部網(wǎng)劇，由丁墨的同名小說《美人為餡》改編，目前已經(jīng)放出兩季，雖然整部劇槽點(diǎn)滿滿，但是老大看得不亦樂乎，并且在看完第二季之后跟我要小說資源，直接要奔原著去看結(jié)局……
隨手搜了下，都是在線資源，下載的話需要登錄，注冊登錄好麻煩，寫個爬蟲玩玩也好，于是動手用 node 寫了一個，這里做下筆記

工作流程

  • 獲取 URLs 列表(請求資源 request 模塊)

  • 根據(jù) URLs 列表獲取相關(guān)頁面源碼(可能遇到頁面編碼問題，iconv-lite 模塊)

  • 源碼解析，獲取小說信息( cheerio 模塊)

  • 保存小說信息到 Markdown 文件，并且加適當(dāng)修飾以及章節(jié)信息(寫文件 fs、同步請求資源 

    網(wǎng)友評論