Node小爬虫

好方便啊,几行就能写出一个小爬虫

var Crawler = require("simplecrawler");
var cheerio = require('cheerio');
var list = ['http://106.187.94.91','http://ruosen.io'];
for (var idx in list){
    var c = Crawler.crawl(list[idx]);
    c.on("fetchcomplete",function(queueItem,res){
        $ = cheerio.load(res);
        console.log($('title').text());
        this.stop();
    });
}

node-crawler和node-jquery在安装上还有一些问题。
用了另外两个包:simplecrawler和cheerio来替代。

Ruosen

Be a Geek, Do the right thing;