搜索引擎

Ady Liu

2009-11-12

建立这个站点的当天晚上就向三大搜索引擎：Google，Baidu，Bing。结果第二天google就收录了这个站台，当天晚上就看到了google爬虫爬过的痕迹。第二天早上从Google中就能够通过imxylz搜索到了。而到了今天，也就是第三天的晚上bing和baidu还没有收录，至少不能通过搜索引擎搜到。

可见google和baidu的技术差距还是很大的，至于bing，估计还没有长大。现在我基本上不用baidu了，偶尔下载个破解软件到有可能用baidu，通常都是用google.com查找资料，注意不是google.cn，国内google.cn过滤比较严重，一些国外的网站都查不到。用google.com坏处就是一会就不能访问了，不知道是不是因为局域网访问的人太多，某些操作导致google屏蔽了我们的地址还是某些ISP屏蔽了google的地址，总之google在中国的路相当不好走。相反没有技术的baidu倒是一路畅通，无语了。

2009.11.16

今天看日志，已经看到一些spider：

（1）搜狗的spider，“Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07”

（2）Baidu的手机spider？“Nokia6681/1.0 (2.30.0) Series60/2.6 Profile/MIDP-2.0 Configuration/CLDC-1.1 (compatible; baiduspider; +http://www.baidu.com/search/spider.html”

（3）腾讯的spider，“Sosospider+(+http://help.soso.com/webspider.htm”

（4）Google的spider，“Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html”

（5）Baidu的spider，“Baiduspider+(+http://www.baidu.com/search/spider.htm”

到目前为止还没有看到bing的spider，虽然我已经提交过地址了，显然bing没有理我，soso和sogou我是没有提交地址的。

2009.11.17 09:47

百度的spider确实比较傻，每次都是几个不同IP地址的spider一起爬我的站点，而且只爬/根节点，显然这样是爬不了多少东西，可见百度的技术还是弱很多，我是说相比Google。我一直不知道google的时效性是怎么做到的，一般我在网上更新一盘文章，Google很快就能更新了，最慢的不会超过一天，看来Google的爬虫比较多。

2009.11.21

网易有道的spider:Mozilla/5.0 (compatible; YoudaoBot/1.0; http://www.youdao.com/help/webmaster/spider/