很多开始学习seo的朋友们对蜘蛛的行踪总是很迷惑,很多seo大师们认为百度,google等蜘蛛都是晚上爬行于你的网站,然后找到他们喜欢的页面然后收纳.

　　今天我特意的对这个答案进行分析:

　　方法:分析web服务器的访问日志(如果不是独立服务器,一般虚拟空间也提供日志下载)

　　首先我下载网站的访问日志,下面带领朋友们寻找百度和google蜘蛛的踪迹!

　　1.登录ftp,一般存储日志的文件夹名称为:logfiles 这个名称根据服务器提供商不同而不同

　　2.日志一般都是按照日期来存储的

　　3.下载日志,使用记事本打开

　　4.按下ctrl+f,输入baidu

　　5.找到蜘蛛的踪迹了

　　2008-07-04 03:06:19 w3svc868657 61.129.81.158 head /pinglun.asp id=40 80 - 61.135.168.67 baiduspider+

　　表示百度蜘蛛于2008-07-04 03:06:19访问了我的网站,这个时间蜘蛛的到来又可能决定你起床之后看的快照页面变化.

　　2008-07-04 08:31:04 w3svc868657 61.129.81.158 get /youhua.asp - 80 - 220.181.32.50 baiduspider+

　　8.31蜘蛛正式起床上班了,它来了

　　2008-07-04 08:39:14 w3svc868657 61.129.81.158 get /sem.asp - 80 - 220.181.32.50 baiduspider+

　　相隔8分钟又来一次,难道忘记带走公文包?

　　2008-07-04 08:43:08 w3svc868657 61.129.81.158 get /google.asp - 80 - 220.181.32.50 baiduspider+

　　8.43分依旧在网站游荡.

　　2008-07-04 08:50:56 w3svc868657 61.129.81.158 get /seo.asp - 80 - 220.181.32.50 baiduspider+

　　50分又来,只勤奋的蜘蛛~!

　　一直查找 蜘蛛在10点 11点 一直在网站爬行,从这里我们可以看出,百度蜘蛛并不是传说中的那么懒,只在夜间行动,其实百度一直都在你的网站,等待你给他们提供可口的食物.

　　所以,网站经常性更新,原创文章蜘蛛是非常喜欢的,我们网站60%原创文章,所以蜘蛛基本都在爬行,如果你的网站符合蜘蛛胃口,它会经常光顾你的网站,如果你不管你的网站,蜘蛛找不到可口的美味,那么它将有一天放弃你~@!

　　顺便把google的蜘蛛看一下:

　　2008-07-04 05:29:29 w3svc868657 61.129.81.158 get /index.asp - 80 - 66.249.66.225 mozilla/5.0+(compatible;+googlebot/2.1;++http://www.google.com/bot.html) 200 0 0

　　我就不一一列举了,google蜘蛛比百度蜘蛛提前1小时离开

　　yahoo呢?遗憾的是它今天没来~!

　　顺便说下几个搜索引擎蜘蛛的名字,方便大家查看:

　　google的蜘蛛： googlebot

　　百度的蜘蛛：baiduspider

　　yahoo的蜘蛛：yahoo slurp

　　msn的蜘蛛：msnbot

　　altavista的蜘蛛：scooter

　　lycos的蜘蛛： lycos_spider_(t-rex)

　　alltheweb的蜘蛛： fast-webcrawler/

　　inktomi的蜘蛛： slurp