正如“枫林的网络日志”里面关于渡虎谷的一文解释的情况一样,晚上抽点时间来SEO博客写篇博客,下周一又要开始奔波了。
由于前段时间服务器“坏死”的影响,SEO博客的排名屡屡收到较大的影响,从最近搜索引擎表现来看,百度,Google和Yahoo,Sogou等的收录情况,预测一下,博客改版后,搜索引擎相继对SEO博客在2006年3月份到2007年2月份左右的数据进行了清除,对于现在的页面收录量,应该是大约50篇文章+目录+单页(地图,留言本,实用工具页面)+Tags,不过100多篇文章而已,当然,里面肯定还会有重复收录的情况。
然后在对比Baidu,Google,Yahoo,Sogou的收录情况后才发现事实并非如此,见下图:

可以明显的看出:Yahoo的页面收录数量远远高于其它搜索引擎,怀着好奇,枫林进入Yahoo一看,原来是Yahoo的蜘蛛在作怪,Yahoo的蜘蛛爬行的路径很独特,Zblog是实用后台自动生成的静态页面,而原始动态的页面地址依然可以访问,Baidu和Google的Spider爬行到首页和栏目页面表面所展示的静态页面的URL,进而对其进行抓取而Yahoo的Spider 除了要爬行页面表面裸露的静态URL还会爬行到原始的动态URL地址,对其进行收录,这就是为什么Yahoo对SEO博客的收录量比其它搜索引擎要多的多的原因。

看来有必要真对Yahoo Spider对Robots.txt文件进行定义了,以便更好的指导Yahoo蜘蛛的爬行,另外Yahoo蜘蛛的爬行和数据库更新周期是非常慢的,从服务器“坏死”(1月15日左右)到SEO博客回复正常(2月17左右),百度和Google对前SEO博客的不存在的URL都进行了删除和降权处理,Yahoo表现微弱,到现在Yahoo还没有完全清除或者更新SEO博客的有些URL地址,看来Yahoo的蜘蛛是比较懒惰的,但是来一次爬行的却很深。
另外,在百度中搜索“SEO博客”的时候,发现下面相关链接中出现了“枫林的SEO博客”的字样。
出现相关搜索的原因:
1、搜索量(关注程度)
相关搜索一般列出的与目标关键字相关的告搜索量的词汇
2、相关链接的数量
点击“枫林的seo博客”链接,就可以看见与此内容相关的网页有6千多项,可见相关链接的数量是比较多的,百度则会将该词汇列入“相关搜索”。