在前天的新英格兰搜索引擎营销会议上，Google 抓取系统部门总监Dan Crow 透露了许多有关Google 搜索引擎索引网站方面的信息。搜索引擎周边根据Jill Whalen 的总结，选取部分“猛料”摘录如下。
Google 搜索引擎爬虫索引网站的过程
一般来说，Google 爬虫会先查看网站根目录的robots.txt 文件，由此来决定爬行哪些目录，之后才开始抓取robots.txt 中允许的页面，最后才顺着当前页面的链接爬行到其他页面。令人咋舌的是，搜索引擎爬虫评价某个页面的因素竟然有200个之多，而“相关性”则是其中的一个重要因素。
关于PageRank
Dan 说，PageRank 在Google 索引结果的排名中仍然具有非常重要的作用。需要注意的是，这里所说的PageRank 并非Google 工具条上看到的PR 值，而是指Google 内部使用的PageRank。
即将支持的标签：unavailable_after
搜索引擎周边曾经介绍过一些有用的Google 爬虫支持的常用 标签。这一次，Dan 提前透露了一个Google 爬虫即将支持的标签——unavailable_after。通过它可以告知搜索引擎爬虫在什么时间之后不要再索引某个页面。如果网页上的内容具有实效性，unavailable_after标签将非常有用。
关于网站地图文件Sitemaps
网站的Sitemaps 文件有助于网站页面被Google 索引，但由于Sitemaps 的PR 值往往很低，所以目前在Google 搜索引擎中的权重还相对较低。不过，Dan 承诺，这一现象在以后将会有所改变。
对于Flash 网站与使用Ajax 呈现内容的网站，一如英文Google webmaster blog所说，Dan 建议在页面上使用sIFR 排版技术。
关于Google补充材料
Google 将会更频繁的索引被标记为补充材料的网页。在Google 搜索结果页面，尽管补充材料页面在目前来说排名要靠后于正常的索引页面，但两者之间的差别将会越来越小。要使自己的网页走出补充材料的最根本方法就是增加该页面的外链。在这方面，散人建议参考月光翻译的《逃离Google补充材料的五个技巧》。
版权所有，转载时必须以链接的形式注明以下声明：
原载于 搜索引擎周边
链接地址 http://www.eryi.org/SearchEngines/google-robots-crawler.html
站长排行
新闻
学院
专栏
盈利
如果你有站长界人事变动、重组并购、变革技术出现，以及产品投诉等重要新闻线索，请告诉我们，我们会给予特别关注。
0631-3653338
站长中国编辑部
站长中国24小时新闻热线： 13156089008
收藏本文
打印本文 
告诉好友
投稿邮箱
