据Google表示“对于文本框,我们的电脑会自动对网站上的表格进行填写,并会选择菜单,复选框,以及相应的按钮,然后索引有价值的HTML结果。”Google指出,对于动态表格所反馈的结果并不影响对网站的普通检索,排名或是其他的内容。并且Googlebot绝对会遵守robots.txt的规定不对禁止访问机器人访问的页面进行检索。
据估计,目前互联网上的深层页面要比目前公布的页面大几个数量级。而且有消息指出,Google永远也不能把互联网上的所有内容都检索到,其 Googlebot的爬行结果对于整个互联网来说只是管中窥豹。不过Google表示,对深层页面的索引只是为了找出更多动态页面之间的联系,而不仅仅是 为了索引结果。
站长排行
新闻
学院
专栏
盈利
如果你有站长界人事变动、重组并购、变革技术出现,以及产品投诉等重要新闻线索,请告诉我们,我们会给予特别关注。
0631-3653338
站长中国编辑部
站长中国24小时新闻热线: 13156089008