如果robots.txt限制了那个网页，那么robots标签说什么都不重要了，因为蜘蛛程序根本不会看那个网页。但是如果robots.txt允许蜘蛛程序来访问网页，那么蜘蛛程序在访问页面时就会看robots标签。
robots meta标签的影响仅限于它所在的文件。要防止所有搜索引擎蜘蛛将你网站中的一页编入索引，要将以下代码放入网页的 部分：
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
要允许其他搜索引擎蜘蛛将你网站中的页面编入索引，而只防止 Google蜘蛛将你网站中页面编入索引，应使用以下标记：
<META NAME="GOOGLEBOT" CONTENT="NOINDEX, NOFOLLOW">
允许搜索引擎蜘蛛将你网站中的页面编入索引，但要指示它不追踪外部链接，应使用以下标记：
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
选择使用robots标签而不是robots.txt文件，原因在于你的网站上只有一两个文件需要排除在外，或者你只想进行临时性的简单排除，还有一种可能，你没有访问网站根目录的权限。
站点上的有些网页只能按顺序从头开始查看，例如一个虚拟演示。尽管有些搜索者会不按顺序从中间来访问，有些站点的负责人可能不想让他们这样做，因此这些管理员会在虚拟演示的第一页上加上robots标签，指明“index，follow”（可收录可跟随）并且在所有其他页面上具体知名“noindex，nofollow”（不收录，不跟随）。
原文地址：http://www.doumiao.net/www/12/2007-12/215.html
站长排行
新闻
学院
专栏
盈利
如果你有站长界人事变动、重组并购、变革技术出现，以及产品投诉等重要新闻线索，请告诉我们，我们会给予特别关注。
0631-3653338
站长中国编辑部
站长中国24小时新闻热线： 13256307008
收藏本文
打印本文 
告诉好友
投稿邮箱
