如果您不希望该页面出现在搜索结果中，您需要在 和 r 中禁用对它的访问。然而，根据 Google 的说法，
“禁止指令不保证该页面不会出现在搜索结果中。Google 仍然可以根据第三方相关信息（例如入站链接）对其进行抓取。如果您想严格禁用页面索引，请使用带有 noindex 值的机器人元标记或 X-Robots-Tag HTTP 标头。在这种情况下，您不应阻止对 文件中页面的访问，因为 Googlebot 必须对其进行抓取以查找标记并执行指令。
具有 noindex 属性的机器人元标记。
将它放在页面的 <head> 部分
<html><标题>
X-机器人标签。X-Robots-Tag 标头可 俄罗斯手机号码清单 以是特定 URL 的 HTTP 标头的元素。可以在机器人元标记中使用的 noindex 指令也适用于 X-Robots-Tag：
HTTP/1.1 200 正常
日期：2010 年 5 月 25 日星期二 21:42:43 GMT
X-机器人标签：noindex
明智地使用多媒体文件
以前，Googlebot 无法索引 JavaScript、Flash 和 HTML。
但这些困难大多已成为过去
Google 现在可以处理大多数类型的媒体 cz 列表 文件，但并非所有搜索引擎都可以。因此，应谨慎使用此类文件。在您希望在搜索结果中看到的页面上完全选择退出它们可能是明智的。
Google 还建议对所有非文本文件使用等效文本。换句话说，内容必须是文本格式，这样才能被抓取和索引。
可以在此处找到 Google 可以索引的所有文件类型的列表。
