使用 robots 元标记和 文件来防止页面被编入索引之间存在重要但微妙的区别。使用值为“noindex,follow”的 robots 元标记允许您将链接汁从该页面传递到它链接到的 URL。如果您在中屏蔽了一个页面，那么它就无处可去。
在上面的示例中，我们阻止了并非真正页面的页面。这些是跟踪脚本。因此，我们不会丢失链接汁，因为这些页面没有带主菜单的标题等。
我们以“联系方式”或“隐私政策”页面为例。指向它们的链接可以包含在站点的每个页面上 – 通过主菜单或页脚中的菜单。因此，这些页面会收到大量的链接汁。为什么要拒绝？让它转到主菜单中的所有链接不是更好吗？答案很明显，不是吗？
什么时候应该使用 而不是 robots 元标记
也许当您的抓取预算有问题并且 Googlebot 花费大量时间抓取服务页面只是为了找到“noindex，follow”机器人元标 马耳他手机号码列表 记并离开它们时。如果您有太多服务 URL，以至于 Googlebot 无法访问重要页面，则需要在中阻止它们。
对于我们的一些客户，在清理 Sitemap 文件并阻止对服务页面的索引后，排名有所提高：
您真的认为您网站的 6-20,000 个页面应
该每天被抓取吗？还是抓取预算花在了服务页面上？
如果您有一组核心页面，其内容定 cz 列表 期更改（博客、新产品或产品类别页面），并且有许多页面（例如单个产品页面）需要编入索引，但不以重新索引为代价对核心页面进行抓取和索引，然后您可以将主要页面添加到 XML Sitemap 文件中。通过这种方式，您将向 Google 提示您认为哪些页面比未被阻止但也未包含在 XML 站点地图中的页面更重要。
排除索引问题
XML Sitemap 工具对于 SEO 非常有用，如果您将选择的页面提交给 Google 进行索引，但只有其中一些被索引。Google Search Console 不提供有关哪些页面被编入索引的信息。该服务只能找出每个 Sitemap 文件中索引 URL 的总数。
