此外，机器人会加载大量操作页面 – 例如，购买页面，这些页面都会重定向到购物车页面，并且在 90% 的情况下它们也可供机器人使用。

文件中应禁止此类页面，并且随着时间的推移，有关它们的数据将从机器人的数据库中删除，它们将从 中消失，下载页面的数量也会减少。

想必大家也很担心这个问题，为什么搜索出来的页面这么少？解释很简单。

如果您网站上的大多数产品页面如下所示

在那里，即使是在源代码上，也没有人特别在意，为整个目录规定了标准的元标记，并在描述中使用了最少的文本。

如果你想让产品页面被索引并参 香港手机号码列表 与搜索，你至少需要在它们上做一些工作——统一页面上安装的元标签，添加更多的文字描述、一些推荐、客户评论和一张照片，所以用户确定他的选择没有错误。

2.查看服务器日志

在服务器日志的帮助下，您可以看到索引机器人究竟访问了哪些页面。如果你仔细看，

你可以准确地理解它指的是什么参数

在这种情况下，您可以看到机器人连 cz 列表 续四次访问服务页面，这是在中禁止它们的一个很好的理由。

此外，在服务器日志的帮助下，您可以看到索引机器人的请求频率和主机方面的其他限制。

通常，机器人每秒访问大型站点 1-2 次，具体取决于它知道该站点的页面数量。如果您在日志中看到机器人访问您网站页面的频率大大降低，请检查您是否安装了 Crawl-delay 指令，它通常会干扰对大型资源的索引。

至于对托管服务提供商的限制，它会发生这样的事情。您向您的站点添加了一个新部分，机器人从站点地图文件中发现了它的存在，开始每秒发出 3-4 个请求，托管商看到这一点并开始更慢地响应机器人请求，阻止增加的活动。机器人看到网站开始响应变慢，减少了请求的数量，认为这会影响网站的运行，分别是搜索中更新信息的频率和速度下降。