事实上，改进搜索甚至使其完美适用于一个查询是非常简单的。对所有用户和所有查询进行这样的搜索要困难得多。因此，为了向上面的示例添加更多统计信息，您需要设置一整组查询，并相应地开始对这些大量结果进行测量。这是所有可以在这个地方应用的统计标准开始起作用的地方：

之后，结果（关于哪个版本的 PS 更好的报告）已经可以显示给项目经理或搜索分析师。

质量评估工具为了收集请求的控制样本

使用了日志挖掘器，其任务是收集尽可能多的请求样本并学习如何更新它。为了使数据不偏向影响搜索的某些时 新西兰手机号码列表 间现象（节假日、周末、新年），在相当长的时间内尽可能多地获取用户日志。

下一个工具是 Scraper。它适用于两个系统 – 控制（PS 的当前版本）和测试版（PS 的任何更改版本，其质量需要评估）。该工具的任务是同时抽取这两个系统并为它们获取搜索答案。

下一个系统是接收评估信号的系统

从历史上看，Yandex 使用手动标 cz 列表 记接收第一个信号，在评估员的帮助下，该工具的任务是监控评估员信号的质量。

连接工具是 Metrics，它汇总所有评估者的质量分数，向 Scraper 发送请求，接收信号，计算指标并为用户提供一个界面，用于工作和详细分析两个版本的 PS 中发生的事情。

这样一个系统，在这个特定的架构中，存在了很长时间。开发人员的任务是添加新信号和新度量计算。随着时间的推移，需要添加越来越多的新信号，因此必须扩展系统并添加更多服务。