quaterion.eval.group.retrieval_r_precision 模块

class RetrievalRPrecision(distance_metric_name: Distance = Distance.COSINE)

基类: GroupMetric

计算基于分组数据的召回 R-精确率得分

召回 R-精确率是 r/R 的比率，其中 R 是集合中给定查询的相关文档数量，r 是在该查询的 R 个最高得分结果中找到的真正相关文档的数量。

参数:

distance_metric_name – 用于计算距离或相似度矩阵的距离度量名称。可用名称可在 Distance 中找到。

示例

假设一个集合中包含给定查询的 20 个相关文档，并且模型能在 20 个最高得分结果中检索到其中 15 个，则召回 R-精确率计算为 r/R = 15/20 = 0.75。

raw_compute(distance_matrix: Tensor, labels: Tensor) → Tensor

对准备好的 distance_matrix 和 labels 执行指标计算

此方法不进行任何数据和标签准备。假设 distance_matrix 已经计算完毕，所需的更改（例如掩盖元素到自身的距离）已经应用，并且相应的 labels 已经准备好。

参数:

• distance_matrix – 已准备好进行指标计算的距离矩阵

• labels – 已准备好进行指标计算的标签，形状与 distance_matrix 相同。可能的值为 {0, 1}。

返回:

torch.Tensor - 计算出的指标值

retrieval_r_precision(distance_matrix: Tensor, labels: Tensor)

给定距离矩阵和标签，计算召回 r 精确率

参数:

• distance_matrix – 对角线上具有最大可能距离值的距离矩阵

• labels – 对角线上具有 False 或 0. 的标签矩阵

返回:

torch.Tensor – 平均召回 r 精确率