quaterion.eval.pair.retrieval_reciprocal_rank 模块

class RetrievalReciprocalRank(distance_metric_name: ~quaterion.distances.Distance = Distance.COSINE, reduce_func: ~typing.Callable | None = <built-in method mean of type object>)

基类: PairMetric

计算基于对的数据集的检索倒数排序 (Retrieval Reciprocal Rank)

计算检索到的第一个相关文档的排名的倒数。

参数:

• distance_metric_name – 用于计算距离或相似度矩阵的距离指标名称。可用名称可在 Distance 中找到。

• reduce_func – 用于聚合计算出的指标的函数。例如 torch.mean, torch.max 等。如果你想捕获一些自定义参数，functools.partial 可能会很有用。

示例

对一个查询的响应返回了 10 个文档，其中 3 个是相关的。假设相关文档的位置是 [2, 5, 9]。那么检索倒数排序计算为 1/2 = 0.5。

raw_compute(distance_matrix: Tensor, labels: Tensor)

计算检索精度

参数:

• distance_matrix – 嵌入之间的距离矩阵。假定嵌入到自身的距离是没有意义的。（例如等于矩阵中的最大元素 + 1）

• labels – 用于计算指标的标签。假定对象到自身的标签已设置为无意义。（例如设置为 0）

返回:

torch.Tensor - 计算出的指标

retrieval_reciprocal_rank(distance_matrix: Tensor, labels: Tensor)

给定距离矩阵和标签，计算检索倒数排序

参数:

• distance_matrix – 对角线上具有最大可能距离值的距离矩阵

• labels – 对角线上具有 False 或 0. 的标签矩阵

返回:

torch.Tensor – 检索倒数排序