quaterion.eval.evaluator 模块

class Evaluator(metrics: BaseMetric | Dict[str, BaseMetric], sampler: BaseSampler)

基类: object

计算整个数据集上的指标

计算整个数据集或其采样部分的指标。评估可能是一个耗时且占用内存的操作。

参数：

• metrics – 用于计算的指标实例字典

• sampler – 采样器用于选择嵌入和标签以执行部分评估

evaluate(dataset: Sized | Iterable | Dataset, model: SimilarityModel) → Dict[str, Tensor]

计算数据集上的指标

参数：

• dataset – 大小可测量的对象，例如列表、元组、torch.utils.data.Dataset 等，用于计算指标

• model – 用于执行对象编码的 SimilarityModel 实例

返回值：

Dict[str, torch.Tensor] - 计算出的指标字典