快捷导航

quaterion.train.cache.cache_config 模块

class CacheConfig(cache_type: ~quaterion.train.cache.cache_config.CacheType | None = CacheType.AUTO, mapping: ~typing.Dict[str, ~quaterion.train.cache.cache_config.CacheType] = <factory>, key_extractors: KeyExtractorType | ~typing.Dict[str, KeyExtractorType] = <factory>, batch_size: int | None = 32, num_workers: int | None = None, save_dir: str | None = None)[source]

基类:object

确定缓存设置。

这个类应该被传递给 configure_caches()

batch_size: int | None = 32

在缓存过程中用于 CacheDataLoader 的批大小。它不影响其他训练阶段。

cache_type: CacheType | None = 'auto'

用于那些未在映射中设置的可缓存编码器的缓存类型。

key_extractors: KeyExtractorType | Dict[str, KeyExtractorType]

编码器到键提取函数的映射,缓存不可哈希对象所需的。

mapping: Dict[str, CacheType]

encoder_nameCacheType 的映射

num_workers: int | None = None

在缓存过程中用于 CacheDataLoader 的 worker 数量。它不影响其他训练阶段。

save_dir: str | None =None

如果提供此参数,缓存将保存到给定目录,并在多次启动之间重复使用。

class CacheType(value)[source]

基类:str, Enum

用于缓存的可用 tensor 设备。

AUTO = 'auto'

如果 CUDA 可用,则使用 CUDA,否则使用 CPU。

CPU = 'cpu'

tensor 设备是 CPU。

GPU = 'gpu'

tensor 设备是 GPU。

NONE = 'none'

禁用缓存

KeyExtractorType

从输入对象提取哈希值的函数类型。如果无法通过其他方式区分用于缓存的值,则需要此参数。

Callable[[Any], Hashable]] 的别名

Qdrant

了解更多关于 Qdrant 向量搜索项目和生态系统的信息

探索 Qdrant

相似性学习

探索使用相似性学习解决实际问题

学习相似性学习

Linkedin Twitter Discord

找到处理类似问题的人,并获得问题的答案

加入社区