quaterion.train.cache 包

子模块

• quaterion.train.cache.cache_config 模块
  • CacheConfig
    • CacheConfig.batch_size
    • CacheConfig.cache_type
    • CacheConfig.key_extractors
    • CacheConfig.mapping
    • CacheConfig.num_workers
    • CacheConfig.save_dir
  • CacheType
    • CacheType.AUTO
    • CacheType.CPU
    • CacheType.GPU
    • CacheType.NONE
  • KeyExtractorType
• quaterion.train.cache.cache_encoder 模块
  • CacheMode
    • CacheMode.FILL
    • CacheMode.TRAIN
• quaterion.train.cache.cache_model 模块
• quaterion.train.cache.cache_train_collator 模块
• quaterion.train.cache.in_memory_cache_encoder 模块

模块内容

class CacheConfig(cache_type: ~quaterion.train.cache.cache_config.CacheType | None = CacheType.AUTO, mapping: ~typing.Dict[str, ~quaterion.train.cache.cache_config.CacheType] = <factory>, key_extractors: KeyExtractorType | ~typing.Dict[str, KeyExtractorType] = <factory>, batch_size: int | None = 32, num_workers: int | None = None, save_dir: str | None = None)

基类： object

确定缓存设置。

此类别应传递给 configure_caches()

batch_size: int | None = 32

缓存过程中在 CacheDataLoader 中使用的批处理大小。它不影响其他训练阶段。

cache_type: CacheType | None = 'auto'

用于映射中未设置的可缓存编码器的缓存类型

key_extractors: KeyExtractorType | Dict[str, KeyExtractorType]

编码器到键提取器函数的映射，用于缓存不可哈希对象。

mapping: Dict[str, CacheType]

encoder_name 到 CacheType 的映射

num_workers: int | None = None

缓存过程中在 CacheDataLoader 中使用的 Worker 数量。它不影响其他训练阶段。

save_dir: str | None = None

如果提供，缓存将保存到给定目录并在启动之间重复使用

class CacheType(value)

基类： str, Enum

可用于缓存的可用张量设备。

AUTO = 'auto'

如果可用，使用 CUDA，否则使用 CPU。

CPU = 'cpu'

张量设备是 CPU。

GPU = 'gpu'

张量设备是 GPU。

NONE = 'none'

禁用缓存