DeepSeek V4.1 Flash 1017 EXL3 量化版发布
10 月 17 日,LibertAIDAI 发布 DeepSeek-V4.1-Flash-1017 的 EXL3 2.9bpw 量化版本,适配本地推理和显存受限场景。该版本要求使用 1017 checkpoint 的 Engram 分片,不能复用旧版 DeepSeek-V4.1-Flash 的表结构。
说明给出了两个必需模型的 LFS sha256 校验值,并指出 Engram 表位于 layers.1 与 layers.14,每张约 95 GiB,以 FP8 配合 E8M0 块缩放存储,使用时需从基础 checkpoint 读取,不包含在本仓库中。
用户需同时获取 model.safetensors.index.json 和 config.json 以确定 engram_layer_ids 和 engram_num_embeddings,并通过环境变量指定 HF_MODEL_REPO 与 HF_ENGRAM_REPO。