第 6 期：量化评测的可复现性之战

新量化算法称全面优于 GSQ-RCO，且无法复现对方数据。

为什么重要：

Unsloth 发布 Dynamic V3.1 预览算法与新的 DeepSeek-V4.1-Flash-1017 GGUF，配套 35.1B token 评测（约为此前 27 倍），覆盖 Terminal Bench 2.1、DeepSWE v1.1 等 Agent 基准；结论是其量化在几乎全部设置下优于 ISTA 的 GSQ-RCO，且 GSQ-RCO 宣称的 100% AIME25 恢复无法复现。Unsloth 同时承认低 bit 量化会拉长推理链，需要预留更多 reasoning 预算。

与端侧/边缘部署的关联：

直接决定本地能否跑 DeepSeek V4.1（552B+196B Engram）：256GB Mac 或双 DGX Spark 用户的量化选择直接受其结论影响。

来源：Unsloth Docs

俄罗斯套娃式专家量化，树莓派 5 上提速 1.3–3.7 倍。

为什么重要：

MatMoE 让同一专家可在多个精度下灵活运行（Matryoshka PTQ），用 floor-and-compensation 方法消除多层表示的冗余访存，再按路由分数动态分配 bit 宽以满足延迟约束。系统在 llama.cpp 上实现（CPU 与 GPU），三个 MoE 模型上比静态混合精度准确率高 4.0–18.3%，树莓派 5 上提速 1.3–3.7 倍，RTX 4090 与 Jetson AGX Orin 上 1.2–1.3 倍。

与端侧/边缘部署的关联：

罕见地在树莓派 5 和 Jetson 上有实测数字的 MoE 量化工作，边缘设备的 MoE 部署路线（动态 bit 宽）值得跟踪。

来源：arXiv 2611.01704

线性递归模型的状态量化管线，vLLM 端到端提速。

为什么重要：

论文指出线性递归模型的量化问题与 softmax Transformer 不同：权重与激活（extra-state）因衰减递归残差离群通道更弱而更好量化；真正的难点是 decode 时反复更新的递归状态（intra-state）。LoReS 组合值轴尺度分组、按衰减速度的混合精度与随机舍入，在 Qwen-3.5 9B、Nemotron-H 8B、Kimi-Linear 48B-A3B 上实现稳健的 8-bit 状态量化，并已在 vLLM 中实现、带来端到端 decode 加速。

与端侧/边缘部署的关联：

线性模型的固定大小状态天然适合端侧长解码，状态量化补齐了这类架构部署的最后一块；vLLM 集成意味着服务端同源可用。

来源：arXiv 2611.01864

双参数闭式网格，NVFP4 的 KLD 最多降 67%。

为什么重要：

块缩放查表（LUT）格式（NF4、BOF4 到 Rubin 的 3-bit LUT 指令）的网格此前要么照搬数值类型、要么假设权重分布；作者证明最优固定网格随 bit 宽变化（2 bit 用 BOFS、4/5 bit 用 NF、6 bit 用 INT）。SHq 用两个参数——插值均匀到类浮点间距的 companding 强度 α，和利用 FP8 块尺度符号位做镜像的偏移 c——闭式定义整个网格族，只改查表内容即可 drop-in 替换。3–4 bit 下全部设置 KLD 最低，较最优固定网格最多提升 34%；4.5 bit 时把 NVFP4 的 KLD 降低 41–67% 并改善下游精度。

与端侧/边缘部署的关联：

LUT 类格式正是端侧量化的主流实现方式，只换网格不改内核的特性意味着 llama.cpp/MLC 类栈可以低成本吸收。

来源：arXiv 2611.02966

4-bit 量化不掉精度，但把一次性解题变成循环修错。

为什么重要：

作者在 OJBench 上对比 BF16 与 4-bit AWQ/GPTQ 的编码 Agent（Qwen2.5-Coder 7B/14B/32B、Devstral-Small-2507），三颗种子下最终分数均无统计显著损失；但行为发生实质变化：AWQ 让 Qwen-7B 的一次通过解题从 17 降到 0，循环修错式解题从 10 升到 25，量化后失败模式分布也随之改变。结论：编码 Agent 的量化鲁棒性应结合解题轨迹、工具调用与失败模式评估，只看最终分数会漏掉这些。

与端侧/边缘部署的关联：

端侧编码 Agent 多用小模型加执行循环的架构，该文给出比'掉多少分'更贴近实际体验的评估口径。

来源：arXiv 2611.02368

MLX 后端新增 DFlash2，gemma/flint/laguna 预填充提速。

为什么重要：

v0.40.12（10/27）为 MLX 与 MLX-C 引擎加入 DFlash2 投机解码支持，并对 gemma/flint/laguna 模型提升预填充速度，llama.cpp 依赖升级到 b11901；随后 v0.40.13（10/29）把 Liquid AI 的 LFM3 系列（含 lfm3-audio 语音合成与 lfm3-omni）带到 Linux 与 Windows。

与端侧/边缘部署的关联：

Ollama 在 Apple Silicon 上默认走 MLX 引擎后，DFlash2 补齐了该路径的投机解码能力，Mac 本地推理的 decode 速度直接受益。

来源：GitHub Ollama Releases