← 大模型实施周报
English首页

第 3 期：Rubin day-0 与 KV 压缩的工程化拐点

2026-10-07 ~ 2026-10-13 · 发布于 2026-10-14

本周 vLLM 连发三篇性能博客：Vera Rubin NVL72 的 day-0 适配（官方称 AgentX 单卡吞吐为 GB200 的 7.8 倍）、DeepSeek V4.1-Flash 发布三周复盘（低并发延迟降低 47%、AgentX 吞吐提升 5 倍）、以及面向多轮负载的双向 KV 传输（TTFT 最高改善 3.3 倍）。新硬件与多轮 agent 负载的红利，正在被引擎以发布日为单位兑现。工具侧，antirez 的纯 C 引擎 ds4 数日收获 2.3 万星，llama.cpp 一周六次构建覆盖 Hexagon、SYCL、OpenCL、Vulkan。论文侧 KV 压缩集中爆发：Dual-QK 把 KV 压到 2-bit 并叠加查询通道剪枝，STEPQuant 则为线性注意力的循环状态给出第一条实用量化配方，两者均带 SGLang 实现。

本周精选

发布

vLLM 适配 Rubin NVL72

发布日支持 Rubin NVL72，官方称单卡吞吐为 GB200 的 7.8 倍。

为什么重要：
配套 Rubin 调优的 FlashInfer 内核与 locality-aware MoE 调度，官方口径 AgentX 单卡吞吐达 GB200 NVL72 的 7.8 倍。新硬件的推理红利从发布第一天起就被引擎完整兑现，引擎的内核工程带宽已是核心竞争力。
与端侧/边缘部署的关联：
数据中心级方案，端侧暂无直接关联；其内核与调度思路后续可能下放到工作站与 RTX 路径。

来源：vLLM Blog

发布

V4.1-Flash 三周提速 5 倍

发布三周：低并发延迟降低 47%，AgentX 吞吐提升 5 倍。

为什么重要：
手段是 SWA 有界回放、CUDA Graph 融合与模型自带内核的混合使用，固定交互性下单卡吞吐从 27k 升至 144k tok/s（155 tok/s/user 工作点）。“模型团队出内核、引擎团队做调度”的协作模式已成为旗舰模型落地的事实标准。
与端侧/边缘部署的关联：
SWA 有界回放一类的时间局部性技巧，对端侧长上下文推理有借鉴价值。

来源：vLLM Blog

发布

双向 KV 传输改善 TTFT

prefill 复用 decode 侧已算 KV，长多轮 TTFT 最高改善 3.3 倍。

为什么重要：
在 PD 分离部署中，后续轮次不再需要在 prefill 侧重算整个前缀，prefill 节点直接复用 decode 节点已生成的 KV。对多轮 agent 负载，冗余 prefill 被基本消除，20k token 输入下 TTFT 从约 2300ms 降至约 700ms。
与端侧/边缘部署的关联：
“算一次、多处复用”的思路同样适用于端侧多会话、多 agent 共享上下文的场景。

来源：vLLM Blog

工具

antirez 开源 ds4 引擎

Redis 作者纯 C 实现 DeepSeek 4 本地推理，数日获 2.3 万星。

为什么重要：
支持 DeepSeek 4 Flash/PRO，覆盖 Metal、CUDA、ROCm 三后端。一线系统程序员对着全新架构写推理引擎，代码质量预期高于典型个人项目，可作为 llama.cpp 之外的第二参照实现来精读。
与端侧/边缘部署的关联：
核心场景就是 Apple Silicon 与消费级 GPU 的单机推理，端侧即主场。

来源：GitHub Trending / coddykit 分析

工具

llama.cpp 边缘后端连更

一周六次构建，覆盖 Hexagon、SYCL、OpenCL、Vulkan 后端。

为什么重要：
窗口内的高光：面向高通 DSP 的 Hexagon DMA 标量广播、SYCL 的 Q5_K reorder-layout MMVQ 与融合 GLU、Gemma-4 的 OpenCL 解码优化，以及一处 busy slot 下 prompt cache 更新时序的服务端修复。手机 DSP、核显、移动 GPU 的维护密度已与 CUDA 主线相当，边缘后端不再是支线任务。
与端侧/边缘部署的关联：
直接相关：本周修的全是端侧与高分散硬件的推理路径。

来源：GitHub llama.cpp Releases（freedom.tech 收录）

论文

Dual-QK 2-bit KV 缓存

2-bit KV 量化叠加查询通道剪枝，缓存压至约 1/6.8。

为什么重要：
用一对非正交的 Q/K 变换同时照顾 INT2 量化的键值分布与查询能量集中；128K 上下文下 KV 读取量降低约 88%，SGLang 实现取得无剪枝 BF16 3.75 倍的解码吞吐。训练-free，已实现进引擎。
与端侧/边缘部署的关联：
2-bit 加通道剪枝正是端侧长上下文最缺的组合，且已有 SGLang 实现可对齐。

来源：arXiv 2610.09827

论文

STEPQuant 状态量化

按误差时空分布分配精度的线性注意状态量化。

为什么重要：
针对 delta-rule 循环状态的空间-时间后训练量化：6-bit 精度即在 Qwen3.8-27B 与 Kimi-Linear-48B-A3B 上逼近 FP32 状态，循环状态内存降低逾 80%，整体 serving 内存最高降 68.7%。代码开源并已集成 SGLang。
与端侧/边缘部署的关联：
端侧线性注意模型的固定大小循环状态正成为新的显存瓶颈，这是它的第一条实用量化配方。

来源：arXiv 2609.38169

一句话速览

本周真信号 vs 噪音

信号 KV 压缩研究进入工程化收敛期

一年前 KV 论文还在提各种逐出策略；本周同一窗口内出现 2-bit 量化加通道剪枝（Dual-QK）、跨层 value 合并（VFold）、排练式选择（Attic-KV），几乎全部 training-free 且至少两项带 SGLang 集成。研究重心已从“提出新方法”转向“可组合、可直接进引擎的组件”，这个趋势会持续到 2027 年。

信号 旗舰硬件 day-0 适配成为引擎标配

vLLM 在 Rubin NVL72 发布当天给出完整支持，又在 DeepSeek V4.1-Flash 发布三周后交出 5 倍复盘的作业。内核工程带宽而非功能清单，正在决定 serving 引擎的竞争位次。

噪音 厂商倍数与星数都不是能力本身

7.8 倍、5 倍、3.3 倍均出自厂商博客与配套基准（AgentX、InferenceX），方向可信、绝对值不可横向比较。同理，ds4 的 2.3 万星更多度量了 antirez 的声望遇上 DeepSeek 的热度；读代码，不读计数。

值得 star / 精读

下周盯梢清单

本期内容由编辑根据公开信息源整理，所有链接均指向原始出处；如有个别信息在发布后更新，以来源页面为准。