第 5 期：多租户 KV 安全与不可移植的加速比

Python 3.10 移除，max_tokens 语义变更等破坏性更新。

为什么重要：

v0.32.0 于 10 月 18 日发布：最低 Python 版本升到 3.11，默认 CORS origin 收紧，cascade attention 与 mamba_cache_mode='all' 移除；`max_tokens` 不再从上下文窗口预留，客户端长上下文行为可能变化。Model Runner V2 继续补全：GPU n-gram 投机器、Elastic EP 的 drain-then-commit 扩缩容、MLA 模型的 PP+PCP、STOCK_TORCH_COMPILE 模式。

与端侧/边缘部署的关联：

无直接关联；但 max_tokens 语义变化影响所有自托管部署的客户端，边缘网关同样需要适配。

来源：GitHub vLLM Releases

PD 分离下失败传输写穿他人 KV，官方协调披露。

为什么重要：

Cloudflare 9 月在生产中发现并向 SGLang 报告：PD 分离架构下，失败的 Mooncake/NIXL KV 传输仍被 ack 为已排空，decode 侧提前释放槽位，残留写入可能落入其他请求的 KV 缓存，构成跨租户数据泄露。修复采用延迟释放策略（#43719、#45973 等），已随 v0.5.22/v0.5.23 发布；10 月 26 日双方联合披露完整时间线。

与端侧/边缘部署的关联：

端侧单用户场景不受影响；但共享 KV 生命周期设计在多租户边缘网关同样是需要审计的面。

来源：LMSYS Blog

SGLang/vLLM 通过 TorchTPU 上 TPU，随演讲开源。

为什么重要：

PyTorch 大会（10/21）的 Meta×Google 联合 session 宣布：新的 PyTorch 原生 TPU 后端让 SGLang 和 vLLM 在保留各自调度器、batching 与 OpenAI 兼容 API 的前提下跑在 Cloud TPU 上，覆盖 Pallas attention、FP8 MoE（含 Qwen3-Coder-480B）、PD 分离与投机解码，两边代码随演讲开源。同会期富士通给出 vLLM+OpenVINO 在 Arm 上的数据：Graviton3e 上 GPT-OSS/Llama 吞吐约 2 倍。

与端侧/边缘部署的关联：

TPU 与端侧无关；Arm CPU 这条路线（SVE 优化 SDPA、U8 KV 量化）对边缘服务器有借鉴意义。

来源：PyTorch Blog

VTCM 内存大小可配置，适配高通各档设备。

为什么重要：

b11913 为 Hexagon 后端新增 GGML_HEXAGON_VTCM_SIZE、GGML_HEXAGON_VTCM_MB 等环境变量，可显式配置向量紧耦合内存（VTCM）大小，便于在不同档位的骁龙设备上调优片上推理性能。本周 llama.cpp 还合入了 Flint 模型架构支持（b11803）和 Realtime API 音频提交时序修复（b11828）。

与端侧/边缘部署的关联：

直接面向高通设备的端侧调优：VTCM 是 Hexagon NPU 的片上内存，配好大小直接影响量化模型的实际吞吐。

来源：GitHub llama.cpp Releases

免训练把 MLA 缓存量化到 2.5 bit、扩容 6.5 倍。

为什么重要：

MLA 缓存的是压缩 latent 和携带位置信息的窄 positional key，两者角色不同，套用传统 MHA 量化会丢精度。RAQ-MLA 为两种张量分别拟合可逆变换（latent 对齐注意力加权的 value 误差，positional key 对齐 score 扰动），免训练把完整 MLA 缓存量化到约 2.5 bit/元素，理论 KV 容量提升 6.5 倍，四个 MLA 模型上推理和代码任务近无损。

与端侧/边缘部署的关联：

MLA 已是端侧强模型的主流注意力（DeepSeek、Kimi 系），该方法是首个针对 MLA 缓存结构的免训练量化方案。

来源：arXiv 2610.33625

投机解码在 Apple 上反降吞吐，加速比不可移植。

为什么重要：

作者在 4 台 Apple 设备上系统评估四类推理优化：KV 剪枝最高 1.75 倍端到端吞吐，但在桌面 NVIDIA 上反而降速；所有被测投机解码方法在 Apple 上都降低吞吐（尽管服务器 GPU 报告 2–6 倍增益）；CUDA 内核设计仅部分迁移（公开 Metal 缺少异步拷贝），可迁移组件带来最高 1.20 倍 decode 吞吐。结论：加速比是技术×运行时×硬件契约×负载的联合函数，不是技术本身的属性。

与端侧/边缘部署的关联：

端侧选型必读：为 Apple Silicon 选优化时，应优先验证 KV 剪枝类方案而非照搬服务器端的投机解码结论。

来源：arXiv 2610.31479

草稿 KV 自适应刷新，8K 预算保持 98% 接受率。

为什么重要：

投机解码的草稿模型也要扛长输出的 KV 缓存，而基于 prefill 信息的选择式压缩会随输出变长而失效（作者称为 decode staleness）。RIFT 在生成过程中刷新缓存选择、用自适应策略减少打分开销，并加入基于稀疏注意力掩码的可压缩性训练；最终让 Qwen3.5-4B（为 Qwen3.5-122B 起草）在 32K 输入、4K 输出、8K KV 预算下保留超过 98% 的满缓存接受长度。

与端侧/边缘部署的关联：

端侧长输出 Agent 场景同时需要投机解码和内存约束，草稿侧 KV 压缩正好补上这个交叉点。

来源：arXiv 2610.31098