本周精选
发布
vLLM v0.33.0 发布
默认批处理 token 翻倍，十个旧模型架构移除。
- 为什么重要：
- 927 个提交、389 位贡献者：max_num_batched_tokens 默认从 8192 提到 16384，Mamba 模型默认开前缀缓存，新增请求准入控制参数；破坏性变更包括十个弃用模型架构移除、FlexOlmo/Olmo3/Hunyuan V1/VL 迁到 Transformers 后端、PyAV 视频解码移除、CUDA 12.9 构建停止。新模型含 Reflection Beam-1.0（501B MoE/23B 激活）与 Kimi K3 NVFP4 checkpoint。
- 与端侧/边缘部署的关联：
- 无直接关联；但默认批处理翻倍与准入控制参数同样影响小规模自托管和边缘网关的容量规划。
来源：GitHub vLLM Releases
发布
SGLang v0.5.23 发布
DSpark 支持 PD 分离下的 DCP，CPU 模拟器上线。
- 为什么重要：
- DSpark 投机解码可在 PD 分离加解码上下文并行下工作（Kimi-Linear 等混合模型，8× B300 上经 NIXL/Mooncake 验证到 256K 输入）；Responses API 存储改为 opt-in；CPU-only 的 SGLang Simulator 用真实调度器与延迟预测器模拟服务，TTFT 预测误差约 6%（最长 32K–128K 轨迹上 10%）、前缀复用预测误差 0.05 个百分点；prefill CP v1 移除。
- 与端侧/边缘部署的关联：
- Simulator 让无 GPU 环境也能做容量与缓存策略评估，对边缘集群选型有直接帮助；DSpark DCP 属数据中心特性。
来源：GitHub SGLang Releases
工具
Kinference：KV 感知路由控制面
Buoyant 开源控制面，共享前缀下 TTFT 降 95%。
- 为什么重要：
- Linkerd 母公司 Buoyant 于 11 月 4 日开源 Kinference（Apache 2.0，Rust，v0.1.0-alpha.7）：监听 vLLM 的 KV 缓存事件与引擎指标，按声明式策略（5 个 Kubernetes CRD）路由请求，而非 kube-proxy 的轮询。自家基准（3× L40S）上共享前缀负载中位 TTFT 从 6.88s 降至 0.31s，goodput 提升 7.4 倍（共享前缀）与 3.5 倍（多轮）；无共享前缀的对照组无增益。底层复用 NVIDIA dynamo-kv-router。明显短板：alpha 阶段，限流、语义分类、Anthropic 消息接口、多副本运行均未实现。
- 与端侧/边缘部署的关联：
- 单箱部署用不上；多副本边缘集群需要路由策略层时，这是 Apache 2.0 的起步选项之一。
来源：vLLM Blog
发布
llama.cpp 支持 Kimi K3.1-Pro
支持混合注意力新架构，融合 NVFP4 门控矩阵乘。
- 为什么重要：
- b12180 支持 Kimi-K3.1-Pro 的混合注意力（全注意力 MLA 与稀疏 DSA 层组合）；b12121 在 CUDA 的 MMQ 中融合 NVFP4 门控与门控线性单元矩阵乘，直接利好 NVFP4 量化模型的推理速度；b12119 为 Hexagon 后端新增 indexer 算子。
- 与端侧/边缘部署的关联：
- Kimi K3.1-Pro 可在本地运行；NVFP4 融合让 RTX 级显卡跑 FP4 量化的 decode 更快，Hexagon 补丁延续高通路线。
来源：GitHub llama.cpp Releases
论文
BitDecoding-FP4 原生 FP4 KV 解码
算法-系统协同的 FP4 KV 解码，B300 吞吐 2.4–3 倍。
- 为什么重要：
- 针对 NVFP4/MXFP4 KV 缓存，论文用三项算法修正压住精度：双残差查询量化把 query logit 误差从 60% 降到 1%、下溢感知的概率缩放防止长上下文概率被舍入为零、离群感知的 Key 量化组合平滑与 Hadamard 旋转。系统侧用转置 softmax 融合概率量化消除 softmax 瓶颈。 dense 与 MoE、GQA 与 MLA 模型上与 BF16 KV 差距不超过 0.5 分（NVFP4），RL rollout 中稳定；B300 上 Qwen3-4B 与 Qwen3-30B-A3B 峰值吞吐较 BF16 KV 提升 2.4–3.0 倍。代码已开源。
- 与端侧/边缘部署的关联：
- B300 是数据中心卡，但 FP4 KV 的误差控制思路（查询拆分、概率缩放）可迁移到端侧 FP4 内核实现。
来源：arXiv 2611.09825
论文
LoopVQ 循环模型亚 1-bit KV 量化
循环 Transformer 的 0.5-bit KV 量化，SGLang 已集成。
- 为什么重要：
- 循环模型每层参数复用省显存，但每个循环步仍存自己的 KV，缓存随步数线性增长。LoopVQ 发现缓存沿循环轴高度冗余、各步敏感度差异大，于是跨步联合编码通道并微调码表对齐全精度输出：0.5 bit/元素下在通用、长思维链与长上下文检索任务上超过面向标准 Transformer 的现有向量量化方法；与 TaSQ 组合后 0.25 bit 仍保留大部分 BF16 精度。SGLang 实现中 32K 上下文 decode 延迟近减半，1.4B 与 2.6B Ouro 模型峰值吞吐分别提升 4.3 倍与 6.1 倍。
- 与端侧/边缘部署的关联：
- 循环小模型（Ouro、Huginn 级）是端侧友好架构，0.5-bit KV 进一步压低其长上下文内存占用，SGLang 集成意味着服务端同源。
来源：arXiv 2611.05304
论文
StrataFlux 层级内存低比特推理
从内存层级回流精度，救回 2-bit 量化的准确率。
- 为什么重要：
- StrataFlux 把主机内存与 SSD 变成额外精度的来源：选择性精度流式传输减少传输量、与计算重叠、并在 decode 步间复用已取回的精度。2-bit 权重的 Llama-3.1-8B-Instruct WikiText-2 困惑度从 9.46 降到 8.40 且保住量化基线 95.4% 的吞吐（RTX 5090）；2-bit 权重加 KV 的 Qwen3-8B 在 AIME 2024/2025 上从 11.0% 回到 47.1%，GPU 显存占用不变；128K 上下文下 3-bit 权重加 2-bit KV 以约一半显存达到 vLLM 4-bit AWQ 加 8-bit KV 相当的困惑度与速度。评测覆盖独显与统一内存平台。
- 与端侧/边缘部署的关联：
- 统一内存平台有专门评测：Mac 与集成显卡类设备可用大内存回流精度，弥补 2-bit 量化的精度损失。
来源：arXiv 2611.08363