← 大模型实施周报
English首页

第 8 期:llama.cpp 1.0 与 Vera Rubin 周

2026-11-11 ~ 2026-11-17 · 发布于 2026-11-17

本周是基础设施周。llama.cpp 与 ggml 同发 1.0:移除 35 个弃用函数、把 NextN 投机解码 API 提升为公共接口、加入 FP8 KV 缓存与主机内存 MoE 专家缓存,并承诺公共 C API 破坏性变更一律走大版本号——这是项目三年半以来第一次给出稳定化承诺。硬件侧,vLLM 公布 DeepSeek-V4.1-Flash 在 NVIDIA 新一代 Vera Rubin NVL72 上的数据:较 GB300 NVL72 吞吐提升 58 倍,单用户 P90 达 387 tok/s。多模态服务上,vLLM 上线编码器分离(EPD)架构;量化战线上,Unsloth 把 Dynamic V3.1 扩到 Qwen3.8 系列(GSQ-RCO 一方仍无公开回应);论文侧 FlashOffloading 给出昇腾 910C 上 KV 全量卸载到主机内存的系统方案。SGLang 首届峰会(11/12–13)同期在旧金山举行。

本周精选

发布

llama.cpp 1.0 发布

semver 承诺落地:FP8 KV 缓存与 MoE 专家缓存上线。

为什么重要:
llama.cpp 与 ggml 于 11 月 13 日同发 1.0:移除 llama_set_warmup 等 35 个弃用函数与 defrag_thold,把 NextN 投机解码 API 从 llama-ext.h 提升为公共头文件接口;新增 OCP FP8 KV 缓存(-ctk/-ctv f8_e4m3,可选静态逐张量缩放)与主机内存 MoE 专家缓存(moe_cache_size、moe_cache_cpu_share,LRFU 替换);支持 Kimi-K3.1-Pro、Ripple-65B-Preview、xing4_0、drama-3 TTS 及两个视觉模型,累计 150 余种架构。同时承诺:公共 C API/ABI 不兼容变更一律 major 版本递增。llama-server 安全默认收紧:非 loopback 地址开工具/MCP 必须配 API key(或显式 --allow-unauthenticated-tools),HF_TOKEN 仅限 huggingface.co,修复 DNS rebinding 与 SSRF。
与端侧/边缘部署的关联:
直接相关:FP8 KV 给端侧长上下文省显存,专家缓存让小显存设备跑大 MoE,server 安全默认值变化影响所有自托管用户。

来源:GitHub llama.cpp Releases

发布

Vera Rubin 上 DeepSeek 58 倍吞吐

NVL72 上每卡 1.7M tok/s,单用户 P90 387 tok/s。

为什么重要:
vLLM 官方博客(11/12)给出 DeepSeek-V4.1-Flash 在 NVIDIA 新一代 Vera Rubin NVL72 上的 serving 数据:在 SemiAnalysis AgentX 基准上较 GB300 NVL72 吞吐提升 58 倍,每 GPU 达 170 万 tok/s;按交互性口径,单用户 P90 达 387 tok/s。这是新硬件发布当周的官方适配数据,也是'每用户速度'取代'每卡吞吐'作为 headline 指标的又一例。
与端侧/边缘部署的关联:
无直接关联;但 387 tok/s/用户的交互性基准正在成为服务体验共识,会传导到端侧产品的速度预期。

来源:vLLM Blog

发布

vLLM 编码器分离 EPD

多模态编码器独立成服务,支持跨编码器缓存。

为什么重要:
vLLM 博客(11/11)介绍编码器分离(EPD)架构:视觉/音频编码器作为独立服务运行,与 LLM 解码进程解耦;支持仅元数据的多模态请求、远程 embedding 传输、跨编码器缓存与更低开销的 EPD 路由,目标是把多模态 serving 的扩展性问题从解码引擎里拆出去。
与端侧/边缘部署的关联:
端侧多模态设备可借鉴同一思路:编码器常驻、解码器按需加载,缓解小内存设备的多模态部署压力。

来源:vLLM Blog

工具

UD V3.1 扩至 Qwen3.8 系列

新增 Qwen3.8 系列,1-bit 版达 54.0% DeepSWE。

为什么重要:
Unsloth 的 Dynamic V3.1 量化(11/11 文档更新)覆盖 Qwen3.8-27B、DeepSeek-V4.1-Flash-1017 与 Qwen3.8-Flash-Next,官方口径为同尺寸下精度提升 10–15%、token 用量减少 50%。其中 Qwen3.8-Flash-Next 的 1-bit 量化在 DeepSWE v1.1 达 54.0%、Terminal Bench 2.1 达 68.3%;DeepSeek-V4.1-Flash-1017 的 IQ1_S 达 65.8%(DeepSWE)/ 69.5%(TB)。对上周复现质疑,ISTA/GSQ-RCO 一方截至本周仍无公开回应。
与端侧/边缘部署的关联:
直接相关:Qwen3.8-Flash-Next 的 1-bit GGUF 让单卡 12GB 跑旗舰 Agent 模型成为可能,是本地 Agent 部署的选型依据。

来源:Unsloth Docs

论文

FlashOffloading 主机内存 KV 卸载

PD 分离下 KV 全量卸载到主机内存,吞吐 1.38–1.91 倍。

为什么重要:
长上下文下 KV 缓存顶满 HBM、并发上不去,卸载到主机内存又引入管理开销。FlashOffloading 给出按阶段划分的架构:prefill 用四层滚动 HBM 缓存流水线重叠加载、计算与写回;decode 用热缓存加反向稀疏索引(miss 查找零额外开销),配合稀疏注意力内核重叠 H2D 传输。在昇腾 910C PD 分离平台上部署 GLM-5.2 与 MTP3 投机解码,30ms TPOT 约束下 prefill 吞吐最高提升 1.38 倍、decode 1.91 倍,512K 至 1M 长上下文从'装不下'变为可服务。
与端侧/边缘部署的关联:
昇腾是服务器侧硬件;但'把主机内存当 KV 扩展层、与计算重叠'的思路与统一内存设备的显存管理同构,端侧长上下文可借鉴。

来源:arXiv 2611.07542

一句话速览

本周真信号 vs 噪音

信号 推理生态进入稳定化阶段

llama.cpp 1.0 给出 semver 承诺、vLLM 0.33 收紧默认并清理旧架构、SGLang 开首届峰会,三件事说明生态从功能竞赛转向企业级稳定与治理。下游应用和发行版可以开始认真做长期版本规划了。

信号 新硬件代际的适配速度成为常态

Vera Rubin 发布当周即有 vLLM 官方 58 倍数据,昇腾 910C 上出现 FlashOffloading 这类针对性系统论文。'硬件发布一周内引擎适配'已从亮点变成入场券,会持续。

噪音 峰会与 Day-0 公告仍缺第三方数据

SGLang 峰会与 Inkling 2、H3-Image 等 Day-0 公告多为发布方口径,评测数据未独立复现;等社区实测再定权重。

值得 star / 精读

下周盯梢清单

本期内容由编辑根据公开信息源整理,所有链接均指向原始出处;如有个别信息在发布后更新,以来源页面为准。