第 2 期：推理引擎的秋季发布潮

v0.31.0：DeepSeek 升级，重启免重载，安全默认收紧。

为什么重要：

新 `vllm preload` 守护进程把量化后权重常驻显存，引擎重启不必重载；DeepSeek V4.1-Flash 默认启用 SM100 FlashMLA mega attention、MXFP8 与稀疏 MQA；per-request 多媒体参数默认拒绝不可信输入，生产安全水位提高。

与端侧/边缘部署的关联：

新增 DeepSeek V4 CPU 后端（AVX512/AMX 稀疏 MLA）与 cgroup 感知 KV cache 容量，x86 无 GPU 服务器和边缘小集群均可受益。

来源：GitHub vLLM Releases

779 PRs，PD 热切换，新增 Decisions API。

为什么重要：

PD serving 中 prefill/decode 实例无需重启即可互换角色，降低弹性扩缩容的调度碎片；Decisions API 把 LLM/VLM 变成低延迟分类/打分器，对 Agent 工作流的工具选择场景很实用。

与端侧/边缘部署的关联：

LFM2-VL 的 DSpark 投机解码已合并，端侧 VLM decode 1.66–2.56×；但端到端仍受 vision encoder 瓶颈限制。

来源：GitHub SGLang Releases

PyTorch 成唯一后端，移除 TensorRT engine。

为什么重要：

NVIDIA 正式去掉 TensorRT backend、AutoDeploy 和独立的 draft-engine 路径，把 PyTorch 定为统一执行层。对运维而言，配置项减少、报错更直接；对生态而言，'TensorRT-LLM' 未来将更像 PyTorch 推理优化套件而非独立编译器。

与端侧/边缘部署的关联：

端侧影响有限；但 DGX Spark Beta 支持本地/边缘小节点运行 GPT-OSS-20B/120B 等模型。

来源：NVIDIA TensorRT-LLM Release Notes

CPU-GPU 统一内存上调度多 Agent 推理。

为什么重要：

论文指出端侧多 Agent 的瓶颈不是单请求延迟，而是多个 Agent 在统一内存上的并发调度和上下文切换；提出基于任务图的调度器与内存感知的 KV 共享策略，在 Apple Silicon 和 Snapdragon 笔记本原型上把端到端任务完成时间降低 27–41%。

与端侧/边缘部署的关联：

直接面向端侧多 Agent 场景，给出 CPU-GPU 统一内存下的调度原型。

来源：arXiv 2610.03394

KL 散度无法反映压缩模型决策偏移。

为什么重要：

作者对比 dense 模型与 QAT/PTQ 量化、剪枝后的变体，发现 KL 散度低的模型仍会在关键 token 上发生决策翻转，导致代码生成等任务 pass@1 下降；建议用任务级翻转率和置信度下降 jointly 评估压缩方案。

与端侧/边缘部署的关联：

端侧量化部署常被迫用低比特；该指标比单一 perplexity/KL 更能预测真实精度损失。

来源：arXiv 2610.00694

macOS 默认后端从 llama.cpp 切换到 MLX。

为什么重要：

Apple Silicon 版本默认走 MLX 后，同模型在 M 系列芯片上的首 token 延迟和持续吞吐普遍改善，且与 Apple 原生内存模型对齐，减少统一内存下的不必要拷贝；对普通用户意味着“开箱即用的本地性能提升”。

与端侧/边缘部署的关联：

直接利好 Apple Silicon 端侧用户，是本地 LLM 工具链与平台原生后端进一步对齐的信号。

来源：GitHub Ollama Releases

通过打分选项而非生成文本作答。

为什么重要：

Hugging Face 博客介绍 llama.cpp 新增的 decision model 支持：输入候选选项，模型直接输出每个选项的分数，适合分类、偏好对齐和工具选择；相比生成答案再解析，延迟更低且输出更稳定。

与端侧/边缘部署的关联：

端侧部署的分类/决策场景可以用更小的模型、更低的延迟完成，适合本地 Agent 的工具调用路由。

来源：Hugging Face Blog