第 4 期：推理栈的异构化与 KV 预算分配

主栈上苹果芯片，M4 Pro 实测 65.9 tps。

为什么重要：

v0.5.22 为 Apple Silicon 提供标准 PyTorch/MPS 后端，Mac 首次跑通与 GPU 服务器一致的调度器、model runner 和内存池；官方在 M4 Pro 48GB 上测得 Qwen3-0.6B 离线 batch-4 的 65.9 tps 中位 decode 和 2531 tps prefill。该版本共 710 个 PR，启动时重叠加载权重让 Qwen3-32B 在 H100 上启动时间从 84.8s 降到 35.6s。

与端侧/边缘部署的关联：

直接面向 Apple Silicon 本地部署，在 MLX 之外新增一条主栈路径，内存规划也已适配统一内存实际上限。

来源：GitHub SGLang Releases

MI355X 单卡吞吐追平 HGX B300。

为什么重要：

vLLM 官方博客给出 Kimi K3 在 AMD Instinct MI355X 上达到 HGX B300 单卡吞吐的数据，是 AMD 旗舰卡在 Agent 负载上与 NVIDIA 公开对位的一次少见测量。

与端侧/边缘部署的关联：

与端侧无直接关系；但若每卡性价比成立，小型私有化集群的硬件选型会更灵活。

来源：vLLM Blog

0.7.0 发布；Hexagon 新增 Q1_0/Q2_0。

为什么重要：

v0.7.0 于 10 月 15 日打 tag（前一版 v0.6.0 带来扩展 batch API、GLM-5.3-Flash 和 MTP 投机解码）；本周 Hexagon 后端连续合入 Q1_0/Q2_0 量化格式、Hadamard 运算与量化权重重排，Vulkan 后端新增 L2 友好的 workgroup 调度。

与端侧/边缘部署的关联：

Hexagon 是高通 DSP，Q1_0/Q2_0 支持把亚 2-bit 的推理路径带到骁龙类设备。

来源：GitHub llama.cpp Releases

safetensors 加载提速 4.8–7.5 倍。

为什么重要：

去掉逐张量拷贝、合并碎片 I/O 并跳过 host staging 后，PyTorch 推理系统的 checkpoint 加载提速 4.8–7.5 倍，NVMe 读取最高 28 GB/s；已支持并行加载、ROCm 与统一内存，10 月 20 日在 PyTorch 大会有闪电演讲。

与端侧/边缘部署的关联：

端侧与边缘设备的模型冷启动是大模型分发痛点，加载提速对首次运行体验影响明显。

来源：PyTorch Blog

按通道对敏感度分配精度的 2-bit Key 缓存量化。

为什么重要：

作者从 RoPE 通道对层面的 attention logit 扰动出发，发现查询–键通道对范数乘积大的位置主导量化误差；显著通道对在 prefill 阶段一次性标定、解码全程复用。平均 2.26 bit 精度即可追平以往 2.32–2.39 bit 的混合精度方法，且在 1.5 bit 下退化更平缓。

与端侧/边缘部署的关联：

Key 缓存量化是端侧长上下文的核心约束，标定一次全程复用的设计契合 decode 占主导的端侧负载。

来源：arXiv 2610.19605

学习式秩分配的低秩 KV 压缩，解码吞吐 3.3 倍。

为什么重要：

BELT 的可学习全局秩分配器在训练期软选择、部署期按预算硬选择，Key 侧目标直接对齐注意力分布。三个模型上最高 70% 低秩压缩，LongBench 超最强基线 23.3 分；与量化叠加后 KV 缓存体积减少约 94%（17.8×），配套 Triton 内核带来 3.3 倍端到端解码吞吐。

与端侧/边缘部署的关联：

低秩加量化给显存受限设备提供了又一条压缩路径，附带的 Triton 内核可用于借鉴。

来源：arXiv 2610.17966

固定显存预算下在层间与 token 间分配量化精度。

为什么重要：

论文把 KV 量化重构为资源分配问题：轻量离线 profiling 刻画层敏感度与 token 重要性，在固定内存预算下自动推导层间增强与 token 级保留的配比，推理时直接套用策略、无需在线搜索。在 Mistral、Llama、DeepSeek-Qwen、QwQ 上同预算一致优于单一粒度方法。

与端侧/边缘部署的关联：

端侧显存预算固定是常态，预算感知的精度分配比单纯压 bit 数更贴近部署实际。

来源：arXiv 2610.18642