← 返回工具列表English

VRAM 估算器

根据模型参数量、量化方式与上下文长度估算 LLM 推理所需的 GPU 显存

模型结构（影响 KV 缓存）

估算结果

模型权重14.2 GB
KV 缓存0.22 GB
运行时开销1.44 GB
总计所需显存15.9 GB

常见显卡能否容纳

估算值仅供容量规划参考；实际占用随推理框架（vLLM、llama.cpp 等）、CUDA 上下文与激活值而变化。KV 缓存按所选量化精度的字节数计算。