前言
正值空前的AI热潮，很多朋友都开始投身于开源模型的部署训练，由于硬件价格的上涨，GPU算力租用也逐渐展露到大家眼前，虽然租用GPU比起自己买硬件建设要便宜很多，但是租卡之前如果没有算过自己显存需求——比如一个要跑 7B 的开源模型做推理，跑去租 8 卡 H100，白白浪费钱，另一个准备微调 70B 模型，却只租了单卡 80G，跑起来不到十分钟就 OOM 报错了。
本文就来拆解一下显存有哪些具体的需求，如何根据各个需求来计算显存大小，这样租 GPU 算力的时候，自己心里就有数了。
显存都被什么吃掉了
很多人以为显存只装模型本身，实际上跑模型时显存被四块内容分掉：
模型权重：模型参数本身占的空间，这是大头
KV 缓存：推理时缓存的历史计算结果，上下文越长、并发越多，这块越大
激活值：计算过程中的中间结果，跟批大小和模型结构有关
框架开销：CUDA 上下文、框架自身占用的部分，一般固定吃掉 1GB 到 2GB
只算权重不算缓存，是大多数人显存预估翻车的原因。
权重怎么算：一个参数占多少字节
模型权重的大小，等于参数量乘以每个参数占的字节数，字节数由精度决定：
FP16 / BF16：每个参数 2 字节，目前最常用的精度
FP8 / INT8：每个参数 1 字节
INT4 量化：每个参数 0.5 字节
套进公式算几个常见规模（FP16 精度）：
7B 模型：70 亿参数 × 2 字节 ≈ 14GB
14B 模型：≈ 28GB
32B 模型：≈ 64GB
70B 模型：≈ 140GB
这组数字一出来，很多选型问题就很清楚了：7B 模型 FP16 推理，一张 24GB 的卡都绰绰有余；70B 模型 FP16 单张 80GB 的卡都装不下，要么上 H200（141GB 显存），要么做量化。
KV 缓存：上下文越长越吃显存
KV 缓存的大小跟模型层数、隐藏维度、上下文长度和并发数都相关，精确计算的话比较繁琐，有一个实际好记的粗略参考：7B 级别的模型，每一个并发请求、每 1000 token 上下文，大约消耗 0.5GB 显存（以主流开源模型结构估算，不同模型有差异，此处建议按实际模型核实）。
举例：7B 模型，4K 上下文，同时服务 8 个请求，KV 缓存大约就是 0.5 × 4 × 8 = 16GB。加上权重 14GB 和框架开销，一张 40GB 级别的卡就比较稳了。
所以同样是跑 7B 模型，自己调试（1 个请求）和做线上服务（几十个并发），需要的卡完全不是一个量级。
推理和训练，完全是两笔账
上面算的都是推理。如果你要微调，账还要重新算：
推理：权重 + KV 缓存 + 激活值，大约是权重的 1.2 到 1.5 倍
全量微调：除了权重，还要存梯度和优化器状态，用 Adam 类优化器时每个参数要额外占十几字节，总显存常常达到权重的 4 到 6 倍
还是拿 7B 模型举例：FP16 推理 14GB 就能跑，全量微调可能要 60GB 往上。这也是为什么很多团队微调时会选 LoRA 这类方案，只训练一小部分参数，显存需求能压下来一大截。
同一个模型，训练比推理贵好几倍，租卡之前先想清楚自己要干哪种活。
对着需求选卡：主流型号怎么对号入座
以 VMRACK 目前的 GPU 租用产品线为例（单卡、多卡、整机都可以租）：
H100（80GB 显存）：7B 到 70B 模型的推理和中小规模微调，成熟通用的选择
H200（141GB 显存）：70B 模型 FP16 推理、长上下文任务、显存密集型场景，大显存是它的核心优势
B200：新一代 Blackwell 算力，适合超大模型分布式训练和高并发推理，多卡起步
B300：面向超大模型训练和 AI 集群，整机或定制集群方案
选型思路很简单：先按前面的公式算出显存总需求，再看哪张卡的显存装得下，最后在装得下的卡里选性价比。7B 推理上 B300 属于典型的高射炮打蚊子；反过来，70B FP16 微调硬塞单卡 H100 就属于既要马儿跑又要马儿不吃草。
如果还是拿不准，可以先租单卡把任务跑通，观察实际显存占用（nvidia-smi 一看便知），再决定要不要扩到多卡或整机。算力是弹性租的，没必要一次到位。
几个容易漏算的场景
长上下文：上下文从 4K 拉到 128K，KV 缓存可能翻几十倍，长文本任务显存预算要单独重算
并发上量：压测时 1 个请求没问题，上线后并发一上来就 OOM，租卡前把目标并发数算进 KV 缓存
量化方案：70B 模型 INT4 量化后权重只有 35GB 左右，单卡能装下，但精度有损失，对效果敏感的任务要实测
多卡拆分：单卡装不下的模型可以拆到多卡跑，但卡间通信有损耗，不是简单的除法关系
总结
租 GPU 之前算显存，核心就是三笔：权重看参数量和精度，缓存看上下文和并发，训练再乘好几倍。算清楚这笔账能直接决定你的任务是流畅跑完还是中途 OOM，也决定你花的钱是花在刀刃上还是白白烧掉。
