过去两年,我们为制造、医疗、金融客户交付了十余套私有化大模型系统。几乎所有项目在启动时都会问同样几个问题:要买几张卡?用哪个模型?微调还是做知识库?
这些问题没有标准答案,但有一套可复用的判断方法。下面是我们在项目里实际使用的思路。
一、先算清显存,再谈模型
显存预算决定了你能选什么模型、能扛多少并发。先用公式估算,再做实测。
二、推理框架怎么选
vLLM 生态成熟、SGLang 在特定场景更快、TensorRT-LLM 性能上限高但成本也高。
三、量化不是万能的
INT8 / AWQ 能省显存,但会带来精度与长文本能力的损失,需要按场景评测。
四、先 RAG 还是先微调
知识型问题先 RAG,风格与格式问题再微调,两者不是替代关系。
五、把评测做在项目开始
没有评测集的私有化项目,最后都会变成“感觉还行”。
一个粗略的显存公式
推理显存 ≈ 参数量 × 每参数字节数 × 1.2(KV Cache 与运行时开销)。以 FP16 为例,7B 模型约需 17GB,32B 约需 77GB,72B 约需 173GB。量化到 INT8 可近似减半,INT4 再减半。
这解释了一个常见误区:显存不是按参数量买,而是按并发与上下文长度买。长文档场景下,KV Cache 可能比模型本身更吃显存。
建议做法:先用目标模型在目标硬件上跑一次真实业务的 200 条请求,记录首字延迟、吞吐与显存峰值,再决定采购数量。这一步通常只需要两三天。
评测集比模型更重要
我们会在项目第一天和客户一起整理 100–300 条真实问题与标准答案,形成评测集。它有三个作用:选型对比、微调效果验证、上线后回归测试。没有评测集,模型换代就只能靠感觉。
评测指标不要只看“答对率”,还要看引用命中率(答案是否有出处)、拒答率(该说不知道时是否乱答)和平均响应时间。
写在最后
私有化部署的本质,是把一个不确定的技术能力,变成一套可运营、可评估、可迭代的系统。模型会换、框架会变,但评测集、数据治理与运维体系会一直沉淀在客户自己的机房里。
如果你正在做选型,欢迎带着场景来找我们聊一次——不卖卡,也不卖模型,只讨论怎么把这件事做成。