数据不出内网是硬要求时，先别急着买卡——把「跑得动」和「跑得稳」分开算，硬件预算能差一半
| 维度 | 架构 A：全本地部署 | 架构 B：混合部署 | 架构 C：内网 API 网关 |
|---|---|---|---|
| 数据边界 | 全部留在内网，模型和推理都在自己机房 | 敏感数据本地，通用问答走外部 API | 数据在内网，模型可自建也可外接 |
| 硬件投入 | 高：GPU 服务器 + 机房 + 运维 | 中：小规格 GPU 或纯 CPU 兜底 | 低到中：网关机 + 按需算力 |
| 效果上限 | 受本地模型能力限制 | 敏感场景受本地限制，通用场景不受限 | 取决于背后接的模型 |
| 上线周期 | 2–6 周（含采购） | 1–2 周 | 1–3 周 |
| 适合场景 | 金融、医疗、法务等强合规场景 | 大部分企业内部助手 | 多部门统一入口、要审计和配额 |
一句话：强合规选 A，多数企业选 B，多部门统一管选 C。最常见的错误是「一刀切全本地」——把不敏感的通用问答也压到本地小模型上，效果差、硬件贵，最后业务不用。
很多人上来就问「跑 70B 要几张卡」，但真正决定硬件的是峰值并发。同一张卡跑单路对话很流畅，10 个人同时问就开始排队，因为显存要同时装下权重和每个会话的 KV Cache。
先把业务需求翻译成模型档位，别直接跳到「越大越好」：
| 档位 | 典型用途 | 量化后显存参考 | 硬件参考 |
|---|---|---|---|
| 7B–9B | 分类、抽取、摘要、简单问答 | 约 5–8 GB | 单张 16GB 消费级显卡可跑 |
| 14B–32B | 企业助手、客服答疑、文档问答 | 约 10–24 GB | 单张 24GB 显卡起步 |
| 70B 级 | 复杂推理、长文分析 | 约 40–48 GB | 2 张专业卡或 1 张 80GB 卡 |
注意：上表是单路推理的权重占用。并发上去后，KV Cache 会额外占用显存，长上下文场景尤其明显。
并发不是「公司有多少人」，而是同一分钟有多少人在等回复。经验做法：
例如 200 人的部门，峰值在线 20 人，同时提问约 3–4 路，按 1.5 倍余量准备 6 路并发即可，不需要按 200 路买卡。
模型权重、推理服务、向量库、日志全部在内网，物理上不存在数据外发路径。这是金融、医疗、法务等场景的常见选择。
要点：
代价也很明确：效果上限被本地模型能力锁住，硬件采购周期长，运维要有人兜底。
把请求按敏感级别分流：涉及客户信息、合同、财务数据的走本地模型，通用知识问答、文案润色走外部 API。这样既守住了合规红线，又不用为通用能力买最贵的卡。
风险点：分流规则写错一次就是数据外发。上线前必须用脱敏样本做一轮「敏感数据误放行」测试。
不管背后是本地模型还是外部 API，所有请求先过一层内网网关。网关负责四件事：鉴权、配额、审计、路由。
网关的价值在规模上来后才明显：单部门自用时是负担，三五个部门接入后就是刚需。
现象：单路测试正常，接入 IM 后几分钟就崩。
✅ 修法：显存预算里给 KV Cache 单独留出空间，按目标并发数压测再定卡数；限制单次请求的最大上下文长度，防止个别长对话吃光显存。
现象：按「70B 需要 2 张卡」采购，结果 20 人同时用就排队几十秒。
✅ 修法：先算峰值并发，再算显存总量 = 权重 + 并发数 × 单路 KV Cache；并发高的场景，多张小卡往往比一张大卡更划算。
现象：换了新版本模型，效果变差，但旧版本已被覆盖，只能临时找备份。
✅ 修法：模型文件按版本号目录存放，配置里写版本号而不是路径；保留上一版权重，切换即改一行配置；上线前跑固定回归问题集。
现象：知识库一变大，推理服务开始变慢甚至被系统杀掉。
✅ 修法：向量库独立部署，给推理服务设内存上限并预留余量；知识库索引更新放在业务低峰期执行。
现象：怀疑有人问了敏感内容，但日志里只有请求量，没有内容归属。
✅ 修法：网关层记录用户标识、时间、模型、耗时和脱敏后的请求摘要；日志单独存储并设保留期，别和业务日志混在一起被轮转掉。
现象：上线时效果不错，半年后没人维护，模型和知识库都过期了。
✅ 修法：上线时就把「模型季度评估、知识库月度更新、日志月度抽检」写进运维计划，指定负责人；没有运营的私有化部署，半年后基本会被弃用。
| # | 检查项 | 通过标准 |
|---|---|---|
| 1 | 数据分级 | 敏感级别已定义，且每级都明确了允许的模型路径 |
| 2 | 并发压测 | 按峰值并发 × 1.5 压测通过，无 OOM、无超时堆积 |
| 3 | 上下文上限 | 单请求最大长度已限制，长对话有截断策略 |
| 4 | 模型版本管理 | 版本号可追溯，回滚只需改配置 |
| 5 | 权限与配额 | 按人/部门发密钥，有配额上限，离职可即时回收 |
| 6 | 审计日志 | 可查到「谁、何时、用了哪个模型、问了什么（脱敏）」 |
| 7 | 敏感数据误放行测试 | 用脱敏样本跑一轮，无敏感内容走到外部通道 |
| 8 | 运维计划 | 模型评估、知识库更新、日志抽检的频次和负责人已确定 |
私有化部署的难点不在「把模型跑起来」，而在把并发、合规、运维三件事同时算清楚。硬件买多了浪费预算，买少了业务不用；数据边界划错了是合规事故；没有运营计划，半年后就是一堆闲置机器。
如果你正在评估私有化方案，建议先做两件事：把数据分级表写出来，把峰值并发估出来。这两张表一出来，架构选型和硬件预算基本就定了。