15 私有化模型部署专项调研

厂商总览

推理一体机 / 推理服务器 专项调研（结合服务器硬件，数据日期 2026-10-20）

序号	分类	厂商（主体）	官网	售卖方式	服务内容	资质门槛	相对优势	风险与限制	适用场景
1	国产一体机	华为 昇腾 Atlas	e.huawei.com	整机买断 + 3 年维保；项目制	Atlas 800/900 推理服务器、昇腾一体机、MindIE 推理引擎、模型适配	信创目录、等保；政企采购资质	国产化首选，政企认可度最高	软件生态需适配（MindIE/CANN），通用框架支持弱于 CUDA	政务、金融、央国企私有化
2	国产一体机	浪潮 元脑 / 海若	inspur.com	整机 + 软件（海若大模型平台）+ 服务	元脑服务器、海若大模型一体机、推理优化	信创、等保	服务器出货量大，交付能力强	一体机软件为自研平台，迁移成本高	行业大模型私有化
3	国产一体机	联想 问天	lenovo.com.cn	整机 + 服务；渠道为主	问天 WA7780 等 AI 服务器、一体机方案	信创、等保	渠道覆盖广，交付与售后网点多	软件层依赖合作方	政企、教育、医疗
4	国产一体机	新华三 LinSeer	h3c.com	整机 + 平台 + 服务	LinSeer 大模型一体机、算力平台	信创、等保	政企行业经验深，方案完整	价格需项目报价	政务、金融、能源
5	国产服务器	中科曙光	sugon.com	整机 + 服务	AI 推理服务器、液冷方案	信创	高性能计算积累深，液冷成熟	软件生态依赖合作	超算中心、科研、液冷机房
6	国产服务器	超聚变	xfusion.com	整机 + 服务	FusionServer AI 推理服务器	信创	原华为服务器团队，交付稳定	GPU 供应受限于供应链	通用私有化部署
7	国产服务器	宝德 / 宁畅	powerleader.com.cn / ntc.com.cn	整机 + 服务；项目制	GPU 推理服务器、定制化机型	信创（部分）	定制灵活、交期较短	品牌溢价低但服务网点少	中小规模私有化、定制需求
8	国际服务器	戴尔 / 超微（Supermicro）	dell.com / supermicro.com	整机 + 全球维保	GPU 推理服务器（支持 NVIDIA 全系）	无信创资质	GPU 供应与散热设计成熟	信创项目不可用；价格随 GPU 波动	外资企业、非信创项目
9	GPU 方案	NVIDIA（L20 / H20 / A10）	nvidia.com	随整机销售；不单独零售	推理 GPU、TensorRT-LLM、Triton 推理服务	出口管制约束（型号与供货）	CUDA 生态最成熟，框架支持最好	供货与型号受管制影响；单价高	非信创场景、追求生态兼容
10	国产芯片	寒武纪 / 海光	cambricon.com / hygon.cn	随整机销售	思元/DCU 加速卡、推理引擎	信创	国产替代，可进信创目录	框架适配成本高，性能调优需原厂支持	信创强制场景
11	推理软件	vLLM / SGLang / LMDeploy	vllm.ai	开源免费	高吞吐推理、PagedAttention、连续批处理	无	生态标准，社区活跃	国产卡支持有限；需自行调优	GPU 环境下自建推理服务
12	推理软件	Ollama / Xinference	ollama.com	开源免费	一键部署、模型管理、API 兼容	无	上手最快，适合 POC	生产级并发与调度弱	验证与小规模试用

能力矩阵

能力矩阵

厂商	分类	一体机	推理服务器	国产芯片	软件生态	公开价	信创可用	综合推荐度
华为 昇腾	国产一体机	✅ 核心	✅	✅ 昇腾	△ MindIE/CANN	✗ 项目报价	✅	★★★★★
浪潮 元脑/海若	国产一体机	✅	✅	△	△ 自研平台	✗	✅	★★★★
联想 问天	国产一体机	✅	✅	△	△ 依赖合作	✗	✅	★★★★
新华三 LinSeer	国产一体机	✅	✅	△	△ 自研平台	✗	✅	★★★★
中科曙光	国产服务器	△	✅ 核心	△	△	✗	✅	★★★☆
超聚变	国产服务器	△	✅	✗	✅ CUDA	✗	✅	★★★★
宝德/宁畅	国产服务器	△	✅	✗	✅ CUDA	✗	△	★★★☆
戴尔/超微	国际服务器	✗	✅ 核心	✗	✅ CUDA	△ 官网配置价	✗	★★★★
NVIDIA	GPU 方案	✗	✗	✗	✅ 最成熟	✗ 随整机	✗	★★★★★
寒武纪/海光	国产芯片	✗	✗	✅ 核心	△ 需适配	✗	✅	★★★☆
vLLM/SGLang	推理软件	✗	✗	△	✅ 标准	免费	△	★★★★★
Ollama/Xinference	推理软件	✗	✗	△	✅ 易用	免费	△	★★★☆

原理与实施路径

原理与实施路径 · 显存怎么算、机器怎么选、风险在哪（红底为高风险项）

序号	板块	要点	说明	控制措施 / 备注
一、原理：一体机 = 服务器 + GPU + 推理框架 + 模型 + 平台 + 服务
1	原理	六个组成部分	① 服务器（CPU/内存/盘/网）；② GPU/加速卡（显存决定能跑多大模型）；③ 推理框架（vLLM/TensorRT-LLM/MindIE）；④ 模型权重（是否已授权商用）；⑤ 管理平台（多模型、多租户、监控）；⑥ 交付与维保服务。	报价时必须逐项拆开，别只报整机价
2	原理	显存估算公式	权重显存 ≈ 参数量 × 每参字节数（FP16=2B、INT8=1B、INT4=0.5B）；再加 KV Cache 与框架开销，通常再乘 1.2–1.5 倍。	这是选型第一道关，算错直接买错机器
3	原理	常用模型测算	70B：FP16 约 140GB（需 2×80GB）、INT8 约 70GB、INT4 约 35GB；7B：FP16 约 14GB（单卡 24GB 可跑）；32B：FP16 约 64GB（需 80GB 单卡或双卡）。	并发越高，KV Cache 占用越大，显存要留余量
4	原理	量化是拿精度换显存	INT8 通常几乎无损，INT4 在复杂推理与长文本上会有可感知下降；金融、医疗等场景建议 FP16 或 INT8。	上线前用业务数据集做量化前后对比
5	原理	吞吐与延迟是两条曲线	批量（batch）越大吞吐越高但单请求延迟越长；并发用户数决定 KV Cache 占用。	用 P95 延迟与 TPS 同时验收
6	原理	国产化的真实成本	昇腾/寒武纪/海光需用厂商推理引擎（MindIE 等），vLLM 等通用框架支持有限，模型适配与调优要额外人力。	信创项目需预留 2–4 周适配期
7	原理	交付形态	整机买断 + 3 年维保是主流；也有按年租赁/算力订阅。买断要确认备件与现场服务响应。	维保比例通常为合同额 8%–15%/年
二、实施路径：从模型选型到交付（6 步）
8	实施路径	① 定模型与规模	确定要跑哪些模型（参数量、上下文长度）、并发用户数、P95 延迟目标。	输出《模型与并发清单》
9	实施路径	② 算显存与算力	按公式估算显存，留 30% 余量；按并发估算算力需求。	测不准就做 POC，别直接下单
10	实施路径	③ 选卡与整机	信创场景选昇腾/寒武纪；非信创选 NVIDIA；按显存与卡数选整机型号与电源/散热。	确认机房电力（单柜 8–20kW）与制冷
11	实施路径	④ POC 验证	用真实业务数据压测：TPS、P95 延迟、并发稳定性、量化前后效果对比。	POC 不通过不签收
12	实施路径	⑤ 部署与集成	推理服务、模型管理、鉴权与配额、监控告警、对接业务系统。	与用量管理平台（配额/审计）打通
13	实施路径	⑥ 交付与维保	上架、验收、培训、备件与响应 SLA、三年维保。	维保条款写清备件到货时限
三、风险点（红底为高风险项）
14	风险	⚠ 显存算错跑不动	只按权重算显存，忽略 KV Cache 与并发，实际只能跑 1/3 并发。	按公式乘 1.2–1.5 倍，并用 POC 验证
15	风险	⚠ 量化掉精度	为省显存直接上 INT4，复杂推理效果明显下降。	业务数据对比；关键场景保留 FP16/INT8
16	风险	⚠ 国产卡适配失败	买了昇腾机器但目标模型在 MindIE 上跑不通或性能差。	POC 阶段验证目标模型；预留适配期
17	风险	⚠ 电力与散热不足	8 卡整机单柜功率可达 10–20kW，机房配电与制冷不匹配。	下单前勘测机房，必要时上液冷
18	风险	⚠ 模型授权问题	权重可下载不等于可商用，部分模型有商用限制。	确认模型许可证，留存授权凭证
19	风险	⚠ 单机无法扩展	业务增长后单机显存不够，只能再买一台而不是加卡。	选型时预留扩展槽位与集群方案
20	风险	⚠ 维保与备件	GPU 故障无备件，停机数周。	维保写备件到货时限；关键场景备冗余卡
21	风险	⚠ 供应商锁定	一体机软件为自研平台，模型与数据迁移成本高。	坚持标准 API（OpenAI 兼容），保留迁移路径

价目表

国产一体机（华为/浪潮/联想/新华三）　|　一体机　|　https://e.huawei.com/cn/

序号	厂商 / 类型	分类	计费项	规格 / 档位	公开参考价	计费口径	官方链接	备注
1	国产一体机（华为/浪潮/联想/新华三）	一体机	推理一体机	含 GPU + 推理框架 + 模型 + 管理平台 + 交付	未获取（项目一客一价）	按整机 / 按项目	行业区间 100–300 万元/套（非官方，随显存与卡数波动）
2	国产一体机（华为/浪潮/联想/新华三）	一体机	维保	3 年原厂维保	未获取	按年	行业惯例为合同额 8%–15%/年
3	国产一体机（华为/浪潮/联想/新华三）	一体机	模型适配服务	国产卡适配与调优	未获取	按人天	信创项目常需 2–4 周

推理服务器（超聚变/曙光/宝德/戴尔）　|　推理服务器　|　https://www.xfusion.com/

4	推理服务器（超聚变/曙光/宝德/戴尔）	推理服务器	4 卡 GPU 服务器	适配 24–48GB 卡	未获取（渠道报价）	按台	行业区间 40–80 万元/台（非官方）
5	推理服务器（超聚变/曙光/宝德/戴尔）	推理服务器	8 卡 GPU 服务器	适配 80GB 卡（L20/H20 等）	未获取	按台	行业区间 80–150 万元/台（非官方）
6	推理服务器（超聚变/曙光/宝德/戴尔）	推理服务器	整柜交付	含机柜、配电、制冷	未获取	按项目	8 卡整机单柜功率 10–20kW，需确认机房条件

GPU（NVIDIA L20/H20/A10）　|　GPU　|　https://www.nvidia.com/

7	GPU（NVIDIA L20/H20/A10）	GPU	L20 48GB / H20 96GB / A10 24GB	随整机销售，不单独零售	未获取（受供货与管制影响）	按卡	价格随供货波动大，不建议锁长期价
8	GPU（NVIDIA L20/H20/A10）	GPU	软件栈	CUDA + TensorRT-LLM + Triton	0 元	—	生态最成熟

国产芯片（昇腾/寒武纪/海光）　|　国产芯片　|　https://www.hiascend.com/

9	国产芯片（昇腾/寒武纪/海光）	国产芯片	昇腾 910B 等	随整机销售	未获取	按卡/按整机	信创目录内，适配需原厂支持
10	国产芯片（昇腾/寒武纪/海光）	国产芯片	推理引擎	MindIE / 厂商引擎	0 元	—	与通用框架兼容性有限

推理软件（开源）　|　推理软件　|　https://vllm.ai/

11	推理软件（开源）	推理软件	vLLM / SGLang	高吞吐推理	0 元	—	PagedAttention、连续批处理；国产卡支持有限
12	推理软件（开源）	推理软件	Ollama / Xinference	一键部署与模型管理	0 元	—	适合 POC，不适合生产高并发

价目表链接

价目表链接

序号	来源 / 厂商	分类	页面	官方链接	说明	访问状态 2026-10-20
1	华为	国产一体机	昇腾计算	https://www.hiascend.com/	Atlas 与 MindIE	200 正常
2	浪潮	国产一体机	元脑	https://www.inspur.com/	AI 服务器与海若	200 正常
3	联想	国产一体机	问天	https://www.lenovo.com.cn/	AI 服务器	200 正常
4	新华三	国产一体机	LinSeer	https://www.h3c.com/	大模型一体机	200 正常
5	中科曙光	国产服务器	官网	https://www.sugon.com/	推理服务器与液冷	200 正常
6	超聚变	国产服务器	官网	https://www.xfusion.com/	FusionServer	200 正常
7	戴尔	国际服务器	PowerEdge	https://www.dell.com/	GPU 服务器	200 正常
8	NVIDIA	GPU	推理方案	https://www.nvidia.com/	L20/H20 与 TensorRT-LLM	200 正常
9	vLLM	推理软件	官网	https://vllm.ai/	高吞吐推理	200 正常
10	Ollama	推理软件	官网	https://ollama.com/	一键部署	200 正常

数据说明

数据说明

一、本表用途

调研私有化模型部署的两种形态：推理一体机、推理服务器。核心风险是「显存算错，机器买回来跑不动」。原理与风险见「原理与实施路径」表。

二、口径

1. 一体机 = 服务器 + GPU + 推理框架 + 模型 + 管理平台 + 交付服务，报价必须逐项拆开。

2. 显存估算：权重 ≈ 参数量 × 每参字节数（FP16=2B、INT8=1B、INT4=0.5B），再乘 1.2–1.5 倍覆盖 KV Cache 与框架开销。

3. 常用测算：70B FP16 约 140GB（需 2×80GB）、INT8 约 70GB、INT4 约 35GB；7B FP16 约 14GB（24GB 单卡可跑）。

4. 量化是拿精度换显存：INT8 基本无损，INT4 在复杂推理与长文本上有可感知下降。

5. 国产卡需用厂商推理引擎（MindIE 等），通用框架支持有限，适配期 2–4 周。

三、合规与采购

1. 信创项目需产品在信创目录内，昇腾/寒武纪/海光方案优先。

2. 模型权重可下载不等于可商用，需确认许可证并留存授权凭证。

3. 机房需确认电力（8 卡整机单柜 10–20kW）与制冷，必要时上液冷。

4. 涉密项目设备需符合分级保护要求，维保人员需资质审查。

四、未获取 / 待核实清单

1. 各家一体机与推理服务器的整机价格：全部项目制、一客一价，表中区间为行业经验值、非官方。

2. GPU（L20/H20/A10）单价：随供货与管制变化，无稳定公开价。

3. 国产芯片方案价格与适配工作量：需原厂商务与技术支持评估。

4. 液冷改造与机房扩容成本：按机房现状勘测，无标准价。

五、使用建议

· 先做 POC 再下单：用真实业务数据压测 TPS 与 P95 延迟，比看参数表可靠。

· 显存按「模型 + 并发」双因素算，不要只按模型参数量算。

· 信创与非信创要分开报价：国产卡适配人力 2–4 周是隐性成本。

· 报价结构建议：硬件 + 软件平台 + 适配服务 + 3 年维保，四项分开列，客户更容易接受。

来源清单

来源清单

序号	来源	URL	用途	访问日期
1	华为昇腾	https://www.hiascend.com/	Atlas 与 MindIE	2026-10-20
2	浪潮	https://www.inspur.com/	AI 服务器与一体机	2026-10-20
3	新华三	https://www.h3c.com/	LinSeer 一体机	2026-10-20
4	中科曙光	https://www.sugon.com/	推理服务器	2026-10-20
5	超聚变	https://www.xfusion.com/	FusionServer	2026-10-20
6	NVIDIA	https://www.nvidia.com/	GPU 与推理软件栈	2026-10-20
7	vLLM	https://vllm.ai/	开源推理框架	2026-10-20