16 模型微调与知识库专项调研
厂商总览
微调 / 蒸馏 / 行业知识库(RAG + 向量库)专项调研(数据日期 2026-10-20)
| 序号 | 分类 | 厂商(主体) | 官网 | 售卖方式 | 服务内容 | 资质门槛 | 相对优势 | 风险与限制 | 适用场景 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 云平台 | 阿里云百炼 | bailian.console.aliyun.com | 按训练 token / 按推理 token;知识库按容量 | SFT 微调、模型评测、知识库(RAG)、应用编排 | 实名;生成式 AI 备案 | 国内一站式最全,微调与知识库同平台 | 训练数据需上传云端;私有化需另购 | 国内 To B、需要发票与合规 |
| 2 | 云平台 | 腾讯云(TI-ONE / 知识引擎 LKE) | cloud.tencent.com | 按算力时长 + 按 token | 模型精调、知识引擎、向量库、Agent 编排 | 同上 | 知识引擎产品化程度高 | 训练与推理分散在多个产品线 | 腾讯云生态客户 |
| 3 | 云平台 | 火山引擎 方舟 | volcengine.com | 按 token 训练与推理 | SFT、DPO、知识库、评测 | 同上 | 训练效率与价格有竞争力 | 公开价需控制台 | 大规模调用场景 |
| 4 | 云平台 | 百度千帆 | cloud.baidu.com | 按 token / 按算力 | SFT 微调、知识库、模型评估 | 同上 | 国内最早做模型平台,工具链完整 | 模型竞争力相对下滑 | 国内政企 |
| 5 | 海外平台 | OpenAI Fine-tuning | platform.openai.com | 按训练 token + 按推理 token | SFT、蒸馏(用强模型生成数据)、评测 | 境外主体;数据出境 | 工具链成熟,蒸馏实践丰富 | 数据出境;境内合规受限 | 出海产品 |
| 6 | 开源微调 | LLaMA-Factory | github.com/hiyouga/LLaMA-Factory | 开源免费 | 全参/LoRA/QLoRA 微调、100+ 模型、WebUI | 无 | 上手最快,社区最活跃 | 生产化需自行封装与调度 | 私有化微调、快速验证 |
| 7 | 开源加速 | Unsloth | unsloth.ai | 开源免费 + 付费版 | LoRA 训练加速与显存优化 | 无 | 显存占用低、训练速度快 | 模型覆盖有限 | 单卡微调、成本敏感 |
| 8 | RAG 平台 | Dify | dify.ai | 开源自建免费;云版订阅 | RAG 应用编排、知识库、Agent、工作流 | 自建需运维 | 开源社区活跃,可视化编排 | 企业级权限与审计需自己补 | 快速搭 RAG 应用 |
| 9 | RAG 平台 | RAGFlow | ragflow.io | 开源免费;企业版 | 深度文档解析、切分优化、知识库 | 自建需运维 | 文档解析(表格/PDF)能力强 | 资源占用较高 | 复杂文档知识库 |
| 10 | RAG 平台 | FastGPT | fastgpt.in | 开源自建免费;商业版 | 知识库、工作流、问答应用 | 自建需运维 | 国内使用广,中文体验好 | 大规模检索性能需调优 | 企业知识库、客服 |
| 11 | 向量库 | Milvus / Zilliz | milvus.io / zilliz.com | 开源免费;Zilliz Cloud 按量 | 向量检索、混合检索、标量过滤、分布式 | 自建需运维 | 开源事实标准,生态最全 | 自建运维成本高;云版按量计费 | 大规模向量检索 |
| 12 | 向量库 | Pinecone / Qdrant / Weaviate | pinecone.io | 全托管按量订阅;Qdrant/Weaviate 开源 | 托管向量检索、混合检索、多租户 | 境外主体 | 免运维,上线快 | 数据出境;成本随规模上升 | 海外业务、快速上线 |
能力矩阵
能力矩阵
| 厂商 | 分类 | 微调 | 蒸馏 | RAG | 向量库 | 开源可自建 | 公开价 | 综合推荐度 |
|---|---|---|---|---|---|---|---|---|
| 阿里云百炼 | 云平台 | ✅ SFT | △ | ✅ | ✅ 内置 | ✗ | ✅ 按 token | ★★★★★ |
| 腾讯云 | 云平台 | ✅ | △ | ✅ LKE | ✅ | ✗ | △ | ★★★★ |
| 火山引擎 | 云平台 | ✅ SFT/DPO | △ | ✅ | ✅ | ✗ | △ 控制台 | ★★★★ |
| 百度千帆 | 云平台 | ✅ | △ | ✅ | ✅ | ✗ | △ | ★★★☆ |
| OpenAI FT | 海外平台 | ✅ | ✅ 常见做法 | △ 需自建 | ✗ | ✗ | ✅ 公开 | ★★★★ |
| LLaMA-Factory | 开源微调 | ✅ 核心 | △ | ✗ | ✗ | ✅ 核心 | 免费 | ★★★★★ |
| Unsloth | 开源加速 | ✅ 加速 | ✗ | ✗ | ✗ | ✅ | 免费 | ★★★★ |
| Dify | RAG 平台 | △ 接入 | ✗ | ✅ 核心 | ✅ 可接 | ✅ 核心 | 免费/订阅 | ★★★★★ |
| RAGFlow | RAG 平台 | ✗ | ✗ | ✅ 核心 | ✅ | ✅ 核心 | 免费 | ★★★★ |
| FastGPT | RAG 平台 | ✗ | ✗ | ✅ 核心 | ✅ | ✅ 核心 | 免费 | ★★★★ |
| Milvus/Zilliz | 向量库 | ✗ | ✗ | △ 基础 | ✅ 核心 | ✅ 核心 | 免费/按量 | ★★★★★ |
| Pinecone/Qdrant | 向量库 | ✗ | ✗ | △ | ✅ 核心 | ✅ Qdrant | ✅ 公开 | ★★★★ |
原理与实施路径
原理与实施路径 · 微调/RAG/蒸馏怎么选、怎么评估、风险在哪(红底为高风险项)
| 序号 | 板块 | 要点 | 说明 | 控制措施 / 备注 |
|---|---|---|---|---|
| 一、原理:三种手段解决三种不同问题 | ||||
| 1 | 原理 | 先 RAG,再微调,最后才蒸馏 | ① 知识时效性/需溯源 → RAG;② 风格、格式、任务特化、领域术语 → 微调;③ 降本提速、把大模型能力搬进小模型 → 蒸馏。顺序反了会花冤枉钱。 | 90% 的「行业知识库」需求本质是 RAG,不是微调 |
| 2 | 原理 | RAG 的五段链路 | 文档解析 → 切分(chunking)→ 向量化(embedding)→ 检索(向量 + 关键词混合)→ 重排(rerank)→ 拼装提示词。任何一段弱,整体效果都差。 | 切分与重排是最容易被忽略的两端 |
| 3 | 原理 | 切分决定召回质量 | 按语义/标题切分优于固定长度;块太大召回噪声多,太小丢上下文。常见 300–800 token,带 10%–20% 重叠。 | 表格与 PDF 需专门解析,别直接按字数切 |
| 4 | 原理 | 混合检索优于纯向量 | 纯向量对专有名词、编号、代码不敏感,需叠加关键词(BM25)检索再融合。 | 选支持混合检索的向量库 |
| 5 | 原理 | 微调两种:全参与 LoRA | 全参需重训所有权重(显存大、成本高);LoRA/QLoRA 只训练低秩适配器(显存小、可多套并存)。 | 多数企业场景 LoRA 足够 |
| 6 | 原理 | 蒸馏两条路 | ① logits 蒸馏:需要教师模型输出分布;② 指令蒸馏:用强模型批量生成「问题-答案」数据训练小模型(更常用、更简单)。 | 指令蒸馏要防「教师幻觉」被学生学走 |
| 7 | 原理 | 评估必须有自己的题集 | 至少 200–500 条业务真实问题,指标:准确率、召回率、拒答率、幻觉率、人工满意率。 | 没有评测集就无法判断微调是否有用 |
| 二、实施路径:从判断到迭代(6 步) | ||||
| 8 | 实施路径 | ① 判断类型 | 问题属于「知识不足」还是「能力不足」:知识不足用 RAG,能力/风格不足用微调。 | 写一页《问题归类表》再动手 |
| 9 | 实施路径 | ② 准备数据 | RAG:文档清洗与切分;微调:500–5,000 条高质量问答对(质量 >> 数量)。 | 数据准备通常占总工作量 60% |
| 10 | 实施路径 | ③ 选平台 | 合规敏感选云厂商(可开票、可备案);数据不出域选开源自建(Dify/RAGFlow + Milvus)。 | 自建要算运维成本 |
| 11 | 实施路径 | ④ 建评测集 | 从业务真实问题中抽 200–500 条,标注标准答案,作为基线。 | 先测基线再改,否则无法归因 |
| 12 | 实施路径 | ⑤ 上线与灰度 | 小流量灰度、人工抽检、收集 badcase、按周迭代。 | 上线首月每天看 badcase |
| 13 | 实施路径 | ⑥ 迭代优化 | RAG 调切分与检索,微调调数据与超参,必要时蒸馏降本。 | 每次只改一个变量,便于归因 |
| 三、风险点(红底为高风险项) | ||||
| 14 | 风险 | ⚠ 用微调解决知识问题 | 想让模型「记住」内部制度与产品文档,结果数据一变就过时,还要重训。 | 时效性知识用 RAG;微调只解决风格与任务 |
| 15 | 风险 | ⚠ 没有评测集 | 改了半天,无法证明效果变好还是变差。 | 上线前必须建 200–500 条业务评测集 |
| 16 | 风险 | ⚠ 数据质量差 | 问答对里有错误答案,模型学得越像越糟。 | 人工审核 + 抽样复核;宁少勿滥 |
| 17 | 风险 | ⚠ 灾难性遗忘 | 全参微调后通用能力下降(不会闲聊、不会推理)。 | 优先 LoRA;保留基座模型做兜底 |
| 18 | 风险 | ⚠ 切分与解析不当 | PDF 表格被切碎,召回内容残缺。 | 复杂文档用专用解析(RAGFlow 等) |
| 19 | 风险 | ⚠ 幻觉与无依据回答 | 检索没命中仍强行作答。 | 设置「检索不到就拒答」;要求输出引用来源 |
| 20 | 风险 | ⚠ 数据合规 | 训练数据含个人信息或客户数据,未脱敏。 | 脱敏后再入训练/知识库;留存授权 |
| 21 | 风险 | ⚠ 成本失控 | 向量库与推理成本随文档与并发线性上升。 | 按月测算 TCO;冷数据分层 |
价目表
云平台(阿里云/腾讯云/火山/百度) | 云平台 | https://help.aliyun.com/zh/model-studio/models
| 序号 | 厂商 / 类型 | 分类 | 计费项 | 规格 / 档位 | 公开参考价 | 计费口径 | 官方链接 | 备注 |
|---|---|---|---|---|---|---|---|---|
| 1 | 云平台(阿里云/腾讯云/火山/百度) | 云平台 | SFT 微调训练 | 按训练 token | 未获取(各平台定价页) | 按千 token | 训练 + 推理分别计费 | |
| 2 | 云平台(阿里云/腾讯云/火山/百度) | 云平台 | 知识库 | 按容量或文档数 | 未获取 | 按 GB / 按文档 | 部分平台含在推理费用中 | |
| 3 | 云平台(阿里云/腾讯云/火山/百度) | 云平台 | 推理调用 | 按输入/输出 token | 未获取 | 按千 token | 微调模型推理价通常高于基座 | |
| 4 | 云平台(阿里云/腾讯云/火山/百度) | 云平台 | 模型评测 | 按次或随平台提供 | 未获取 | 按次 | — |
OpenAI Fine-tuning | 海外平台 | https://platform.openai.com/docs/guides/fine-tuning
| 5 | OpenAI Fine-tuning | 海外平台 | 训练 | 按训练 token | 未获取(官网定价页) | 按千 token | 训练与推理分开计价 | |
|---|---|---|---|---|---|---|---|---|
| 6 | OpenAI Fine-tuning | 海外平台 | 推理 | 按输入/输出 token | 未获取 | 按千 token | 微调模型单价高于基座 | |
| 7 | OpenAI Fine-tuning | 海外平台 | 数据出境 | — | 合规评估成本另计 | — | 境内业务慎用 |
开源微调与 RAG 平台 | 开源 | https://github.com/hiyouga/LLaMA-Factory
| 8 | 开源微调与 RAG 平台 | 开源 | LLaMA-Factory | 全参/LoRA/QLoRA 微调 | 0 元 | — | 成本在 GPU 与人力 | |
|---|---|---|---|---|---|---|---|---|
| 9 | 开源微调与 RAG 平台 | 开源 | Unsloth | LoRA 训练加速 | 0 元(有付费版) | — | 显存占用低 | |
| 10 | 开源微调与 RAG 平台 | 开源 | Dify | RAG 应用编排 | 0 元(云版订阅另计) | — | 企业级权限需自补 | |
| 11 | 开源微调与 RAG 平台 | 开源 | RAGFlow | 深度文档解析 RAG | 0 元(企业版另计) | — | 资源占用较高 | |
| 12 | 开源微调与 RAG 平台 | 开源 | FastGPT | 知识库与工作流 | 0 元(商业版另计) | — | 中文体验好 |
向量库 | 向量库 | https://milvus.io/
| 13 | 向量库 | 向量库 | Milvus(开源) | 自建向量检索 | 0 元 | — | 运维与硬件成本另计 | |
|---|---|---|---|---|---|---|---|---|
| 14 | 向量库 | 向量库 | Zilliz Cloud | 托管向量检索 | 未获取(官网定价页) | 按容量/按量 | 免运维 | |
| 15 | 向量库 | 向量库 | Pinecone / Qdrant Cloud | 托管向量检索 | 未获取(官网定价页) | 按容量/按量 | 境外主体,数据出境需评估 |
价目表链接
价目表链接
| 序号 | 来源 / 厂商 | 分类 | 页面 | 官方链接 | 说明 | 访问状态 2026-10-20 |
|---|---|---|---|---|---|---|
| 1 | 阿里云百炼 | 云平台 | 模型与计费 | https://help.aliyun.com/zh/model-studio/models | 微调与知识库入口 | 200 正常 |
| 2 | 腾讯云 | 云平台 | 知识引擎 LKE | https://cloud.tencent.com/product/lke | RAG 产品 | 200 正常 |
| 3 | 火山引擎 | 云平台 | 方舟 | https://www.volcengine.com/product/ark | 微调与知识库 | 200 正常 |
| 4 | 百度千帆 | 云平台 | 千帆 | https://cloud.baidu.com/product/wenxinworkshop | SFT 与知识库 | 200 正常 |
| 5 | LLaMA-Factory | 开源微调 | GitHub | https://github.com/hiyouga/LLaMA-Factory | 全参与 LoRA 微调 | 200 正常 |
| 6 | Unsloth | 开源加速 | 官网 | https://unsloth.ai/ | LoRA 加速 | 200 正常 |
| 7 | Dify | RAG 平台 | 官网 | https://dify.ai/ | RAG 编排 | 200 正常 |
| 8 | RAGFlow | RAG 平台 | 官网 | https://ragflow.io/ | 深度文档解析 | 200 正常 |
| 9 | FastGPT | RAG 平台 | 官网 | https://fastgpt.in/ | 知识库 | 200 正常 |
| 10 | Milvus | 向量库 | 官网 | https://milvus.io/ | 开源向量库 | 200 正常 |
| 11 | Zilliz | 向量库 | 定价 | https://zilliz.com/pricing | 托管向量库 | 200 正常 |
| 12 | Pinecone | 向量库 | 定价 | https://www.pinecone.io/pricing/ | 托管向量库 | 200 正常 |
数据说明
数据说明
一、本表用途
调研模型微调、蒸馏、行业知识库(RAG + 向量库)。核心是选对手段:知识时效性问题用 RAG,风格与任务问题用微调,降本提速用蒸馏。原理与风险见「原理与实施路径」表。
二、口径
-
决策顺序:先 RAG,再微调,最后蒸馏。90% 的「行业知识库」需求本质是 RAG。
-
RAG 五段:解析 → 切分 → 向量化 → 检索(混合)→ 重排 → 拼装。任何一段弱,整体都差。
-
切分建议 300–800 token、重叠 10%–20%;表格与 PDF 需专用解析。
-
微调优先 LoRA/QLoRA(显存小、可多适配器并存);全参微调易灾难性遗忘。
-
蒸馏两条路:logits 蒸馏与指令蒸馏(用强模型生成数据训小模型,后者更常用)。
-
评估必须有自有题集(200–500 条),指标含准确率、召回率、拒答率、幻觉率。
三、合规
-
训练数据与知识库内容含个人信息须脱敏;境外平台涉及数据出境。
-
面向公众提供生成式 AI 服务需备案。
-
企业知识库需做权限隔离,避免越权检索。
4. 输出引用来源可降低幻觉责任。
四、未获取 / 待核实清单
-
各云平台的 SFT 训练与知识库单价:定价页多为一模型一价、动态渲染,本次只记计费口径。
-
OpenAI 微调训练与推理单价:官网定价页未逐项摘录。
-
Zilliz / Pinecone / Qdrant Cloud 的档位价:官网定价页。
-
自建方案(Dify/RAGFlow/Milvus)的硬件与运维成本:按规模测算,无公开报价。
五、使用建议
· 先花两周做 RAG 原型验证,再决定是否微调——很多需求做完 RAG 就不需要微调了。
· 数据质量比数量重要:500 条精标数据 > 5,000 条脏数据。
· 上线前必须建评测集,否则无法判断迭代是否有效。
· 报价时把「数据准备 + 评测集建设」单列,这部分通常占总工作量 60%,最容易被客户低估。
来源清单
来源清单
| 序号 | 来源 | URL | 用途 | 访问日期 |
|---|---|---|---|---|
| 1 | 阿里云百炼 | https://help.aliyun.com/zh/model-studio/models | 微调与知识库 | 2026-10-20 |
| 2 | 腾讯云 知识引擎 | https://cloud.tencent.com/product/lke | RAG 产品 | 2026-10-20 |
| 3 | 火山引擎 方舟 | https://www.volcengine.com/product/ark | 微调与知识库 | 2026-10-20 |
| 4 | LLaMA-Factory | https://github.com/hiyouga/LLaMA-Factory | 开源微调 | 2026-10-20 |
| 5 | Dify | https://dify.ai/ | RAG 编排 | 2026-10-20 |
| 6 | RAGFlow | https://ragflow.io/ | 深度文档解析 | 2026-10-20 |
| 7 | Milvus | https://milvus.io/ | 开源向量库 | 2026-10-20 |
| 8 | Zilliz 定价 | https://zilliz.com/pricing | 托管向量库 | 2026-10-20 |