14 Token用量管理平台专项调研
厂商总览
Token 用量管理(部门配额 / 成本分摊 / 审计日志)专项调研(数据日期 2026-10-20)
| 序号 | 分类 | 厂商(主体) | 官网 | 售卖方式 | 服务内容 | 资质门槛 | 相对优势 | 风险与限制 | 适用场景 |
|---|---|---|---|---|---|---|---|---|---|
| 1 | 可观测平台 | Langfuse | langfuse.com | SaaS 订阅(Hobby/Core/Pro/Enterprise)+ 开源自建 | LLM 追踪、Token 与成本追踪、项目 Key 权限、审计日志(仅 Enterprise)、评测 | SaaS 数据出境需评估;自建需运维 | 开源可自建,成本追踪细到 trace 级 | 审计日志只在 Enterprise($2,499/月);细粒度 RBAC 需加购 Teams($300/月) | 研发团队用量分析、成本归因 |
| 2 | 可观测平台 | Helicone | helicone.ai | SaaS 订阅(Hobby/Pro/Team/Enterprise) | 请求日志、成本统计、缓存、限流、自动降级、告警报表 | 同 SaaS 合规 | 网关+观测一体,接入只需改 base_url | 留存较短(Pro 1 个月、Team 3 个月);深度定制需 Enterprise | 快速接入、成本监控 |
| 3 | AI 网关 | Portkey | portkey.ai | SaaS 订阅 + 企业版 | AI 网关、路由、缓存、护栏、用量与成本分析 | 同 SaaS | 网关能力完整,支持多模型路由与降级 | 公开价需询价 | 多模型统一入口 |
| 4 | 开源网关 | LiteLLM(Proxy) | litellm.ai | 开源免费;企业版付费 | 统一 100+ 模型接口、虚拟 Key 与配额、预算限制、用量日志 | 自建需运维 | 虚拟 Key + 预算控制是它的核心强项 | 需自建数据库与高可用;无官方 SLA | 自建用量治理、多模型统一入口 |
| 5 | 开源网关 | One API / New API | github.com | 开源免费 | 多渠道 Key 管理、令牌额度、分组倍率、日志 | 自建需运维 | 国内使用广,支持渠道分组与额度 | 审计与合规能力弱;社区维护 | 国内自建、内部多部门分配 |
| 6 | 开源网关 | Higress AI 网关 | higress.cn | 开源免费;云产品版付费 | AI 网关、限流、可观测、插件机制 | 自建需运维 | 阿里开源,云原生友好 | 需要 K8s 运维能力 | 云原生架构、K8s 集群 |
| 7 | 商业网关 | Kong AI Gateway | konghq.com | 开源版免费;企业版订阅 | AI 路由、限流、Key 管理、可观测性 | 无 | 企业级网关生态成熟 | AI 能力需较新版本;企业版价格高 | 已有 Kong 体系的企业 |
| 8 | 云网关 | Cloudflare AI Gateway | cloudflare.com | 免费 + 按量 | AI 请求代理、缓存、限流、日志 | 境外主体 | 零成本起步,接入简单 | 境内访问与数据出境问题 | 海外业务、快速验证 |
| 9 | 云厂商 | 阿里云百炼 | bailian.console.aliyun.com | 按 token 计费;子账号与配额管理随控制台提供 | 模型调用、RAM 子账号、配额与限流、用量报表 | 实名;生成式 AI 备案 | 与云账号体系打通,可开票 | 部门级成本分摊需自行加工账单 | 国内 To B、需发票与合规 |
| 10 | 云厂商 | 腾讯云 | cloud.tencent.com | 按 token;子账号与配额 | 混元 API、子账号、配额、用量统计 | 同上 | 与腾讯云账号体系打通 | 跨产品用量汇总需自行加工 | 腾讯云上业务 |
| 11 | 云厂商 | 火山引擎(方舟) | volcengine.com | 按 token;配额与限流 | 豆包模型、配额管理、用量看板 | 同上 | 用量看板较完善 | 公开价与配额规则需商务/控制台 | 大规模调用 |
| 12 | 自建方案 | LiteLLM + 自建记账/BI | — | 开源 + 自研 | 自定义配额、成本分摊、审计日志、对接财务系统 | 需自有研发与运维 | 完全可控,可对接内部财务与权限体系 | 研发与运维投入大 | 对合规与成本归因要求高的企业 |
能力矩阵
能力矩阵
| 厂商 | 分类 | 部门配额 | 成本分摊 | 审计日志 | 多模型 | 可自建 | 公开价 | 综合推荐度 |
|---|---|---|---|---|---|---|---|---|
| Langfuse | 可观测平台 | △ 项目级 | ✅ 细到 trace | ✅ 仅 Enterprise | ✅ | ✅ 开源 | ✅ 公开 | ★★★★ |
| Helicone | 可观测平台 | △ 组织级 | ✅ 请求级 | △ 需企业版 | ✅ | △ 部分 | ✅ 公开 | ★★★★ |
| Portkey | AI 网关 | ✅ | ✅ | ✅ | ✅ | ✗ SaaS | ✗ 询价 | ★★★★ |
| LiteLLM | 开源网关 | ✅ 虚拟 Key 预算 | ✅ | ✅ 日志 | ✅ 100+ | ✅ 核心 | 免费 | ★★★★★ |
| One API / New API | 开源网关 | ✅ 令牌额度 | ✅ 分组倍率 | △ 基础日志 | ✅ | ✅ 核心 | 免费 | ★★★★ |
| Higress | 开源网关 | ✅ 限流 | △ | △ | ✅ | ✅ 核心 | 免费 | ★★★☆ |
| Kong AI Gateway | 商业网关 | ✅ | △ | ✅ | ✅ | △ 开源版 | △ | ★★★☆ |
| Cloudflare AI GW | 云网关 | △ | △ | ✅ 日志 | ✅ | ✗ | ✅ 免费档 | ★★★☆ |
| 阿里云百炼 | 云厂商 | ✅ RAM 子账号 | △ 需加工账单 | ✅ 操作审计 | ✅ | ✗ | ✅ 按 token | ★★★★ |
| 腾讯云 | 云厂商 | ✅ 子账号 | △ | ✅ | ✅ | ✗ | △ | ★★★☆ |
| 火山引擎 | 云厂商 | ✅ 配额 | ✅ 看板 | △ | ✅ | ✗ | ✗ 控制台 | ★★★☆ |
| 自建方案 | 自建 | ✅ 自定义 | ✅ 可对接财务 | ✅ 自定义留存 | ✅ | ✅ | 人力成本 | ★★★★ |
原理与实施路径
原理与实施路径 · 配额/分摊/审计怎么设计、怎么落地、风险在哪(红底为高风险项)
| 序号 | 板块 | 要点 | 说明 | 控制措施 / 备注 |
|---|---|---|---|---|
| 一、原理:三件事决定平台能不能用 | ||||
| 1 | 原理 | 配额的本质是「防超支」 | 配额层级应为:组织 → 部门 → 项目 → 用户 → Key。只在顶层设预算等于没设,必须能落到最小单元并可自动暂停。 | 配额要能「告警 → 限流 → 停用」三级联动 |
| 2 | 原理 | 成本分摊的难点在口径 | 按 token 用量 × 单价归集,但存在三个口径问题:共享 Key 怎么拆、缓存命中怎么算、失败重试算谁的。 | 先定口径再选工具,否则报表对不上财务 |
| 3 | 原理 | 审计日志的最小要素 | 谁(用户/部门)、何时、调了什么模型、多少输入输出 token、是否命中缓存、请求结果与耗时、来源 IP/应用。缺任一项不可审计。 | 留存期按等保与内审要求,建议 ≥6 个月 |
| 4 | 原理 | 两种部署形态 | SaaS:接入快、功能全,但数据出境与合规需评估;自建(LiteLLM/OneAPI/Higress):数据可控、可对接内部财务,但要运维与高可用。 | 涉敏数据优先自建 |
| 5 | 原理 | 网关与观测是两件事 | 网关负责「拦与限」(虚拟 Key、配额、限流、降级),观测负责「看与算」(成本、trace、报表)。只买一个通常不够。 | 自建常见组合:LiteLLM 做网关 + 自建 BI 做报表 |
| 6 | 原理 | 成本能否入账 | 财务要的是「部门 × 月份 × 金额」,需要平台导出可对账的明细并支持成本中心编码。 | 选型时确认能否按成本中心导出 |
| 二、实施路径:从定口径到月度对账(6 步) | ||||
| 7 | 实施路径 | ① 定口径 | 明确分摊规则(按用量/按席位/按部门预算)、缓存与重试的归属、内部结算价(是否加价)。 | 口径文件由财务与 IT 共同签字 |
| 8 | 实施路径 | ② 建组织与权限 | 部门树、成本中心编码、角色(管理员/部门管理员/普通用户),与现有 AD/SSO 打通。 | 优先复用现有账号体系,别另建一套 |
| 9 | 实施路径 | ③ 接网关 | 所有调用统一走网关,禁止直连上游;一部门一虚拟 Key,绑定配额与限流。 | 直连会绕过统计,等于没有管理 |
| 10 | 实施路径 | ④ 配配额与告警 | 按部门/项目设月度预算,80% 告警、100% 限流或停用。 | 配额要能自动生效,不能只告警 |
| 11 | 实施路径 | ⑤ 出报表 | 日/周/月报表:用量、成本、TOP 消耗方、异常调用、缓存命中率。 | 报表要能按成本中心导出给财务 |
| 12 | 实施路径 | ⑥ 月度对账与优化 | 与上游账单核对差异、优化提示词与缓存策略、清理闲置 Key。 | 差异率建议控制在 2% 以内 |
| 三、风险点(红底为高风险项) | ||||
| 13 | 风险 | ⚠ 只统计不限额 | 平台只出报表不拦调用,某部门一夜跑爆预算。 | 配额必须支持「硬限流/停用」 |
| 14 | 风险 | ⚠ 分摊口径不一致 | 平台按 token 算、财务按席位算,两套账对不上。 | 先定口径再选型;差异率纳入验收 |
| 15 | 风险 | ⚠ 审计日志留存不足 | 只留 7–30 天,事后追查不到;等保与内审要求更长。 | 按合规要求定留存期,必要时自建 |
| 16 | 风险 | ⚠ 数据出境 | SaaS 平台把提示词与业务数据传到境外。 | 涉敏业务用自建或境内 SaaS |
| 17 | 风险 | ⚠ 网关单点故障 | 网关挂掉导致所有 AI 调用中断。 | 网关高可用 + 直连降级预案 |
| 18 | 风险 | ⚠ 绕过网关直连 | 业务方为省事直接调上游,统计缺口。 | 上游 Key 只发给网关,网络层限制出口 |
| 19 | 风险 | ⚠ Key 泄露被盗刷 | 虚拟 Key 泄露导致大额账单。 | Key 轮换 + IP 白名单 + 异常用量告警 |
| 20 | 风险 | ⚠ 多平台重复计费 | 既买了观测平台又买了网关,功能重叠。 | 先列需求清单,按缺口采购 |
价目表
Langfuse | 可观测平台 | https://langfuse.com/pricing
| 序号 | 厂商 / 类型 | 分类 | 计费项 | 规格 / 档位 | 公开参考价 | 计费口径 | 官方链接 | 备注 |
|---|---|---|---|---|---|---|---|---|
| 1 | Langfuse | 可观测平台 | Hobby | 50k units/月、30 天数据、2 用户 | $0 | 免费 | 适合 POC | |
| 2 | Langfuse | 可观测平台 | Core | 100k units 含,超出 $8/100k | $29 / 月 | 按月 | 90 天数据、无限用户 | |
| 3 | Langfuse | 可观测平台 | Pro | 100k units 含,超出 $8/100k | $199 / 月 | 按月 | 3 年数据、SOC2/ISO27001、HIPAA-ready | |
| 4 | Langfuse | 可观测平台 | Teams 加购 | SSO、细粒度 RBAC | $300 / 月 | 按月 | 企业 SSO 与权限细化 | |
| 5 | Langfuse | 可观测平台 | Enterprise | 含 Audit Logs、SCIM、自定义限流、SLA | $2,499 / 月 | 按月 | 审计日志是该档专属能力 | |
| 6 | Langfuse | 可观测平台 | 自建(开源自托管) | 需自行部署 | $0(许可) | — | 成本在服务器与运维 |
Helicone | 可观测平台 | https://www.helicone.ai/pricing
| 7 | Helicone | 可观测平台 | Hobby | 10,000 请求、1GB、1 席位 | $0 | 免费 | 留存 7 天 | |
|---|---|---|---|---|---|---|---|---|
| 8 | Helicone | 可观测平台 | Pro | 无限席位、告警报表、HQL | $79 / 月 | 按月 | 留存 1 个月;另加用量费 | |
| 9 | Helicone | 可观测平台 | Team | 5 个组织、SOC2/HIPAA | $799 / 月 | 按月 | 留存 3 个月 | |
| 10 | Helicone | 可观测平台 | Enterprise | SAML SSO、私有部署 | 联系销售 | 定制 | — |
Portkey / Kong / Cloudflare | AI 网关 | https://portkey.ai/pricing
| 11 | Portkey / Kong / Cloudflare | AI 网关 | Portkey | SaaS 订阅 + 企业版 | 未获取(需询价) | 按月 | 网关、路由、护栏 | |
|---|---|---|---|---|---|---|---|---|
| 12 | Portkey / Kong / Cloudflare | AI 网关 | Kong AI Gateway | 开源版 / 企业版 | 开源免费(企业版未获取) | 订阅 | — | |
| 13 | Portkey / Kong / Cloudflare | AI 网关 | Cloudflare AI Gateway | 免费 + 按量 | 未获取(官网定价页) | 按量 | 境外主体 |
开源自建 | 开源 | https://litellm.ai/
| 14 | 开源自建 | 开源 | LiteLLM Proxy | 统一接口 + 虚拟 Key + 预算 | 0 元 | — | 成本在服务器与运维 | |
|---|---|---|---|---|---|---|---|---|
| 15 | 开源自建 | 开源 | One API / New API | 多渠道 Key 与额度分组 | 0 元 | — | 国内自建常用 | |
| 16 | 开源自建 | 开源 | Higress AI 网关 | 限流、可观测、插件 | 0 元 | — | 需 K8s | |
| 17 | 开源自建 | 开源 | 自建记账/BI | 对接财务成本中心 | 人力成本 | — | 按人天估算 |
云厂商(阿里云/腾讯云/火山引擎) | 云厂商 | https://help.aliyun.com/zh/model-studio/quota-management
| 18 | 云厂商(阿里云/腾讯云/火山引擎) | 云厂商 | 子账号与配额 | 随云账号体系提供 | 0 元(不额外收费) | — | 部门级成本分摊需自行加工账单 | |
|---|---|---|---|---|---|---|---|---|
| 19 | 云厂商(阿里云/腾讯云/火山引擎) | 云厂商 | 用量报表 | 控制台提供 | 0 元 | — | 导出后对接财务 | |
| 20 | 云厂商(阿里云/腾讯云/火山引擎) | 云厂商 | API 调用 | 按 token | 未获取(随模型定价) | 按 token | — |
价目表链接
价目表链接
| 序号 | 来源 / 厂商 | 分类 | 页面 | 官方链接 | 说明 | 访问状态 2026-10-20 |
|---|---|---|---|---|---|---|
| 1 | Langfuse | 可观测平台 | 定价 | https://langfuse.com/pricing | Hobby/Core/Pro/Enterprise | 200 正常 |
| 2 | Helicone | 可观测平台 | 定价 | https://www.helicone.ai/pricing | 四档与用量计费 | 200 正常 |
| 3 | Portkey | AI 网关 | 定价 | https://portkey.ai/pricing | 网关与订阅 | 200 正常 |
| 4 | LiteLLM | 开源网关 | 官网 | https://litellm.ai/ | 虚拟 Key 与预算 | 200 正常 |
| 5 | One API | 开源网关 | GitHub | https://github.com/songquanpeng/one-api | 渠道与额度分组 | 200 正常 |
| 6 | Higress | 开源网关 | 官网 | https://higress.cn/ | AI 网关与插件 | 200 正常 |
| 7 | Kong | 商业网关 | AI Gateway | https://konghq.com/products/kong-ai-gateway | 企业网关 | 200 正常 |
| 8 | Cloudflare | 云网关 | AI Gateway | https://developers.cloudflare.com/ai-gateway/ | 代理与缓存 | 200 正常 |
| 9 | 阿里云百炼 | 云厂商 | 配额管理 | https://help.aliyun.com/zh/model-studio/quota-management | 子账号与限流 | 200 正常 |
数据说明
数据说明
一、本表用途
调研 Token 用量管理平台:部门配额、成本分摊、审计日志。核心是「限额能自动生效 + 成本能落到部门 + 日志能审计」三件事。原理与风险见「原理与实施路径」表。
二、口径
-
配额层级:组织 → 部门 → 项目 → 用户 → Key,必须能自动「告警 → 限流 → 停用」。
-
成本分摊口径要先定:共享 Key 怎么拆、缓存命中怎么算、失败重试算谁的。
-
审计日志最小要素:谁、何时、什么模型、多少 token、是否命中缓存、结果与耗时、来源。
-
网关负责「拦与限」,观测负责「看与算」,通常需要组合使用。
-
关键发现:Langfuse 的 **Audit Logs 只在 Enterprise(300/月)。
三、合规要求
-
审计日志留存期按等保与内审要求,建议 ≥6 个月。
-
涉敏数据不得经由境外 SaaS 处理,需自建或境内 SaaS。
-
成本分摊数据涉及部门预算,需控制访问权限。
-
生成式 AI 服务备案与内容安全责任同样适用于用量平台所承载的调用。
四、未获取 / 待核实清单
-
Portkey、Kong 企业版、Cloudflare AI Gateway 的具体档位价:需询价或官网定价页。
-
阿里云/腾讯云/火山引擎的配额规则与限流阈值:控制台或文档细节,本次未逐条摘录。
-
各家 SaaS 的数据存储地域与是否支持境内落地:需逐家确认(影响合规选型)。
-
自建方案的人力成本:按团队薪资与运维工作量估算,无公开报价。
五、使用建议
· 预算有限但要「配额 + 成本 + 审计」三件齐全,最优解是 LiteLLM(网关)+ 自建 BI(报表),许可成本为零。
· 只想要「看得见」不想要运维,选 Langfuse/Hilicone SaaS,但要接受数据出境与审计日志在高端档。
· 网关必须高可用并保留直连降级预案,否则它本身就成了单点。
· 上线第一件事是「禁止业务直连上游」,否则所有统计都是假的。
来源清单
来源清单
| 序号 | 来源 | URL | 用途 | 访问日期 |
|---|---|---|---|---|
| 1 | Langfuse 定价 | https://langfuse.com/pricing | 四档价格与 Audit Logs 归属 | 2026-10-20 |
| 2 | Helicone 定价 | https://www.helicone.ai/pricing | 四档与留存 | 2026-10-20 |
| 3 | Portkey 定价 | https://portkey.ai/pricing | AI 网关 | 2026-10-20 |
| 4 | LiteLLM | https://litellm.ai/ | 虚拟 Key 与预算 | 2026-10-20 |
| 5 | One API | https://github.com/songquanpeng/one-api | 开源额度管理 | 2026-10-20 |
| 6 | Higress | https://higress.cn/ | 开源 AI 网关 | 2026-10-20 |
| 7 | 阿里云百炼 配额管理 | https://help.aliyun.com/zh/model-studio/quota-management | 子账号与限流 | 2026-10-20 |