6. 创建模型服务

返回概览 · 完整版目录 · 下载完整 PDF

模型服务把一组供应商模型组织成面向成员和业务系统的服务。授权、配额、阶梯计价和 API 密钥都以模型服务为单位：成员获得某个模型服务的使用权后，用绑定该服务的 API 密钥调用服务内任一已启用模型。

入口：「管理控制台 → 搭建 → 模型服务」。页面顶部有两个页签：「模型服务」（服务列表）、「API 密钥管理」（第 6.7 节）。

前提：租户管理员或「系统管理员」角色；至少有一个已启用模型的供应商（第 4 章）。本章功能属于基础功能许可。

调用方在请求的 model 字段中指定服务内的具体模型名。平台不会因为某个模型不可用而自动改用服务内的其他模型；需要失败时转到备用模型，应在「管理控制台 → 路由策略 → 流量规则」中配置故障转移（需要动态路由许可，见第 15 章）。

6.1 新建模型服务

1. 在「模型服务」页签选择「添加模型服务」。
2. 设置「模型服务 Logo」：上传 JPG、PNG、WebP 或 GIF 图片（不超过 2 MB），或选择「生成」。
3. 填写「模型服务名称」（例如“高级 Claude 服务”）和「描述信息（可选）」。描述中写明适用任务、数据边界或成本等级。
4. 选择「添加模型」，从已启用的供应商模型中加入至少一个模型。已添加列表显示「模型名称」「供应商」「多模态」，可拖动调整顺序，用「移除」删除。
5. 选择「保存模型服务」。

保存后服务默认处于发布状态。新服务尚未分发给任何人，列表的「可见范围」列显示“未分发”，需要继续配置可用范围（第 7 章）。

模型能接入的调用接口由模型自身的能力用途决定（第 4.6 节）。同一个服务可以同时包含对话、嵌入、图像生成、语音、重排序等不同用途的模型，调用方按接口和模型名使用。

6.2 模型服务命名与拆分

• 按使用目的拆分，例如“通用对话”“代码与分析”“低成本批处理”；
• 需要不同的可用人群、费用上限或数据处理要求时，拆成不同服务；
• 不要只用供应商的模型型号作为服务名称，成员通常按任务用途选择；
• 在描述中写清适用场景和限制。

6.3 模型服务不可用排查

调用失败或成员看不到服务时，按以下顺序检查：

1. 服务详情「基本信息」页签的「发布」开关是否开启，模型列表中该模型状态是否为“正常”；
2. 模型所属供应商是否启用、健康，账号是否可用（第 4.2、4.5 节）；
3. 调用方是否在服务的可用范围内，授权是否在有效期内（第 7 章）；
4. 调用方使用的 API 密钥是否绑定该服务、状态是否为“可用”（第 6.7 节）；
5. 配额是否已用尽，额度池提示“已用尽”（第 7 章）；
6. 用「试跑」页签复现，按失败归因定位（第 6.5 节）。

6.4 服务列表与服务详情

服务列表的列为「名称」「模型数量」「可见范围」「累计消耗」「累计费用」「最近更新」，可按名称搜索、按「已启用」「已停用」筛选。行末「操作」菜单提供「编辑」和「删除」。

点击服务名称进入详情，页签依次为「基本信息」「试跑」「可用范围与配额」「调用情况」「操作审计」。右上角「编辑模型服务」用于修改名称、描述、Logo 和模型列表。

「基本信息」页签：

• 左侧：「发布」开关、「创建时间」、「服务级配额」（第 7.3 节）、「累计 Token（全部时间）」「累计费用（全部时间）」；
• 右侧：模型表，列为「排序」「模型名称」「供应商」「多模态」「状态」「当月用量」「当前已用（共计）」「当月费用」「费用（共计）」。可在此「添加模型」或移除模型。

停用或删除服务前，平台检查全局设置是否占用该服务的模型。被占用时提示受影响的功能，需先到全局设置更换（第 6.9 节）。

6.5 试跑与失败归因

「试跑」页签用真实调用链路向服务内的对话模型发起请求，用于上线前验证。试跑会真实计费，并记录在「调用情况」与操作审计中。

前提：以租户管理员身份进入（平台管理员没有租户归属，不能试跑）；服务已发布；服务中至少有一个启用的对话模型。

1. 选择要试跑的模型，默认使用服务的主对话模型。
2. 按需展开「参数」，可填写 system、Top P、「随机种子」等；留空使用模型默认行为。
3. 输入消息并发送。结果以流式返回，可选择「停止」中断（上游仍会完成生成并计费）。
4. 成功时显示摘要，例如“通 · 首字 0.8s · 共 2.1s · 356 tok · ¥0.0012”。模型请求调用工具时，可「手填返回值」「跳过」后「继续」，或选择「真执行」。

失败时，页面给出三类信息：

• 失败发生的位置：“失败发生在本平台侧：请求从未发给供应商”或“失败发生在供应商侧：请求已发出并收到错误响应”；
• 失败原因：按网关返回的稳定错误码（reason）显示中文说明，例如护栏拦截显示“内容策略已拦截此请求，请调整内容后重试。”，额度用尽显示“这把 Key的本月Token额度已用尽，请联系管理员调整额度。”，限流显示“请求过于频繁，请稍后再试。”；没有错误码时显示“不通 · 失败原因未归类”；
• 供应商侧失败时，附带供应商 HTTP 状态码和供应商返回的信息。

错误码的完整含义见第 10.8 节。

6.6 调用情况

「调用情况」页签展示服务的运行状态和调用明细：

• 指标：「服务状态」「当前并发」「服务限流」（模型服务级的每分钟请求上限，未设置时显示“不可用”）、「1 分钟错误率」「延迟 P50」「延迟 P99」；
• 趋势：「调用量、吞吐与限流趋势」，包括调用次数、每秒请求数、每秒输入与输出 token 数、平均并发、速率限流与并发限流的拒绝次数。时间范围可选最近 1 小时、6 小时、24 小时、7 天、30 天；
• 「调用明细」：列为时间、用户、调用模型、状态、Token 数和费用。上游实际返回的模型与请求不一致的调用带“上游换了模型”标记；平台内部发起的调用会标明用途，例如“平台内部调用：内容安全检测”。

计费数据有短暂延迟。最近的调用显示“待计费”；未定价模型的用量单独提示“另有 N token 未定价”，可选择「去定价」。设置价格后，新调用开始计费，之前的调用不会补算。

6.7 API 密钥管理

「API 密钥管理」页签集中查看本租户全部网关 API 密钥。Key 由成员在能力中心创建（第 8.3 节），管理员在此检索和处置，不在此新建。

检索：按 Key 名称或前缀搜索，按「状态」「模型服务」「调用方」筛选。列表列为「名称」「调用方」「模型服务」「状态」「累计消耗」。

Key 的状态包括“可用”“已禁用”“已过期”“已删除”。

点击 Key 打开详情（「模型 API 密钥」），查看身份信息（接入凭据、计费归属、所有者）、Base URL、可用状态、额度状态、最近使用和总调用次数，并可执行：

勾选多行后可「批量禁用」「批量删除」。

6.8 操作审计

服务详情的「操作审计」页签记录该服务的创建、更新、删除、试跑，可用范围的更新、批量更新和移除，以及配额预算的创建、替换和重置。点击记录查看变更前后的内容。跨服务的配置审计查询见第 22.7 节。

6.9 全局设置：默认模型与美元汇率

入口：「管理控制台 → 系统设置 → 全局设置」。

默认模型：为平台各项功能分别指定一个模型服务与模型。选择「编辑」，在「编辑默认模型」中逐项选择，留空表示未设置。可配置的功能包括：

• 「内容安全」：护栏判断内容风险时使用，选用后还需选择「模型类型」；
• 「敏感信息识别」：识别个人信息等敏感实体；
• 「意图识别」：路由规则的意图条件使用；
• 「问答语义匹配」：问答库语义匹配使用；
• 「知识库嵌入」「知识库重排」：已获得知识库加购许可并部署知识库能力时使用。更换知识库嵌入模型会触发全部文档重建向量索引，重建期间语义检索暂停；
• 「知识页、文档摘要与日报」：后台摘要任务使用。

列表的「状态」列显示“正常”“未设置”“已停用”“已失效”，「谁能用」列说明该功能的使用范围。所选服务停用或模型失效时，页面顶部提示需要更换的功能。选用外部供应商的模型时，对话框提示用户内容会发送给该供应商。

美元汇率：在「美元汇率」区域填写“1 美元兑结算币种”的汇率（大于 0，最多 6 位小数）。汇率用于把客户端上报的美元费用换算为结算币种，也用于参照目录价定价（第 5.3 节）。不填写时不使用客户端上报的费用，改用目录估算。结算币种为美元时无需填写。

---

上一章：5. 模型定价与分类 · 下一章：7. 配置模型服务的可用范围与配额