配置与权限

  1. 测试和生产分别创建密钥,记录对应应用、负责人、分组和模型。
  2. 使用服务端密钥存储,不进入仓库、浏览器包、错误追踪附件或公开日志。
  3. 设置合理额度和到期计划,测试密钥轮换与停用流程。
  4. 锁定 SDK 版本和已验证的协议,不自动把所有请求切到未知模型。

功能验证

场景必须确认
普通文本正文、完成原因和失败提示
流式首字等待、正常结束、中断和取消
工具调用参数校验、授权、去重和结果回传
长上下文输入限制、输出截断和费用变化
异步生成任务 ID 保存、状态查询和结果有效性

稳定性与费用

为请求队列设置并发上限、总超时和有限重试。先小流量发布,记录状态码、模型、分组、耗时、用量与请求 ID;按密钥和时间范围检查费用变化。不要把客户正文默认写入日志。

服务重启、网络断开、429、5xx 和余额不足都需要明确的用户提示。异步任务提交后保存任务 ID,恢复时查询原任务,不直接重新提交。

面向浏览器的业务

由你自己的后端鉴权用户、控制预算并调用模型,浏览器只访问你的业务接口。限制输入大小、可选模型和上传内容,不向匿名用户暴露不受限制的模型转发能力。

发布后

观察错误率、尾部延迟和平均成本;发现异常时可切回已验证配置,停用可疑密钥并保留脱敏证据。变更模型、分组或协议后重跑关键样本。

参考:日志 · 限流与重试 · 轮换密钥