配置与权限
- 测试和生产分别创建密钥,记录对应应用、负责人、分组和模型。
- 使用服务端密钥存储,不进入仓库、浏览器包、错误追踪附件或公开日志。
- 设置合理额度和到期计划,测试密钥轮换与停用流程。
- 锁定 SDK 版本和已验证的协议,不自动把所有请求切到未知模型。
功能验证
| 场景 | 必须确认 |
|---|---|
| 普通文本 | 正文、完成原因和失败提示 |
| 流式 | 首字等待、正常结束、中断和取消 |
| 工具调用 | 参数校验、授权、去重和结果回传 |
| 长上下文 | 输入限制、输出截断和费用变化 |
| 异步生成 | 任务 ID 保存、状态查询和结果有效性 |
稳定性与费用
为请求队列设置并发上限、总超时和有限重试。先小流量发布,记录状态码、模型、分组、耗时、用量与请求 ID;按密钥和时间范围检查费用变化。不要把客户正文默认写入日志。
服务重启、网络断开、429、5xx 和余额不足都需要明确的用户提示。异步任务提交后保存任务 ID,恢复时查询原任务,不直接重新提交。
面向浏览器的业务
由你自己的后端鉴权用户、控制预算并调用模型,浏览器只访问你的业务接口。限制输入大小、可选模型和上传内容,不向匿名用户暴露不受限制的模型转发能力。
发布后
观察错误率、尾部延迟和平均成本;发现异常时可切回已验证配置,停用可疑密钥并保留脱敏证据。变更模型、分组或协议后重跑关键样本。