三类限制
RPM 表示一定时间内的请求频率，TPM 表示 Token 使用速率，并发表示同时进行的请求数量。一个长输入请求即使请求次数很少，也可能触及用量或并发限制。
哪些情况可以重试
| 情况 | 处理方式 |
|---|---|
| 无效密钥、权限不足、格式错误 | 修正配置再请求，不自动重试 |
| 错误正文说明额度不足 | 检查账户与密钥额度，不靠等待解决 |
| 暂时性限流或服务故障 | 业务允许时进行有限退避 |
| 流式已返回内容、任务已提交 | 先确认执行结果，避免重复生成或任务 |
建议的应用策略
- 设置请求队列和并发上限，避免瞬间批量发起。
- 若服务返回可用的
Retry-After，结合业务总期限等待；否则采用带随机抖动的指数退避，例如 1、2、4 秒附近逐步等待。 - 限制最大尝试次数和总耗时，失败后向用户显示明确结果。
- 检查 SDK 自带重试；只在一层控制整体策略，防止业务重试与 SDK 重试相乘。
- 对工具执行和异步任务做去重，不能假定重复 POST 自动幂等。
超时怎么设置
连接超时用于限制建连等待，读取超时约束无数据等待，业务总超时限制整次操作。按模型和任务实测设置；首字较慢的模型不适合盲目使用极短读取超时。
客户端超时不保证服务端从未执行，重试可能产生额外费用。故障持续时降低并发、检查公告和日志，不要无限循环。
下一步：上线检查。