负载均衡与 Failover

Channel 配置

curl https://api.osp.io/v1/chat/completions \
  -H "Authorization: Bearer $OSP_A... \
  -H "x-channel: openai" \
  -d '{"model": "gpt-4o", "messages": [{"role": "user", "content": "hi"}]}'

可用 channel：openai（默认）、azure、anthropic、google、deepseek

自动 Failover 机制

错误类型	行为
429 RPM/TPM 超限	换 channel 重试（最多 3 次）
5xx 服务错误	换 channel 重试（最多 2 次）
401/403 认证错误	不重试，直接返回

Channel 限速参考

Channel	RPM	TPM
OpenAI	500	150k
Anthropic	100	50k
Google AI	60	1M
DeepSeek	500	200k

指定模型自动路由

curl https://api.osp.io/v1/chat/completions \
  -H "Authorization: Bearer $OSP_A... \
  -d '{"model": "claude-sonnet-4", ...}'
  # 自动路由到 anthropic channel