路由与负载均衡
一次请求如何从逻辑模型走到物理模型,再走到具体密钥。
4. 路由与负载均衡
4.1 选择算法(单次尝试的决策链)
① 解析客户端 model:
先按逻辑路由名精确匹配 Route.Name;
未命中且含 `/` 时,仅用第一个 `/` 拆成 provider/model,直达该提供商下的物理模型
(模型名可含后续 `/`,如 openrouter/anthropic/claude-3.5-sonnet)。
直达快照只有这一个目标,无加权、无路由级兜底。
② 命中后取候选 route_target 列表(直达路径即该物理模型)
过滤:model.status == disabled 或 处于 cooldown 的目标 → 权重临时归零
加权随机:r = rand(Σw),顺序累减命中
(LiteLLM simple-shuffle 同款语义;全被过滤 → §5.4 全不可用流程)
③ 命中 model → 取其绑定的候选 api_key 列表(模型与密钥须同提供商)
过滤:disabled / cooldown 中的 key
④ 模型内密钥选择:等权轮询(每模型独立原子游标);权重不等则加权随机
该模型全部可用密钥失败后视为 hop 耗尽,回到②换目标
进行中请求持有当前配置快照(atomic.Pointer 加载的不可变视图),配置热替换不影响已开始的请求。
4.2 权重语义示例
路由 glm:
| 目标模型 | 权重 | 期望流量 |
|---|---|---|
| 智谱 / glm-4.6 | 7 | 70% |
| 智谱 / glm-4.5-flash | 3 | 30% |
glm-4.6 绑定 3 个企业 key,glm-4.5-flash 绑定 2 个轻量 key(各自模型内按权重分配;等权则轮询)。 glm-4.6 的 key 全部冷却时,glm-4.6 临时不可用,流量自然全部落到 glm-4.5-flash 上。