跳到主要内容

路由与负载均衡

一次请求如何从逻辑模型走到物理模型,再走到具体密钥。

4. 路由与负载均衡​

4.1 选择算法(单次尝试的决策链)​

① 解析客户端 model:
先按逻辑路由名精确匹配 Route.Name;
未命中且含 `/` 时,仅用第一个 `/` 拆成 provider/model,直达该提供商下的物理模型
(模型名可含后续 `/`,如 openrouter/anthropic/claude-3.5-sonnet)。
直达快照只有这一个目标,无加权、无路由级兜底。

② 命中后取候选 route_target 列表(直达路径即该物理模型)
过滤:model.status == disabled 或 处于 cooldown 的目标 → 权重临时归零
加权随机:r = rand(Σw),顺序累减命中
(LiteLLM simple-shuffle 同款语义;全被过滤 → §5.4 全不可用流程)

③ 命中 model → 取其绑定的候选 api_key 列表(模型与密钥须同提供商)
过滤:disabled / cooldown 中的 key

④ 模型内密钥选择:等权轮询(每模型独立原子游标);权重不等则加权随机
该模型全部可用密钥失败后视为 hop 耗尽,回到②换目标

进行中请求持有当前配置快照(atomic.Pointer 加载的不可变视图),配置热替换不影响已开始的请求。

4.2 权重语义示例​

路由 glm:

目标模型权重期望流量
智谱 / glm-4.6770%
智谱 / glm-4.5-flash330%

glm-4.6 绑定 3 个企业 key,glm-4.5-flash 绑定 2 个轻量 key(各自模型内按权重分配;等权则轮询)。 glm-4.6 的 key 全部冷却时,glm-4.6 临时不可用,流量自然全部落到 glm-4.5-flash 上。