跳到主要内容

路由

配置中心解决「上游是谁」;这一页解决「客户端看到什么名字、请求怎么落到上游」。客户端请求里的 model 填路由的模型别名。

路由类型​

路由页按能力分 Tab:对话、向量、重排、生图、语音、视频、MCP。端点类型决定代理路径:

端点类型代理路径可挂的模型类型
completions/v1/chat/completionschat
messages/v1/messageschat + protocol=messages
responses/v1/responseschat + protocol=responses
gemini/v1/gemini:generateContentchat + protocol=gemini
embedding/v1/embeddingsembedding
rerank/v1/rerankrerank
image/v1/images/generationsimage
tts/v1/audio/speechtts
stt/v1/audio/transcriptionsstt
video/v1/videosvideo
mcp/v1/mcp/<别名>MCP 后端

目标模型的类型、协议必须和端点一致:messages 端点只能挂 protocol=messages 的 chat 模型,生图端点只能挂 type=image 的模型。

目标模型与权重​

一个别名后面可以挂多个物理模型,按权重挑选:

字段说明
模型别名客户端 model 参数,如 glm
目标模型与权重多个物理模型按相对权重分流
兜底模型该路由所有目标都不可用时,再单次尝试这个模型,不进入常规重试

权重是相对值。两个目标分别写 3 和 1,长期看大约 3:1。失败时先耗尽当前模型的全部可用密钥,再换下一个目标(hop),次数受 运行设置 里的「单请求最大转移模型数」限制。

健康状态与解禁​

路由页能看到目标的健康状态:正常 / 部分禁用 / 限流冷却 / 不可用,也可以从这里手动解禁。

  • 禁用粒度是 模型 × 密钥,不是整条路由
  • 401 / 403 通常立即禁用该组合;429 走短冷却
  • 开启定时探测后,被自动禁用的组合会在后台探测,成功则自动解禁,见 定时探测与自动解禁

MCP 路由​

端点选 mcp 后,别名对应 /v1/mcp/<别名>。把一个或多个 MCP 后端挂上来:

  • 暴露全部工具:该后端当前和以后新增的工具都会出现在 tools/list
  • 按工具白名单:只暴露勾选的工具

对话测试页挂上 MCP 路由后,可以把这些工具直接注入模型自动调用。后端本身在管理台 MCP 页维护(目标 URL、可选 API Key、探测工具列表)。完整用法见 多模态与 MCP。

provider/model 直达​

除了逻辑路由名,请求里的 model 还可以写 提供商名/模型名,跳过加权选择、锁定某个物理模型:

{"model": "openrouter/anthropic/claude-3.5-sonnet"}

规则:

  • 仅在逻辑路由未命中时生效;若存在与输入完全同名的路由,仍然走路由池
  • 仅用第一个 / 分割,模型名里可以再含 /
  • /v1/models 会把所有物理模型以 provider/model 形式一并列出
  • 配置了授权路由的受限虚拟密钥无法用该语法绕过白名单

具体调用示例见 调用与端点。