跳到主要内容

术语表

术语含义
提供商 Provider一个上游 API 入口,例如智谱、OpenRouter、自建 vLLM
上游密钥 ApiKey提供商下的真实 API Key,只在管理台保存,由网关替换后发往上游
物理模型 Model上游真实模型名,例如 glm-4.6
逻辑路由 Route客户端看到的模型别名,例如 glm;背后挂一个或多个物理模型
目标 Target路由背后的一个物理模型,带权重
兜底模型 Fallback路由所有目标都不可用时单次尝试的模型,不进入常规重试
hop一次「换目标模型」的转移;每个模型会先用完自己的可用密钥
虚拟密钥 Virtual Key发给使用者的调用凭证 vk-...,带限流、额度和授权路由
组合熔断 Model×Key Ban禁用粒度为「某个物理模型 + 某把上游密钥」的组合
永久禁用 perm_banned连续失败或 401/403 后需要手动/探测解禁的状态
冷却 cooldown可重试失败后的短期限流状态,到期自动恢复
全部不可用 all_backends_unavailable路由内没有任何可用目标/密钥时返回的错误
未选中模型统计中在选模型阶段就失败的请求,没有落点模型,按路由分行展示
TTFTTime To First Token,首字延迟
TPSTokens Per Second,输出速度
门户 Portal虚拟密钥持有者的只读自助页 /portal
MCPModel Context Protocol,工具网关;/v1/mcp/<路由> 聚合多个 MCP Server
实例 anchor数据库目标标识;SQLite 用文件绝对路径,远程库用不含凭据的 driver://host:port/db
初始化 SQL连接建立后、建表迁移前执行的 SQL,适合建库、装扩展、预置数据
运行层 / 启动层运行层在管理台改、热生效;启动层在 config.yaml,改完要重启