跳到主要内容

12 篇文档带有标签「proxy」

查看所有标签

OmniGate

OpenAI 兼容的 AI 网关。把多个模型提供方聚合成一个端点,提供加权负载均衡、模型内密钥权重、阶梯熔断、虚拟密钥、密钥门户和多维统计,内嵌管理控制台——全部打包在一个静态二进制里。

协议转换

跨协议调用时的字段映射、端点策略与已知限制。日常使用建议走 OpenAI 兼容端点;需要厂商独有参数时再用原生端点。

定时探测与自动解禁

状态:设计中 / 实现中。 这一页是设计稿,描述定时探测被自动禁用的 模型×密钥 组合并自动解禁的机制。配置与行为以当前版本代码为准。

总体架构

这一页说明 OmniGate 的目标、非目标与整体结构。设计稿面向贡献者,但其中的取舍对部署和排障也有帮助。

熔断与恢复

熔断粒度是 模型×密钥 组合。这一页说明失败分类、阶梯冷却、模型可达性的派生口径与全部不可用时的兜底。

设计与架构

本目录收录内部实现与设计取舍。它们不影响日常使用,但能解释「为什么行为是这样」,也是排障和二次开发的参考。

调用与端点

/v1 调用使用虚拟密钥鉴权,在管理台「虚拟密钥」页面创建,说明见 虚拟密钥。调用前需要先在 配置中心 配好提供商和模型,再在 路由 挂上逻辑名。

路由

配置中心解决「上游是谁」;这一页解决「客户端看到什么名字、请求怎么落到上游」。客户端请求里的 model 填路由的模型别名。

部署形态

OmniGate 是单进程、单二进制服务,管理台与代理共用一个端口(默认 17777)。