跳到主要内容

8 篇文档带有标签「omnigate」

查看所有标签

OmniGate

OpenAI 兼容的本地 AI 网关。把多个模型提供方聚合成一个端点,提供加权负载均衡、模型内密钥权重、阶梯熔断、虚拟密钥和多维统计,内嵌管理控制台——全部打包在一个静态二进制里。

本地开发

前置:Go 1.27+、Node 18+(仅 web 构建需要)。

调用方式

/v1 调用使用虚拟密钥鉴权,在管理台「虚拟密钥」页面创建,说明见 路由与虚拟密钥。调用前需要先在 配置中心 配好提供商和模型,再在路由页挂上逻辑名。

路由与虚拟密钥

配置中心解决「上游是谁」;这一页解决「客户端看到什么名字、用哪张凭证调用」。

运行设置

管理台 设置 页改的是运行层:熔断、重试、流式、日志捕获、会话亲和、计费。保存后对下一个请求立即生效,不用改 config.yaml,也不用重启。监听地址和登录账号仍在 配置 的启动层。

配置

OmniGate 把配置分成两层:启动层决定「进程怎么起来」,运行层决定「请求怎么转发」。

配置中心

管理台左侧 配置中心 是日常使用的入口:先配提供商和密钥,再挂模型,最后到 路由与虚拟密钥 对外暴露逻辑模型名。保存后即时生效,不必重启进程。