OmniGate
OpenAI 兼容的本地 AI 网关。把多个模型提供方聚合成一个端点,提供加权负载均衡、模型内密钥权重、阶梯熔断、虚拟密钥和多维统计,内嵌管理控制台——全部打包在一个静态二进制里。
OpenAI 兼容的本地 AI 网关。把多个模型提供方聚合成一个端点,提供加权负载均衡、模型内密钥权重、阶梯熔断、虚拟密钥和多维统计,内嵌管理控制台——全部打包在一个静态二进制里。
中国大陆用户推荐走 CDN:
前置:Go 1.27+、Node 18+(仅 web 构建需要)。
/v1 调用使用虚拟密钥鉴权,在管理台「虚拟密钥」页面创建,说明见 路由与虚拟密钥。调用前需要先在 配置中心 配好提供商和模型,再在路由页挂上逻辑名。
配置中心解决「上游是谁」;这一页解决「客户端看到什么名字、用哪张凭证调用」。
管理台 设置 页改的是运行层:熔断、重试、流式、日志捕获、会话亲和、计费。保存后对下一个请求立即生效,不用改 config.yaml,也不用重启。监听地址和登录账号仍在 配置 的启动层。
OmniGate 把配置分成两层:启动层决定「进程怎么起来」,运行层决定「请求怎么转发」。
管理台左侧 配置中心 是日常使用的入口:先配提供商和密钥,再挂模型,最后到 路由与虚拟密钥 对外暴露逻辑模型名。保存后即时生效,不必重启进程。