跳到主要内容

2 篇文档带有标签「llm」

查看所有标签

OmniGate

OpenAI 兼容的本地 AI 网关。把多个模型提供方聚合成一个端点,提供加权负载均衡、模型内密钥权重、阶梯熔断、虚拟密钥和多维统计,内嵌管理控制台——全部打包在一个静态二进制里。

调用方式

/v1 调用使用虚拟密钥鉴权,在管理台「虚拟密钥」页面创建,说明见 路由与虚拟密钥。调用前需要先在 配置中心 配好提供商和模型,再在路由页挂上逻辑名。