跳到主要内容

4 篇文档带有标签「llm」

查看所有标签

OmniGate

OpenAI 兼容的 AI 网关。把多个模型提供方聚合成一个端点,提供加权负载均衡、模型内密钥权重、阶梯熔断、虚拟密钥、密钥门户和多维统计,内嵌管理控制台——全部打包在一个静态二进制里。

协议转换

跨协议调用时的字段映射、端点策略与已知限制。日常使用建议走 OpenAI 兼容端点;需要厂商独有参数时再用原生端点。

接入客户端

OmniGate 对下游暴露 OpenAI 兼容接口,绝大多数支持自定义 Base URL 的 SDK 和 AI 工具都能直接接入。

调用与端点

/v1 调用使用虚拟密钥鉴权,在管理台「虚拟密钥」页面创建,说明见 虚拟密钥。调用前需要先在 配置中心 配好提供商和模型,再在 路由 挂上逻辑名。