LLM Gateway

LLM Gateway是一个统一的 API，用于跨 40 多个 LLM 提供商（包括 OpenAI、Anthropic、Google、Meta、Mistral 和 DeepSeek）路由请求，因此团队可以使用一个 OpenAI 兼容端点和一个密钥来处理 200 多个模型，并具有使用情况分析、成本跟踪、缓存和自动故障转移功能。它也被称为AI API网关、LLM代理和统一LLM API。该产品在 AGPLv3 下开源且可自托管；托管云由Polar Lights LLC（16192 Coastal Highway, Lewes, DE 19958, United States）运营。公开采访和联合创始人的著作表明 Luca Steeb 和 Ismail Ghallou (smakosh) 是建设者；关于页面本身命名的是 LLC 和分布式 GitHub 社区，而不是单个创始人。截至 2026 年 9 月，GitHub 存储库 theopenco/llmgateway 显示了大约 1.5K 颗星（2026 年 9 月 2 日 API 检索约为 1,594）。

从机制上讲，应用程序将现有 OpenAI SDK（或原始 HTTP）指向https://api.llmgateway.io/v1（或自托管基本 URL），使用网关 API 密钥进行身份验证，并保持模型字符串可互换。网关路由到所选的提供商，计量令牌和每个模型/提供商/项目/密钥的成本，缓存可重复的响应，并在上游降级时进行故障转移。网关产品的定价不是席位订阅：按提供商列表代币费率支付的即用即付预付积分账单，加上积分购买时固定的5% 平台费用（每次充值最低$10/ 最高$5,000；每个定价加上国际卡 1.5%。md 最后更新于 2026 年 8 月 15 日）。Bring-Your-Own-Keys（BYOK）免费，平台费用为0%；自托管 AGPLv3 堆栈是免费的。免费套餐中提供免费模型，无需购买积分。企业是定制的（批量折扣、SSO、审核日志、护栏、99.9% 正常运行时间 SLA、30 天生产试点）。相关的 Polar Lights 表面（DevPass 编码计划和 Lounge 聊天会员资格）是单独的 SKU，不得与网关信用数学混淆。

截至 2026 年 9 月，LLM Gateway提供了什么

要做的工作是在没有多 SDK 粘合的情况下获得多提供商 LLM 访问权限。官方文档描述了相同的循环：一次集成、跨提供商的成本可见性、通过故障转移和缓存实现的可靠性，以及无锁定，因为堆栈与 OpenAI 兼容且可自托管。 llmgateway.io/models 上的公共目录列出了支持的 LLM 的定价、上下文窗口和功能； /providers 中枚举了提供者。营销和定价文案始终声称200 多个型号 和40 多个提供商 - 将这些数据视为官方四舍五入数字，并在引用精确整数之前验证目录中的准确实时计数。新型号通常会在提供商发布后约 48 小时内列出（主页/关于）。

聊天完成之外的开发人员界面包括嵌入、视觉、图像和视频生成路径（在 Portkey 比较页面上强调）、人类消息兼容性、OCR/文档帮助器、OpenAPI 界面中的实时/语音/转录端点、具有 OAuth 众所周知的元数据的 MCP 服务器、AI SDK 提供程序集成以及代理/技能模板。机器可读文档以 OpenAPI 形式发布在 api.llmgateway.io/openapi.json 上，并以串联降价形式发布在 llmgateway.io/llms-full.txt 上；主页和定价页面接受接受：用于代理抓取的文本/markdown。速率限制 429 响应包括 Retry-After 和 RateLimit-* 标头。 API 在/v1下进行路径版本控制。

“关于”页面公布的使用规模：通过超过 2000 万次请求 路由了超过 1000 亿个 Token。在正式指标更新之前，官方“关于”页面的统计数据提供了已验证的基准。企业营销还引用了SOC 2 Type II合规性（通过 security.llmgateway.io 提出报告请求）、符合 GDPR 的 DPA/子处理者、传输中的 TLS 和静态 AES-256（包括提供商密钥）以及 status.llmgateway.io 上的状态。

LLM Gateway与 OpenRouter、LiteLLM 和 Portkey 的对比

与OpenRouter相比，最明显的区别是自托管和费用形式。LLM Gateway自己的比较页面将自己定位为$0的开放/灵活，永久免费自托管、信用购买固定 5% 以及免费 BYOK；它将 OpenRouter 描述为托管代理，对信用卡积分和 BYOK 收取 5.5% 的平台费用，并在超出公布的阈值时收取费用。LLM Gateway发布了从 OpenRouter 迁移指南：相同的 OpenAI 兼容 API 和模型字符串模式 - 交换基本 URL 和密钥。当您想要最大的托管模型市场并且不需要自己网络内的提示时，请选择 OpenRouter；当 AGPLv3 自托管、免费 BYOK 或较低的广告信用费很重要时，请选择LLM Gateway。

与LiteLLM相比，两者都是以开发人员为中心的代理，您可以自己运行。 LiteLLM 被广泛用作自托管翻译/代理层，具有可选的企业支持（LLM Gateway的费用博客引用了大约$250/month的 LiteLLM 企业 - 在 LiteLLM 的实时定价上进行验证）。LLM Gateway将网关 + 仪表板 + 工作人员打包为完整的 AGPLv3 平台，并具有托管云，收取 5% 的积分 (0% BYOK)。如果您已经标准化其代理配置并且只需要自托管翻译，请选择 LiteLLM；如果您想要一条从免费自托管到托管积分再到企业 SSO/护栏的供应商路径，而无需自行组装控制平面，请选择LLM Gateway。

与 Portkey（写入时本地 slug 列表中没有 Vantaige slug 确认 - 导入时的链接）相比，LLM Gateway的比较页面框架 Portkey 作为网关 + LLMOps 套件（免费套餐，然后付费计划；费用博客引用 Production ~$49/month加上日志超额），具有更广泛的声明模型计数，而LLM Gateway强调全平台 AGPLv3 自托管、实时指标自动提供程序评分、透明 5%/0%通过相同的 API 进行 BYOK 定价和图像/视频。 Portkey 通常会赢得购买深度提示管理和以 OpenTelemetry 为中心的 LLMOps 的团队；LLM Gateway赢得了购买开放式自托管以及具有直通代币率的统一多提供商路由的团队。

Helicone和Kong AI Gateway属于同一广泛的“AI 网关”类别，但截至 2026 年 9 月 2 日没有专用的LLM Gateway比较 URL - 不要发明特征矩阵。 Helicone 的工作主要是在 LLM 调用之前进行观察和记录； Kong 的 AI 网关工作是对 Kong 更广泛的网关生态系统内的 AI 流量进行 API 平台控制。LLM Gateway的工作是通过 OSS 自托管和信用/BYOK 商业路径来统一多提供商模型访问。 Vercel AI Gateway 出现在LLM Gateway的比较中心，面向 Vercel AI SDK 生态系统内的团队。

“一个与 OpenAI 兼容的 API，适用于 40 多家提供商的 200 多种模型。每个代币的价格与每个提供商公布的费率相匹配；当您购买积分时，LLM Gateway会收取 5% 的平台费用。自带提供商密钥是免费的，并且在 AGPLv3 下，自托管是免费的。” -LLM Gateway定价 (pricing.md)，最后更新于 2026-08-15

成本、配额和实际使用摩擦

核心 API 没有强制性的每月网关席位。摩擦表现为 (1) 当您未使用 BYOK 时，需要 5% 的信用提升和卡/国际费用；(2)$10最低充值；(3) 如果您离开托管云，则需要自托管基础设施和随叫随到成本；(4) 当您需要 SSO、SIEM 就绪审核日志、护栏、白标或 99.9% SLA 时进行企业商业谈判。如果使用金额低于 20%，则可在 14 天内自助退款信用充值（以及 DevPass/Lounge 付款）； DevPass 重置通行证有所不同（7 天，未使用）。免费套餐的免费模式完全避免了用于实验的积分，但不能替代前沿付费模式。

不要使用 DevPass ($29/$79/$179) 或 Lounge ($9/$19/$49) 为网关定价 - 这些是用于编码工具扁平化使用和消费者聊天的相邻产品。营销网站上的代币成本计算器和 Copilot 成本计算器页面有助于将直通代币支出与其他计费方式进行比较；在锁定预算之前，请务必重新检查 llmgateway.io/models 以了解每个模型的实时费率。

LLM Gateway仍然崩溃的地方 - 以及谁应该跳过它

目录广度为 200 多个型号/40 多个提供商； OpenRouter 和一些 LLMOps 供应商宣传更大的托管目录 - 需要每个长尾托管模型的团队可能仍然更喜欢市场优先的代理。 AGPLv3 自托管是一项用于控制和约束的功能，适用于那些在没有ee/企业功能商业许可的情况下拒绝 Copyleft 的公司。与单独协商直接提供商折扣相比，从不使用 BYOK 的托管云买家将始终支付 5% 的信用费。可观测性深度与 Helicone 等专业工具的对比，以及 API 管理深度与 Kong 的对比，仍然是不同的产品重心。

“LLM Gateway在 AGPLv3 许可证下添加了完全自托管、针对每个请求进行更深入的实时成本和延迟分析、免费自带密钥以及灵活的企业附加组件。OpenRouter 仅是托管代理，无法在您自己的基础设施上运行。” -LLM Gateway与 OpenRouter 常见问题解答，llmgateway.io/compare/open-router，2026 年 9 月检索

谁应该使用LLM Gateway - 谁应该跳过它

如果您需要跨多个提供商进行 OpenAI 兼容集成，请使用LLM Gateway；如果免费 BYOK 或 AGPLv3 自托管是采购要求；如果您想要具有明确的统一平台费用且没有代币加价的托管积分；或者如果您要迁移 OpenRouter 并且可以交换基本 URL/密钥。 Enterprise 适合需要 SAML/OIDC SSO、每位成员预算、护栏、审计日志、白标签聊天、基于 Terraform 的部署以及在签订长期合同之前进行 30 天生产试点的组织。

如果您只调用单个提供商 SDK 并且不需要故障转移或统一计费，请跳过LLM Gateway- 直接与该提供商联系。如果专业可观测性网关（Helicone 级）或 API 平台 AI 网关（Kong 级）是实际工作，并且多提供商模型路由是偶然的，则跳过托管信用路径。无需仅从网关 API 获得 ChatGPT 风格的消费者聊天产品（Lounge 是单独的聊天会员资格）。跳过发明“无限免费前沿模型” - 免费模型存在，前沿代币仍然按提供商费率收费。