Kong AI Gateway

Kong AI Gateway est la couche de gouvernance du trafic des LLM et des agents construite par-dessus Kong Gateway, la passerelle d'API open source largement déployée de Kong Inc., une entreprise de San Francisco fondée en 2017. Elle cible un problème d'entreprise qui s'amplifie avec chaque modèle que vous adoptez : à mesure qu'une organisation intègre OpenAI, Anthropic, Bedrock, Gemini, Mistral et d'autres dans ses systèmes internes et ses workflows d'agents, le contrôle se fragmente, car chaque fournisseur apporte son propre SDK, ses identifiants, son compteur de coûts et son comportement de limitation de débit. Kong se place devant eux tous comme un plan de contrôle unique pour le routage, la maîtrise des coûts, la sécurité et l'observabilité. Il ne s'agit pas d'un binaire séparé, mais de Kong Gateway accompagné d'une suite de plugins d'IA, exécuté soit en auto-hébergement, soit via le plan de contrôle géré Konnect de Kong.

Ses capacités couvrent le routage multi-fournisseurs et l'équilibrage de charge, la limitation de débit et les quotas basés sur les tokens, la mise en cache sémantique qui évite les appels en double, la désinfection des PII et la protection contre l'injection de prompts, ainsi que des tableaux de bord pour les dépenses en tokens et la latence par modèle. En avril 2026, l'Agent Gateway de la version 3.14 a étendu cette gouvernance à deux types de trafic au-delà des simples appels LLM : le trafic des outils du Model Context Protocol (MCP) et la communication d'agent à agent, ce qui, selon Kong, en fait la seule passerelle couvrant les trois depuis un seul plan de contrôle. Six plugins d'IA de base sont gratuits et open source sur Kong Gateway, tandis que les fonctionnalités avancées se trouvent dans les niveaux payants de Konnect. Kong est bien capitalisée, avec une série E de 175 millions de dollars fin 2024 pour une valorisation de 2 milliards de dollars.

Ce que Kong AI Gateway gouverne en juin 2026

Le modèle mental est un point de passage unique pour tout le trafic d'IA. Au lieu que chaque service détienne ses propres clés de fournisseur, les appels transitent par Kong, qui applique le routage, l'authentification, les limites de débit, la mise en cache et la politique de sécurité en un seul endroit, puis émet une observabilité unifiée. C'est véritablement précieux à grande échelle : vous pouvez plafonner les dépenses en tokens par équipe, basculer d'un fournisseur à un autre, mettre en cache des prompts sémantiquement similaires pour réduire les coûts, et supprimer les PII avant même qu'elles n'atteignent un modèle.

« En mettant simplement à niveau votre Kong Gateway actuel vers la version 3.6, vous pourrez utiliser ces nouveaux plugins entièrement axés sur l'utilisation de l'IA et des LLM. » Marco Palladino, CTO de Kong, février 2024.

L'étape la plus récente et la plus distinctive a eu lieu le 14 avril 2026, lorsque Kong a lancé l'Agent Gateway dans la version 3.14, ajoutant la gouvernance de la communication d'agent à agent via le protocole A2A de Google, en plus de la prise en charge existante des LLM et du MCP. Cette version a apporté l'identité et l'authentification des agents, l'inspection en temps réel des flux d'agent à agent pour les violations de politique et l'injection de prompts, l'allocation des coûts par agent et une journalisation d'audit complète. L'acquisition par Kong de la société de mesure OpenMeter en septembre 2025 indique qu'elle travaille également sur le suivi des coûts des tokens.

Les plugins open source face à Konnect payant

La séparation entre gratuit et payant a plus d'importance ici qu'avec la plupart des outils. Kong Gateway est véritablement gratuit et sous licence Apache 2.0, et depuis la version 3.6 en février 2024, il intègre gratuitement six plugins d'IA, couvrant le proxy LLM, la protection des prompts, ainsi que la transformation des requêtes et des réponses. Ce que le niveau open source n'inclut pas, c'est la partie que la plupart des équipes d'IA veulent réellement : la limitation de débit basée sur les tokens (le niveau gratuit ne compte que les requêtes HTTP), la mise en cache sémantique, la désinfection des PII à grande échelle, la GUI de gestion, le SSO, les analyses avancées et la gouvernance MCP et A2A. Ceux-ci nécessitent Konnect, qui propose un essai gratuit de 30 jours, puis un niveau Plus en libre-service qui inclut un million de requêtes API par mois avec 200 $ par million supplémentaire et jusqu'à cinq modèles LLM, et un niveau Enterprise avec des modèles illimités, le SSO, des journaux d'audit et des SLA personnalisés qui se chiffre généralement en dizaines de milliers de dollars par an. Kong ne facture pas par token ; vous payez toujours les fournisseurs directement pour cela.

Kong face à LiteLLM et Portkey

Face à LiteLLM, le contraste se situe au niveau du poids et du langage. LiteLLM s'exécute comme un processus Python léger sur un petit serveur avec PostgreSQL, est natif en Python pour que les ingénieurs en IA l'étendent avec les outils qu'ils connaissent déjà, et couvre une large liste de fournisseurs. Kong en auto-hébergement implique de faire tourner Nginx, une base de données et des nœuds de plan de données, et les plugins personnalisés sont écrits en Lua, un langage de niche dans les cercles de l'IA. Le propre benchmark de Kong le montre loin devant sur le débit brut, mais cet avantage est largement hors de propos lorsque la propre latence du fournisseur de LLM, de l'ordre de centaines de millisecondes, éclipse quelques millisecondes de surcharge de la passerelle. Là où Kong prend l'avantage, c'est sur la gouvernance d'entreprise mature : RBAC, SSO, journaux d'audit, et la couverture MCP et A2A qui manque à LiteLLM. Portkey est l'autre rival, conçu spécifiquement pour le trafic LLM avec des plugins natifs en Python et une tarification par requête, là où Kong est une passerelle d'API adaptée à l'IA avec une tarification par service. Le résumé honnête est que Kong gagne lorsque vous souhaitez unifier la gouvernance de l'IA avec la gouvernance plus large des API et des microservices que vous exécutez déjà, et qu'un routeur multi-LLM comme OpenRouter ou un backend comme Together AI couvre une tranche plus étroite du même besoin.

Là où le modèle de Kong frustre les équipes d'IA

La plainte récurrente est que le modèle de tarification a été conçu pour les API traditionnelles, pas pour les agents.

« Un seul workflow d'agent peut déclencher une chaîne de plus de 20 appels d'API internes. Cet effet multiplicateur rend Kong économiquement inefficace pour les applications d'IA agentiques. » Analyse technique de TrueFoundry, 2026.

Parce que chaque modèle ou fournisseur compte comme un service de passerelle distinct, et que les workflows agentiques se déploient en de nombreux appels internes par action de l'utilisateur, les coûts peuvent grimper rapidement, une analyse estimant à environ 2 625 $ par mois les seuls frais de service pour cinq intégrations LLM réparties sur vingt microservices. L'exigence de Lua pour les plugins personnalisés est un véritable obstacle à l'intégration pour les équipes d'IA axées sur Python, l'auto-hébergement à l'échelle de la production entraîne une surcharge opérationnelle disproportionnée pour les équipes dont le seul besoin est une passerelle d'IA, la documentation pour les fonctionnalités spécifiques à l'IA est en retard par rapport au cœur mature, et plusieurs capacités que les équipes attendaient au lancement, comme l'équilibrage de charge des modèles et le proxy MCP, sont arrivées des mois plus tard. La tendance à être à la traîne par rapport aux outils natifs de l'IA sur les fonctionnalités spécifiques à l'IA s'est réduite en 2026, mais persiste.

À qui s'adresse Kong AI Gateway, et pour qui il est surdimensionné

Kong est un excellent choix pour les équipes qui utilisent déjà Kong Gateway pour la gestion d'API non liées à l'IA, où l'ajout de plugins d'IA représente un faible coût marginal et où l'observabilité unifiée est un véritable gain. Il convient aux entreprises qui ont besoin d'une gouvernance MCP et d'agent à agent, aux industries réglementées qui exigent la désinfection des PII, des journaux d'audit et le RBAC sur le trafic LLM, ainsi qu'aux grandes équipes d'ingénierie possédant l'expertise de la plateforme pour écrire des plugins Lua et gérer l'infrastructure.

Il est surdimensionné pour la plupart des petites équipes de produits d'IA et des startups qui ne sont pas déjà sur Kong, où la surcharge opérationnelle et la tarification par service favorisent les stratégies de consolidation plutôt qu'une infrastructure d'IA entièrement nouvelle, et où un outil plus simple comme LiteLLM convient mieux. Les équipes natives en Python qui souhaitent étendre la passerelle avec une logique de style LangChain, les équipes dont le véritable goulot d'étranglement est la latence du fournisseur plutôt que la surcharge de la passerelle, quiconque s'attend à une tarification par token au niveau de la passerelle, et les développeurs solos qui auraient besoin de Konnect payant pour les fonctionnalités avancées devraient tous chercher ailleurs. Les équipes qui routent vers des modèles hébergés tels que Fireworks AI sans besoins de gouvernance d'entreprise trouveront Kong plus lourd que ce que la tâche exige.