LiveKit

LiveKit est une plateforme d'infrastructure de communication en temps réel open source et un framework d'agents IA créés par Russ d'Sa et David Zhao, qui ont fondé l'entreprise en 2021. Elle propulse l'infrastructure vocale derrière le mode vocal de ChatGPT d'OpenAI, et est utilisée en production par Tesla, Salesforce Agentforce, xAI et des opérateurs de services d'urgence. En janvier 2026, LiveKit a levé $100 million pour une valorisation de $1 billion, menée par Index Ventures, consolidant ainsi sa position de couche d'infrastructure de choix pour les déploiements d'IA vocale d'entreprise à grande échelle.

La plateforme propose deux produits connectés : un serveur multimédia SFU (Selective Forwarding Unit) basé sur Go sous licence Apache 2.0 (18.5K étoiles GitHub), et LiveKit Agents, un framework Python et Node.js pour créer des agents IA vocaux en temps réel (10.3K étoiles, 3.1K forks, version 1.5.7 en avril 2026). Agents prend en charge l'intégralité du pipeline STT-LLM-TTS avec des intégrations natives pour OpenAI GPT-4o et la Realtime API, le speech-to-text de Deepgram, le TTS de Cartesia, Google Gemini Live avec vision, et la détection d'activité vocale de Silero. La détection sémantique des tours de parole, la prise en charge des outils MCP (Model Context Protocol), la téléphonie SIP et une plateforme intégrée d'observabilité des agents complètent cet ensemble de fonctionnalités de production.

Ce que fait réellement LiveKit en mai 2026

Le serveur de LiveKit gère le routage audio et vidéo en temps réel à l'aide d'une architecture SFU : les éditeurs envoient un flux multimédia encodé au serveur, qui le transfère aux abonnés sans le ré-encoder, maintenant ainsi une faible bande passante montante et une latence minimale. Le serveur est évolutif horizontalement, utilise Redis pour le routage peer-to-peer entre les nœuds, et peut fonctionner sur un seul VPS ou sur des centaines de nœuds avec une configuration identique. La couche des agents se superpose à ce transport, connectant les modèles d'IA aux flux WebRTC.

Le framework LiveKit Agents définit un pipeline standard qui gère la détection d'activité vocale, la transcription, le raisonnement LLM et la lecture text-to-speech. La détection sémantique des tours de parole, introduite en 2025, utilise un classificateur transformer pour déterminer quand un utilisateur a fini de parler, plutôt que de se fier uniquement à la durée du silence. Cela réduit considérablement les fausses interruptions dans les environnements bruyants ou lorsque les utilisateurs font une pause au milieu d'une phrase. L'annonce du partenariat avec OpenAI en octobre 2024, rédigée par d'Sa et publiée le 3 octobre 2024, a dévoilé la Multimodal Agent API avec prise en charge intégrée de la Realtime API d'OpenAI, offrant une latence audio bidirectionnelle d'environ 300ms et une synchronisation automatique de la transcription pendant la lecture. Pour la première fois, les développeurs ont pu créer des applications avec exactement la même infrastructure vocale que celle utilisée en interne par ChatGPT.

Au-delà de la voix, la plateforme prend en charge les cas d'usage de l'IA physique. Le déploiement de Tesla couvre les ventes, l'assistance routière, l'assurance et le support, contextes dans lesquels un véhicule ou une installation doit diffuser de l'audio de manière bidirectionnelle vers un agent hébergé dans le cloud. Le SFU gère le routage multimédia de bas niveau ; le framework Agents gère la logique de conversation.

"La flexibilité et les performances de LiveKit ont été essentielles pour offrir des expériences vocales fiables et à faible latence." - Thomas Cornelius, Product Hunt, mai 2025

Où se situe LiveKit par rapport à Pipecat et Daily

Pipecat est le concurrent architectural le plus proche. Créé par l'équipe de Daily et open source en Python, Pipecat utilise un modèle de pipeline basé sur des trames : les trames audio traversent des étapes ordonnées, du transport au STT, puis au LLM, au TTS et inversement. Cette abstraction le rend intuitif pour les développeurs qui pensent en termes de pipelines et souhaitent intégrer ou retirer des services d'IA facilement. Pipecat est en principe agnostique quant au transport et peut techniquement se connecter à une salle LiveKit ou à un autre backend WebRTC, mais son couplage natif se fait avec l'infrastructure gérée de Daily. Le compromis est la verbosité : Pipecat nécessite plus de câblage manuel, plus de configuration d'identifiants dans le code, et plus de décisions concernant l'ordre du pipeline. LiveKit Agents offre une API plus épurée avec moins de code standard pour les équipes privilégiant le WebRTC, tandis que le modèle de trames de Pipecat convient mieux aux développeurs qui souhaitent un contrôle granulaire sur la façon dont l'audio circule entre les services.

Daily est l'entreprise derrière Pipecat et exploite sa propre infrastructure WebRTC gérée et fermée (closed-source), avec plus de 75 points de présence mondiaux et un délai médian de premier saut de 13ms. L'élément différenciateur de Daily est sa surface préconstruite : composants d'interface utilisateur prêts à l'emploi, salles de sous-commission (breakout rooms), transcription, enregistrement et chat. Les équipes qui souhaitent lancer rapidement un produit vidéo sans gérer l'infrastructure multimédia choisiront souvent Daily. L'élément différenciateur de LiveKit est la propriété : le serveur Apache 2.0 peut être auto-hébergé sur n'importe quel matériel, modifié librement et audité de bout en bout. Daily n'a pas d'équivalent auto-hébergé. Pour les équipes dont la voix est le produit principal et non une fonctionnalité ajoutée, et en particulier pour celles ayant des exigences de conformité comme la norme HIPAA ou des obligations de résidence des données, l'option d'auto-hébergement de LiveKit est un avantage décisif que Daily ne peut égaler.

Où se situent Vapi et Retell AI dans ce paysage : ce sont toutes deux des plateformes d'agents vocaux entièrement gérées qui font abstraction de toute la couche d'infrastructure. Elles sont plus rapides à prendre en main et ne nécessitent aucune gestion de serveur, mais elles cèdent le contrôle du routage multimédia, du routage des modèles et du pipeline de données à un SaaS tiers. LiveKit est le choix privilégié lorsque la marge, la conformité, les SLA de latence ou une intégration profonde importent plus que le délai avant le premier appel (time-to-first-call).

"Le streaming WebRTC est vraiment difficile et LiveKit fournit une excellente solution gérée et adaptée aux développeurs." - Awais Shafique, Product Hunt, mai 2025

À quoi ressemble réellement la boucle de développement d'un agent

Un projet LiveKit Agents standard commence par un processus worker Python qui se connecte à une instance de serveur LiveKit, qu'elle soit auto-hébergée ou sur LiveKit Cloud. Le worker écoute les salles entrantes ou les répartitions (dispatches), générant une instance d'agent par session. La logique de l'agent est définie comme une classe avec des hooks de cycle de vie pour on_enter, on_message et on_exit. Les intégrations de modèles sont ajoutées via des packages de plugins : pip install "livekit-agents[openai,silero,deepgram,cartesia,turn-detector]~=1.4" couvre la stack de production la plus courante.

Pour les cas d'usage de téléphonie, la stack SIP de LiveKit gère les appels PSTN entrants et sortants via une couche de configuration, connectant les appels téléphoniques au même pipeline d'agent sans code supplémentaire. La plateforme d'observabilité des agents introduite fin 2025 fournit des vues chronologiques par session, des événements de détection de tours de parole et des journaux d'appels de modèles, rendant le débogage en production gérable sans avoir à construire une infrastructure de journalisation personnalisée.

Les tests représentent un investissement notable dans le framework : les outils de test intégrés incluent le mocking de fonctions au niveau unitaire, la simulation de scénarios et un système de validation basé sur un juge qui utilise un LLM pour évaluer si les réponses de l'agent ont répondu à l'intention d'un cas de test. C'est nettement plus sophistiqué que les hooks CI de base disponibles dans Pipecat ou les tests manuels que la plupart des équipes effectuent avec les agents hébergés par Vapi.

À qui s'adresse LiveKit

LiveKit est une infrastructure destinée aux ingénieurs backend qui souhaitent maîtriser leur stack. L'équipe idéale pour LiveKit comprend un développeur Python ou Node.js à l'aise avec la lecture de la documentation WebRTC, une configuration DevOps capable d'exécuter un binaire Go ou un conteneur Docker (pour l'auto-hébergement), et un produit dont la voix est une fonctionnalité centrale plutôt qu'un module complémentaire optionnel.

Les cas d'usage spécifiques incluent l'automatisation du support client où le volume d'appels justifie l'optimisation des coûts à la minute par rapport aux marges des plateformes gérées ; les applications de santé et juridiques qui exigent la conformité HIPAA et une résidence des données ne pouvant être déléguées à un SaaS tiers ; la robotique et les produits d'IA physique nécessitant un streaming multimédia bidirectionnel avec un minimum de sauts intermédiaires ; et les outils de développement et assistants de codage qui doivent associer la voix à des pipelines d'utilisation d'outils via MCP. Les utilisateurs d'entreprises comme ElevenLabs et Whisper apparaissent souvent ensemble dans les stacks de déploiement LiveKit, alimentant leurs sorties TTS ou STT à travers le pipeline de l'agent.

Spotify, Meta, Microsoft, Character AI, Speak et Fanatics sont cités comme clients dans les documents publics de LiveKit, couvrant des cas d'usage allant des sessions d'écoute de musique aux fonctionnalités de réseaux sociaux, en passant par les plateformes d'engagement des fans.

La série C de janvier 2026 a également révélé un segment émergent de l'IA physique : Tesla utilise LiveKit pour les interactions vocales dans les ventes, le support, l'assurance et l'assistance routière. Ce modèle de déploiement, un véhicule ou un appareil diffusant de l'audio en temps réel vers un agent hébergé dans le cloud, se distingue de l'appel typique navigateur-vers-cloud et représente une catégorie que la plupart des plateformes gérées n'abordent pas du tout. L'architecture SFU de LiveKit, qui achemine les médias sans les ré-encoder, maintient la latence aller-retour suffisamment basse pour les déploiements côté véhicule, où quelques centaines de millisecondes supplémentaires donneraient l'impression d'une expérience défaillante.

Ce que LiveKit n'est pas

LiveKit n'offre pas d'interface no-code ou low-code. Il n'y a pas de constructeur d'agents par glisser-déposer, pas d'interface de provisionnement de numéros de téléphone, ni de tableau de bord d'analyse d'appels dans le style des produits de Vapi ou Retell. Chaque intégration nécessite du code.

Ce n'est pas une solution pour le traitement audio par lots (batch). L'ensemble de la plateforme est construit autour du streaming en temps réel ; si le flux de travail n'implique pas deux parties dans une session en direct, LiveKit n'y a pas sa place.

Ce n'est pas un remplacement direct (drop-in) de Daily si votre produit s'appuie sur des composants d'interface d'appel vidéo préconstruits, des contrôles de partage d'écran ou un chat en cours d'appel. LiveKit fournit l'infrastructure multimédia ; la couche d'interface relève de la responsabilité du développeur. La distinction a une importance pratique : une équipe construisant un produit de type Zoom trouvera que Daily permet un lancement plus rapide car Daily intègre les primitives d'interface utilisateur. Une équipe construisant un produit de support client axé sur la voix (voice-first) par-dessus sa propre application web trouvera que LiveKit convient mieux car elle n'a pas besoin des composants d'interface intégrés de Daily et ne souhaite pas payer pour ceux-ci.

LiveKit n'est pas non plus adapté aux équipes dont la préoccupation principale est le coût d'exploitation pour de faibles volumes d'appels. À petite échelle, le surcoût à la minute des plateformes gérées comme Vapi est négligeable, et le temps d'ingénierie économisé en ne gérant pas l'infrastructure WebRTC compense largement la différence de coût. L'option d'auto-hébergement rend l'exécution de LiveKit véritablement gratuite, mais une infrastructure "gratuite" nécessite toujours des ingénieurs pour la maintenir. L'aspect économique ne joue clairement en faveur de LiveKit que lorsqu'une équipe a un volume d'appels suffisant pour que les marges SaaS à la minute deviennent un poste de dépense valant la peine d'être optimisé, généralement au-delà de 50 000 minutes par mois, ce qui correspond à peu près au seuil du niveau Scale de LiveKit.

Évitez LiveKit pour les prototypes rapides. Si l'objectif est de tester un concept d'agent vocal en un week-end, Vapi ou Retell produiront un numéro de téléphone fonctionnel et un flux d'appels en moins d'une heure. La configuration de LiveKit, même en utilisant l'option hébergée dans le cloud, suppose une familiarité avec les concepts WebRTC, la programmation asynchrone Python et le débogage de systèmes distribués. Les développeurs qui surmontent cette courbe d'apprentissage notent cependant fréquemment qu'ils acquièrent une compréhension de bas niveau suffisante pour rendre LiveKit difficile à abandonner : comme l'a formulé un commentateur sur HackerNews, une fois que vous connaissez suffisamment bien LiveKit, vous en "savez plus qu'il n'est sain" sur les rouages internes du WebRTC, ce qui vous rend plus enclin à créer votre propre solution la fois suivante. Cette observation se lit comme une critique mais prouve également que LiveKit réussit à enseigner l'infrastructure sous-jacente aux ingénieurs qui s'y investissent sérieusement.