Opik

Opik est une plateforme open source d'observabilité et d'évaluation de LLM développée par Comet, l'entreprise new-yorkaise fondée en 2017 et reconnue pour le suivi d'expériences en machine learning. Alors que les équipes sont passées de l'entraînement de leurs propres modèles à l'utilisation de GPT, Claude et Gemini via des API, Comet a conçu Opik pour apporter la même rigueur aux applications LLM : tracer chaque appel, évaluer automatiquement la qualité des résultats et optimiser systématiquement les prompts au lieu de procéder par tâtonnement. Sa licence est la plus transparente de sa catégorie, entièrement sous Apache 2.0 sans aucun code d'entreprise verrouillé dans le même dépôt. Le projet est véritablement populaire, dépassant les 19,700 étoiles sur GitHub à la mi-2026 et déployant des mises à jour presque quotidiennement.

Opik couvre le traçage sous forme d'arbres de spans avec regroupement de threads multi-tours, traitant des dizaines de millions de traces par jour à grande échelle, plus de 30 métriques d'évaluation LLM-as-judge, des règles d'évaluation en ligne qui notent un échantillon configurable du trafic de production, et une couche de garde-fous en temps réel qui bloque les PII et les contenus hors sujet avant qu'ils n'atteignent les utilisateurs. Sa fonctionnalité phare est l'Agent Optimizer, un SDK doté de six algorithmes qui recherche automatiquement de meilleurs prompts en fonction d'une métrique que vous définissez, associé à un Optimization Studio no-code. Il s'intègre à plus de 70 frameworks, dont LangChain, LlamaIndex, Dify et Flowise, s'auto-héberge gratuitement sous licence Apache 2.0, et propose un niveau gratuit Comet Cloud avec une version Pro payante à seulement $19 par mois.

Ce qu'Opik offre aux développeurs en juin 2026

Le flux de travail repose sur la boucle familière de traçage, d'évaluation et d'amélioration, mais Opik va beaucoup plus loin sur l'étape d'amélioration que la plupart de ses concurrents. Le traçage capture chaque appel LLM, invocation d'outil et récupération sous forme de span structuré, regroupés en threads de conversation pour les applications multi-tours. Les plus de 30 métriques d'évaluation couvrent les hallucinations, la pertinence des réponses, le rappel du contexte, la modération et l'exactitude factuelle, et des règles d'évaluation en ligne les appliquent au trafic en direct selon un taux d'échantillonnage avec des alertes webhook. Vient ensuite l'élément différenciateur : l'Agent Optimizer exécute des algorithmes de méta-prompting, bayésiens few-shot, évolutionnaires et autres pour tester automatiquement des variantes de prompts par rapport à votre métrique, avec un Optimization Studio no-code ajouté en décembre 2025 et une fonctionnalité Cost Intelligence en juin 2026 qui suit les dépenses Claude Code et Codex par équipe. Opik a été lancé publiquement le 17 septembre 2024, publié sur Hacker News trois jours plus tard, et est passé de zéro à 12,500 étoiles en environ neuf mois, devenant l'un des projets à la croissance la plus rapide du secteur.

Opik face à Langfuse et Braintrust

Face à Langfuse, la licence d'Opik est plus transparente : Opik est sous Apache 2.0 sur l'ensemble de son dépôt, tandis que plusieurs modules d'entreprise de Langfuse sont sous licence commerciale dans des dossiers dédiés. Pour une utilisation strictement open source ou air-gapped, Opik est donc juridiquement plus simple. Opik intègre également l'Agent Optimizer automatisé, pour lequel Langfuse n'a pas d'équivalent, bien que Langfuse réplique avec une interface de gestion des prompts plus robuste et un backend ClickHouse qui permet de faire évoluer davantage l'analytique. Face à Braintrust, l'écart se situe au niveau du coût et de l'ouverture. Braintrust est propriétaire, sans niveau auto-hébergé gratuit et avec un ticket d'entrée à $249 par mois, là où Opik est entièrement ouvert et à $19 par mois sur le cloud. Braintrust conserve une longueur d'avance sur les barrières de qualité CI/CD et la comparaison de jeux de données côte à côte, tandis qu'Opik répond par une optimisation automatisée, une évaluation en ligne complète et un large support multimodal.

L'avantage du prix et de la licence

La tarification d'Opik est son atout le plus redoutable. La version open source est gratuite et sous licence Apache 2.0, auto-hébergée via Docker Compose pour le travail local ou un chart Helm pour la production. Comet Cloud est gratuit jusqu'à 25,000 spans par mois pour dix utilisateurs avec une rétention de 60 jours, et la version Pro n'est qu'à $19 par mois pour 100,000 spans et cinquante utilisateurs, avec des spans supplémentaires à $5 les 100,000. La version Enterprise ajoute les certifications SOC 2, ISO 27001, HIPAA, le SSO et un support dédié.

"La configuration d'Opik a été étonnamment simple. Lorsque j'ai mis en œuvre l'évaluation automatisée sur mon projet d'assistant de recherche, j'ai découvert qu'environ 30% de mes documents récupérés avaient une pertinence discutable, ce qui m'a conduit à réajuster mon modèle d'embedding." Md Zahid Hussain, Medium, juillet 2025.

Ce ticket d'entrée à $19 se situe bien en dessous des $249 de Braintrust et de la tarification par utilisateur de LangSmith, et les universitaires bénéficient gratuitement du plan Pro complet. Pour une équipe qui souhaite une véritable évaluation sans avoir à passer par un processus d'achat complexe, la barrière du coût disparaît pratiquement.

Là où Opik présente encore des lacunes

La limite la plus souvent citée est l'authentification dans la version auto-hébergée, qui manque d'une gestion multi-utilisateurs intégrée.

"J'aimerais activer sur mon instance auto-hébergée : les workflows, l'authentification, la clé API. J'ai essayé de trouver cela dans la documentation mais je n'ai pas réussi." Issue GitHub 976, janvier 2025.

Les équipes qui souhaitent une instance auto-hébergée partagée doivent ajouter une couche d'authentification externe, et le déploiement par défaut de Docker Compose s'exécute sans authentification, ce qui convient en local mais représente un risque s'il est exposé. Le suivi automatique des coûts a été limité aux modèles OpenAI et Google, de sorte que les équipes utilisant Anthropic, Mistral ou des déploiements personnalisés doivent effectuer un mappage manuel, et la configuration de métriques d'évaluation personnalisées nécessite un temps d'adaptation. Avec 490 versions publiées et aucun canal de support à long terme (LTS) documenté, les déploiements auto-hébergés qui prennent du retard sur les mises à jour du serveur peuvent rencontrer de subtiles incompatibilités de version entre le SDK et le serveur. La personnalisation du tableau de bord, ajoutée récemment en version bêta, est encore en phase de maturation.

À qui s'adresse Opik

Opik est un excellent choix pour les équipes axées sur Python qui construisent des pipelines RAG, des chatbots ou des workflows d'agents et qui souhaitent un outil entièrement open source sous licence Apache 2.0 sans enfermement propriétaire. Il convient également aux équipes soucieuses de leur budget qui rechignent à payer $249 par mois ailleurs, à tous ceux qui veulent une optimisation automatisée des prompts et des agents prête à l'emploi, et aux utilisateurs existants du suivi d'expériences Comet qui bénéficient ainsi d'une plateforme unifiée. Les équipes soumises à des contraintes de résidence des données peuvent auto-héberger l'intégralité de la solution sur Kubernetes.

C'est un choix moins pertinent pour les stacks exclusivement JavaScript, car c'est le SDK Python qui est le plus mature, pour les équipes qui ont besoin d'une authentification multi-utilisateurs en auto-hébergement dès aujourd'hui sans avoir à bricoler une couche supplémentaire, et pour les entreprises utilisant principalement des modèles autres qu'OpenAI ou Google qui nécessitent un suivi automatique des coûts. Les créateurs non techniques qui recherchent un constructeur d'applications no-code devraient chercher ailleurs, et les équipes dont le besoin principal est la surveillance traditionnelle de la dérive ML sont mieux servies par Arize Phoenix ou Weights and Biases.