Opik

Opik 是由成立于 2017 年、以机器学习实验追踪闻名的纽约公司 Comet 推出的一款开源 LLM 可观测性与评估平台。随着团队从训练自有模型转向通过 API 调用 GPT、Claude 和 Gemini，Comet 开发了 Opik，旨在为 LLM 应用带来同样的严谨性：追踪每一次调用、自动对输出质量进行评分，并系统性地优化提示词，而非凭空猜测。它的开源协议在同类产品中最纯粹，完全采用 Apache 2.0 协议，同一代码库中没有任何被隔离的企业版代码。该项目非常受欢迎，到 2026 年中 GitHub 星数已突破 19,700，并且几乎每天都在发布更新。

Opik 的功能涵盖了带有跨度树（span trees）和多轮对话线程分组的追踪能力，能够大规模处理每天数千万次的追踪；提供 30 多种 LLM-as-judge（大模型作为评委）指标；支持在线评估规则，可对生产环境流量进行可配置的抽样评分；以及一个实时护栏层，在内容到达用户之前拦截 PII（个人身份信息）和偏题内容。其最突出的功能是 Agent Optimizer（智能体优化器），这是一个包含六种算法的 SDK，可根据您定义的指标自动寻找更优的提示词，并配有无代码的 Optimization Studio。它集成了 LangChain、LlamaIndex、Dify 和 Flowise 等 70 多种框架，支持在 Apache 2.0 协议下免费自托管，并提供 Comet Cloud 免费套餐，而付费的 Pro 版本每月仅需 $19。

Opik 在 2026 年 6 月为开发者带来了什么

其工作流是大家熟悉的“追踪、评估、改进”循环，但 Opik 在“改进”环节比大多数竞争对手做得更深入。追踪功能将每一次 LLM 调用、工具调用和检索捕获为结构化的跨度（span），并为多轮应用分组到对话线程中。30 多种评判指标涵盖了幻觉、回答相关性、上下文召回率、内容审核和事实正确性，在线评估规则以一定的采样率将其应用于实时流量，并提供 Webhook 告警。接下来是它的差异化优势：Agent Optimizer 运行元提示（meta-prompting）、少样本贝叶斯（few-shot Bayesian）、进化算法等，根据您的指标自动测试提示词变体；2025 年 12 月新增了无代码的 Optimization Studio，2026 年 6 月又推出了 Cost Intelligence（成本智能）功能，按团队追踪 Claude Code 和 Codex 的支出。Opik 于 2024 年 9 月 17 日公开发布，三天后在 Hacker News 上亮相，在大约九个月内从零增长到 12,500 颗星，是该领域增长最快的项目之一。

Opik 与 Langfuse 和 Braintrust 的对比

与 Langfuse 相比，Opik 的开源协议更为纯粹：Opik 整个代码库均采用 Apache 2.0 协议，而 Langfuse 的几个企业级模块则在专用文件夹下采用商业授权。因此，对于严格的开源要求或物理隔离（air-gapped）环境，Opik 在法律合规上更简单。Opik 还配备了自动化的 Agent Optimizer，这是 Langfuse 所不具备的；不过 Langfuse 的优势在于更强大的提示词管理 UI 以及能够进一步扩展分析能力的 ClickHouse 后端。与 Braintrust 相比，差距主要在于成本和开放性。Braintrust 是闭源商业软件，没有免费的自托管版本，起步价为每月 $249；而 Opik 完全开源，云服务每月仅需 $19。Braintrust 在 CI/CD 质量门禁和并排数据集对比方面依然领先，而 Opik 则以自动化优化、全面的在线评估和广泛的多模态支持作为回应。

价格与开源协议优势

Opik 的定价是其最具杀伤力的特点。开源版本免费且基于 Apache 2.0 协议，可通过 Docker Compose 进行本地自托管，或使用 Helm chart 部署到生产环境。Comet Cloud 免费套餐支持最多 10 名用户，每月 25,000 个跨度（spans），数据保留 60 天；Pro 版本每月仅需 $19，支持 50 名用户和 100,000 个跨度，超出部分每 100,000 个跨度收费 $5。Enterprise 企业版增加了 SOC 2、ISO 27001、HIPAA 合规认证、SSO 单点登录以及专属支持。

“设置 Opik 惊人地简单。当我在我的研究助手项目中实施自动评估时，我发现大约 30% 的检索文档相关性存疑，这促使我重新调整了嵌入模型。”—— Md Zahid Hussain，Medium，2025 年 7 月。

$19 的入门价格远低于 Braintrust 的 $249 和 LangSmith 的按席位定价，而且学术界用户可以免费获得完整的 Pro 套餐。对于希望进行真正评估又不想走繁琐采购流程的团队来说，成本障碍基本不复存在。

Opik 仍存在的不足

被提及最多的局限性是自托管版本中的身份验证问题，它缺乏内置的多用户管理功能。

“我想在我的自托管实例上启用：工作流、身份验证、API 密钥。我试着在文档中寻找，但没找到。”—— GitHub issue 976，2025 年 1 月。

想要共享自托管实例的团队必须添加外部身份验证层，且默认的 Docker Compose 部署在未认证状态下运行，这在本地没问题，但如果暴露在公网则存在风险。自动成本追踪目前仅限于 OpenAI 和 Google 模型，因此使用 Anthropic、Mistral 或自定义部署的团队需要手动映射，而且配置自定义评估指标也有一定的学习门槛。由于发布了 490 个版本且没有记录在案的长期支持（LTS）渠道，未及时更新服务器的自托管部署可能会遇到微妙的 SDK 与服务器版本不匹配问题。仪表盘自定义功能最近才在测试版中加入，仍处于完善阶段。

谁适合使用 Opik

Opik 非常适合以 Python 为主的团队，用于构建 RAG 流水线、聊天机器人或智能体工作流，特别是那些希望使用完全开源、基于 Apache 2.0 协议且无供应商锁定的工具的团队；也适合预算有限、对其他平台每月 $249 望而却步的团队；适合任何希望开箱即用获得自动化提示词和智能体优化功能的人；以及现有的 Comet 实验追踪用户，他们可以获得一个统一的平台。受数据驻留合规限制的团队可以在 Kubernetes 上自托管整个系统。

对于纯 JavaScript 技术栈的团队来说，它不是最佳选择，因为目前 Python SDK 更为成熟；对于目前需要在自托管中实现多用户身份验证且不想自己动手搭建验证层的团队，以及主要运行非 OpenAI 或非 Google 模型且需要自动成本追踪的团队来说，它也稍显不足。想要无代码应用构建器的非技术开发者应该寻找其他工具，而主要需求是传统机器学习漂移监控的团队，使用 Arize Phoenix 或 Weights and Biases 会更好。