Ollama

什么是 Ollama？

在 Ollama 中只需一条终端命令，即可直接在本地计算机硬件上下载并运行开源权重的大型语言模型。该软件可作为本地 LLM 运行工具和 AI 模型服务器。这款由 Ollama 开发的工具允许用户离线执行私有推理操作。另一方面：该应用程序完全绕过了云服务器。

Ollama 专为软件工程师和 AI 研究人员开发，消除了对付费云 API 的需求。它处理本地模型服务，其端点模仿标准的 OpenAI 结构。结果是：用户可以将现有应用程序指向本地主机地址。这要求用户熟悉命令行操作。

核心功能与 Ollama 的工作原理

本地模型执行

• 终端优先拉取： 用户只需输入一条命令即可立即下载模型。这消除了手动管理文件的需求。
• 硬件量化： 该软件支持压缩模型格式。这使得 70B 参数的模型能够在标准消费级 GPU 上运行。

API 与服务器集成

• 兼容 OpenAI 的 API： 服务器自动格式化响应以匹配外部 API 标准。开发者无需重写代码即可将云密钥替换为本地地址。
• 并发请求处理： 服务器可处理多个同时发出的提示词。基准测试显示，它处理这些请求的速度比竞争的本地服务器快 10% 到 20%。

硬件适配

• 跨平台支持： 该应用程序在 macOS、Windows 和 Linux 上原生运行。它利用特定于每个操作系统的硬件加速。
• CPU 回退： 没有独立 GPU 的系统仍然可以使用主处理器执行模型。对于超大模型，CPU 上的推理速度会显著下降。

Ollama 的优缺点

优势

• 高推理速度： 根据最近的基准测试，该应用程序处理并发模型请求的速度比 LM Studio 快 10% 到 20%。
• 零财务成本： 完全本地执行消除了所有 API 费用。与标准云堆栈相比，重度用户每月估计可节省 $390 到 $690。
• 全面的数据隐私： 所有文本提示词和输出都保留在本地机器上。开发者没有实施任何云跟踪或外部遥测。
• 即时 API 设置： 运行模型会自动创建一个活动的本地 API 端点。这需要零网络技术配置。

局限性

• 缺少图形界面： 核心应用程序完全在终端内运行。非开发者必须安装第三方前端才能获得正常的聊天窗口。
• 手动硬件调优： 它的不足之处在于：用户必须为某些大型模型手动配置 GPU 内存分配。
• 高硬件要求： 运行像 Llama 3.1 70B 这样的大型模型需要大量的显存。对这些模型仅使用 CPU 执行会导致响应时间极慢。

谁应该使用 Ollama？

• 注重隐私的开发者： 处理敏感用户数据的工程师可以将所有信息保留在本地。他们避免将专有代码发送到外部服务器。
• 预算有限的研究人员： 测试开源权重模型的学术团队可以避免高昂的 API 账单。他们可以免费运行数千次查询。
• 非技术型创作者： 这类用户在这里会感到吃力。他们应该避免使用此工具，因为它开箱即用时缺乏内置的图形聊天界面。

Ollama 定价与计划

开发者将 Ollama 作为一款完全免费的软件应用程序提供。没有付费层级。用户支付 $0 即可获得无限制的推理请求、模型下载和 API 服务。唯一的成本来自于运行模型所需的物理硬件。

与具有受限免费试用的工具不同，该应用程序免费包含所有功能。您可以提供无限制的并发请求服务，并下载数千个开源模型。该平台不跟踪使用情况，也不施加任何速率限制。用户在初始下载后可以使软件完全离线运行。

Ollama 与替代方案的比较

LM Studio 为本地模型运行提供了高度可视化的界面。但在考察后台服务器效率时，情况就不同了。LM Studio 提供自动 GPU 检测和集成的聊天界面，使其更适合普通用户。然而，Ollama 处理并发 API 请求的速度更快，并且完全通过命令行运行，使其更适合自动化工作流。

GPT4All 非常侧重于在基础笔记本电脑 CPU 上运行模型，而不需要独立显卡。值得区分的是：GPT4All 包含带有内置桌面聊天窗口的原生安装程序。而 Ollama 则专注于作为开发者的后台服务器。GPT4All 迎合了想要私人桌面助手的日常用户，而 Ollama 则服务于构建 AI 应用程序的工程师。

构建私有 AI 的工程师的正确选择

对于需要本地 API 端点且没有经常性成本的软件开发者来说，Ollama 提供了卓越的价值。该工具作为可靠的后台服务，能够高效处理并发请求。缺乏图形界面会让想要简单聊天机器人的普通用户感到沮丧。这些普通用户应该转而下载 LM Studio。对于测试像 GLM-4.7 或 Llama 3.1 这样模型的开发者来说，Ollama 提供了所需的精确裸机控制。