标记为“本地 LLM”的 AI 工具

所有标记为“本地 LLM”的 AI 工具，由我们团队精选并验证。

30 款 AI 工具12 款已认证

顶级本地 LLM工具

该分类下评分最高的工具，每周精选更新

Qwen

Qwen3.6-27B 仅需 16.8 GB 显存即可提供接近前沿水平的编程性能，单张 RTX 4090 即可轻松运行，且表现超越了其 397B 的前代模型。整个开源权重系列均采用 Apache 2.0 许可，使其成为 2026 年商业使用许可最纯粹的中国大语言模型（LLM）。

免费增值

DeepSeek

DeepSeek 提供前沿级别的推理和编程性能，而 API 成本比 GPT-4o 便宜 10 到 30 倍。但代价也是真实存在的：托管产品存在政治审查、数据存储在中华人民共和国（PRC）境内，且有记录在案的数据库泄露事件。开放权重意味着可以进行本地部署，但需要付出一定的硬件成本。

免费增值

AI 模型与 LLM

Gemma

Gemma 是 Google DeepMind 推出的一系列开放权重语言模型，支持免费下载和自托管。Gemma 4（2026 年 4 月发布）在 Apache 2.0 许可证下提供了前沿级别的推理和多模态能力，涵盖从 2B 边缘模型到 31B 密集型旗舰模型的完整阵容。

免费

AI 模型与 LLM

Jan

Jan 是一款由 Menlo Research 开发的免费开源桌面应用程序，完全在您自己的硬件上运行大型语言模型。无需云端，无需订阅，数据绝不离开您的设备。支持在 Windows、macOS 和 Linux 上运行 Llama、Qwen、Mistral、Gemma 以及数十种其他 GGUF 模型。

免费

代码

Axolotl

Axolotl 是一款免费、开源的大语言模型 (LLM) 微调框架，机器学习团队只需使用单个 YAML 配置文件，即可在多 GPU 环境下对 100 多种模型架构进行可复现的 LoRA、QLoRA 和 GRPO 训练。

免费增值

AI 模型与 LLM

Cherry Studio

Cherry Studio 是一款免费、开源的桌面客户端，在单一界面中统一了 300 多个 LLM 提供商（包括 OpenAI、Claude、Gemini 以及本地 Ollama 模型）。它在 Windows、macOS 和 Linux 上提供内置的 RAG 知识库、MCP 代理支持以及多模型并排对比功能。

免费

代码

BentoML

BentoML 是一个开源的 Python 框架，用于将机器学习模型打包并部署为生产级 API。它支持任何 ML 框架，包含用于自托管 LLM 服务的 OpenLLM，并提供 BentoCloud 以实现具备自动缩放和 BYOC（自带云）功能的托管推理。

免费增值

AI 模型与 LLM

MLX

MLX 是 Apple ML Research 推出的一款开源数组框架，专为在 Apple Silicon 上运行和微调机器学习模型而设计。它完全免费，采用 MIT 许可证，旨在利用统一内存架构充分发挥从 M1 到 M5 芯片的极致性能。

免费

代码

Unsloth

Unsloth 是由 Daniel Han 和 Michael Han 开发的开源微调库，通过自定义的 Triton CUDA 内核，可将 LLM 训练速度提升 2 倍，并减少高达 70% 的 VRAM 占用。支持包括 Llama、Qwen 和 DeepSeek 在内的 500 多种模型。免费使用，并提供支持多 GPU 训练的付费 Pro 版本。

免费增值