硬件选配与采购指南
本地大模型终极GPU选购指南
抛开游戏显卡测试帧率。深入理解为什么显存带宽决定了模型生成速度、不同参数级别大模型究竟需要多少显存，以及苹果Mac与英伟达PC的真实优劣势。
1. 本地大模型硬件黄金法则：带宽重于算力
在自回归大模型推理过程中，计算瓶颈极少出现在算力峰值（TFLOPS）上，而绝大多数时候都卡在显存带宽上：即模型权重从显存载入到计算核心的速度。
模型在生成每一个Token时，都必须将所有参数从显存完整遍历读取一遍。如果一张显卡算力很强但显存位宽极小，计算核心就会大部分时间处于空闲等待状态。
示例：一个70B模型在Q4量化下大约占用40GB显存。在一张显存带宽为936 GB/s的RTX 3090上，理论生成速度上限为 936 / 40 = 23.4 tokens/秒。如果将其放在带宽仅有60 GB/s的DDR5电脑内存中运行，速度将骤降至 60 / 40 = 1.5 tokens/秒。
2. 4个显存容量分级：你的硬件到底能跑多大模型？
7B至8B参数模型在Q4_K_M量化下运行（Llama 3 8B、Mistral 7B、Qwen 2.5 7B），支持8k以内短上下文。
RTX 3060 12G（预算首选）、RTX 4060 Ti 16G、RTX 5060 Ti 16G。
14B至32B参数模型在Q4_K_M量化下运行（Qwen 2.5 32B、Command-R），或通过极限量化（IQ2/Q3）运行70B模型。
RTX 3090 24G（二手高性价比毕业卡）、RTX 4090 24G、RTX 5090 32G。
在Q4_K_M高精度下流畅运行70B至72B大模型，支持32k超长上下文并开启FP8 KV缓存。
双路 RTX 3090（合计48GB）、双路 RTX 4090，或苹果 Mac Studio M2/M3/M4 Max（48GB至64GB）。
以Q8_0运行完整Llama 3.3 70B、以FP16运行Qwen 2.5 72B、全尺寸DeepSeek R1/V3蒸馏版，以及低比特Q2/Q3运行Llama 405B。
苹果 Mac Studio M2/M3 Ultra（128GB至192GB统一内存）或专业级4路显卡工作站。
3. 苹果Mac对比英伟达PC：大模型部署怎么选？
- 超大显存容量上限：单台安静的小主机即可获得128GB甚至192GB的大容量统一内存。
- 安静且低功耗：满载运行功耗仅为80W至120W，而多卡PC工作站动辄超过850W。
- 带宽相对有限：300至800 GB/s的带宽使得70B模型的生成速度维持在实用的15至25 tokens/秒。
- 软件生态现状：原生MLX和llama.cpp Metal表现出色，但无法使用基于CUDA的vLLM等生产级服务端优化库。
- 极致生成速度：RTX 4090高达1008 GB/s的显存带宽可提供30至60 tokens/秒的超高爆发速度。
- 绝对的行业标准：对CUDA、PyTorch、vLLM、TensorRT-LLM和FlashAttention-2提供100%原生支持。
- 消费级显存上限：单张消费级显卡最大仅24GB，跑70B模型必须组建复杂的多卡平台。
- 高功耗与发热：需要1000W以上的高品质电源、大风道机箱及强劲的散热环境支持。
4. 双卡搭建本地 70B 大模型工作站方案
如果你希望在PC上以满速运行70B密集模型，双卡方案是性价比最高的组装路线：
务必选购支持CPU通道 x8 / x8 拆分的主板，且两条PCIe槽之间至少预留3到4个槽位间距以保证进风散热。
电源预算建议选择 1200W 至 1500W 白金牌或钛金牌，以从容应对两张 RTX 3090 或 4090 的瞬时峰值功耗。
推荐使用 vLLM 开启张量并行（--tensor-parallel-size 2）或使用 llama.cpp 多卡模式将模型层平分到两张卡上。
常见问题解答
为什么老款24GB RTX 3090比新款16GB RTX 4080更适合本地LLM？
8GB显存在2026年够用于本地LLM吗？
我可以在Apple Silicon Mac Studio（64GB或128GB统一内存）上运行70B模型吗？
为什么使用内存卸载（n-gpu-layers）时生成速度会急剧下降？
双卡RTX 3090方案比单张RTX 4090更好吗？
本地显卡显存不够用？
可在 AutoDL 或海外算力平台（RunPod / Vast.ai）按小时灵活租用 RTX 4090 或 H100 实例，低至每小时 ¥1.5 起。
知识与深度指南
本地 LLM 与显存知识中心
深度技术指南、架构拆解与硬件选配手册，帮助开发者毫无压力地在本地部署、运行和扩展大语言模型。