本地大模型与显存技术术语表

总参数量表示存储在磁盘并加载至显存中的所有模型权重；激活参数量则是针对单个 token 计算时实际参与运算的参数子集。

一种基于 GPU 的 4 位量化技术，通过分析激活值大小保留前 1% 的显著权重，在实现极高推理速度的同时保持近乎 FP16 的模型精度。

在计入量化精度与缩放因子开销后，模型平均分配给每个参数的实际有效存储比特数（bpw）。

由大型科技公司制定的自定义开放权重许可协议，允许科研与中小企业免费使用，但对超大规模商业应用施加限制。

大模型在单次会话中所能理解与计算注意力的最大 token 总量（包含输入的提示词与生成的回复）。

当模型权重、KV Cache 或激活值的显存分配请求超出显卡可用物理显存容量时，NVIDIA CUDA 抛出的致命运行时崩溃异常。

由 turboderp 专为 NVIDIA GPU 设计的高级混合精度量化格式，支持连续自定义比特率，提供业内领先的生成速度。

一种精确注意力算法，通过重组访存机制将计算密集操作保留在超高速 GPU 片上 SRAM 缓存中，避免反复读写较慢的 HBM/显存。

在 Hugging Face 等平台上，要求用户在下载模型权重之前必须签署接受法律许可条款或申请作者授权的受限仓库。

由 Georgi Gerganov 及 llama.cpp 社区主导开发的标准化可扩展单文件二进制格式，专为高效的本地 CPU/GPU 推理与分层卸载而设计。

一种注意力机制架构，允许多个 Query 头共享同一组 Key-Value 头，在保持模型推理能力的同时将 KV Cache 显存占用缩减 4 到 8 倍。

llama.cpp 中的高级量化方案，将权重分组为超级块（Super-blocks），并为关键的注意力层和前馈网络层分配更高的数值精度。

GPU 显存中开辟的专用区域，用于保存会话中历史上每个 token 预先计算好的键（Key）和值（Value）张量，避免在生成新 token 时重复计算。

一种跨硬件分工运行模型的技术：将尽可能多的 Transformer 网络层塞入 GPU 显存，其余多余层则留存在系统 CPU 内存中运算。

由 Georgi Gerganov 开发的基础性、高度优化的 C/C++ 推理引擎，在 CPU、CUDA、Metal 和 ROCm 上为绝大多数本地大模型工具提供核心动力。

处理器从存储器中读取和写入数据的吞吐速率（单位为 GB/s）；对于大模型推理，该指标直接决定了单用户下的 token 生成速度。

经典的注意力机制架构，其中每个 Query 头都拥有独占的一对 Key 和 Value 头，这会产生体积最大、最消耗显存的 KV Cache。

一种神经网络架构，包含多个专业化的子网络（“专家”），但在计算每个 token 时仅动态激活其中的一小部分专家。

DeepSeek 首创的多头潜在注意力机制，在写入缓存前将键值向量投影压缩至低秩潜向量，将 KV Cache 显存消耗骤降 90% 以上。

Apple 官方开源的机器学习框架，专为 Apple Silicon 芯片的统一内存架构深度定制，在 macOS 上提供极致高效的大模型推理。

一款深受开发者欢迎的轻量级 CLI 工具与后台守护程序，将模型权重、提示词模板及底层 llama.cpp 执行环境封装为类似 Docker 的简明命令。

符合开源促进会（OSI）《开源人工智能定义》（OSAID 1.0）标准的 AI 系统，要求必须同时开放模型权重、完整训练代码以及详尽的训练数据信息。

一种大模型发布模式：开发者公开神经网络权重文件供用户自由下载并在本地私有部署，但保留底层的训练数据集、预处理脚本和训练代码不予公开。

一种注意力机制算法，将 KV Cache 张量存储在非连续的物理显存块（页面）中，彻底消除显存碎片，实现近乎零显存浪费。

一种软件与模型权重开源许可证（如 Apache 2.0 或 MIT），在仅附带极少限制的前提下，授予用户完整的商业使用、修改与二次分发权利。

一种衡量语言模型预测测试样本数据集能力优劣的数学指标；困惑度（Perplexity）越低，代表模型的预测准确度与逻辑能力越高。

降低模型权重与激活值数值精度（例如从 16 位浮点压缩至 8 位、4 位乃至 2 位整数）的技术，旨在大幅削减显存占用并提升计算速度。

由 Hugging Face 开发的高效安全张量存储格式，支持快速内存映射，且彻底杜绝了传统 Python pickle 格式存在的任意代码执行安全漏洞。

一种注意力机制优化策略：token 仅计算最近固定窗口范围内（如最后 4,096 个 token）历史信息的注意力，从而为 KV Cache 的显存增长设定了刚性上限。

大模型服务条款或许可协议中的限制性条款，严禁利用该模型的生成输出数据去训练、微调或评估其他具有竞争关系的 AI 模型。

将超大模型分布式部署在多张显卡上的并行技术；张量并行（TP）切分单个权重矩阵，而流水线并行（PP）则将不同的网络层分配到不同的显卡上。

Apple M 系列芯片采用的共享内存架构，CPU、GPU 和神经网络引擎直接访问同一块高带宽物理内存池，彻底免去总线传输拷贝开销。

由加州大学伯克利分校（UC Berkeley）主导开发的高吞吐企业级大模型推理引擎，以 PagedAttention、连续批处理和分块 Prefill 等技术闻名。

独立显卡（GPU）上搭载的高速专用显存，用于存储大模型的权重参数、KV Cache 缓存以及推理过程中的中间激活值张量。