Glosario Técnico de VRAM y LLM Locales

Los parámetros totales representan todos los pesos almacenados en disco y cargados en memoria; los parámetros activos son el subconjunto que se ejecuta realmente al procesar un único token.

Técnica de cuantización en GPU a 4 bits que preserva el 1% de los pesos más relevantes según la magnitud de las activaciones, logrando una precisión casi idéntica a FP16 con alta velocidad de inferencia.

Número medio efectivo de bits de almacenamiento asignados a cada parámetro de un modelo tras aplicar cuantización y factores de escala.

Licencia de pesos abiertos creada por grandes corporaciones que otorga acceso gratuito para investigación y pymes, pero limita el uso comercial a gran escala.

Número máximo de tokens (entrada del prompt más respuesta generada) que un modelo puede procesar y atender en una misma sesión de conversación.

Excepción crítica lanzada por NVIDIA CUDA cuando una solicitud de asignación de memoria para pesos, caché KV o activaciones supera la VRAM física disponible.

Formato avanzado de cuantización de precisión mixta diseñado por turboderp específicamente para GPUs NVIDIA, que ofrece tasas continuas de bits y máxima velocidad de generación.

Algoritmo exacto de atención que reorganiza los accesos a memoria para ejecutar las operaciones en la veloz memoria SRAM de la GPU en lugar de leer repetidamente de la HBM/VRAM.

Repositorio de modelos en plataformas como Hugging Face que exige aceptar términos legales o pedir autorización al creador antes de descargar los pesos.

Formato binario estándar y extensible desarrollado por Georgi Gerganov y la comunidad de llama.cpp para inferencia local rápida en CPU/GPU y descarga por capas.

Arquitectura de atención donde varias cabezas query comparten una única cabeza key-value, reduciendo la VRAM de la caché KV entre 4 y 8 veces sin mermar la capacidad de razonamiento.

Esquemas avanzados de cuantización en llama.cpp que agrupan pesos en superbloques y asignan mayor precisión a las capas críticas de atención y feed-forward.

Bloque de memoria de la GPU que almacena los tensores de clave y valor calculados para cada token de la conversación, evitando recalcularlos en cada paso.

División de un modelo entre hardware cargando en la VRAM de la GPU tantas capas del Transformer como quepan y dejando el resto en la RAM del sistema.

Motor de inferencia fundamental en C/C++ creado por Georgi Gerganov que impulsa la mayoría de herramientas de LLM locales en CPU, CUDA, Metal y ROCm.

Velocidad a la que un procesador puede leer y escribir datos en su memoria, medida en gigabytes por segundo; determina directamente la velocidad de generación de un LLM.

Arquitectura clásica de atención donde cada cabeza query tiene su propia cabeza de clave y valor, lo que genera la caché KV más grande y exigente en VRAM.

Arquitectura de red neuronal con múltiples subredes especializadas ('expertos'), donde solo un subconjunto reducido se activa para procesar cada token.

Mecanismo pionero de atención de DeepSeek que comprime los vectores de clave y valor en un vector latente de bajo rango antes de guardarlos, reduciendo la caché KV más del 90%.

Framework de aprendizaje automático de Apple optimizado para la memoria unificada de los chips serie M en Apple Silicon, con máxima velocidad y eficiencia en macOS.

Aplicación y demonio por línea de comandos que empaqueta llama.cpp en un sistema de gestión de modelos estilo Docker, con una API REST sencilla.

Sistema de IA que cumple el estándar OSAID 1.0 de la OSI: exige pesos abiertos, código de entrenamiento completo e información detallada sobre los datos de entrenamiento.

Modelo de publicación donde el creador comparte los pesos de la red neuronal para su descarga y alojamiento local, pero mantiene privados los datos y el pipeline de entrenamiento.

Algoritmo de atención que almacena los tensores de la caché KV en bloques no continuos de memoria física (páginas), eliminando la fragmentación y el desperdicio de VRAM.

Licencias de software y pesos (como Apache 2.0 o MIT) que otorgan plenos derechos comerciales, de modificación y de redistribución con restricciones mínimas.

Métrica matemática que mide la precisión con la que un modelo de lenguaje predice un conjunto de datos de prueba; una menor perplejidad indica mayor precisión y mejor razonamiento.

Proceso que reduce la precisión numérica de los pesos y activaciones (ej. de float de 16 bits a 8, 4 o 2 bits) para disminuir drásticamente el uso de memoria y acelerar el cómputo.

Formato de archivo rápido, seguro y mapeable en memoria creado por Hugging Face para almacenar tensores sin los riesgos de ejecución de código arbitrario de los archivos pickle de Python.

Estrategia de atención donde los tokens solo atienden a una ventana fija de tokens precedentes (ej. los últimos 4.096), fijando un límite máximo al crecimiento de la memoria de la caché KV.

Cláusulas en las condiciones de servicio de IA que prohíben usar las respuestas del modelo para entrenar, ajustar o evaluar otros modelos competidores.

Métodos para distribuir un modelo grande entre varias GPUs: Tensor Parallelism divide matrices de pesos individuales, mientras que Pipeline Parallelism sitúa capas distintas en tarjetas diferentes.

Arquitectura de memoria compartida de los chips Apple serie M donde CPU, GPU y Neural Engine acceden al mismo bloque de memoria física de alta velocidad sin copias por bus.

Motor de inferencia de alto rendimiento para entornos empresariales desarrollado en UC Berkeley, famoso por PagedAttention, continuous batching y chunked prefill.

Memoria dedicada de gran ancho de banda integrada físicamente en una tarjeta gráfica (GPU), utilizada para alojar los pesos del modelo, la caché KV y las activaciones intermedias.