Grandes ideas.
Huella de memoria reducida.Calculadora VRAM de LLM: verifica qué modelos puede ejecutar tu GPU

Los pesos Q4_K_M de un 70B denso ya van por ~40 GB. Con contexto corto y overhead, planifica 45–50 GB en GPU. FP16 ronda los 140 GB. Una sola tarjeta de 24 GB no lo carga entero en Q4 usable sin offload pesado.

No entero en GPU a calidad Q4. Cabe en híbrido (VRAM + RAM) pero irá lento, a pocos tok/s. Caminos reales: doble 24 GB, 48 GB+, un Mac con mucha memoria unificada, un MoE más pequeño, o alquilar GPU.

GGUF es el formato de Ollama, LM Studio y llama.cpp. Q4_K_M es el punto dulce calidad/tamaño. FP16 ~2 bytes/parámetro; Q4 ~0,5–0,6. Un 7B pasa de ~14 GB de pesos a 4–5 GB. Cuantizar pesos no reduce la caché KV salvo que también la cuantices.

Elige el checkpoint, la cuantización y el contexto arriba: pesos + KV + runtime. El tamaño del GGUF es solo un suelo. Después de cargar, mide con nvidia-smi u ollama ps.

Sí. La caché KV crece con los tokens y las conversaciones a la vez. A 32K o 128K puede igualar o superar los pesos. Un modelo que cabe a 4K puede provocar un error de OOM a 32K. Define el contexto que uses realmente o cuantiza la caché KV.

Sirven para aprender y para 7B/8B en Q4 con contexto corto. Quedan justos para coding/agentes y contexto largo. Si compras, 12–16 GB+ es un suelo más seguro.

Para inferencia local, más VRAM gana. 12 GB casi siempre superan 8 GB más rápidos. La 3060 12 GB abre 13B/14B en Q4; 8 GB se quedan en 7B/8B con contexto contenido.

macOS y las aplicaciones ya consumen varios GB. Orientativo: 16 GB modelos pequeños, 32 GB rango medio cómodo, 64 GB+ antes de que un 70B sea práctico. No trates la memoria unificada como VRAM dedicada al 100%.

Compra si usas muchas horas a la semana y quieres privacidad. Alquila (o renta) para picos, pruebas de 48–80 GB, o validar un 70B antes de un PC de dos GPU. Híbrido habitual: tarjeta local para el 8B–32B diario, nube cuando hace falta más.

Sí, con GGUF/llama.cpp si VRAM más RAM cubren el modelo. La velocidad suele caer a pocos tok/s: resulta viable para lotes, pero no para un chat interactivo. Prefiere un quant más pequeño o un modelo que quepa entero en GPU si te importan los tok/s.

Por VRAM, no por TFLOPS: ~8 GB → 7–8B Q4; ~12 GB → 13–14B; 16–24 GB → ~20–32B; ~48 GB total → 70B denso Q4. Incluye siempre la caché KV y confirma en la calculadora.

El GGUF son solo los pesos. Caché KV, activaciones, el escritorio, fragmentación y prompts largos van encima. Deja margen, baja contexto, cuantiza la KV o elige un quant menor. Que quepa el archivo no es que quepa la conversación.

La memoria sigue los parámetros totales (guardas todos los expertos); la velocidad sigue los activos. El MoE brilla si descargas expertos a RAM, no porque la VRAM se encoja al tamaño activo.

El quant más alto que aún quepa con margen de contexto. Q4_K_M es el punto dulce para chat y código. Q5/Q6/Q8 si te sobra VRAM. Evita Q2/Q3 salvo que no quepa nada más.

En cuantización Q4_K_M, los pesos ocupan aproximadamente 5.5 GB. Con un contexto de 8k tokens y los buffers de CUDA, necesitas al menos 7 a 8 GB de VRAM. Una tarjeta de 8 GB (RTX 4060) o de 12 GB (RTX 3060) lo ejecuta al 100% en la GPU sin recurrir a la RAM del sistema.

La generación de tokens depende estrictamente del ancho de banda de la memoria. Una RTX 3090 ofrece ~936 GB/s, mientras que la memoria RAM DDR5 en doble canal solo alcanza 60 a 80 GB/s. Esta diferencia de más de 12 veces hace que descargar capas a la CPU desplome la velocidad de 30 tok/s a solo 1 o 2 tok/s.

Los pesos en Q4_K_M ocupan unos 42 GB. A 32k tokens de contexto con atención GQA, el caché KV en FP16 requiere cerca de 4.5 GB, más 1 GB de memoria de trabajo de CUDA. El consumo total real es de ~48 GB de VRAM, ideal para una configuración Dual RTX 3090 (48 GB) o un Mac Studio con 64 GB de memoria unificada.

El archivo descargado solo contiene los pesos estáticos. Al arrancar, Ollama inicializa el contexto CUDA y preasigna espacio para el caché KV según el parámetro num_ctx. Si tu Modelfile define un contexto largo (como 32k), se reservan varios gigabytes adicionales inmediatamente para evitar fallos durante la conversación.

Para presupuestos ajustados, la RTX 3060 de 12 GB es la mejor opción de entrada para modelos 7B a 14B. Para entusiastas y desarrolladores, una RTX 3090 de 24 GB de segunda mano ofrece un ancho de banda inigualable de 936 GB/s por una fracción del precio de una RTX 4090, siendo el estándar de oro.