Guía de Hugging Face
Cómo Leer Cualquier Tarjeta de Modelo en Hugging Face
Aprende a inspeccionar repositorios de modelos abiertos como un ingeniero de ML para estimar con certeza los requisitos de VRAM antes de descargar archivos gigantescos.
Inspector interactivo de config.json en Hugging Face
Haz clic en cualquier línea para ver qué significa, cómo afecta a tu GPU y qué trampas debes evitar.
{
"model_type": "\"llama\"",pesos "max_position_embeddings": 131072,contexto "num_hidden_layers": 32,atención "num_attention_heads": 32,atención "num_key_value_heads": 8,atención "head_dim": 128,atención "sliding_window": 4096,contexto "num_local_experts": 8,moe "num_experts_per_tok": 2,moe "torch_dtype": "\"bfloat16\"",pesos}"num_key_value_heads": 8
Cabezas Key-Value (indicador de GQA)
Número de cabezas KV almacenadas en la caché KV. Cuando este valor es inferior a num_attention_heads (aquí: 8 frente a 32), el modelo emplea Grouped-Query Attention (GQA).
En este ejemplo (8 cabezas KV frente a 32 de query), la VRAM ocupada por la caché KV se reduce un 75%.
Si num_key_value_heads coincide con num_attention_heads, el modelo utiliza MHA tradicional y consumirá entre 4 y 8 veces más VRAM de contexto.
1. Decodificar config.json: La Fuente Oficial de la Verdad
No te fíes exclusivamente del archivo README para estimar hardware. Revisa siempre config.json en la pestaña 'Files and versions'. Los campos esenciales son num_hidden_layers (capas), hidden_size (dimensión), num_attention_heads (cabezas de atención) y num_key_value_heads (arquitectura del KV cache).
2. Localizar el Límite Real de Contexto (max_position_embeddings y RoPE)
El parámetro max_position_embeddings establece la longitud de contexto nativa con la que fue entrenado el modelo. Si incluye un bloque rope_scaling, significa que utiliza técnicas de escalado de frecuencia (como YaRN o escalado lineal) para extender el contexto más allá del límite nativo.
3. La Trampa de los Modelos MoE: Parámetros Activos vs Totales
En arquitecturas Mixture of Experts (MoE) como Mixtral 8x7B, Qwen 2.5 57B A14B o DeepSeek V3 (671B totales, 37B activos), solo una parte de los expertos se activa por token. Sin embargo, TODOS los pesos deben residir en la VRAM. No es posible ejecutar un modelo MoE de 671B en una tarjeta de 48GB aunque su coste de cálculo activo sea moderado.
4. Entender los Sufijos de Cuantización GGUF (Q4_K_M, IQ4_XS, FP8)
En repositorios GGUF, los sufijos indican el método de compresión. Q4_K_M designa cuantización de 4 bits intermedia (el mejor equilibrio entre calidad y memoria). Los formatos IQ (como IQ3_M, IQ4_XS) emplean matrices de importancia para lograr menor perplejidad con tamaños mínimos.
Preguntas Frecuentes
¿Por qué un modelo consume más VRAM de la que ocupa su archivo descargado?
¿Cuál es la diferencia entre GGUF, AWQ, EXL2 y GPTQ?
¿Cómo saber si un modelo de pesos abiertos permite explotación comercial?
¿Qué representa num_key_value_heads en el archivo config.json?
¿Dónde se especifica la clase de arquitectura del modelo?
Evalúa cualquier modelo en nuestra calculadora
Introduce los parámetros o explora nuestro catálogo para conocer los requisitos reales de VRAM de inmediato.
Conocimiento y análisis profundos
Centro de Conocimiento sobre VRAM e IA Local
Guías técnicas exhaustivas, análisis de arquitecturas y manuales de hardware para configurar y ejecutar modelos de lenguaje locales con total precisión.