Guide Hugging Face
Comment Lire une Fiche de Modèle et sa Configuration sur Hugging Face
Apprenez à examiner un dépôt de modèle d'IA ouvert comme un ingénieur ML afin de calculer ses besoins réels en VRAM avant de lancer de volumineux téléchargements.
Interactive Hugging Face config.json Inspector
Click any line in the code block to see what it means, how it impacts your GPU, and the traps to avoid.
{
"model_type": "\"llama\"",weights "max_position_embeddings": 131072,context "num_hidden_layers": 32,attention "num_attention_heads": 32,attention "num_key_value_heads": 8,attention "head_dim": 128,attention "sliding_window": 4096,context "num_local_experts": 8,moe "num_experts_per_tok": 2,moe "torch_dtype": "\"bfloat16\"",weights}"num_key_value_heads": 8
Key-Value Heads (GQA Indicator)
The number of KV heads stored in the KV cache. When this value is smaller than num_attention_heads (here: 8 vs 32), the model uses Grouped-Query Attention (GQA).
In this example (8 KV heads vs 32 query heads), KV cache VRAM is slashed by 75%.
If num_key_value_heads equals num_attention_heads, the model uses legacy MHA and will consume 4x to 8x more VRAM for context!
1. Déchiffrer config.json : La Seule Référence Fiable
Ne vous basez pas uniquement sur le fichier README descriptif pour dimensionner votre matériel. Consultez systématiquement le fichier config.json dans l'onglet 'Files and versions'. Les attributs cruciaux sont num_hidden_layers (profondeur), hidden_size (largeur), num_attention_heads et num_key_value_heads.
2. Repérer la Véritable Limite de Contexte (max_position_embeddings & RoPE)
Le paramètre max_position_embeddings définit la fenêtre d'entraînement native du modèle. La présence d'une section rope_scaling indique l'utilisation de mécanismes d'interpolation fréquentielle (comme YaRN) permettant d'élargir le contexte au-delà de sa limite native.
3. Le Piège des Modèles MoE : Paramètres Actifs vs Paramètres Totaux
Dans les modèles à mélange d'experts (MoE) comme Mixtral 8x7B, Qwen 2.5 57B A14B ou DeepSeek V3 (671B au total, 37B actifs), seuls quelques experts sont activés par token. Toutefois, la TOTALITÉ des poids doit impérativement être chargée en VRAM. Vous ne pouvez pas exécuter un modèle MoE de 671B sur un GPU de 48 Go malgré un coût de calcul modéré.
4. Comprendre les Suffixes de Quantification GGUF (Q4_K_M, IQ4_XS, FP8)
Sur les dépôts GGUF, les extensions indiquent la méthode de compression. Q4_K_M représente la quantification 4 bits intermédiaire recommandée. Les variantes IQ (comme IQ3_M, IQ4_XS) utilisent une matrice d'importance pour offrir un niveau de perplexité remarquable avec un poids minime.
Foire Aux Questions
Le fichier téléchargé ne comprend que les poids du modèle. En fonctionnement, la VRAM doit également accueillir l'environnement d'exécution CUDA (500 Mo à 1 Go), les mémoires tampons d'activation et l'espace grandissant du cache KV au fil de la discussion.
GGUF est optimisé pour llama.cpp et Ollama, facilitant le partage entre RAM CPU et VRAM GPU. AWQ et GPTQ ciblent l'inférence haute performance exclusivement sur GPU via vLLM ou TensorRT-LLM. EXL2 est réservé à ExLlamaV2 avec une quantification fine couche par couche.
Examinez l'étiquette de licence en haut du dépôt et parcourez le fichier LICENSE. Les licences MIT, Apache 2.0 et BSD autorisent une utilisation commerciale libre. Des licences comme Llama 3 Community fixent des seuils d'utilisateurs et des règles d'usage.
Ce champ caractérise l'attention. S'il est égal à num_attention_heads, le modèle emploie l'attention MHA classique. S'il est plus petit (ex: 8 contre 32), il s'agit d'attention groupée GQA, réduisant notablement l'encombrement du cache KV.
Vérifiez l'entrée architectures dans le fichier config.json (par exemple LlamaForCausalLM, Qwen2ForCausalLM, DeepseekV3ForCausalLM) afin de vérifier la compatibilité avec vos outils de déploiement.
Évaluez n'importe quel modèle dans notre calculateur
Indiquez les paramètres du modèle ou parcourez notre annuaire pour vérifier instantanément la mémoire VRAM requise.
Knowledge & Deep Dives
Centre de Connaissances VRAM & LLM Locaux
Guides approfondis, analyses architecturales et manuels de dimensionnement matériel pour déployer et exécuter vos modèles d'IA en local sans mauvaise surprise.