Guide Hugging Face
Comment Lire une Fiche de Modèle et sa Configuration sur Hugging Face
Apprenez à examiner un dépôt de modèle d'IA ouvert comme un ingénieur ML afin de calculer ses besoins réels en VRAM avant de lancer de volumineux téléchargements.
Inspecteur interactif config.json Hugging Face
Cliquez sur une ligne du code pour découvrir sa signification, son impact sur votre GPU et les pièges à éviter.
{
"model_type": "\"llama\"",poids "max_position_embeddings": 131072,contexte "num_hidden_layers": 32,attention "num_attention_heads": 32,attention "num_key_value_heads": 8,attention "head_dim": 128,attention "sliding_window": 4096,contexte "num_local_experts": 8,moe "num_experts_per_tok": 2,moe "torch_dtype": "\"bfloat16\"",poids}"num_key_value_heads": 8
Têtes Clés-Valeurs (Indicateur GQA)
Le nombre de têtes KV conservées dans le cache KV. Quand cette valeur est inférieure à num_attention_heads (ici : 8 contre 32), le modèle utilise la Grouped-Query Attention (GQA).
Dans cet exemple (8 têtes KV contre 32 têtes de requête), la VRAM du cache KV est réduite de 75 %.
Si num_key_value_heads est égal à num_attention_heads, le modèle utilise l'ancienne architecture MHA et consommera 4 à 8 fois plus de VRAM pour le contexte !
1. Déchiffrer config.json : La Seule Référence Fiable
Ne vous basez pas uniquement sur le fichier README descriptif pour dimensionner votre matériel. Consultez systématiquement le fichier config.json dans l'onglet 'Files and versions'. Les attributs cruciaux sont num_hidden_layers (profondeur), hidden_size (largeur), num_attention_heads et num_key_value_heads.
2. Repérer la Véritable Limite de Contexte (max_position_embeddings & RoPE)
Le paramètre max_position_embeddings définit la fenêtre d'entraînement native du modèle. La présence d'une section rope_scaling indique l'utilisation de mécanismes d'interpolation fréquentielle (comme YaRN) permettant d'élargir le contexte au-delà de sa limite native.
3. Le Piège des Modèles MoE : Paramètres Actifs vs Paramètres Totaux
Dans les modèles à mélange d'experts (MoE) comme Mixtral 8x7B, Qwen 2.5 57B A14B ou DeepSeek V3 (671B au total, 37B actifs), seuls quelques experts sont activés par token. Toutefois, la TOTALITÉ des poids doit impérativement être chargée en VRAM. Vous ne pouvez pas exécuter un modèle MoE de 671B sur un GPU de 48 Go malgré un coût de calcul modéré.
4. Comprendre les Suffixes de Quantification GGUF (Q4_K_M, IQ4_XS, FP8)
Sur les dépôts GGUF, les extensions indiquent la méthode de compression. Q4_K_M représente la quantification 4 bits intermédiaire recommandée. Les variantes IQ (comme IQ3_M, IQ4_XS) utilisent une matrice d'importance pour offrir un niveau de perplexité remarquable avec un poids minime.
Foire Aux Questions
Pourquoi le modèle consomme-t-il plus de VRAM que la taille du fichier téléchargé ?
Quelles différences entre GGUF, AWQ, EXL2 et GPTQ ?
Comment vérifier si un modèle autorise une exploitation commerciale ?
Que signifie num_key_value_heads dans config.json ?
Où identifier la famille d'architecture du modèle ?
Évaluez n'importe quel modèle dans notre calculateur
Indiquez les paramètres du modèle ou parcourez notre annuaire pour vérifier instantanément la mémoire VRAM requise.
Connaissances & analyses approfondies
Centre de Connaissances VRAM & LLM Locaux
Guides approfondis, analyses architecturales et manuels de dimensionnement matériel pour déployer et exécuter vos modèles d'IA en local sans mauvaise surprise.