Guide de Dimensionnement & Achat Matériel
Le Guide GPU Ultime pour les LLM Locaux
Oubliez les benchmarks de jeux vidéo. Découvrez pourquoi la bande passante mémoire dicte votre vitesse de génération, quel palier de VRAM choisir selon vos modèles et comment se compare Apple Silicon face à Nvidia.
1. La Règle d'Or du Matériel IA : La Bande Passante Avant la Puissance Brute
Lors de l'inférence autorégressive de LLM, le facteur limitant est très rarement la puissance de calcul brute (TFLOPS). Il s'agit presque toujours de la bande passante mémoire : la vitesse à laquelle les poids du modèle peuvent être transférés de la VRAM vers les cœurs de calcul.
Pendant la génération, la totalité des poids du modèle doit être lue en mémoire pour chaque token produit. Une carte graphique dotée d'une grande puissance mais d'un bus mémoire étroit restera inactive en attendant les données.
Exemple : Un modèle 70B quantifié en Q4 occupe environ 40 Go de VRAM. Sur une RTX 3090 (936 Go/s de bande passante), la vitesse théorique maximale est de 936 / 40 = 23,4 tokens/seconde. Sur de la mémoire RAM système DDR5 (60 Go/s), ce même modèle tourne à seulement 60 / 40 = 1,5 token/seconde.
2. Les 4 Paliers de Capacité VRAM : Que Pouvez-Vous Réellement Faire Tourner ?
Modèles de 7B à 8B en Q4_K_M (Llama 3 8B, Mistral 7B, Qwen 2.5 7B). Contexte court jusqu'à 8k tokens.
RTX 3060 12 Go (la référence économique), RTX 4060 Ti 16 Go, ou RTX 5060 Ti 16 Go.
Modèles de 14B à 32B en Q4_K_M (Qwen 2.5 32B, Command-R), ou modèles 70B avec quantification agressive (IQ2/Q3).
RTX 3090 24 Go (occasion, rapport qualité/prix imbattable), RTX 4090 24 Go, ou RTX 5090 32 Go.
Modèles complets 70B à 72B en Q4_K_M avec un large contexte de 32k tokens et cache KV en FP8.
Dual RTX 3090 (48 Go cumulés), dual RTX 4090, ou Apple Mac Studio M2/M3/M4 Max (48 Go à 64 Go).
Llama 3.3 70B en Q8_0, Qwen 2.5 72B en FP16, versions distillées de DeepSeek R1/V3, et Llama 405B en Q2/Q3.
Apple Mac Studio M2/M3 Ultra (128 Go à 192 Go de mémoire unifiée) ou stations de travail multi-GPU.
3. Apple Silicon Mac vs PC Nvidia : Que Devez-Vous Acheter ?
- Capacité VRAM Gigantesque : Jusqu'à 128 Go ou 192 Go de mémoire unifiée sur un bureau silencieux.
- Consommation Faible et Silencieuse : 80W à 120W en charge maximale contre 850W+ pour les configurations PC multi-GPU.
- Bande Passante Modérée : 300 à 800 Go/s offrant une vitesse pratique de 15 à 25 tokens/s sur les modèles 70B.
- Écosystème Logiciel : Excellent avec MLX natif et llama.cpp Metal ; les outils CUDA et vLLM ne sont pas compatibles.
- Vitesse de Génération Maximale : Bande passante de 1 008 Go/s sur RTX 4090 pour des débits fulgurants de 30 à 60 tokens/s.
- Standard de l'Industrie : Compatibilité totale avec CUDA, PyTorch, vLLM, TensorRT-LLM et FlashAttention-2.
- Plafond de VRAM : Limite stricte de 24 Go par carte grand public. Faire tourner du 70B requiert une installation multi-GPU.
- Consommation et Chaleur : Nécessite une alimentation de 1 000W+, un boîtier très ventilé et un refroidissement adapté.
4. Construire une Station de Travail Dual-GPU pour Modèles 70B
Si votre objectif est de faire tourner des modèles 70B à pleine vitesse sur PC, la configuration à deux cartes reste la plus économique :
Vérifiez que votre carte mère gère la bifurcation x8 / x8 sur les lignes CPU, avec un espacement de 3 à 4 slots pour le refroidissement.
Prévoyez au minimum un bloc de 1 200W ou 1 500W certifié Platinum ou Titanium pour encaisser les pics de tension de deux RTX 3090 ou 4090.
Utilisez vLLM avec Tensor Parallelism (--tensor-parallel-size 2) ou le multi-GPU de llama.cpp pour répartir les couches entre les deux cartes.
Foire Aux Questions
Parce que pour les LLM locaux, la capacité de VRAM est primordiale. Une RTX 3090 de 24 Go peut accueillir des modèles 32B en Q4 ou des modèles denses 14B en FP16 avec une fenêtre de contexte de 32k tokens entièrement en mémoire locale. La carte de 16 Go ne peut pas faire tourner les modèles 32B à pleine vitesse et se trouve contrainte de décharger des couches sur la lente mémoire RAM système. De plus, la RTX 3090 offre une bande passante mémoire de 936 Go/s sur un bus de 384 bits, surpassant les 717 Go/s de la RTX 4080.
8 Go suffisent pour débuter et faire tourner des modèles 7B ou 8B en Q4_K_M avec un contexte court (jusqu’à 4k à 8k tokens). Cependant, cela reste très juste pour les agents de code modernes, l’analyse de documents volumineux ou pour alimenter simultanément un affichage de bureau. Pour un nouvel achat, 12 Go à 16 Go constituent le seuil minimal recommandé.
Oui. L’architecture de mémoire unifiée d’Apple Silicon permet aux cœurs GPU d’accéder à l’ensemble du pool de mémoire vive sans les goulots d’étranglement du bus PCIe. Un Mac Studio doté de 64 Go peut exécuter Llama 3.3 70B en Q4_K_M confortablement (~45 Go au total) à une vitesse de 15 à 22 tokens/seconde. Un Mac Studio de 128 Go ou 192 Go peut faire tourner du 70B en FP16 complet ou des modèles MoE massifs qui exigeraient plus de 10 000 $ de matériel PC équivalent.
Lorsqu’un modèle tient à 100% en VRAM, les données transitent entre 500 et 1 000 Go/s. Dès que des couches sont déchargées sur la RAM système, les données doivent traverser le slot PCIe (le PCIe 4.0 x16 plafonne à ~31,5 Go/s, et la RAM DDR5 tourne entre 60 et 90 Go/s). La génération étant limitée par la bande passante mémoire, décharger ne serait-ce que quelques couches fait souvent chuter le débit de 45 tok/s à seulement 3 à 6 tok/s.
Pour les modèles 70B, oui sans hésiter. Une seule RTX 4090 dispose de 24 Go de VRAM et ne peut pas charger un modèle 70B quantifié sans un déchargement massif. Deux RTX 3090 vous offrent 48 Go de VRAM mutualisée (via Tensor Parallelism sous vLLM ou répartition de couches sous llama.cpp), vous permettant d’exécuter un 70B en Q4_K_M entièrement en VRAM à plus de 25 tokens/seconde pour un budget global équivalent à celui d’une seule RTX 4090.
Besoin de plus de VRAM que votre GPU local ?
Louez des instances RTX 4090 ou H100 à la demande sur Scaleway, RunPod ou Vast.ai à partir de 0,34 $/h.
Connaissances & analyses approfondies
Centre de Connaissances VRAM & LLM Locaux
Guides approfondis, analyses architecturales et manuels de dimensionnement matériel pour déployer et exécuter vos modèles d'IA en local sans mauvaise surprise.