Grandes idées.
Empreinte mémoire réduite.Calculateur VRAM LLM : vérifiez quels modèles votre GPU peut exécuter

On dimensionne d'abord la VRAM, pas les TFLOPS. Environ 8 Go pour du 7B/8B en Q4, 12 Go pour du 13B/14B, 16 à 24 Go pour beaucoup de 20B-32B et de MoE, ~48 Go au total pour un 70B dense en Q4. Vérifiez le cache KV dans le calculateur, puis les onglets Acheter et Louer.

Oui pour du 7B à 14B en Q4 avec un peu de contexte, et pour certains MoE avec précaution. Un 32B ou 70B dense nécessite un déchargement sur CPU. Pour l'inférence locale, 12 Go battent presque toujours 8 Go plus rapides (3060 12 Go plutôt qu'une 3070 8 Go).

La 4090 est le choix idéal grand public pour du ~27B-32B en Q4 et de bons MoE. Un 70B dense en Q4 ne tient pas entier : déchargement lent, ou deux cartes / 48 Go+ / Mac très doté en mémoire / GPU cloud. Faire tenir un modèle n'est pas la même chose que le faire tourner vite.

GGUF est le format de llama.cpp / Ollama / LM Studio. Q4_K_M est le compromis qualité/taille le plus recommandé. FP16 nécessite ~2 octets/paramètre, Q4 ~0,5 à 0,6 : un 7B passe d'environ 14 Go de poids à 4-5 Go. La quantification des poids ne réduit pas le cache KV, sauf si vous quantifiez aussi le cache.

Souvent une partie des couches est en mémoire RAM système (n-gpu-layers / offload). Un 70B Q4 ~40 Go ne tient pas sur 24 Go, donc la vitesse chute à quelques tokens/s. Réduisez la taille du modèle ou la quantification, baissez num_ctx, ou ajoutez de la VRAM. Mesurez avec nvidia-smi ou ollama ps.

Oui. Le cache KV grossit avec les tokens et les conversations simultanées. À 32K ou 128K il peut rivaliser avec les poids. Un modèle qui tient à 4K peut saturer la mémoire à 32K. Réglez num_ctx sur ce que vous utilisez vraiment, ou quantifiez le cache KV.

Oui. La mémoire unifiée forme un seul pool : un gros GGUF peut charger sans plafond VRAM dédié. Laissez de la marge à macOS. Ordre de grandeur : 16 Go pour les petits modèles, 32 Go pour le milieu de gamme, 64 Go+ avant qu'un 70B soit réaliste. La bande passante dicte la vitesse en tokens/s.

Sur NVIDIA/AMD, la VRAM est un plafond strict. Sur Mac, RAM et GPU partagent la mémoire unifiée, donc un Mac 64 Go peut charger ce qu'une 4090 24 Go ne peut pas. En revanche le support CUDA et souvent les tokens/s restent du côté NVIDIA. Comparez la capacité (Mac) et l'écosystème/vitesse (NVIDIA).

LM Studio est la solution la plus simple sans terminal. Ollama est le standard CLI/API (scripts, Open WebUI). llama.cpp reste l'outil pour utilisateurs avancés (déchargement, cache KV, multi-GPU). Les trois lisent le format GGUF : le calculateur estime la VRAM, pas l'interface.

Le fichier GGUF ne contient que les poids. Le cache KV, les activations, l'affichage de l'écran, la fragmentation et un long prompt s'y ajoutent. Laissez de la marge, réduisez le contexte, quantifiez le cache KV, ou choisissez une quantification plus petite. La taille du fichier n'est pas la VRAM d'une conversation complète.

Achetez si vous utilisez vos modèles fréquemment et privilégiez la confidentialité et la disponibilité permanente. Louez pour des besoins ponctuels, des configurations de 48-80 Go, ou pour tester un 70B avant d'acheter deux GPU. L'approche hybride est courante : une carte locale pour le quotidien en 8B-32B, et le cloud pour les modèles plus volumineux.

Surtout la VRAM : 48 Go est la configuration grand public de référence pour un 70B Q4. La vitesse ne double pas automatiquement ; la répartition par couches fonctionne sans NVLink, tandis que le tenseur parallèle préfère des liaisons rapides. Prévoyez une alimentation puissante, un bon refroidissement et une configuration adaptée.

En Q4 avec contexte modéré : ~5-8 Go (7B/8B), ~8-12 Go (13B/14B), ~18-24 Go (32B), ~42-50 Go (70B dense). Ajoutez toujours le cache KV. Sélectionnez l'artefact exact ci-dessus pour afficher le détail poids vs cache.

Choisissez le checkpoint, la quantification et le contexte dans le calculateur : poids + cache KV + runtime. La taille du GGUF n'est qu'un plancher. Après chargement, vérifiez avec nvidia-smi, ollama ps ou le Moniteur d'activité sur Mac.

En quantification Q4_K_M, les poids requièrent environ 5,5 Go. En ajoutant un contexte de 8k tokens et la surcharge CUDA, il faut compter entre 7 et 8 Go de VRAM. Une carte de 8 Go (RTX 4060) ou de 12 Go (RTX 3060) permet une exécution 100 % GPU sans déchargement vers la RAM système.

L'inférence d'un LLM est limitée par la bande passante mémoire. Une RTX 3090 délivre environ 936 Go/s, alors que la RAM DDR5 dual-channel plafonne à 60-80 Go/s. Cet écart d'un facteur 12 fait chuter la vitesse de 25 tokens/s à 1,5 token/s dès que des couches sont déchargées sur le processeur.

Le fichier de poids pèse environ 42 Go. Avec un contexte de 32 000 tokens et l'architecture GQA, le cache KV requiert environ 4,5 Go, auxquels s'ajoute 1 Go de mémoire tampon CUDA. Il faut prévoir environ 48 Go de VRAM totale, ce qui correspond exactement à une configuration double RTX 3090 ou un Mac Studio 64 Go.

Ollama alloue la mémoire pour les poids, mais réserve également les tenseurs d'activation CUDA et préalloue l'espace du cache KV selon le paramètre num_ctx. Si votre Modelfile définit un contexte de 32k, plusieurs gigaoctets supplémentaires sont immédiatement réservés pour garantir la stabilité.

Pour un petit budget, la RTX 3060 12 Go neuve reste la référence d'entrée de gamme. Pour les passionnés et les développeurs, la RTX 3090 24 Go d'occasion offre le meilleur rapport prix/VRAM/bande passante du marché, introuvable sur les cartes de génération plus récente à prix équivalent.