Glossaire Technique VRAM & LLM Locaux

Les paramètres totaux correspondent à l'ensemble des poids stockés et chargés en mémoire ; les paramètres actifs désignent la fraction réellement mobilisée lors du calcul d'un token.

Une méthode de quantification GPU en 4 bits préservant le 1 % de poids les plus importants selon l'amplitude des activations, garantissant une fidélité proche du FP16 et une vitesse d'inférence élevée.

Le nombre moyen effectif de bits alloués à chaque paramètre du modèle une fois la quantification, les échelles et les en-têtes pris en compte.

Une licence de poids ouverts sur mesure conçue par de grands groupes technologiques, offrant un accès gratuit pour la recherche et les PME, mais encadrant les usages commerciaux à très grande échelle.

Le nombre maximal de tokens cumulés (prompt en entrée et réponse générée) qu'un modèle peut traiter et prendre en compte au cours d'une même session.

Une exception d'exécution fatale levée par NVIDIA CUDA lorsqu'une demande d'allocation pour les poids, le cache KV ou les activations dépasse la mémoire VRAM restante du GPU.

Un format avancé de quantification à précision mixte conçu spécifiquement pour les GPU NVIDIA par turboderp, offrant des débits de bits continus et une vitesse de génération inégalée.

Un algorithme d'attention exacte qui réorganise les accès mémoire pour garder les calculs dans la SRAM rapide du GPU (cache) plutôt que de solliciter sans cesse la mémoire HBM/VRAM plus lente.

Un dépôt de modèle sur des plateformes comme Hugging Face exigeant l'acceptation de conditions d'utilisation ou l'accord préalable de l'auteur avant de pouvoir télécharger les poids.

Un format binaire monobloc standardisé et extensible, développé par Georgi Gerganov et la communauté llama.cpp, optimisé pour l'inférence locale CPU/GPU rapide et le déchargement de couches.

Une architecture d'attention où plusieurs têtes de requête partagent une unique tête de clé-valeur, réduisant la VRAM du cache KV d'un facteur 4 à 8 tout en préservant le raisonnement.

Méthodes avancées de quantification dans llama.cpp regroupant les poids en super-blocs et allouant une précision supérieure aux couches critiques d'attention et feed-forward.

Un espace dédié en mémoire GPU qui stocke les tenseurs de clés et de valeurs d'attention déjà calculés pour chaque token d'une conversation, évitant des recalculs redondants.

Répartition d'un modèle entre plusieurs composants en chargeant autant de couches Transformer que possible dans la VRAM du GPU et en laissant le reste en RAM système (CPU).

Le moteur d'inférence de référence en C/C++, ultra-optimisé et conçu par Georgi Gerganov, moteur de tout l'écosystème de LLM locaux sans dépendances superflues.

Le débit auquel un processeur peut lire et écrire des données dans sa mémoire, mesuré en gigaoctets par seconde ; c'est lui qui dicte directement la vitesse de génération d'un LLM.

L'architecture d'attention classique où chaque tête de requête possède sa propre tête de clé et de valeur, générant le cache KV le plus volumineux et le plus gourmand en VRAM.

Une architecture de réseau neuronal comportant plusieurs sous-réseaux spécialisés (« experts »), dont seule une petite fraction est activée pour chaque token calculé.

Le mécanisme d'attention novateur de DeepSeek qui compresse les vecteurs de clés-valeurs dans un espace latent de bas rang avant mise en cache, réduisant la mémoire du cache KV de plus de 90 %.

Le framework de machine learning natif d'Apple conçu spécialement pour l'architecture unifiée Apple Silicon série M, offrant vitesse et efficacité énergétique maximales sous macOS.

Une application en ligne de commande et un démon simples d'accès, qui encapsulent llama.cpp dans un système de gestion de modèles inspiré de Docker avec une API REST claire.

Un système d'IA conforme au standard OSAID 1.0 de l'Open Source Initiative (OSI), exigeant des poids ouverts, le code d'entraînement complet et des informations détaillées sur les données d'apprentissage.

Un modèle de distribution où le créateur met à disposition les poids du réseau neuronal pour le téléchargement et l'auto-hébergement, tout en gardant privés les jeux de données, les scripts de prétraitement et le pipeline d'entraînement.

Un algorithme d'attention stockant les tenseurs du cache KV dans des blocs de mémoire physique non contigus (pages), éliminant la fragmentation et réduisant le gaspillage mémoire à quasi zéro.

Licences de logiciels et de poids (comme Apache 2.0 ou MIT) accordant des droits commerciaux intégraux, la modification et la redistribution avec un minimum de contraintes.

Une métrique mathématique mesurant la capacité d'un modèle de langage à prédire un échantillon de texte de test ; plus la perplexité est basse, plus le modèle est précis et cohérent.

Procédé réduisant la précision numérique des poids et des activations d'un modèle (ex. de flottants 16 bits à 8, 4 ou 2 bits) afin de diminuer drastiquement l'empreinte mémoire et d'accélérer les calculs.

Un format de fichier rapide, sécurisé et projetable en mémoire (mmap) créé par Hugging Face pour stocker des tenseurs sans les risques d'exécution de code arbitraire liés aux fichiers pickle Python.

Une technique d'attention où les tokens ne portent leur attention que sur une fenêtre fixe de tokens précédents (ex. les 4 096 derniers), fixant un plafond strict à l'expansion du cache KV.

Clauses des conditions d'utilisation interdisant d'exploiter les réponses du modèle pour entraîner, affiner (fine-tune) ou évaluer d'autres modèles d'intelligence artificielle concurrents.

Méthodes de répartition d'un grand modèle sur plusieurs GPU ; le parallélisme de tenseurs (Tensor Parallelism) découpe chaque matrice de poids entre les cartes d'un même nœud.

Une architecture de mémoire partagée utilisée dans les puces Apple série M, où CPU, GPU et Neural Engine accèdent au même ensemble de mémoire physique haute vitesse sans transfert de bus.

Un moteur de déploiement de LLM d'entreprise à très haut débit développé à l'UC Berkeley, célèbre pour PagedAttention, le traitement par lots continu (continuous batching) et le pré-remplissage fractionné.

Mémoire dédiée à très haute bande passante intégrée à une carte graphique (GPU), utilisée pour stocker les poids du modèle, le cache KV et les activations intermédiaires.