معمارية النماذج وتحليل الذاكرة
ما هي ذاكرة KV المؤقتة؟ الحسابات، المعادلات وتقدير VRAM
افهم كيف يسرع التخزين المؤقت للمفاتيح والقيم التوليد التتابعي، ولماذا يسبب امتلاء VRAM في السياقات الطويلة، وكيف تخفض استهلاكه بنسبة 50% إلى 75%.
حاسبة تفاعلية لحجم ذاكرة KV المؤقتة
عدل طول السياق وحجم الدفعة ونوع الانتباه لرؤية استهلاك VRAM الفعلي في الوقت الحقيقي.
32 طبقة · 32 رأس استعلام · 8 رأس KV (مجموعة GQA 4:1)
تضاعف خوادم المستخدمين المتعددين (مثل vLLM) ذاكرة KV بعدد الطلبات المتوازية النشطة.
المعادلة: 2 (المفاتيح + القيم) × 32 طبقة × 8 رأس KV × 128 بُعد الرأس × 32,768 توكن × 2 بايت
نظراً لأن هذا النموذج يستخدم GQA (بنسبة 8:1)، فإن ذاكرة KV هذه أصغر بمقدار 4x مقارنة بـ MHA التقليدي (الذي كان سيتطلب 16.0 GiB).
1. لماذا يتطلب التوليد التتابعي ذاكرة KV مؤقتة
في استدلال نماذج المحولات (Transformers)، يتم توليد الكلمات توكنًا تلو الآخر. لتوليد التوكن N، يجب على النموذج حساب الانتباه عبر كافة التوكنات السابقة. بدون ذاكرة KV، سيتعين إعادة حساب متجهات المفاتيح والقيم لجميع التوكنات السابقة في كل خطوة، مما يسبب تعقيدًا حسابيًا تربيعيًا O(N²).
عبر تخزين متجهات المفاتيح (Key) والقيم (Value) المحسوبة في VRAM، يظل الحساب خطيًا O(N) لكل توكن. لكن هذا يستبدل المعالجة بالذاكرة: كل توكن جديد تضيفه يوسع حجم ذاكرة KV حتى انتهاء التوليد.
2. المعادلة الرياضية الدقيقة
المعامل 2 يمثل كلاً من المفاتيح والقيم. عدد_الطبقات هو عمق المحول، ورؤوس_kv عدد رؤوس المفاتيح والقيم، وبعد_الرأس أبعاد الرأس، وطول_السياق هو إجمالي التوكنات النشطة.
مثال: نموذج Llama 3 8B بمعمارية GQA (8 رؤوس KV وبعد 128 و32 طبقة) بسياق 16k بدقة FP16 (2 بايت): 2 x 32 x 8 x 128 x 16,384 x 1 x 2 = 2.15 جيجابايت VRAM لتسلسل محادثة مستخدم واحد.
3. تطور المعماريات: MHA مقابل GQA مقابل MLA
4. كيفية تكميم ذاكرة KV (توفير 50% إلى 75% من الذاكرة)
بشكل افتراضي، تخزن محركات الاستدلال ذاكرة KV بدقة FP16 (2 بايت لكل عنصر). وبتكميم الذاكرة إلى FP8 (1 بايت) أو INT4 (0.5 بايت)، يمكنك تقليل استهلاك الذاكرة فورًا بنسبة 50% أو 75% دون المساس بأوزان النموذج الأصلية.
في محرك vLLM، أضف المعامل --kv-cache-dtype fp8. وفي llama.cpp، استخدم -ctk q8_0 -ctv q8_0 أو -ctk q4_0 -ctv q4_0 لتوفير عدة جيجابايت في محادثات 32k فما فوق.
الأسئلة الشائعة
ماذا يحدث عندما تملأ ذاكرة KV المساحة المتبقية من VRAM؟
هل يعتمد حجم ذاكرة KV على طول السؤال أم طول الإجابة؟
هل تكميم ذاكرة KV إلى FP8 آمن لنماذج التفكير مثل DeepSeek-R1؟
كيف يتوسع حجم ذاكرة KV مع تعدد المستخدمين في نفس الوقت؟
لماذا تعد معمارية MLA في DeepSeek ثورية في معالجة السياقات الطويلة؟
احسب متطلبات ذاكرة KV المؤقتة بدقة
استخدم حاسبة VRAM التفاعلية لتجربة أطوال سياق وأحجام دفعات مختلفة عبر مئات النماذج.
المعرفة والأدلة المعمقة
مركز المعرفة حول VRAM والنماذج اللغوية المحلية
أدلة تقنية شاملة، وتحليلات معمارية، وإرشادات لاختيار العتاد لمساعدتك على تشغيل نماذج الذكاء الاصطناعي محليًا بدقة وثقة مطلقة.