المسرد التقني لـ VRAM ونماذج اللغة الكبيرة

إجمالي المعلمات يمثل جميع الأوزان المخزنة على القرص والمحملة في الذاكرة، بينما تمثل المعلمات النشطة المجموعة الفرعية التي يتم تنفيذها بالفعل أثناء الحوسبة لكل توكن فردي.

تقنية تكميم بدقة 4-bit لوحدات GPU تحافظ على أهم 1% من الأوزان الحيوية استناداً إلى سعة التنشيطات، مما يضمن دقة تقارب FP16 مع سرعة استدلال فائقة.

متوسط عدد بتات التخزين الفعلية المخصصة لكل معلمة في النموذج بعد حساب التكميم وعوامل التحجيم.

رخصة أوزان مفتوحة مخصصة تصممها شركات التقنية الكبرى تمنح وصولاً مجانياً للأبحاث والشركات الصغيرة والمتوسطة، لكنها تقيد الاستخدام التجاري واسع النطاق.

الحد الأقصى لإجمالي التوكنات (مدخلات البرومبت مضافاً إليها المخرجات المولدة) التي يستطيع النموذج استيعابها ومعالجتها في جلسة محادثة واحدة.

استثناء فادح أثناء التشغيل يصدر عن NVIDIA CUDA عندما يتجاوز طلب تخصيص الذاكرة للأوزان أو ذاكرة KV المؤقتة أو التنشيطات سعة VRAM الفعلية المتاحة.

صيغة تكميم متقدمة مختلطة الدقة صممها turboderp خصيصاً لوحدات GPU من NVIDIA، وتوفر معدلات بتات متصلة وسرعات توليد رائدة في هذا المجال.

خوارزمية انتباه دقيقة تعيد تنظيم الوصول إلى الذاكرة لإبقاء العمليات داخل ذاكرة SRAM السريعة في GPU بدلاً من القراءة المتكررة من ذاكرة HBM/VRAM الأبطأ.

مستودع نماذج على منصات مثل Hugging Face يطلب من المستخدمين الموافقة على شروط قانونية أو طلب إذن صريح من المؤلف قبل تنزيل الأوزان.

صيغة ثنائية أحادية الملف قياسية وقابلة للتوسيع طورها Georgi Gerganov ومجتمع llama.cpp، ومصممة للاستدلال المحلي السريع على CPU/GPU وتفريغ الطبقات.

بنية انتباه تشترك فيها عدة رؤوس استعلام في رأس مفتاح وقيمة واحد، مما يقلل ذاكرة KV cache بمقدار 4 إلى 8 أضعاف مع الحفاظ على قدرات الاستدلال.

مخططات تكميم متقدمة في llama.cpp تجمع الأوزان في كتل فائقة وتخصص دقة أعلى لطبقات الانتباه والشبكات الأمامية الحيوية.

كتلة مخصصة في ذاكرة GPU تخزن مصفوفات المفاتيح والقيم المحسوبة مسبقاً لكل توكن في المحادثة، مما يمنع تكرار العمليات الحسابية غير الضرورية.

تقسيم النموذج عبر مكونات العتاد بتحميل أكبر عدد ممكن من طبقات المحول في ذاكرة VRAM لبطاقة الرسومات مع إبقاء الطبقات المتبقية في ذاكرة RAM للمعالج.

محرك الاستدلال الأساسي فائق التحسين المكتوب بلغة C/C++ والذي ابتكره Georgi Gerganov، ويشغّل الغالبية العظمى من أدوات LLM المحلية عبر CPU وCUDA وMetal وROCm.

المعدل الذي يستطيع المعالج من خلاله قراءة البيانات من ذاكرته وكتابتها إليها، ويُقاس بالجيجابايت في الثانية؛ وهو ما يحدد سرعة توليد LLM مباشرة.

بنية الانتباه الكلاسيكية التي يمتلك فيها كل رأس استعلام رأس مفتاح وقيمة خاصاً به بشكل مستقل، مما يخلق أكبر حجم لذاكرة KV وأكثرها استهلاكاً لـ VRAM.

بنية شبكة عصبية تحتوي على شبكات فرعية متخصصة متعددة ('خبراء')، حيث يتم تنشيط مجموعة فرعية صغيرة فقط لكل توكن على حدة.

آلية الانتباه الرائدة من DeepSeek التي تضغط متجهات المفاتيح والقيم في متجه كامن منخفض الرتبة قبل التخزين المؤقت، مما يخفض ذاكرة KV cache بأكثر من 90%.

إطار عمل تعلم الآلة الأصلي من Apple المصمم خصيصاً للبنية الموحدة لسلسلة شرائح Apple Silicon M، مما يوفر أقصى سرعة وكفاءة على نظام macOS.

تطبيق وخدمة خلفية سهلة الاستخدام تعتمد على سطر الأوامر، وتغلّف llama.cpp في نظام إدارة نماذج شبيه بـ Docker مع واجهة برمجة تطبيقات REST نقية.

نظام ذكاء اصطناعي يستوفي معيار OSAID 1.0 الصادر عن مبادرة المصدر المفتوح (OSI)، ويتطلب أوزاناً مفتوحة، وشفرة تدريب كاملة، ومعلومات مفصلة عن بيانات التدريب.

نموذج إصدار ينشر فيه المطور أوزان الشبكة العصبية للتنزيل والاستضافة الذاتية، لكنه يبقي مجموعة البيانات الأساسية أو نصوص المعالجة أو مسار التدريب قيد السرية.

خوارزمية انتباه تخزن مصفوفات ذاكرة KV المؤقتة في كتل ذاكرة فعلية غير متجاورة (صفحات)، مما يلغي تجزئة الذاكرة ويحد من هدر المساحة كلياً.

تراخيص البرمجيات والأوزان (مثل Apache 2.0 أو MIT) التي تمنح حقوقاً تجارية كاملة وإمكانية التعديل وإعادة التوزيع بأقل قدر من القيود.

مقياس رياضي يقيس مدى دقة النموذج اللغوي في التنبؤ بعينة من بيانات الاختبار؛ وتشير الحيرة الأقل إلى دقة أعلى وقدرة استدلال أفضل.

عملية تقليل الدقة العددية لأوزان النموذج وتنشيطاته (من الفاصلة العائمة 16-bit إلى 8-bit أو 4-bit أو 2-bit) لخفض استهلاك الذاكرة وتسريع الحوسبة بشكل كبير.

صيغة ملفات سريعة وآمنة وقابلة للتعيين في الذاكرة ابتكرتها Hugging Face لتخزين مصفوفات التعلم العميق دون مخاطر تنفيذ الأكواد البرمجية العشوائية لملفات pickle في بايثون.

استراتيجية انتباه تلتفت فيها التوكنات إلى نافذة ثابتة فقط من التوكنات السابقة (مثل آخر 4,096 توكن)، مما يضع حداً أقصى ثابتاً لنمو ذاكرة KV المؤقتة.

بنود في شروط خدمة الذكاء الاصطناعي تحظر استخدام مخرجات النموذج لتدريب نماذج ذكاء اصطناعي منافسة أخرى أو ضبطها أو تقييمها.

طرق لتوزيع نموذج ضخم على عدة وحدات GPU؛ حيث يقسم توازي المصفوفات (Tensor Parallelism) مصفوفات الأوزان الفردية، بينما يوزع توازي التدفق (Pipeline Parallelism) الطبقات المختلفة على بطاقات منفصلة.

بنية ذاكرة مشتركة مستخدمة في شرائح Apple من سلسلة M حيث يشترك المعالج وGPU والمحرك العصبي في الوصول إلى نفس مجمع الذاكرة الفعلية عالي السرعة دون نسخ عبر النواقل.

محرك استدلال عالي الإنتاجية من الدرجة المؤسسية لنماذج LLM طورته جامعة كاليفورنيا في بيركلي، ويشتهر بتقنية PagedAttention والدفعات المستمرة ومعالجة البرومبتات المجزأة.

ذاكرة فائقة السرعة وعالية النطاق مدمجة فعلياً على بطاقة الرسومات المنفصلة (GPU)، تُستخدم لتخزين أوزان النموذج وذاكرة KV المؤقتة والتنشيطات الوسيطة.