دليل Hugging Face

كيف تقرأ أي بطاقة نموذج وملف تهيئة في Hugging Face

تعلم كيف تفحص مستودعات النماذج المفتوحة كمهندس تعلم آلي لتقدير متطلبات VRAM الحقيقية قبل تنزيل عشرات الجيجابايتات من الملفات.

أداة فحص تفاعلية لملف config.json من Hugging Face

انقر فوق أي سطر في كتلة الأكواد لمعرفة معناه وتأثيره على بطاقة الرسومات والأخطاء الشائعة لتجنبها.

شرح تفاعلي للأكواد

config.json (بنية نموذج نموذجية)انقر فوق مفتاح لفحصه

{
  "model_type": "\"llama\"",الأوزان
  "max_position_embeddings": 131072,السياق
  "num_hidden_layers": 32,الانتباه
  "num_attention_heads": 32,الانتباه
  "num_key_value_heads": 8,الانتباه
  "head_dim": 128,الانتباه
  "sliding_window": 4096,السياق
  "num_local_experts": 8,moe
  "num_experts_per_tok": 2,moe
  "torch_dtype": "\"bfloat16\"",الأوزان
}

المعلمة المحددةالانتباه

"num_key_value_heads": 8

رؤوس المفاتيح والقيم (مؤشر GQA)

عدد رؤوس KV المخزنة في ذاكرة KV المؤقتة. عندما تكون هذه القيمة أصغر من num_attention_heads (هنا: 8 مقابل 32)، فإن النموذج يستخدم انتباه الاستعلامات المجمعة (GQA).

التأثير على VRAM والعتاد

في هذا المثال (8 رؤوس KV مقابل 32 رأس استعلام)، يتم تخفيض استهلاك ذاكرة KV cache بنسبة 75%.

خطأ شائع / التباس معتاد

إذا كانت num_key_value_heads تساوي num_attention_heads، فإن النموذج يستخدم MHA القديمة وسيستهلك 4 إلى 8 أضعاف الذاكرة للسياق!

الصق أي رابط من Hugging Face في حاسبة VRAM لدينا لاستخراج هذه الحقول تلقائياً

1. فك شفرة config.json: المصدر الموثوق الوحيد

لا تعتمد على وصف ملف README فقط لمعرفة متطلبات العتاد. افتح دائمًا ملف config.json من تبويب 'Files and versions'. الحقول الأساسية هي: num_hidden_layers (عمق الطبقات)، hidden_size (عرض الطبقة)، num_attention_heads (رؤوس الاستعلام)، وnum_key_value_heads (معمارية ذاكرة KV).

2. معرفة حد السياق الحقيقي (max_position_embeddings وتوسيع RoPE)

يحدد المعامل max_position_embeddings سياق التدريب الأصلي للنموذج. وإذا وجد قسم rope_scaling، فهذا يعني أن النموذج يستخدم تقنيات قياس التردد (مثل YaRN) لتوسيع السياق إلى أبعاد تتجاوز الحدود الأصلية.

3. فخ نماذج MoE: المعاملات النشطة مقابل المعاملات الإجمالية

في معماريات مزيج الخبراء (MoE) مثل Mixtral 8x7B وQwen 2.5 57B وDeepSeek V3 (إجمالي 671B، ونشط 37B)، يتم تنشيط جزء من المعاملات فقط لكل توكن أثناء الحساب. ولكن انتبه: يجب أن تستقر كامل الأوزان داخل VRAM. لا يمكنك تشغيل نموذج MoE بحجم 671B على كرت 48GB حتى لو كان الحساب الفعلي خفيفًا.

4. فهم لواحق تكميم GGUF (مثل Q4_K_M وIQ4_XS وFP8)

في مستودعات ملفات GGUF، تشير اللواحق إلى طريقة التكميم. اللاحقة Q4_K_M تدل على تكميم 4 بت متوسط (التوازن المثالي بين الجودة والذاكرة). واللواحق التي تبدأ بـ IQ (مثل IQ3_M أو IQ4_XS) تعتمد على مصفوفة الأهمية لتقديم أداء ممتاز بأقل حجم.

الأسئلة الشائعة

لماذا يستهلك النموذج المنزّل VRAM أكثر من حجم ملفه على القرص؟

حجم الملف يمثل أوزان النموذج الساكنة فقط. أثناء التشغيل، تتطلب بطاقة GPU ذاكرة إضافية لمكتبات CUDA (~500MB إلى 1GB)، ومساحات التنشيط (Activations)، وتوسع ذاكرة KV المؤقتة مع طول المحادثة.

ما الفرق بين GGUF وAWQ وEXL2 وGPTQ؟

صيغة GGUF مصممة لـ llama.cpp وOllama وتدعم المشاركة بين المعالج والكرت. صيغتا AWQ وGPTQ مخصصتان لكروت الشاشة مع محركات vLLM وTensorRT-LLM. وصيغة EXL2 متخصصة لمحرك ExLlamaV2 على كروت Nvidia بتكميم دقيق.

كيف أعرف إن كان نموذج الأوزان المفتوحة يسمح بالاستخدام التجاري؟

راجع وسم الترخيص في أعلى المستودع واقرأ ملف LICENSE. تراخيص MIT وApache 2.0 وBSD تسمح بالاستخدام التجاري غير المقيد. بينما تضع تراخيص Llama 3 Community حدودًا لعدد المستخدمين وقيودًا على الاستخدام.

ماذا يعني num_key_value_heads في config.json؟

يوضح نوع معمارية الانتباه. إذا تساوى مع num_attention_heads فالنموذج يستخدم MHA. وإذا كان أصغر بكثير (مثل 8 مقابل 32)، فالنموذج يستخدم GQA مما يوفر مساحة ضخمة من VRAM.

أين أجد فئة معمارية النموذج البرمجية؟

في حقل architectures داخل config.json (مثل LlamaForCausalLM أو Qwen2ForCausalLM أو DeepseekV3ForCausalLM)، وهو ما يحدد توافقه مع محركات التشغيل المختلفة.

تحقق من أي نموذج على Hugging Face في حاسبتنا

أدخل معاملات النموذج أو اختر من كتالوجنا المعتمد لاحتساب متطلبات VRAM الفعلية على الفور.

فتح حاسبة VRAM

المعرفة والأدلة المعمقة

مركز المعرفة حول VRAM والنماذج اللغوية المحلية

أدلة تقنية شاملة، وتحليلات معمارية، وإرشادات لاختيار العتاد لمساعدتك على تشغيل نماذج الذكاء الاصطناعي محليًا بدقة وثقة مطلقة.

50+ مصطلح8 دقائق مرجعية

مسرد VRAM ونماذج اللغة الكبيرة

أتقن المصطلحات التقنية الأساسية: GGUF مقابل Safetensors، والتكميم، وذاكرة KV، وGQA، والذاكرة الموحدة في Apple.

بحث وتصفية تفاعلية حسب التصنيفات

إرشادات عملية حول العتاد لكل مصطلح

تعريفات دقيقة خالية من التعقيدات اللغوية

فهرس أبجدي سريع للوصول المباشر

قراءة الدليل

أداة تفاعلية6 دقائق للقراءة

دليل ذاكرة KV المؤقتة

افهم لماذا يتسبب طول السياق في استنزاف الذاكرة وأخطاء CUDA OOM، واكتشف المعادلة الرياضية وكيفية تقليل الاستهلاك بنسبة 50% إلى 75%.

حاسبة تفاعلية لذاكرة السياق

مقارنة معماريات MHA وGQA وDeepSeek MLA

توفير الذاكرة عبر تكميم FP8 وINT4 لذاكرة KV

استهلاك الذاكرة في المحادثات متعددة الجولات

قراءة الدليل

مصفوفة التراخيص5 دقائق للقراءة

المصدر المفتوح مقابل الأوزان المفتوحة

الفروق القانونية والعملية بين المصدر المفتوح الحقيقي المعتمد من OSI ونماذج الأوزان المفتوحة مثل Llama 3 وDeepSeek وQwen وGemma.

مصفوفة مقارنة تراخيص النماذج التفاعلية

حدود الاستخدام التجاري وسقوف عدد المستخدمين

قيود تقطير البيانات الاصطناعية لتدريب النماذج

قائمة التحقق للامتثال المؤسسي للشركات

قراءة الدليل

دليل العتاد8 دقائق للقراءة

دليل اختيار GPU والعتاد

تعرف على سبب تفوق النطاق الترددي على قوة المعالجة، والمقارنة بين أجهزة Mac وNvidia، وسعة VRAM المطلوبة للنماذج من 8B إلى 70B.

مستويات سعة VRAM (من 8GB إلى 128GB+)

معادلة النطاق الترددي للذاكرة مقابل المعالجة

مقارنة أجهزة Apple Silicon Mac مقابل حواسيب Nvidia

مخططات بناء محطة عمل ببطاقتي GPU لنماذج 70B

قراءة الدليل