أفكار كبيرة.
واستهلاك ذاكرة محدود.حاسبة VRAM للذكاء الاصطناعي: ما النماذج التي يمكن لكرت الشاشة تشغيلها؟

الأوزان وحدها نحو 140 جيجابايت عند FP16 ونحو 40–43 عند Q4_K_M. مع سياق قصير وهامش خطّط لنحو 45–50 جيجابايت على GPU. بطاقة 24 جيجابايت واحدة لا تناسب Q4 المريح دون تفريغ ثقيل.

ليس بالكامل على الـ GPU بجودة Q4 عملية. توقّع تفريغًا هجينًا وسرعة منخفضة (آحاد tok/s)، أو انتقل إلى بطاقتين 24 جيجابايت / 48+ / ذاكرة Mac موحدة كبيرة / استئجار GPU سحابي.

FP16 نحو 2 بايت لكل معلمة، وQ4_K_M نحو 0.5–0.6. نموذج 8B ينزل من نحو 16 جيجابايت (FP16) إلى نحو 5 عند Q4. تكميم الأوزان لا يصغّر ذاكرة KV إلا إذا كمّمتها أيضًا.

اختر النموذج والتكميم وطول السياق في الحاسبة: أوزان + KV + عبء التشغيل. حجم ملف GGUF أرضية فقط. بعد التحميل قِس بـ nvidia-smi أو ollama ps.

نعم. ذاكرة KV تنمو مع طول السياق والمحادثات المتزامنة. عند 32K أو 128K قد تضاهي الأوزان. نموذج يسع عند 4K قد يخرج CUDA out of memory عند 32K. اضبط num_ctx على ما تستخدمه فعلًا، أو كمّم KV.

نعم لنماذج نحو 7–8B بتكميم Q4 وسياق معتدل. نماذج 13B+ تحتاج تفريغًا أو تكميمًا أعنف. عند شراء كرت جديد فضّل 12 جيجابايت فأكثر.

فضّل 12 جيجابايت. للاستدلال المحلي سعة VRAM تفوز على القوة الخام. الـ 3070 أسرع نظريًا لكن 8 جيجابايت سقف قاسٍ لنماذج 13–14B.

macOS والتطبيقات تشارك الحوض نفسه. تقريبًا: 16 جيجابايت للنماذج الصغيرة، 32 جيجابايت وسط مريح، و64 جيجابايت+ قبل أن يصبح 70B عمليًا. لا تعامل الذاكرة الموحدة كـ VRAM مخصصة بنسبة 100%.

اشترِ إذا كنت تشغّل ساعات كثيرة أسبوعيًا وتريد الخصوصية. استأجر (RunPod / Vast.ai) للتجارب والذروات أو للتحقق من 70B قبل بناء بطاقتين. هجين شائع: بطاقة محلية لـ 8B–32B اليومي، والسحابة عند الحاجة لمزيد من VRAM.

نعم عبر GGUF/llama.cpp إذا غطّت VRAM مع RAM النموذج. السرعة غالبًا تهبط إلى آحاد tok/s: مناسبة للتجربة لا للدردشة السريعة. إن همّتك السرعة فاختر تكميمًا أصغر أو نموذجًا يسع بالكامل على GPU.

طبّق حسب طبقة VRAM لا حسب TFLOPS: نحو 8 جيجابايت لـ 7–8B Q4، نحو 12 لـ 13–14B، 16–24 لنحو 20–32B، ونحو 48 للمجموع لـ 70B كثيف Q4. أدخل دائمًا KV cache في الحساب ثم أكّد في الحاسبة.

حجم الملف هو الأوزان فقط. KV والتنشيطات وسطح المكتب والتفتيت والـ prompt الطويل تُضاف فوقها. اترك هامشًا، خفّض السياق، كمّم KV، أو اختر تكميمًا أصغر. أن يسع الملف لا يعني أن تسع المحادثة.

اختر أعلى تكميم لا يزال يسع مع هامش للسياق. Q4_K_M التوازن الافتراضي للدردشة والبرمجة. ارفع إلى Q5/Q6/Q8 إن بقي VRAM واضح. تجنّب Q2/Q3 إلا للضرورة القصوى.

السعة سعة: بطاقة AMD بسعة 24 جيجابايت تحمل أوزانًا مشابهة. البرمجيات أضيق (ROCm أو Vulkan، ولينكس أوضح من ويندوز). NVIDIA يبقى المسار الأسهل لـ CUDA وvLLM.

بدقة Q4_K_M، تستهلك الأوزان نحو 5.5 جيجابايت. مع سياق 8k ومتطلبات تشغيل CUDA، ستحتاج إلى 7 إلى 8 جيجابايت VRAM كحد أدنى. كرت شاشة بسعة 8 جيجابايت (مثل RTX 4060) أو 12 جيجابايت (RTX 3060) يكفي لتشغيلها بالكامل على كرت الشاشة بسلاسة دون اللجوء لرام النظام.

الفارق يتجاوز 10 أضعاف. توليد النصوص في نماذج اللغة مقيد بالنطاق الترددي للذاكرة. كرت RTX 3090 يوفر سرعة نقل 936 GB/s، بينما رام DDR5 توفر 60 إلى 80 GB/s فقط. ترحيل الطبقات إلى المعالج يخفض السرعة من 30 توكن/ثانية إلى توكن أو توكنين فقط.

ملف الأوزان يزن نحو 42 جيجابايت. ومع سياق بطول 32 ألف توكن ومعمارية GQA، تستهلك ذاكرة KV نحو 4.5 جيجابايت بالإضافة إلى 1 جيجابايت لهامش تشغيل CUDA، ليصل المجموع الفعلي إلى نحو 48 جيجابايت VRAM، وهو ما يناسب تمامًا حاسوبًا ببطاقتي RTX 3090 أو جهاز Mac Studio بسعة 64 جيجابايت.

لأن ملف GGUF يحتوي على الأوزان الثابتة فقط. عند الإقلاع، يقوم Ollama بحجز بيئة CUDA التشغيلية ويخصص مسبقًا مساحة ذاكرة KV Cache بناءً على إعداد num_ctx (مثل 8k أو 32k). هذه الذاكرة الإضافية تضمن استقرار النموذج وعدم انهياره أثناء معالجة المحادثات الطويلة.

للمبتدئين وأصحاب الميزانيات المحدودة، كرت RTX 3060 12GB الجديد هو الخيار الأفضل لتشغيل نماذج 7B إلى 14B. وللمطورين والمحترفين، كرت RTX 3090 24GB مستعمل يقدم أفضل قيمة على الإطلاق بنطاق 936 GB/s وسعة 24GB بسعر أقل بكثير من كروت الجيل الأحدث.