🤯 كيف يعمل نموذج ذكاء اصطناعي بحجم 145 مليار معامل؟ السر في تقنية MoE المذهلة!
من أكبر التحديات الضخمة الحاجة إلى ذاكرة هائلة وعتاد مكلف. لكن مشروع Edge0 يقدم طريقة هندسية مختلفة تسمح بتشغيل نماذج تحتوي على 120 و145 مليار معامل باستخدام تقنيات توزيع الخبراء وضغط الأوزان.
ما التقنية التي يعتمد عليها Edge0؟
يعتمد النموذج على معمارية Latent Mixture of Experts، وهي تطوير لفكرة خليط الخبراء، حيث لا تحتاج جميع أجزاء النموذج إلى العمل في الوقت نفسه عند معالجة كل توكن.
إليك أبرز عناصر هذه المعمارية:
1. 512 خبيرًا في كل طبقة: يحتوي النموذج على عدد كبير من الخبراء المتخصصين، لكن نظام التوجيه يختار مجموعة محدودة منهم لمعالجة كل توكن.
2. تفعيل 10 خبراء: يتم توجيه كل توكن إلى 10 خبراء من أصل 512 خبيرًا، بالإضافة إلى خبير مشترك، ما يقلل الحسابات النشطة مقارنة بتشغيل جميع الخبراء.
3. ضغط الأبعاد: يستخدم النموذج تمثيلات كامنة مضغوطة لتقليل حجم البيانات التي تعالجها وحدات الخبراء، وهو ما يساعد .
4. ضغط NVFP4: يوفر المشروع نسخة تستخدم تمثيلًا منخفض الدقة للأوزان، ما يساعد على تقليل متطلبات التخزين مقارنة بالتمثيلات الأعلى دقة.
5. البث من ذاكرة الجهاز: لا يشترط الاحتفاظ بجميع الخبراء داخل ذاكرة البطاقة الرسومية؛ إذ يمكن توزيع البيانات بين ذاكرة GPU وذاكرة الجهاز، مع تحميل الخبراء عند الحاجة.
هل يحتاج النموذج إلى 29GB فقط؟
هذه المعلومة تحتاج إلى تصحيح. ففي اختبار رسمي لنموذج Edge0-145B بصيغة NVFP4، بلغ الاستخدام نحو 23.25GB من ذاكرة البطاقة الرسومية و38.27GB من ذاكرة الجهاز. لذلك لا ينبغي الخلط بين ذاكرة البطاقة الرسومية والذاكرة الإجمالية المطلوبة.
لماذا تعتبر هذه التقنية مهمة؟
لأنها تفتح المجال أمام تشغيل نماذج ضخمة من الخوادم المتخصصة، وتمنح المطورين فرصة تجربة أنظمة ذكاء اصطناعي محلية كل طلب إلى السحابة.
إنها خطوة مهمة نحو جعل النماذج الكبيرة أكثر كفاءة وقابلية للاستخدام خارج مراكز البيانات.
102 مشاهدة