أخبار عربية
أحدث
الذكاء الاصطناعي والتكنولوجيا

PagedAttention والفك التخميني ونماذج MoE وبنية Blackwell

صورة توضيحية لألياف ضوئية مضاءة، وليست نظام GPU محددًا.
صورة توضيحية لألياف ضوئية مضاءة، وليست نظام GPU محددًا.

يعتمد نشر الذكاء الاصطناعي الحديث على محركات خدمة بذاكرة افتراضية، وتوجيه خبراء متناثر، ودقة عتادية أقل من البايت لخدمة النماذج الضخمة بسرعة عالية وتكلفة منخفضة. تمثل هذه التقنيات الثلاث طليعة البنية التحتية لنماذج LLM في الإنتاج.

1. تحسينات خدمة استدلال LLM: PagedAttention & الفك التخميني

أثناء توليد النص، يخزّن نموذج LLM مؤقتًا موتّرات المفتاح (K) والقيمة (V) لكل رمز سابق في VRAM حتى لا يضطر إلى إعادة حسابها في كل خطوة. إدارة KV Cache هذه والتغلب على عنق الزجاجة التسلسلي في التوليد رمزًا بعد رمز هما أكبر تحديين في خدمة الاستدلال.

  • PagedAttention (vLLM) – ذاكرة افتراضية لـ KV Cache.
  • مشكلة التجزؤ. كانت محركات الاستدلال تاريخيًا تحجز مسبقًا قطعة متصلة من VRAM لكل طلب بناءً على أقصى طول تسلسل ممكن للنموذج (مثلًا 32,768 رمزًا). فإذا ولّد المستخدم 200 رمز فقط، بقي أكثر من 99% من VRAM المحجوزة فارغًا، مما يهدر 60% إلى 80% من ذاكرة GPU بسبب التجزؤ الداخلي والخارجي.
  • التقسيم إلى صفحات على طريقة نظام التشغيل. استلهامًا من الذاكرة الافتراضية في أنظمة التشغيل، يقسّم PagedAttention ذاكرة KV لكل تسلسل إلى كتل صغيرة ثابتة الحجم (مثلًا 16 رمزًا في الكتلة) يمكن أن توضع بشكل غير متجاور في أي مكان من VRAM الفعلية. ويربط جدول كتل خفيف كتل الرموز المنطقية بعناوين ذاكرة GPU الفعلية فوريًا داخل نواة الانتباه.
  • مشاركة الذاكرة (النسخ عند الكتابة). ولأن الكتل منفصلة، فإن الطلبات المتعددة التي تتشارك موجّه النظام نفسه أو تولّد إكمالات متوازية (مثل بحث الحزمة beam search) تشير إلى كتل KV الفعلية نفسها في VRAM، مما يخفّض استهلاك الذاكرة بشدة ويتيح أحجام دفعات أكبر بكثير.
  • الفك التخميني – كسر عنق الزجاجة التسلسلي.
  • لماذا التوليد الانحداري الذاتي بطيء. توليد 100 رمز يتطلب 100 تمريرة أمامية متسلسلة. ولأن كل تمريرة تعالج رمزًا جديدًا واحدًا فقط، تقضي GPU معظم وقتها في قراءة أوزان النموذج من VRAM بينما تبقى نوى Tensor Cores شبه خاملة.
  • خط الصياغة والتحقق. يقرن الفك التخميني النموذج الهدف الضخم (مثل 70B معامل) بنموذج مسوّدة صغير فائق السرعة (مثل 1B–3B معامل، أو رؤوس تنبؤ خفيفة مثل Medusa / EAGLE).
  • التحقق المتوازي. يخمّن نموذج المسوّدة الصغير بسرعة الرموز K التالية (مثل 5 رموز) بالتسلسل. ثم يعالج النموذج الهدف الضخم الرموز الـ 5 المخمَّنة كلها في وقت واحد بتمريرة أمامية متوازية واحدة، ويفحص احتمالاتها. ولأن التحقق من 5 رموز بالتوازي يستغرق تقريبًا الوقت نفسه الذي يستغرقه توليد 1 رمز، يقبل النظام جميع الرموز المطابقة دفعة واحدة—مما يوفّر توليدًا أسرع بمقدار 2× إلى 3× مع جودة خرج متطابقة رياضيًا.

2. مزيج الخبراء (MoE) & توازي الخبراء

تفعّل النماذج الكثيفة 100% من معاملاتها لكل رمز على حدة، مما يجعل تشغيل النماذج الضخمة مكلفًا إلى حد المنع. وتفصل معماريات مزيج الخبراء (MoE) بين إجمالي معرفة النموذج وتكلفة الحوسبة لكل رمز.

  • كيف تعمل طبقات MoE (Mixtral & DeepSeek).
  • في كتلة Transformer من نوع MoE، تُستبدل شبكة التغذية الأمامية الكثيفة الواحدة (FFN) بمجموعة من شبكات FFN مستقلة وأصغر تُسمّى الخبراء (مثل 8 خبراء في Mixtral 8x7B، أو 256 خبيرًا دقيق التجزئة في DeepSeek-V3).
  • يفحص موجّه خفيف متعلَّم (شبكة البوابة) كل رمز وارد ويوجّهه إلى أكثر K خبراء صلة فقط (عادةً من 2 إلى 8 خبراء). وقد يحتفظ النموذج بأكثر من 600B معامل في الذاكرة، لكنه لا ينشّط سوى 37B معامل لكل رمز، فيحقق ذكاءً ضخمًا للنموذج بكسر من تكلفة الحوسبة.
  • الخبراء المشتركون & الموازنة بلا خسارة مساعدة. تخصص تصميمات MoE الحديثة مثل DeepSeek بضعة خبراء مشتركين يعالجون كل رمز لالتقاط المعرفة الأساسية المشتركة، بينما يتخصص الخبراء الموجَّه إليهم في مجالات متخصصة. وتمنع تعديلات الانحياز الديناميكية «انهيار التوجيه» (حيث يحمّل الموجّه عددًا قليلًا من الخبراء الشائعين فوق طاقتهم ويتجاهل الباقين).
  • توازي الخبراء (EP) عبر وحدات GPU.
  • لأن نموذج MoE فيه مئات الخبراء، فلا يمكن أن يتسع في وحدة GPU واحدة. يوزّع توازي الخبراء خبراء مختلفين على وحدات GPU مختلفة (مثل الخبراء 1–4 على GPU 0، والخبراء 5–8 على GPU 1).
  • الاتصال All-to-All. عندما تعالج GPU 0 دفعة من الرموز، قد يسند موجّهها بعض الرموز إلى خبراء موجودين على GPU 3. لذلك تنفّذ كل طبقة MoE عملية إرسال All-to-All، فترسل الحالات المخفية للرموز عبر وصلات NVLink/InfiniBand عالية السرعة إلى أي GPU تحتضن الخبير المسند، وتحسب FFN الخاصة بالخبير، ثم تنفّذ خطوة تجميع All-to-All ثانية لإرجاع النتائج.

3. NVIDIA Blackwell (B200) & محرك Transformer من الجيل الثاني (FP4)

بعد أن قُدّمت لتوسيع نماذج الاستدلال ونماذج MoE بتريليونات المعاملات، أعادت معمارية NVIDIA Blackwell (B200) تصميم التغليف متعدد الرقاقات والدقة العددية الأقل من البايت معًا.

  • معمارية موحدة بشريحتين.
  • تحزم وحدة B200 GPU الواحدة 208 مليار ترانزستور عبر شريحتين محدودتين بحجم القناع الضوئي، تربطهما واجهة NV-HBI (High-Bandwidth Interface) بسرعة 10 TB/s. وبالنسبة لنوى CUDA وأطر البرمجيات، تعمل الشريحتان كوحدة GPU واحدة موحدة دون أي عقوبات في اتساق الذاكرة المخبأة.
  • عرض نطاق ذاكرة HBM3e. مزوّدة بـ 192 GB من VRAM من نوع HBM3e بعرض نطاق ذاكرة 8 TB/s (أكثر من ضعف 3.35 TB/s في H100)، تستهدف Blackwell مباشرة اختناقات عرض نطاق الذاكرة في KV Cache وتحميل أوزان MoE.
  • محرك Transformer من الجيل الثاني & NVFP4.
  • بينما قدّمت Hopper الفاصلة العائمة بـ 8 بت (FP8)، يدفع محرك Transformer من الجيل الثاني في Blackwell حوسبة Tensor Core إلى الفاصلة العائمة بـ 4 بت (FP4)، مضاعفًا إنتاجية الحوسبة الخام مرة أخرى (حتى 20 petaFLOPS من حوسبة FP4 الكثيفة لكل GPU) ومخفّضًا البصمة الذاكرية إلى النصف مقارنة بـ FP8.
  • حل مشكلة المدى الديناميكي في FP4 عبر التحجيم الدقيق للموتّرات (NVFP4). تملك الأعداد القياسية بـ 4 بت 16 قيمة ممكنة فقط، مما يدمّر الدقة عادةً عند ظهور أعداد شاذة متطرفة في تنشيطات الشبكات العصبية. تحل Blackwell هذه المشكلة في العتاد باستخدام تحجيم دقيق على مستويين: فبدلًا من تطبيق عامل تحجيم واحد على مصفوفة كبيرة، تجمّع Blackwell الأوزان والتنشيطات في كتل صغيرة من 16 عنصرًا، وتعطي كل كتلة صغيرة عامل تحجيم FP8 عالي الدقة خاصًا بها إلى جانب مقياس FP32 عام للموتّر.
  • الكمّنة المسرَّعة بالعتاد. يفحص Transformer Engine بشكل ديناميكي نطاقات الموتّرات طبقة بطبقة، ويحوّل القيم بين FP16/BF16 وFP8 وNVFP4 مباشرة داخل خط أنابيب Tensor Core دون رحلات ذهاب وإياب إضافية إلى الذاكرة.

المزيد من الأخبار: الذكاء الاصطناعي والتكنولوجيا