توسيع FlashAttention والتدريب على عدة وحدات GPU وكمّنة الأوزان

تعتمد بنية الذكاء الاصطناعي الحديثة على نوى انتباه واعية بالعتاد، وتوازٍ موزّع على عدة وحدات GPU، وكمّنة منخفضة البتات لتدريب النماذج الضخمة وتشغيلها بكفاءة. تسدّ هذه التقنيات الثلاث الفجوة بين الحجم النظري للنماذج والحدود الفيزيائية لوحدات GPU.
1. FlashAttention-2 وFlashAttention-3 على وحدات Hopper (H100) GPU
بينما حلّ FlashAttention الأصلي عنق الزجاجة في عرض نطاق الذاكرة، فقد ترك قدرًا كبيرًا من الأداء الحسابي الخام غير مستغَل على وحدات GPU الحديثة. أعاد FlashAttention-2 (2023) وFlashAttention-3 (2024) تصميم طريقة تنسيق خيوط GPU ومحركات العتاد فيما بينها.
- FlashAttention-2 (تقسيم أفضل للعمل).
- تقليل العمليات غير الضربية للمصفوفات. تنفّذ نوى Tensor Cores في GPU عمليات ضرب المصفوفات (matmul) أسرع بنحو 16× مما تنفّذ به نوى CUDA العادية العمليات العددية مثل إعادة تحجيم Softmax. أعاد FlashAttention-2 كتابة رياضيات Softmax المباشرة بحيث تؤجَّل إعادة التحجيم إلى نهاية الحلقة الداخلية تمامًا، مما يقلّل التعليمات البطيئة غير الخاصة بضرب المصفوفات.
- التوازي على طول التسلسل. كانت النسخة الأصلية توزّع العمل أساسًا على حجم الدفعة ورؤوس الانتباه، فتبقى نوى GPU خاملة عند التدريب على تسلسلات طويلة ودفعات صغيرة. يضيف FlashAttention-2 توازيًا على بُعد طول التسلسل ويعكس ترتيب الحلقتين (الحلقة الخارجية على كتل Q والداخلية على K وV)، مما يقلّل عمليات الكتابة البطيئة في الذاكرة المشتركة.
- FlashAttention-3 (استغلال عتاد Hopper H100).
- حركة البيانات غير المتزامنة (TMA). قدّمت بنية Hopper من NVIDIA مسرّع ذاكرة Tensor Memory Accelerator (TMA)، وهو وحدة عتادية مخصصة تنسخ البيانات بين HBM العامة وSRAM على الرقاقة دون أن تشغل خيوط الحوسبة.
- التخصص في الـ warps (نموذج المنتِج والمستهلِك). يقسّم FlashAttention-3 الـ warps في GPU (مجموعات من 32 خيطًا) إلى أدوار مخصصة. تستخدم warps المنتِجة وحدة TMA لجلب مربعات K وV المستقبلية مسبقًا إلى SRAM، بينما تغذّي warps المستهلِكة نوى Tensor Cores بالمربعات الحالية (تعليمات WGMMA). وبذلك تتداخل عمليات نقل الذاكرة مع حسابات المصفوفات وSoftmax في الوقت نفسه.
- دعم الدقة المنخفضة FP8. يفتح FlashAttention-3 نوى Tensor Cores من نوع FP8 في Hopper، مضاعفًا الإنتاجية الخام مقارنة بـ FP16. ولمنع فقدان الدقة بسبب القيم الشاذة في تنشيطات FP8، يستخدم كمّنة الكتل (تحجيم المربعات الصغيرة بشكل مستقل) والمعالجة غير المترابطة (ضرب Q وK في مصفوفات متعامدة عشوائية لتخفيف القيم المتطرفة قبل الكمّنة).
2. استراتيجيات التوسّع على عدة وحدات GPU (3D Parallelism)
عندما يكون للنموذج عشرات أو مئات المليارات من المعاملات، فإن أوزانه وتدرجاته وحالات المُحسِّن تتجاوز ذاكرة VRAM لوحدة GPU واحدة. يجمع التدريب واسع النطاق بين ثلاث استراتيجيات توازٍ متمايزة، تُسمّى غالبًا التوازي ثلاثي الأبعاد (3D Parallelism).
| الاستراتيجية | كيف تقسّم العمل | عنق زجاجة الاتصال | أفضل حالة استخدام |
|---|---|---|---|
| توازي البيانات (DP / FSDP) | تكرّر النموذج على وحدات GPU؛ وتعالج كل وحدة دفعة مختلفة من البيانات. | عمليات All-Reduce / All-Gather للتدرجات والأوزان المجزأة بين وحدات GPU. | توسيع إنتاجية التدريب على مئات وحدات GPU عندما تتسع الطبقات لجهاز واحد. |
| توازي الموتّرات (TP) | تقسّم مصفوفات الأوزان الفردية (الطبقات) عموديًا أو أفقيًا على وحدات GPU. | عملية All-Reduce بعد كل طبقة Transformer (تتطلب NVLink فائق السرعة). | طبقات ضخمة لا تتسع في وحدة GPU واحدة، وتُبقى حصرًا داخل عقدة خادم واحدة من 8 وحدات GPU. |
| توازي خط الأنابيب (PP) | تقسّم النموذج بحسب العمق، فتضع مجموعات متتالية من الطبقات على وحدات GPU مختلفة. | عمليات نقل التنشيطات من نقطة إلى نقطة (P2P) بين مراحل خط الأنابيب. | التوسّع عبر عدة عقد خوادم متصلة بشبكات InfiniBand/Ethernet أبطأ. |
- توازي البيانات & ZeRO / FSDP. في توازي البيانات القياسي تحتفظ كل وحدة GPU بنسخة كاملة من النموذج، مما يهدر الذاكرة. تستخدم الأطر الحديثة ZeRO (Zero Redundancy Optimizer) أو PyTorch FSDP (Fully Sharded Data Parallel)، اللذين يجزّئان المعاملات والتدرجات وحالات المُحسِّن على جميع وحدات GPU، ويجمعان أوزان كل طبقة في اللحظة المناسبة تمامًا للحساب.
- توازي الموتّرات (داخل الطبقة). بدلًا من تكرار ضرب مصفوفة التغذية الأمامية الضخمة Y = XW، يقسّم توازي الموتّرات W بحسب الأعمدة على وحدات GPU (W = [W_1, W_2]). تحسب كل وحدة GPU نصفها من الخرج في الوقت نفسه وتتبادل النتائج الجزئية عبر NVLink عالي السرعة (900 GB/s على وحدات H100).
- توازي خط الأنابيب (بين الطبقات). تقع الطبقات 1–8 على GPU 1، والطبقات 9–16 على GPU 2، وهكذا. ولمنع وحدات GPU اللاحقة من الخمول أثناء انتظار انتهاء الطبقات السابقة («فقاعة خط الأنابيب»)، تقطّع الأطر كل دفعة تدريب إلى دفعات مصغّرة أصغر بحيث تبقى كل وحدات GPU مشغولة على طريقة خط التجميع.
3. الكمّنة (GPTQ وAWQ) ونوى فك الكمّنة الفوري
أثناء الاستدلال (توليد الرموز واحدًا تلو الآخر) تكون النماذج اللغوية الكبيرة مقيَّدة بعرض نطاق الذاكرة لا بالحوسبة. فتحميل 70 مليار معامل بدقة 16 بت (140 GB) من VRAM لمجرد توليد رمز واحد يترك نوى Tensor Cores تنتظر عمليات نقل الذاكرة. تضغط الكمّنة الأوزان من أعداد عشرية بـ 16 بت إلى أعداد صحيحة بـ 4 بت (INT4)، فتقلّل حجم الذاكرة ووقت النقل بنحو 4×.
- GPTQ (كمّنة ما بعد التدريب عبر معايرة Hessian).
- التقريب الساذج للأوزان من 16 بت إلى أعداد صحيحة بـ 4 بت يدمّر دقة النموذج. يمرّر GPTQ مجموعة بيانات معايرة صغيرة عبر النموذج ويستخدم رياضيات من الرتبة الثانية (مصفوفة Hessian العكسية) لقياس مدى حساسية كل وزن.
- يكمّن الأوزان عمودًا تلو الآخر؛ وكلما أدخل تقريب وزن واحد خطأً، يعدّل GPTQ رياضيًا الأوزان المتبقية غير المكمّنة في ذلك الصف لإلغاء الخطأ.
- AWQ (كمّنة الأوزان الواعية بالتنشيط).
- اكتشف الباحثون أن نحو 0.1% إلى 1% من قنوات الأوزان أهم بكثير من البقية لأنها تُضرب في قيم تنشيط كبيرة.
- بدلًا من إبقاء هذه الأوزان الحرجة بدقة 16 بت (مما ينتج تخطيطات ذاكرة مختلطة الدقة فوضوية وبطيئة)، يكبّر AWQ قنوات الأوزان البارزة قبل الكمّنة ويصغّر تنشيطات الدخل المقابلة أثناء التشغيل، فيحافظ على الدقة مع إبقاء 100% من الأوزان بصيغة موحدة من 4 بت.
- كيف تفكّ نوى CUDA المخصصة الكمّنة فوريًا (W4A16).
- لا تستطيع وحدات GPU ضرب تنشيط بـ 16 بت (FP16) مباشرة في وزن عدد صحيح بـ 4 بت (INT4). بدلًا من ذلك، تنفّذ نوى الاستدلال المتخصصة (مثل Marlin أو ExLlama) تنفيذ W4A16 (أوزان 4 بت، تنشيطات 16 بت):
- 1. قراءة HBM المضغوطة: تحمّل النواة الأوزان المعبأة بـ 4 بت (ثماني قيم INT4 معبأة داخل عدد صحيح واحد بـ 32 بت) من VRAM العامة البطيئة، مما يخفّض استهلاك عرض نطاق الذاكرة بمقدار 4×.
- 2. فك التعبئة على مستوى السجلات: داخل سجلات GPU فائقة السرعة، تستخدم نواة CUDA إزاحات بتية سريعة (>>) وأقنعة بتية (&) لفك تعبئة أعداد INT4 الصحيحة، وتطبّق عوامل القياس/نقطة الصفر المخزّنة لتحويلها فوريًا إلى قيم FP16.
- 3. حساب Tensor Core الفوري: تُغذّى أوزان FP16 المفكوكة حديثًا مباشرة إلى نوى Tensor Cores مع تنشيطات FP16 دون أن تُكتب الأوزان الموسّعة بـ 16 بت مرة أخرى إلى VRAM.