أخبار عربية
أحدث
الذكاء الاصطناعي والتكنولوجيا

هندسة GPU العملية: مظللات Metal والتحليل والنشر على الأجهزة الطرفية

منظر مداري للتوضيح لأضواء مدن شمال غرب أمريكا، وليس نظام حوسبة للذكاء الاصطناعي.
منظر مداري للتوضيح لأضواء مدن شمال غرب أمريكا، وليس نظام حوسبة للذكاء الاصطناعي.

تشمل هندسة GPU العملية برمجة المظللات عبر المنصات، وتشخيص عدّادات العتاد، والنشر على الأجهزة الطرفية. فيما يلي شرح معمّق لسير العمل الثلاثة.

1. مظلل Apple Metal (MSL) مخصص لضرب المصفوفات المجزأ إلى بلاطات

على Apple Silicon (M1–M4 / A-series)، تُكتب نوى الحساب بلغة Metal Shading Language (MSL) وتستفيد من ذاكرة Threadgroup (المكافئ لدى Apple للذاكرة المشتركة Shared Memory في CUDA) لتجنب قراءات الذاكرة العامة البطيئة.

فيما يلي مظلل لضرب المصفوفات المجزأ إلى بلاطات (C = A × B) بلغة MSL باستخدام بلاطات threadgroup بحجم 16 × 16.

#include <metal_stdlib>
using namespace metal;

constant uint TILE_SIZE = 16;

struct MatrixDims {
    uint M; // Rows of A and C
    uint N; // Cols of B and C
    uint K; // Cols of A and Rows of B
};

kernel void matmul_tiled(
    device const float* A        [[buffer(0)]],
    device const float* B        [[buffer(1)]],
    device float* C              [[buffer(2)]],
    constant MatrixDims& dims    [[buffer(3)]],
    uint2 gid                    [[thread_position_in_grid]],
    uint2 tid                    [[thread_position_in_threadgroup]]
) {
    // Fast on-chip Threadgroup (SRAM) tiles
    threadgroup float tileA[TILE_SIZE][TILE_SIZE];
    threadgroup float tileB[TILE_SIZE][TILE_SIZE];

    float acc = 0.0f;
    uint numTiles = (dims.K + TILE_SIZE - 1) / TILE_SIZE;

    for (uint t = 0; t < numTiles; ++t) {
        uint tiledCol = t * TILE_SIZE + tid.x;
        uint tiledRow = t * TILE_SIZE + tid.y;

        // Collaboratively load 16x16 tiles into Threadgroup memory
        tileA[tid.y][tid.x] = (gid.y < dims.M && tiledCol < dims.K)
                              ? A[gid.y * dims.K + tiledCol] : 0.0f;
        tileB[tid.y][tid.x] = (tiledRow < dims.K && gid.x < dims.N)
                              ? B[tiledRow * dims.N + gid.x] : 0.0f;

        // Synchronize all threads in the threadgroup before reading tiles
        threadgroup_barrier(mem_flags::mem_threadgroup);

        // Compute partial dot product entirely inside registers/SRAM
        for (uint k = 0; k < TILE_SIZE; ++k) {
            acc += tileA[tid.y][k] * tileB[k][tid.x];
        }

        // Wait before overwriting tiles in the next loop iteration
        threadgroup_barrier(mem_flags::mem_threadgroup);
    }

    if (gid.y < dims.M && gid.x < dims.N) {
        C[gid.y * dims.N + gid.x] = acc;
    }
}
  • ربط العتاد الرئيسي: يُقابل [[thread_position_in_grid]] مباشرة العبارة blockIdx * blockDim + threadIdx في CUDA، بينما يُقابل threadgroup_barrier(mem_flags::mem_threadgroup) الدالة __syncthreads() في CUDA. وفي أحمال FP16 الإنتاجية، تتيح Apple Silicon أيضًا دوال العتاد الداخلية simdgroup_float8x8 للوصول مباشرة إلى وحدات ضرب المصفوفات لدى Apple.

2. شرح خطوة بخطوة لتحسين ncu باستخدام Roofline

افترض أنك كتبت نواة CUDA أو Triton ساذجة لـ Row-Wise LayerNorm على مصفوفة FP16 بحجم (4096, 4096)، وأنها تعمل أبطأ بوضوح من التنفيذ الأصلي في PyTorch.

الخطوة 1: التقاط عدّادات العتاد

شغّل NVIDIA Nsight Compute (ncu) مستهدفًا اسم نواتك المخصصة فقط لتجنب كلفة التحليل على شيفرة الإعداد:

ncu --kernel-name regex:layernorm_naive --metrics \
sm__throughput.avg.pct_of_peak_sustained_elapsed,\
dram__throughput.avg.pct_of_peak_sustained_elapsed,\
l1tex__t_sectors_pipe_lsu_mem_global_op_ld.sum,\
smsp__warp_issue_stalled_long_scoreboard_per_warp_active.pct \
python run_layernorm.py

الخطوة 2: تشخيص عنق الزجاجة على Roofline

افحص المقاييس الناتجة:

  • معدل نقل الحساب (SM): 11.4% من الذروة.
  • معدل نقل الذاكرة (DRAM/HBM): 84.2% من الذروة.
  • سبب توقف Warp (long_scoreboard): 68.5% (الـ warps متوقفة في انتظار عودة قراءات ذاكرة HBM العامة).
  • التشخيص: تقع النواة تمامًا تحت سقف عرض نطاق الذاكرة المنحدر في مخطط Roofline. إضافةً إلى ذلك، يكشف فحص l1tex__t_sectors عن قراءات ذاكرة غير مدمجة (uncoalesced) — إذ تتحرك الخيوط في الـ warp نفسه نزولًا على الأعمدة بدلًا من قراءة عناوين الصفوف المتجاورة، مما يهدر 75% من كل سطر ذاكرة مؤقتة HBM بحجم 128 بايت يتم جلبه.

الخطوة 3: تطبيق إصلاحات عتادية موجّهة

1. إصلاح دمج الذاكرة (Memory Coalescing): تأكد من أن الخيوط المتجاورة (threadIdx.x) تقرأ عناصر متجاورة على امتداد البعد الداخلي المتصل (n_cols) بحيث تندمج 32 قراءة FP16 في معاملة واحدة مدمجة بحجم 64 بايت.

2. التحميلات المتجهة (float4 / tl.load block): حمّل 128 بت (8 قيم FP16) لكل تعليمة بدلًا من 16 بت، مما يقلل إجمالي عدد تعليمات الذاكرة بمقدار 8 أضعاف.

3. اختزالات Warp-Shuffle: استبدل اختزالات Shared Memory البطيئة بعمليات warp shuffle بين المسجلات (__shfl_xor_sync في CUDA أو tl.sum في Triton) لحساب متوسط الصف والتباين دون حواجز مزامنة.

الخطوة 4: التحقق على Roofline

تؤكد إعادة تشغيل ncu ما يلي:

  • قطاعات التحميل العامة (Global Load Sectors): تنخفض بمقدار 4 أضعاف (استغلال 100% لسطر الذاكرة المؤقتة).
  • توقفات Long Scoreboard: تنخفض من 68.5% إلى < 15%.
  • زمن الاستجابة الفعلي (Wall-Clock Latency): يتحسن بمقدار 3.8 أضعاف، مما يدفع عرض النطاق الفعال فوق 85% من الحد الفيزيائي لـ HBM في H100.

3. مسار النشر على الأجهزة الطرفية: تكميم نموذج لغوي كبير وتشغيله على الهاتف/الحاسوب المحمول

يتطلب نشر نموذج لغوي كبير بـ 8 مليارات معلمة على حاسوب محمول أو هاتف ذكي (ذاكرة مشتركة 8 GB–16 GB) ضغط الأوزان إلى أعداد صحيحة بـ 4 بتات وتنفيذه عبر بيئة تشغيل C++ عديمة الكلفة مثل llama.cpp أو Apple MLX.

[HF Safetensors (FP16, 16 GB)] 
       │  1. Convert & Apply Calibration Data (Imatrix)
       ▼
[GGUF Quantized Binary (Q4_K_M, 4.9 GB)]
       │  2. Memory-Map (mmap) into Unified RAM
       ▼
[Metal / Vulkan Compute Shaders (On-the-Fly Dequant + Matrix Mul)]

الخطوة 1: التحويل والمعايرة (Importance Matrix)

يؤدي التقريب الخام إلى 4 بتات إلى تدهور دقة الاستدلال والبرمجة. باستخدام llama.cpp، حوّل أولًا أوزان Hugging Face إلى ملف GGUF غير مضغوط، ثم احسب مصفوفة الأهمية (imatrix) على عينة نصية صغيرة للمعايرة لقياس قنوات الأوزان ذات التأثير الأكبر في التنشيط:

python convert_hf_to_gguf.py ./Llama-3.1-8B --outfile llama-8b-f16.gguf
./llama-imatrix -m llama-8b-f16.gguf -f calibration.txt -o imatrix.dat

الخطوة 2: التكميم K متعدد البتات (Q4_K_M)

كمِّم النموذج باستخدام Q4_K_M (تكميم K بـ 4 بتات من الفئة المتوسطة)، الذي يُبقي طبقات قيم/مخرجات الانتباه الحساسة عند 6 بتات (Q6_K) بينما يضغط طبقات التغذية الأمامية الكثيفة إلى 4 بتات (Q4_K) في كتل فائقة من 256 وزنًا:

./llama-quantize --imatrix imatrix.dat llama-8b-f16.gguf llama-8b-q4_k_m.gguf Q4_K_M

يقلص هذا حجم النموذج من 16.0 GB إلى نحو 4.9 GB مع تدهور في perplexity أقل من 1%.

الخطوة 3: التنفيذ بلا نسخ على الذاكرة الموحدة في الجهاز

عند التشغيل على iPhone أو جهاز Android أو MacBook:

  • تحميل فوري عبر mmap: تقوم بيئة التشغيل بربط الملف .gguf بحجم 4.9 GB في الذاكرة (mmap) مباشرة من وحدة التخزين الفلاشية إلى الذاكرة الموحدة — مما يلغي تكرار RAM ويحمّل النموذج في أقل من ثانية واحدة.
  • مظللات فك التكميم المدمجة: أثناء توليد الرموز، تقوم مظللات حساب مخصصة بلغة Metal (ggml-metal.metal) أو Vulkan (mul_mat_q4_K.comp) بتحميل كتل الأوزان المعبأة بـ 4 بتات مباشرة إلى مسجلات GPU، وفك حزمها باستخدام الإزاحات البتية، وضربها في تنشيطات FP16 أثناء التنفيذ — محققةً 40–70+ رمزًا/ثانية على وحدات GPU الحديثة في الحواسيب المحمولة و15–25 رمزًا/ثانية على الهواتف المحمولة الرائدة.

المزيد من الأخبار: الذكاء الاصطناعي والتكنولوجيا