أخبار عربية
أحدث
الذكاء الاصطناعي والتكنولوجيا

FSDP2 وتحليل أداء وحدات معالجة الرسوميات وحوسبة الأجهزة المحمولة

أبراج كهرباء عالية الجهد للتوضيح فقط، وليست مركز بيانات ولا نظام GPU.
أبراج كهرباء عالية الجهد للتوضيح فقط، وليست مركز بيانات ولا نظام GPU.

تربط هندسة الذكاء الاصطناعي في بيئات الإنتاج بين التنفيذ الموزع على عدة وحدات GPU، والتحليل على مستوى العتاد، وبيئات التشغيل عبر المنصات للأجهزة المحمولة والطرفية. فيما يلي شرح معمّق للمجالات الثلاثة.

1. التدريب الموزع على عدة وحدات GPU باستخدام PyTorch FSDP2

تقوم FSDP2 (fully_shard) الحديثة في PyTorch بتجزئة معلمات النموذج والتدرجات وحالات المُحسِّن عبر وحدات GPU لكل معلمة على حدة باستخدام DTensor، مما يلغي تكرار الذاكرة مع تداخل الاتصال والحساب.

فيما يلي سكربت تدريب كامل على عدة وحدات GPU. شغّله على 4 وحدات GPU باستخدام torchrun --nproc_per_node=4 train_fsdp.py.

import os
import torch
import torch.nn as nn
import torch.distributed as dist
from torch.distributed._composable.fsdp import fully_shard, MixedPrecisionPolicy

class TransformerBlock(nn.Module):
    def __init__(self, dim=2048, n_heads=16):
        super().__init__()
        self.norm1 = nn.RMSNorm(dim)
        self.attn = nn.MultiheadAttention(dim, n_heads, batch_first=True)
        self.norm2 = nn.RMSNorm(dim)
        self.ffn = nn.Sequential(
            nn.Linear(dim, dim * 4, bias=False),
            nn.SiLU(),
            nn.Linear(dim * 4, dim, bias=False),
        )

    def forward(self, x):
        h = self.norm1(x)
        attn_out, _ = self.attn(h, h, h, need_weights=False)
        x = x + attn_out
        return x + self.ffn(self.norm2(x))

class MiniLLM(nn.Module):
    def __init__(self, vocab_size=32000, dim=2048, n_layers=12):
        super().__init__()
        self.embed = nn.Embedding(vocab_size, dim)
        self.layers = nn.ModuleList([TransformerBlock(dim) for _ in range(n_layers)])
        self.head = nn.Linear(dim, vocab_size, bias=False)

    def forward(self, idx):
        x = self.embed(idx)
        for layer in self.layers:
            x = layer(x)
        return self.head(x)

def main():
    # 1. Initialize NCCL process group
    dist.init_process_group(backend="nccl")
    local_rank = int(os.environ["LOCAL_RANK"])
    torch.cuda.set_device(local_rank)
    device = torch.device("cuda", local_rank)

    # 2. Build model on meta device or standard CUDA, then shard layer-by-layer
    model = MiniLLM().to(device)
    mp_policy = MixedPrecisionPolicy(
        param_dtype=torch.bfloat16,
        reduce_dtype=torch.float32,
    )

    # Shard each TransformerBlock independently to prefetch weights on the fly
    for layer in model.layers:
        fully_shard(layer, mp_policy=mp_policy)
    fully_shard(model, mp_policy=mp_policy)

    optimizer = torch.optim.AdamW(model.parameters(), lr=3e-4)

    # 3. Distributed Training Step (All-Gather -> Compute -> Reduce-Scatter)
    for step in range(5):
        tokens = torch.randint(0, 32000, (8, 1024), device=device)
        targets = torch.randint(0, 32000, (8, 1024), device=device)

        optimizer.zero_grad()
        logits = model(tokens)
        loss = nn.functional.cross_entropy(logits.view(-1, 32000), targets.view(-1))
        loss.backward()
        optimizer.step()

        if local_rank == 0:
            mem_gb = torch.cuda.max_memory_allocated(device) / 1e9
            print(f"Step {step} | Loss: {loss.item():.4f} | Peak VRAM/GPU: {mem_gb:.2f} GB")

    dist.destroy_process_group()

if __name__ == "__main__":
    main()
  • ما الذي يحدث في الخلفية: قبل التمرير الأمامي لكل طبقة، تُصدر FSDP عملية NCCL All-Gather غير متزامنة عبر NVLink لإعادة بناء أوزان bfloat16 الكاملة لتلك الكتلة فقط، ثم تُجري الحسابات وتتخلص فورًا من الأوزان غير المجزأة. وأثناء loss.backward()، يُحسب متوسط التدرجات وتُعاد تجزئتها على وحدات GPU عبر Reduce-Scatter.

2. تحليل أداء نموذج PyTorch: PyTorch Profiler و NVIDIA Nsight Compute (ncu)

يتطلب تحسين شيفرة GPU معرفة ما إذا كانت النواة محدودة بعرض نطاق الذاكرة (تتوقف في انتظار قراءات/كتابات HBM) أم محدودة بالحساب (تستنفد FLOPS لأنوية Tensor).

الخطوة A: تتبّع على المستوى الكلي باستخدام torch.profiler

استخدم PyTorch Profiler لاكتشاف فجوات إطلاق النوى على CPU، وبطء محمّلات البيانات، وأكثر نوى CUDA استهلاكًا للوقت.

import torch
from torch.profiler import profile, ProfilerActivity

model = torch.nn.Linear(4096, 4096, device="cuda", dtype=torch.float16)
x = torch.randn(1024, 4096, device="cuda", dtype=torch.float16)

with profile(
    activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA],
    record_shapes=True,
    profile_memory=True,
) as prof:
    for _ in range(5):
        out = model(x)
        out.sum().backward()
    torch.cuda.synchronize()

print(prof.key_averages().table(sort_by="cuda_time_total", row_limit=10))
prof.export_chrome_trace("trace.json")  # Open in ui.perfetto.dev

الخطوة B: تحليل Roofline على المستوى الجزئي باستخدام NVIDIA Nsight Compute (ncu)

بعد أن يحدد torch.profiler نواة بطيئة، شغّل ncu من الطرفية لفحص عدّادات أداء العتاد مباشرة على المعالجات المتعددة المتدفقة (SMs):

ncu --set full --target-processes all -o kernel_report python my_script.py

عند فحص Speed of Light (SOL) ومخطط Roofline داخل kernel_report.ncu-rep، انظر إلى رقمين:

مقياس العتادنواة محدودة بالذاكرة (مثل LayerNorm وSoftmax وDecode)نواة محدودة بالحساب (مثل GEMM بدفعة كبيرة وPrefill)
معدل نقل الحساب (SM)منخفض (< 25%) — أنوية Tensor خاملة.مرتفع (> 75%) — أنوية Tensor تعمل قرب ذروة FLOPS.
معدل نقل الذاكرة (HBM)مرتفع (> 75%) — ناقل HBM مشبع تمامًا.منخفض إلى متوسط (< 50%) — تعيد البيانات استخدام ذاكرات SRAM المؤقتة على الشريحة.
الحل الأساسيدمج النوى (Triton/torch.compile)، أو التكميم (FP8/INT4)، أو زيادة حجم الدفعة.دقة أقل (FP8/NVFP4)، أو محاذاة بلاطات أنوية Tensor (من مضاعفات 64/128)، أو وحدات GPU أكبر.

3. تنفيذ GPU على الأجهزة الطرفية والمحمولة: Apple Metal و Vulkan Compute

يتطلب نشر الشبكات العصبية على الهواتف الذكية والحواسيب المحمولة والأجهزة المدمجة التشغيل دون تعريفات NVIDIA أو ميزانيات طاقة ضخمة، بالاعتماد بدلًا من ذلك على Apple Metal و Vulkan Compute مع معماريات الذاكرة الموحدة (UMA).

  • معمارية الذاكرة الموحدة (التنفيذ بلا نسخ).
  • على عكس وحدات NVIDIA GPU المنفصلة التي تتطلب نسخ المصفوفات عبر PCIe من ذاكرة RAM الخاصة بـ CPU إلى VRAM، تتشارك Apple Silicon (M-series / A-series) ومعالجات SoC المحمولة (Qualcomm Snapdragon وARM Mali) مجمّع ذاكرة فعليًا واحدًا من نوع LPDDR5/LPDDR5X بين CPU وGPU وNPU.
  • تقوم أطر عمل مثل Apple MLX وllama.cpp وExecuTorch بربط أوزان النموذج مباشرة في فضاء عناوين مشترك (MTLResourceStorageModeShared)، مما يلغي زمن نقل البيانات من المضيف إلى الجهاز تمامًا.
  • Apple Metal و Metal Performance Shaders (MPS).
  • على macOS وiOS، تحل Metal محل CUDA. يكتب المطورون مظللات الحساب بلغة Metal Shading Language (MSL) — وهي مشتقة من C++14 — ويوزعون مجموعات الخيوط عبر أنوية GPU من Apple وتعليمات Simdgroup Matrix (المكافئ لأنوية Tensor من NVIDIA لدى Apple).
  • في PyTorch، يؤدي ضبط device="mps" إلى توجيه عمليات المصفوفات عبر مُصرِّف MPSGraph من Apple، الذي يدمج العمليات ديناميكيًا ويجدول العمل عبر وحدات تنفيذ GPU.
  • Vulkan Compute عبر المنصات و SPIR-V.
  • عبر Android وWindows وLinux ووحدات GPU من AMD/Intel/Qualcomm، تعمل Vulkan Compute كواجهة GPU خلفية عالمية محايدة تجاه الموردين.
  • تُصرَّف نوى الحساب (المكتوبة بـ GLSL أو HLSL أو المُصرَّفة من MLIR/IREE) إلى شيفرة SPIR-V الثنائية. وباستخدام امتدادات Cooperative Matrix (VK_KHR_cooperative_matrix)، تصل نوى Vulkan مباشرة إلى وحدات ضرب المصفوفات في العتاد عبر وحدات GPU من Qualcomm Adreno وARM Mali وAMD RDNA وIntel Arc باستخدام ملف ثنائي محمول واحد.

المزيد من الأخبار: الذكاء الاصطناعي والتكنولوجيا