AlexNet: هندسة CUDA وراء اختراق عام 2012

في عام 2012، أثبت اختراق AlexNet أن الشبكات العصبية العميقة المقترنة بوحدات GPU التي تدعم CUDA يمكنها التفوق على عقود من هندسة الرؤية الحاسوبية التقليدية. ففي تحدي ImageNet للتعرف البصري واسع النطاق (ILSVRC)، حقق Alex Krizhevsky وIlya Sutskever وGeoffrey Hinton معدل خطأ في أفضل 5 تصنيفات (top-5) بلغ 15.3%، متغلبين على صاحب المركز الثاني الذي بلغ 26.2% بفارق يقارب 11 نقطة مئوية.

عقبة العتاد وحلّها

في ذلك الوقت لم تكن أطر التعلّم العميق مثل PyTorch وTensorFlow موجودة، وكانت وحدات GPU الاستهلاكية ذات حدود ذاكرة صارمة.

• عتاد الألعاب الاستهلاكي: درّب الفريق الشبكة في غرفة نوم باستخدام وحدتي NVIDIA GTX 580 GPU من الفئة الاستهلاكية. كانت كل بطاقة تملك 3 GB فقط من VRAM، وهو ما لم يكن كافيًا لاحتواء الشبكة بأكملها بمعاملاتها البالغة 60 مليون معامل على شريحة واحدة.

• توازي النموذج عبر CUDA: كتب Alex Krizhevsky نوى CUDA C++ مخصصة (cuda-convnet) لتقسيم الشبكة عموديًا عبر وحدتي GPU. وخزّنت كل وحدة GPU نصف الخلايا العصبية والنوى في مجمع ذاكرتها الخاص سعة 3 GB.

• تواصل انتقائي بين وحدتي GPU: لأن نقل البيانات بين وحدتي GPU عبر ناقل PCIe في اللوحة الأم كان بطيئًا، برمج Krizhevsky وحدتي GPU للتواصل فقط عند طبقات محددة (مثل الطبقة 3). وعملت الطبقات الأخرى باستقلال تام على كل بطاقة، مما قلّل اختناقات عرض النطاق الترددي.

إنجازات معمارية رئيسية

أتاحت القدرة الحاسوبية الخام لـ CUDA للفريق الجمع بين عدة تقنيات حاسمة كانت بطيئة جدًا من قبل بحيث يتعذر اختبارها على نطاق واسع:

• بنية عميقة: كدّست AlexNet ثماني طبقات متعلَّمة (5 طبقات التفافية تليها 3 طبقات متصلة بالكامل)، وهي أعمق بكثير من الشبكات العصبية السابقة.

• دالة التنشيط ReLU: بدلًا من دوال tanh أو sigmoid التقليدية، استخدموا وحدات التقويم الخطي (ReLU). تتميز ReLU ببساطتها الحسابية في CUDA، وسمحت للشبكة العميقة بالتدرب أسرع بنحو ست مرات دون تلاشي التدرجات.

• زيادة البيانات والإسقاط العشوائي (Dropout): بينما كانت وحدات GPU تنجز حسابات المصفوفات، ولّدت CPU تحويلات للصور في الزمن الفعلي (القص والقلب) لمنع فرط التخصيص (overfitting). كما طبّقوا Dropout، أي إيقاف الخلايا العصبية عشوائيًا أثناء التدريب لإجبار الشبكة على تعلّم سمات قوية.

لماذا أطلقت ثورة التعلّم العميق

قبل سبتمبر 2012، اعتمد معظم باحثي الرؤية الحاسوبية على خوارزميات مصنوعة يدويًا (مثل SIFT وHOG) لاكتشاف الحواف والأشكال، ورأوا في الشبكات العصبية العميقة نظرية مسدودة الأفق.

• زمن التدريب: حتى مع تحسين CUDA المخصص، استغرق تدريب AlexNet من 5 إلى 6 أيام على 1.2 مليون صورة عالية الدقة. ومن دون CUDA، كانت التجربة نفسها ستستغرق شهورًا على وحدات CPU.

• التحول في الصناعة: عندما تفوّقت AlexNet على كل الطرق التقليدية في ImageNet، تخلّى مجتمع أبحاث الذكاء الاصطناعي بأكمله عن السمات المصممة يدويًا تقريبًا بين عشية وضحاها. وسارع الباحثون إلى شراء وحدات NVIDIA GPU، مما دفع NVIDIA إلى التحول نحو الذكاء الاصطناعي وإصدار cuDNN بعد عامين.