الكأس المقدس للذكاء الاصطناعي في العملات المشفرة: استكشاف الحدود للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد، وأعلى مستوى من المتطلبات التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية التطبيق الفعلي. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا كبيرًا من قوة الحوسبة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نمط الهيكلة، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، وكذلك التدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.
التدريب المركزي هو الأكثر شيوعًا كطريقة تقليدية، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة عالية الأداء محليًا، من الأجهزة إلى البرمجيات الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، حيث يتم تنسيق التشغيل بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية العميقة المتكاملة كفاءة مشاركة الذاكرة، وتزامن التدرج، وآليات التحمل في أفضل حالاتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، وتتميز بكفاءة عالية، وموارد قابلة للتحكم، لكنها تعاني في نفس الوقت من مشكلات الاحتكار البياني، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة الرئيسية لتدريب النماذج الكبيرة الحالية، حيث يكمن جوهره في تقسيم مهام تدريب النموذج، ثم توزيعها على عدة آلات للتنفيذ التعاوني، من أجل التغلب على قيود الحوسبة والتخزين على آلة واحدة. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال يتم بواسطة جهة مركزية، ويعمل غالبًا في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال عالي السرعة NVLink، حيث يقوم العقدة الرئيسية بتنسيق جميع المهام الفرعية بشكل موحد. تشمل الطرق الرئيسية:
التوازي البياني: كل عقدة تدرب معلمات بيانات مختلفة تتشارك في الوزن النموذجي، ويجب أن تتطابق.
التوازي النموذجي: نشر أجزاء مختلفة من النموذج على عقد مختلفة لتحقيق قابلية التوسع القوية
التنفيذ المتوازي: تنفيذ تسلسلي على مراحل، لزيادة معدل نقل البيانات
توازي الموتر: تقسيم دقيق لحساب المصفوفات، وزيادة حجم التوازي
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مماثل لتوجيه نفس المدير لعدة "مكاتب" للموظفين للعمل معًا لإكمال المهمة. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
تمثل تدريب اللامركزية مسارًا مستقبليًا يتمتع بمزيد من الانفتاح وخصائص مقاومة الرقابة. تتمثل الميزات الأساسية في: عدة عقد غير موثوقة تتعاون لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وبمساعدة آلية تحفيز تشفير لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
صعوبة تباين الأجهزة والتقسيم: صعوبة تنسيق الأجهزة غير المتجانسة، وكفاءة تقسيم المهام منخفضة
اختناق كفاءة الاتصالات: الاتصالات الشبكية غير مستقرة، واختناق تزامن التدرج واضح
نقص التنفيذ الموثوق: عدم وجود بيئة تنفيذ موثوقة، مما يجعل من الصعب التحقق مما إذا كانت العقدة تشارك فعليًا في الحساب
نقص التنسيق الموحد: لا يوجد جهاز تحكم مركزي، توزيع المهام، وآلية التراجع عن الاستثناءات معقدة
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم بقوة حوسبة لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال تحديًا هندسيًا نظاميًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، آليات الاقتصاد، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان يمكن "التعاون بشكل فعال + تحفيز الأمانة + صحة النتائج" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
يعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع واللامركزية، حيث يركز على الاحتفاظ المحلي بالبيانات، وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا مزايا توزيع البيانات في التدريب غير المركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره "لامركزية مُسيطر عليها" في سياقات الامتثال للخصوصية، حيث تكون مهام التدريب، وهياكل الثقة، وآليات الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من منظور نموذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو الاحتياجات العالية من الموارد، أو صعوبة التعاون، فإنه ليس من الطبيعي أن يتم إنجازه بكفاءة بين عقد غير متجانسة وغير موثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة وصول عشوائي عالية، وزمن انتقال منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة تكون مقيدة بالامتثال القانوني والقيود الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما المهام التي تفتقر إلى أساس الحوافز التعاونية تفتقر إلى الدافع للمشاركة الخارجية. هذه الحدود تشكل معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، تُظهر أنواع المهام الخفيفة الهيكل، القابلة للتوازي، والمحفزة تطبيقات واضحة للتدريب اللامركزي. بما في ذلك، ولكن لا تقتصر على: ضبط LoRA، مهام التدريب اللاحق المتعلقة بمحاذاة السلوك، مهام تدريب وتسمية البيانات عن طريق الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تمتاز عمومًا بخصائص التوازي العالي، والترابط المنخفض، والتحمل للقدرات الحسابية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكولات Swarm، والمحسنات الموزعة.
تحليل المشاريع الكلاسيكية للتدريب اللامركزي
حالياً، في مجال التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع الرئيسية في مجال البلوكشين Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، وتمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما مسارات تنفيذ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، بالإضافة إلى استكشاف الاختلافات والعلاقات التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية لتعلم التعزيز القابل للتحقق من مسار التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI لا تحتاج إلى الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة عن مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في بناء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية حوافز متكاملة.
01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الأساسية
02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفصول
PRIME-RL هو إطار عمل مخصص لنمذجة المهام وتنفيذها تم تطويره من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز ككائن تكيفي ذو أولوية، حيث يفكك بشكل هيكلي عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريبية بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنة بعمليات التعلم تحت الإشراف التقليدية، يعد PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هي آلية جوهرية للتحقق من القابلية للتدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتوافق بين "سلسلة المراقبة ↔ تحديث الاستراتيجية". إنها تحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهي ابتكار رئيسي لتحقيق توزيع المكافآت التدريبية دون حاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول نشر وتجمع الوزن المصمم من قبل Prime Intellect، مُحسّن خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، والقيود على عرض النطاق، وتغير حالة العقد. يجمع بين آلية نشر القيل والقال واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطور الإصدارات المتعددة. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يُعزز SHARDCAST بشكل ملحوظ من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتكرار المستمر للتدريب.
#OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار تحسين الاتصالات الذي أنشأه فريق Prime Intellect بناءً على مفهوم DiLoCo الذي طرحته DeepMind، وقد تم تصميمه بشكل مستقل ومفتوح المصدر، خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود عرض النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على الجيران المحليين لإكمال التدريب التعاوني للنموذج. مع الجمع بين التحديث غير المتزامن وآلية تحمل نقاط الفشل، يتيح OpenDiLoCo لمجموعات GPU الاستهلاكية والأجهزة الطرفية المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصال التعاوني
PCCL هو مكتبة اتصال خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب AI اللامركزية، تهدف إلى حل اختناقات التكيف التي تواجهها مكتبات الاتصال التقليدية في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتفرقة، ضغط التدرجات، التزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد زاد بشكل ملحوظ من تحمل النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يتيح بناء شبكة تدريب تعاونية مفتوحة حقًا وموثوقة.
03، شبكة Prime Intellect والتحفيز وتوزيع الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، مع آلية حوافز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على ثلاث فئات من الأدوار الأساسية:
م initiator: تعريف بيئة التدريب، النموذج الأولي، دالة المكافأة ومعايير التحقق
عقدة التدريب: تنفيذ التدريب المحلي، تقديم تحديثات الوزن ومسارات المراقبة
عقد التحقق: استخدام آلية TOPLOC للتحقق من صحة سلوك التدريب والمشاركة في حساب المكافآت وتجميع الاستراتيجيات
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
04، INTELLECT-2: إطلاق أول نموذج تدريب لامركزي يمكن التحقق منه
أطلقت Prime Intellect في مايو 2025 نموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز يتم تدريبه من خلال تعاون عقد لامركزية غير موثوقة وغير متزامنة على مستوى العالم، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU متباينة موزعة على ثلاث قارات، باستخدام بنية غير متزامنة تمامًا، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. هذا النموذج لا يمثل فقط突破ًا في الأداء، بل هو أيضًا أول تنفيذ نظامي لفكرة "التدريب هو التوافق" التي اقترحتها Prime Intellect. يجمع INTELLECT-2 بين وحدات البروتوكول الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يميز أول تحقيق لشبكة تدريب لامركزية.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
تسجيلات الإعجاب 16
أعجبني
16
4
مشاركة
تعليق
0/400
NestedFox
· 07-26 00:11
رأيت مجنون الأجهزة مرة أخرى
شاهد النسخة الأصليةرد0
CryptoAdventurer
· 07-26 00:03
笑死 شراء الانخفاضAI又给我打击智商了
شاهد النسخة الأصليةرد0
TrustlessMaximalist
· 07-26 00:01
ليس سوى تشكيل فريق لاستخراج الذكاء الاصطناعي
شاهد النسخة الأصليةرد0
BridgeNomad
· 07-25 23:50
التدريب اللامركزي rn = نقطة فشل واحدة ضخمة بصراحة... لقد رأينا هذا الفيلم من قبل مع الجسور
اللامركزية训练：AI模型的未来范式与技术前沿探索
الكأس المقدس للذكاء الاصطناعي في العملات المشفرة: استكشاف الحدود للتدريب اللامركزي
في سلسلة القيمة الكاملة للذكاء الاصطناعي، يُعد تدريب النماذج هو المرحلة الأكثر استهلاكًا للموارد، وأعلى مستوى من المتطلبات التقنية، حيث يحدد مباشرة الحد الأقصى لقدرات النموذج وفعالية التطبيق الفعلي. بالمقارنة مع الاستدعاء الخفيف في مرحلة الاستدلال، يتطلب عملية التدريب استثمارًا مستمرًا كبيرًا من قوة الحوسبة، وعمليات معالجة بيانات معقدة، ودعم خوارزميات تحسين عالية الكثافة، مما يجعلها "الصناعة الثقيلة" الحقيقية لبناء أنظمة الذكاء الاصطناعي. من حيث نمط الهيكلة، يمكن تقسيم أساليب التدريب إلى أربع فئات: التدريب المركزي، التدريب الموزع، التعلم الفيدرالي، وكذلك التدريب اللامركزي الذي سيتم مناقشته في هذه المقالة.
التدريب المركزي هو الأكثر شيوعًا كطريقة تقليدية، حيث يتم تنفيذ جميع عمليات التدريب بواسطة مؤسسة واحدة في مجموعة عالية الأداء محليًا، من الأجهزة إلى البرمجيات الأساسية، ونظام جدولة المجموعات، إلى جميع مكونات إطار التدريب، حيث يتم تنسيق التشغيل بواسطة نظام تحكم موحد. تجعل هذه البنية التحتية العميقة المتكاملة كفاءة مشاركة الذاكرة، وتزامن التدرج، وآليات التحمل في أفضل حالاتها، مما يجعلها مناسبة جدًا لتدريب نماذج كبيرة مثل GPT وGemini، وتتميز بكفاءة عالية، وموارد قابلة للتحكم، لكنها تعاني في نفس الوقت من مشكلات الاحتكار البياني، وحواجز الموارد، واستهلاك الطاقة، ومخاطر النقاط الفردية.
التدريب الموزع هو الطريقة الرئيسية لتدريب النماذج الكبيرة الحالية، حيث يكمن جوهره في تقسيم مهام تدريب النموذج، ثم توزيعها على عدة آلات للتنفيذ التعاوني، من أجل التغلب على قيود الحوسبة والتخزين على آلة واحدة. على الرغم من أنه يتمتع بخصائص "اللامركزية" من الناحية الفيزيائية، إلا أن التحكم والتنسيق والتزامن لا يزال يتم بواسطة جهة مركزية، ويعمل غالبًا في بيئة شبكة محلية عالية السرعة، من خلال تقنية ناقل الاتصال عالي السرعة NVLink، حيث يقوم العقدة الرئيسية بتنسيق جميع المهام الفرعية بشكل موحد. تشمل الطرق الرئيسية:
التدريب الموزع هو مزيج من "التحكم المركزي + التنفيذ الموزع"، مماثل لتوجيه نفس المدير لعدة "مكاتب" للموظفين للعمل معًا لإكمال المهمة. حاليًا، يتم تدريب جميع النماذج الكبيرة الرائجة تقريبًا بهذه الطريقة.
تمثل تدريب اللامركزية مسارًا مستقبليًا يتمتع بمزيد من الانفتاح وخصائص مقاومة الرقابة. تتمثل الميزات الأساسية في: عدة عقد غير موثوقة تتعاون لإكمال مهام التدريب دون منسق مركزي، عادةً من خلال بروتوكولات تدفع توزيع المهام والتعاون، وبمساعدة آلية تحفيز تشفير لضمان نزاهة المساهمات. تشمل التحديات الرئيسية التي تواجه هذا النموذج:
يمكن فهم التدريب اللامركزي على أنه: مجموعة من المتطوعين العالميين، يساهم كل منهم بقوة حوسبة لتدريب النموذج بشكل تعاوني، لكن "التدريب اللامركزي الكبير القابل للتطبيق حقًا" لا يزال تحديًا هندسيًا نظاميًا، يتضمن بنية النظام، بروتوكولات الاتصال، أمان التشفير، آليات الاقتصاد، والتحقق من النموذج على عدة مستويات، لكن ما إذا كان يمكن "التعاون بشكل فعال + تحفيز الأمانة + صحة النتائج" لا يزال في مرحلة استكشاف النماذج الأولية المبكرة.
يعتبر التعلم الفيدرالي شكلًا انتقاليًا بين التوزيع واللامركزية، حيث يركز على الاحتفاظ المحلي بالبيانات، وتجميع معلمات النموذج مركزيًا، وهو مناسب للسيناريوهات التي تركز على الامتثال للخصوصية. يتمتع التعلم الفيدرالي بهيكل هندسي للتدريب الموزع وقدرة على التعاون المحلي، بينما يمتلك أيضًا مزايا توزيع البيانات في التدريب غير المركزي، لكنه لا يزال يعتمد على جهة تنسيق موثوقة، ولا يمتلك خصائص الانفتاح الكامل ومقاومة الرقابة. يمكن اعتباره "لامركزية مُسيطر عليها" في سياقات الامتثال للخصوصية، حيث تكون مهام التدريب، وهياكل الثقة، وآليات الاتصال معتدلة نسبيًا، مما يجعله أكثر ملاءمة كهيكل نشر انتقالي في الصناعة.
اللامركزية تدريب الحدود، الفرص والواقع المسار
من منظور نموذج التدريب، فإن التدريب اللامركزي ليس مناسبًا لجميع أنواع المهام. في بعض السيناريوهات، بسبب تعقيد هيكل المهمة، أو الاحتياجات العالية من الموارد، أو صعوبة التعاون، فإنه ليس من الطبيعي أن يتم إنجازه بكفاءة بين عقد غير متجانسة وغير موثوقة. على سبيل المثال، يعتمد تدريب النماذج الكبيرة غالبًا على ذاكرة وصول عشوائي عالية، وزمن انتقال منخفض، وعرض نطاق ترددي عالي، مما يجعل من الصعب تقسيمه ومزامنته بفعالية في الشبكات المفتوحة؛ كما أن المهام التي تفرض قيودًا قوية على خصوصية البيانات والسيادة تكون مقيدة بالامتثال القانوني والقيود الأخلاقية، مما يمنع المشاركة المفتوحة؛ بينما المهام التي تفتقر إلى أساس الحوافز التعاونية تفتقر إلى الدافع للمشاركة الخارجية. هذه الحدود تشكل معًا القيود الواقعية الحالية للتدريب اللامركزي.
لكن هذا لا يعني أن التدريب اللامركزي هو مفهوم زائف. في الواقع، تُظهر أنواع المهام الخفيفة الهيكل، القابلة للتوازي، والمحفزة تطبيقات واضحة للتدريب اللامركزي. بما في ذلك، ولكن لا تقتصر على: ضبط LoRA، مهام التدريب اللاحق المتعلقة بمحاذاة السلوك، مهام تدريب وتسمية البيانات عن طريق الحشود، تدريب نماذج أساسية صغيرة قابلة للتحكم في الموارد، وكذلك سيناريوهات التدريب التعاوني بمشاركة الأجهزة الطرفية. هذه المهام تمتاز عمومًا بخصائص التوازي العالي، والترابط المنخفض، والتحمل للقدرات الحسابية غير المتجانسة، مما يجعلها مناسبة جدًا للتدريب التعاوني عبر الشبكات P2P، وبروتوكولات Swarm، والمحسنات الموزعة.
تحليل المشاريع الكلاسيكية للتدريب اللامركزي
حالياً، في مجال التدريب اللامركزي والتعلم الفيدرالي، تشمل المشاريع الرئيسية في مجال البلوكشين Prime Intellect وPluralis.ai وGensyn وNous Research وFlock.io. من حيث الابتكار التكنولوجي وصعوبة التنفيذ الهندسي، قدمت Prime Intellect وNous Research وPluralis.ai العديد من الاستكشافات الأصلية في تصميم النظام والخوارزميات، وتمثل الاتجاهات الرائدة في البحث النظري الحالي؛ بينما مسارات تنفيذ Gensyn وFlock.io واضحة نسبيًا، حيث يمكن رؤية تقدم هندسي أولي. ستقوم هذه المقالة بتحليل التقنيات الأساسية والهندسة المعمارية وراء هذه المشاريع الخمسة بالتتابع، بالإضافة إلى استكشاف الاختلافات والعلاقات التكميلية في نظام تدريب الذكاء الاصطناعي اللامركزي.
Prime Intellect: رائد الشبكات التعاونية لتعلم التعزيز القابل للتحقق من مسار التدريب
تسعى Prime Intellect لبناء شبكة تدريب AI لا تحتاج إلى الثقة، مما يسمح لأي شخص بالمشاركة في التدريب والحصول على مكافآت موثوقة عن مساهماته الحسابية. تأمل Prime Intellect من خلال ثلاثة وحدات PRIME-RL + TOPLOC + SHARDCAST في بناء نظام تدريب AI اللامركزي الذي يتمتع بالتحقق والانفتاح وآلية حوافز متكاملة.
01، هيكل بروتوكول Prime Intellect و قيمة الوحدات الأساسية
02، شرح آلية التدريب الرئيسية لـ Prime Intellect
#PRIME-RL: هيكل مهمة التعلم المعزز غير المتزامن المفصول
PRIME-RL هو إطار عمل مخصص لنمذجة المهام وتنفيذها تم تطويره من قبل Prime Intellect لسيناريوهات التدريب اللامركزية، مصمم خصيصًا للشبكات غير المتجانسة والمشاركة غير المتزامنة. يعتمد على التعلم المعزز ككائن تكيفي ذو أولوية، حيث يفكك بشكل هيكلي عملية التدريب والاستدلال ورفع الأوزان، مما يسمح لكل عقدة تدريبية بإكمال دورة المهام بشكل مستقل محليًا، والتعاون من خلال واجهات معيارية وآليات التحقق والتجميع. مقارنة بعمليات التعلم تحت الإشراف التقليدية، يعد PRIME-RL أكثر ملاءمة لتحقيق التدريب المرن في بيئات بدون جدولة مركزية، مما يقلل من تعقيد النظام ويضع الأساس لدعم المهام المتعددة بالتوازي وتطور الاستراتيجيات.
#TOPLOC:آلية التحقق من سلوك التدريب الخفيف
TOPLOC هي آلية جوهرية للتحقق من القابلية للتدريب اقترحها Prime Intellect، تستخدم لتحديد ما إذا كان العقد قد أكمل فعلاً تعلم استراتيجية فعالة بناءً على بيانات المراقبة. على عكس الحلول الثقيلة مثل ZKML، لا يعتمد TOPLOC على إعادة حساب النموذج بالكامل، بل يكمل التحقق الهيكلي الخفيف من خلال تحليل المسارات المحلية للتوافق بين "سلسلة المراقبة ↔ تحديث الاستراتيجية". إنها تحول لأول مرة مسارات السلوك خلال عملية التدريب إلى كائنات يمكن التحقق منها، وهي ابتكار رئيسي لتحقيق توزيع المكافآت التدريبية دون حاجة إلى الثقة، مما يوفر مسارًا قابلاً للتطبيق لبناء شبكة تدريب تعاونية لامركزية قابلة للتدقيق والتحفيز.
#SHARDCAST: بروتوكول تجميع الوزن غير المتزامن ونشره
SHARDCAST هو بروتوكول نشر وتجمع الوزن المصمم من قبل Prime Intellect، مُحسّن خصيصًا للبيئات الشبكية الحقيقية التي تتسم باللامركزية، والقيود على عرض النطاق، وتغير حالة العقد. يجمع بين آلية نشر القيل والقال واستراتيجيات التزامن المحلي، مما يسمح لعدة عقد بتقديم تحديثات جزئية بشكل مستمر في حالات عدم التزامن، مما يحقق التقارب التدريجي للوزن وتطور الإصدارات المتعددة. مقارنةً بأساليب AllReduce المركزية أو المتزامنة، يُعزز SHARDCAST بشكل ملحوظ من قابلية التوسع والقدرة على تحمل الأخطاء في التدريب اللامركزي، وهو الأساس الرئيسي لبناء توافق الوزن المستقر والتكرار المستمر للتدريب.
#OpenDiLoCo: إطار الاتصال غير المتزامن المتناثر
OpenDiLoCo هو إطار تحسين الاتصالات الذي أنشأه فريق Prime Intellect بناءً على مفهوم DiLoCo الذي طرحته DeepMind، وقد تم تصميمه بشكل مستقل ومفتوح المصدر، خصيصًا للتحديات الشائعة في التدريب اللامركزي مثل قيود عرض النطاق الترددي، وتنوع الأجهزة، وعدم استقرار العقد. يعتمد هيكله على التوازي البياني، من خلال بناء هياكل طوبولوجية نادرة مثل Ring وExpander وSmall-World، مما يتجنب التكلفة العالية للتزامن العالمي، ويعتمد فقط على الجيران المحليين لإكمال التدريب التعاوني للنموذج. مع الجمع بين التحديث غير المتزامن وآلية تحمل نقاط الفشل، يتيح OpenDiLoCo لمجموعات GPU الاستهلاكية والأجهزة الطرفية المشاركة بشكل مستقر في مهام التدريب، مما يعزز بشكل كبير إمكانية المشاركة في التدريب التعاوني العالمي، ويعد أحد البنى التحتية الأساسية للاتصالات لبناء شبكة تدريب لامركزية.
#PCCL: مكتبة الاتصال التعاوني
PCCL هو مكتبة اتصال خفيفة الوزن مصممة خصيصًا من قبل Prime Intellect لبيئة تدريب AI اللامركزية، تهدف إلى حل اختناقات التكيف التي تواجهها مكتبات الاتصال التقليدية في الأجهزة غير المتجانسة والشبكات ذات النطاق الترددي المنخفض. يدعم PCCL الطوبولوجيا المتفرقة، ضغط التدرجات، التزامن منخفض الدقة واستعادة النقاط، ويمكن تشغيله على وحدات معالجة الرسوميات الاستهلاكية والعقد غير المستقرة، وهو المكون الأساسي الذي يدعم قدرة الاتصال غير المتزامن لبروتوكول OpenDiLoCo. لقد زاد بشكل ملحوظ من تحمل النطاق الترددي لشبكات التدريب وتوافق الأجهزة، مما يتيح بناء شبكة تدريب تعاونية مفتوحة حقًا وموثوقة.
03، شبكة Prime Intellect والتحفيز وتوزيع الأدوار
بني Prime Intellect شبكة تدريب قابلة للتحقق، بدون إذن، مع آلية حوافز اقتصادية، مما يسمح لأي شخص بالمشاركة في المهام والحصول على مكافآت بناءً على المساهمات الحقيقية. يعمل البروتوكول على ثلاث فئات من الأدوار الأساسية:
تشمل العمليات الأساسية للبروتوكول نشر المهام، تدريب العقد، التحقق من المسارات، تجميع الأوزان وتوزيع المكافآت، مما يشكل حلقة تحفيزية تدور حول "سلوك التدريب الحقيقي".
04، INTELLECT-2: إطلاق أول نموذج تدريب لامركزي يمكن التحقق منه
أطلقت Prime Intellect في مايو 2025 نموذج INTELLECT-2، وهو أول نموذج كبير للتعلم المعزز يتم تدريبه من خلال تعاون عقد لامركزية غير موثوقة وغير متزامنة على مستوى العالم، بحجم معلمات يصل إلى 32B. تم تدريب نموذج INTELLECT-2 بواسطة أكثر من 100 عقدة GPU متباينة موزعة على ثلاث قارات، باستخدام بنية غير متزامنة تمامًا، واستغرق التدريب أكثر من 400 ساعة، مما يظهر جدوى واستقرار الشبكة التعاونية غير المتزامنة. هذا النموذج لا يمثل فقط突破ًا في الأداء، بل هو أيضًا أول تنفيذ نظامي لفكرة "التدريب هو التوافق" التي اقترحتها Prime Intellect. يجمع INTELLECT-2 بين وحدات البروتوكول الأساسية مثل PRIME-RL وTOPLOC وSHARDCAST، مما يميز أول تحقيق لشبكة تدريب لامركزية.