Святе Грааль Crypto AI: Децентралізація тренування на передовій
У всьому ціннісному ланцюгу AI, навчання моделей є найбільш ресурсомістким і технологічно складним етапом, що безпосередньо визначає верхню межу можливостей моделі та фактичний ефект застосування. На відміну від легковагового виклику на етапі інференції, процес навчання потребує постійних інвестицій у великомасштабні обчислення, складні процеси обробки даних та підтримку високоефективних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" у будівництві AI-систем. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке обговорюється в цій статті.
Централізоване навчання є найпоширенішим традиційним методом, який виконується єдиним агентством на локальному кластері високої продуктивності. Весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки, координується єдиною системою контролю. Така глибоко координована архітектура забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже придатною для навчання великих моделей, таких як GPT і Gemini, з перевагами високої ефективності та контрольованості ресурсів, але водночас існують проблеми монополії даних, бар'єрів для ресурсів, енергоспоживання та ризику єдиної точки відмови.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в тому, щоб розбити завдання навчання моделі та розподілити їх на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Хоча фізично має "розподілену" характеристику, але в цілому все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі високошвидкісної локальної мережі, за допомогою технології NVLink високошвидкісної інтеграційної шини, основний вузол координує всі підзавдання. Основні методи включають:
Паралельні дані: кожен вузол навчає різні дані, параметри діляться, потрібно відповідати вагам моделі
Модельна паралельність: розгортання різних частин моделі на різних вузлах для досягнення високої масштабованості
Паралельні канали: поетапне послідовне виконання, підвищення пропускної спроможності
Тензорне паралельне виконання: тонке розділення матричних обчислень, підвищення паралельності
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співробітниками з кількох "офісів", які співпрацюють для виконання завдання. Наразі майже всі основні великі моделі навчаються саме цим способом.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька недовірливих вузлів спільно виконують навчальні завдання без центрального координатора, зазвичай через протокол, що забезпечує розподіл завдань та співпрацю, а також за допомогою механізму криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Проблеми з гетерогенністю пристроїв та розподілом: висока складність координації гетерогенних пристроїв, низька ефективність розподілу завдань
Вузьке місце в ефективності зв'язку: нестабільність мережевої комунікації, чітко виражене вузьке місце в синхронізації градієнтів
Відсутність довіреного виконання: відсутність довіреного середовища виконання, важко перевірити, чи справді вузли беруть участь у обчисленнях.
Відсутність єдиного координаційного центру: немає центрального диспетчера, складна система розподілу завдань та механізм відкату при аномаліях
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді здійсненне масштабне децентралізоване навчання" все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримувати правильні результати" все ще знаходиться на стадії раннього прототипування.
Федеративне навчання як перехідна форма між дистрибуцією та децентралізацією підкреслює збереження даних на місці та централізовану агрегацію параметрів моделей, що підходить для сценаріїв з акцентом на дотримання конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні кооперативні можливості, одночасно володіючи перевагами розподілених даних децентралізованого навчання, але все ж покладається на надійних координаторів і не має повністю відкритих та антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях дотримання конфіденційності, де завдання навчання, структура довіри та механізми зв'язку є відносно помірними, що робить його більш придатним для перехідних архітектур у промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких ситуаціях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або труднощі співпраці, природно, воно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від високої відеопам'яті, низької затримки та високошвидкісної смуги пропускання, що ускладнює їх ефективний розподіл та синхронізацію в відкритих мережах; завдання, що підлягають сильним обмеженням щодо конфіденційності даних та суверенітету, обмежені правовими вимогами та етичними нормами, що унеможливлює їх відкритий обмін; а завдання, які не мають основи для стимулювання співпраці, відчувають брак зовнішнього інтересу. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у структур легких, легких для паралелізації та заохочуваних типах завдань децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: доопрацювання LoRA, завдання після навчання для вирівнювання поведінки, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії спільного навчання з участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв'язність і толерантність до гетерогенної обчислювальної потужності, що робить їх дуже відповідними для спільного навчання за допомогою P2P-мереж, протоколу Swarm, розподілених оптимізаторів тощо.
Децентралізація тренування класичних проектів解析
Наразі в передових сферах децентралізованого навчання та федеративного навчання до представницьких блокчейн-проєктів належать Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували більше оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрямки сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже можна побачити початковий інженерний прогрес. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури, що стоять за цими п'ятьма проєктами, а також додатково обговорено їхні відмінності та комплементарні відносини в системі децентралізованого AI-навчання.
Prime Intellect: тренувальні траєкторії, що можуть бути перевірені, посилювальна навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, щоб будь-хто міг брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається побудувати систему децентралізованого навчання ШІ з трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST, яка має верифікацію, відкритість та повноцінний механізм стимулювання.
01、Структура стеку протоколу Prime Intellect та цінність ключових модулів
02、Детальний опис ключових механізмів навчання Prime Intellect
#PRIME-RL:Архітектура задач декомпозованого асинхронного посилення навчання
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим компанією Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеним для гетерогенних мереж і асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно завершувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації гнучкого навчання в умовах безцентрового розподілу, знижуючи складність системи та закладаючи основу для підтримки паралельного виконання багатьох завдань і еволюції стратегій.
#TOPLOC:Легка верифікація поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи справді вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а аналізує локальні послідовності узгодженості між "послідовністю спостережень ↔ оновленням стратегії" для завершення верифікації легковагової структури. Він вперше перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без довіри, надаючи здійсненний шлях для побудови аудиторських, стимулюючих мереж децентралізованого співпраці.
#SHARDCAST: Асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом зваженого розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів реальних мережевих середовищ. Він поєднує механізм gossipping та локальну стратегію синхронізації, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах несинхронізованого стану, реалізуючи поступову конвергенцію ваг та еволюцію з кількома версіями. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для побудови стабільного консенсусу з вагами та безперервної ітерації навчання.
OpenDiLoCo є комунікаційною оптимізаційною рамкою, незалежно реалізованою та з відкритим кодом командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Вона спеціально розроблена для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто зустрічаються в децентралізованому навчанні. Її архітектура базується на даних, що паралельно, шляхом побудови розріджених топологічних структур, таких як кільце, розширювач, малий світ, уникнула високих витрат на комунікацію, пов'язаних з глобальною синхронізацією, і для виконання спільного навчання моделі покладається тільки на сусідні вузли. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що суттєво підвищує можливість участі в глобальному співпраці в навчанні і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Бібліотека синхронного зв'язку
PCCL є легковаговою бібліотекою зв'язку, створеною Prime Intellect для децентралізованого середовища навчання ШІ, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з моменту зупинки, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікаційну здатність протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання милю" комунікаційної інфраструктури для створення справді відкритої, бездосвідченої мережі спільного навчання.
03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, що не потребує дозволу, є верифікаційною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол функціонує на основі трьох основних ролей:
Ініціатор завдання: визначає середовище навчання, початкову модель, функцію винагороди та критерії валідації
Навчальні вузли: виконання локального навчання, подача оновлень ваг і спостереження за траєкторією
Вузли верифікації: використання механізму TOPLOC для перевірки справжності навчальної поведінки та участі в розрахунках винагороди та агрегації стратегій
Ядро процесу угоди включає публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг та виплату винагород, що формує стимулювальне замкнуте коло навколо "реальної навчальної поведінки".
04、INTELLECT-2: перший публічний перевіряємий децентралізований навчальний модель
Prime Intellect у травні 2025 року випустила INTELLECT-2, це перша у світі велика модель навчання з підкріпленням, що була навчена за допомогою асинхронних, без довіри до децентралізованих вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 GPU гетерогенних вузлів, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищив 400 годин, що продемонструвало доцільність та стабільність асинхронної кооперативної мережі. Ця модель не лише є проривом у продуктивності, але й першим системним втіленням парадигми "навчання як консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні протокольні модулі, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує собою перше досягнення децентралізованої навчальної мережі.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
15 лайків
Нагородити
15
4
Поділіться
Прокоментувати
0/400
NestedFox
· 07-26 00:11
Знову зустрічаюся з пристроєм-маніяком
Переглянути оригіналвідповісти на0
CryptoAdventurer
· 07-26 00:03
Сміюся, купувати просадку AI знову знизив мій IQ.
Переглянути оригіналвідповісти на0
TrustlessMaximalist
· 07-26 00:01
Не просто командна копка AI.
Переглянути оригіналвідповісти на0
BridgeNomad
· 07-25 23:50
децентралізоване навчання rn = масивна точка єдиного збою, якщо чесно... ми вже бачили цей фільм раніше з мостами
Децентралізація тренування: майбутня парадигма та технологічні передові дослідження моделей ШІ
Святе Грааль Crypto AI: Децентралізація тренування на передовій
У всьому ціннісному ланцюгу AI, навчання моделей є найбільш ресурсомістким і технологічно складним етапом, що безпосередньо визначає верхню межу можливостей моделі та фактичний ефект застосування. На відміну від легковагового виклику на етапі інференції, процес навчання потребує постійних інвестицій у великомасштабні обчислення, складні процеси обробки даних та підтримку високоефективних алгоритмів оптимізації, що робить його справжньою "важкою промисловістю" у будівництві AI-систем. З точки зору архітектурних парадигм, способи навчання можна поділити на чотири категорії: централізоване навчання, розподілене навчання, федеративне навчання та децентралізоване навчання, яке обговорюється в цій статті.
Централізоване навчання є найпоширенішим традиційним методом, який виконується єдиним агентством на локальному кластері високої продуктивності. Весь процес навчання, від апаратного забезпечення, базового програмного забезпечення, системи управління кластером до всіх компонентів навчальної рамки, координується єдиною системою контролю. Така глибоко координована архітектура забезпечує оптимальну ефективність спільного використання пам'яті, синхронізації градієнтів і механізмів відмовостійкості, що робить її дуже придатною для навчання великих моделей, таких як GPT і Gemini, з перевагами високої ефективності та контрольованості ресурсів, але водночас існують проблеми монополії даних, бар'єрів для ресурсів, енергоспоживання та ризику єдиної точки відмови.
Розподілене навчання є основним способом навчання великих моделей, його суть полягає в тому, щоб розбити завдання навчання моделі та розподілити їх на кілька машин для спільного виконання, щоб подолати обмеження обчислень та зберігання на одному комп'ютері. Хоча фізично має "розподілену" характеристику, але в цілому все ще контролюється централізованими установами для управління та синхронізації, зазвичай працює в середовищі високошвидкісної локальної мережі, за допомогою технології NVLink високошвидкісної інтеграційної шини, основний вузол координує всі підзавдання. Основні методи включають:
Розподілене навчання є комбінацією "централізованого контролю + розподіленого виконання", аналогічно тому, як один і той же керівник дистанційно керує співробітниками з кількох "офісів", які співпрацюють для виконання завдання. Наразі майже всі основні великі моделі навчаються саме цим способом.
Децентралізація тренування означає більш відкритий та стійкий до цензури шлях у майбутнє. Його основні характеристики полягають у тому, що: кілька недовірливих вузлів спільно виконують навчальні завдання без центрального координатора, зазвичай через протокол, що забезпечує розподіл завдань та співпрацю, а також за допомогою механізму криптостимулювання для забезпечення чесності внесків. Основні виклики, з якими стикається ця модель, включають:
Децентралізація тренування можна розуміти як: група глобальних волонтерів, які кожен вносять обчислювальну потужність для спільного навчання моделі, але "справді здійсненне масштабне децентралізоване навчання" все ще є системною інженерною проблемою, що охоплює системну архітектуру, комунікаційні протоколи, криптографічну безпеку, економічні механізми, верифікацію моделей та інші аспекти, але чи можливо "співпрацювати ефективно + стимулювати чесність + отримувати правильні результати" все ще знаходиться на стадії раннього прототипування.
Федеративне навчання як перехідна форма між дистрибуцією та децентралізацією підкреслює збереження даних на місці та централізовану агрегацію параметрів моделей, що підходить для сценаріїв з акцентом на дотримання конфіденційності. Федеративне навчання має інженерну структуру дистрибутивного навчання та локальні кооперативні можливості, одночасно володіючи перевагами розподілених даних децентралізованого навчання, але все ж покладається на надійних координаторів і не має повністю відкритих та антикорупційних характеристик. Його можна розглядати як "контрольовану децентралізацію" в сценаріях дотримання конфіденційності, де завдання навчання, структура довіри та механізми зв'язку є відносно помірними, що робить його більш придатним для перехідних архітектур у промисловості.
Децентралізація тренувань: межі, можливості та реальні шляхи
З точки зору навчальних парадигм, децентралізоване навчання не підходить для всіх типів завдань. У деяких ситуаціях, через складну структуру завдання, надзвичайно високі вимоги до ресурсів або труднощі співпраці, природно, воно не підходить для ефективного виконання між гетерогенними, недовіреними вузлами. Наприклад, навчання великих моделей часто залежить від високої відеопам'яті, низької затримки та високошвидкісної смуги пропускання, що ускладнює їх ефективний розподіл та синхронізацію в відкритих мережах; завдання, що підлягають сильним обмеженням щодо конфіденційності даних та суверенітету, обмежені правовими вимогами та етичними нормами, що унеможливлює їх відкритий обмін; а завдання, які не мають основи для стимулювання співпраці, відчувають брак зовнішнього інтересу. Ці межі разом складають реальні обмеження сучасного децентралізованого навчання.
Але це не означає, що децентралізоване навчання є псевдопитанням. Насправді, у структур легких, легких для паралелізації та заохочуваних типах завдань децентралізоване навчання демонструє чіткі перспективи застосування. Включаючи, але не обмежуючись: доопрацювання LoRA, завдання після навчання для вирівнювання поведінки, навчання та маркування даних через краудсорсинг, навчання малих базових моделей з контрольованими ресурсами, а також сценарії спільного навчання з участю крайових пристроїв. Ці завдання загалом мають високу паралельність, низьку зв'язність і толерантність до гетерогенної обчислювальної потужності, що робить їх дуже відповідними для спільного навчання за допомогою P2P-мереж, протоколу Swarm, розподілених оптимізаторів тощо.
Децентралізація тренування класичних проектів解析
Наразі в передових сферах децентралізованого навчання та федеративного навчання до представницьких блокчейн-проєктів належать Prime Intellect, Pluralis.ai, Gensyn, Nous Research та Flock.io. З точки зору технологічної інноваційності та складності інженерної реалізації, Prime Intellect, Nous Research та Pluralis.ai запропонували більше оригінальних досліджень у системній архітектурі та алгоритмічному дизайні, представляючи передові напрямки сучасних теоретичних досліджень; тоді як реалізаційні шляхи Gensyn та Flock.io відносно чіткі, вже можна побачити початковий інженерний прогрес. У цій статті буде поетапно проаналізовано основні технології та інженерні архітектури, що стоять за цими п'ятьма проєктами, а також додатково обговорено їхні відмінності та комплементарні відносини в системі децентралізованого AI-навчання.
Prime Intellect: тренувальні траєкторії, що можуть бути перевірені, посилювальна навчальна кооперативна мережа піонерів
Prime Intellect прагне створити мережу навчання ШІ, яка не потребує довіри, щоб будь-хто міг брати участь у навчанні та отримувати надійні винагороди за свої обчислювальні внески. Prime Intellect сподівається побудувати систему децентралізованого навчання ШІ з трьох основних модулів: PRIME-RL + TOPLOC + SHARDCAST, яка має верифікацію, відкритість та повноцінний механізм стимулювання.
01、Структура стеку протоколу Prime Intellect та цінність ключових модулів
02、Детальний опис ключових механізмів навчання Prime Intellect
#PRIME-RL:Архітектура задач декомпозованого асинхронного посилення навчання
PRIME-RL є фреймворком моделювання та виконання завдань, розробленим компанією Prime Intellect для децентралізованих навчальних сценаріїв, спеціально створеним для гетерогенних мереж і асинхронних учасників. Він використовує підкріплювальне навчання як пріоритетний об'єкт адаптації, структурно декомпонуючи процеси навчання, висновку та завантаження ваг, що дозволяє кожному навчальному вузлу незалежно завершувати цикл завдань локально та співпрацювати через стандартизовані інтерфейси з механізмами верифікації та агрегації. У порівнянні з традиційними процесами контрольованого навчання, PRIME-RL краще підходить для реалізації гнучкого навчання в умовах безцентрового розподілу, знижуючи складність системи та закладаючи основу для підтримки паралельного виконання багатьох завдань і еволюції стратегій.
#TOPLOC:Легка верифікація поведінки тренування
TOPLOC є основним механізмом перевірки навчання, запропонованим Prime Intellect, який використовується для визначення того, чи справді вузол на основі спостережуваних даних завершив ефективне навчання стратегії. На відміну від важких рішень, таких як ZKML, TOPLOC не залежить від повторного обчислення всієї моделі, а аналізує локальні послідовності узгодженості між "послідовністю спостережень ↔ оновленням стратегії" для завершення верифікації легковагової структури. Він вперше перетворює поведінкові траєкторії під час навчання на об'єкти, що підлягають перевірці, що є ключовим нововведенням для реалізації розподілу винагороди за навчання без довіри, надаючи здійсненний шлях для побудови аудиторських, стимулюючих мереж децентралізованого співпраці.
#SHARDCAST: Асинхронна агрегація ваг і протокол поширення
SHARDCAST є протоколом зваженого розповсюдження та агрегації, розробленим Prime Intellect, оптимізованим для асинхронних, обмежених за пропускною здатністю та змінних станів вузлів реальних мережевих середовищ. Він поєднує механізм gossipping та локальну стратегію синхронізації, що дозволяє кільком вузлам продовжувати подавати часткові оновлення в умовах несинхронізованого стану, реалізуючи поступову конвергенцію ваг та еволюцію з кількома версіями. У порівнянні з централізованими або синхронними методами AllReduce, SHARDCAST суттєво підвищує масштабованість та стійкість до помилок децентралізованого навчання, що є основою для побудови стабільного консенсусу з вагами та безперервної ітерації навчання.
#OpenDiLoCo: Рідкісний асинхронний комунікаційний фреймворк
OpenDiLoCo є комунікаційною оптимізаційною рамкою, незалежно реалізованою та з відкритим кодом командою Prime Intellect на основі концепції DiLoCo, запропонованої DeepMind. Вона спеціально розроблена для вирішення таких викликів, як обмежена пропускна здатність, гетерогенність пристроїв та нестабільність вузлів, які часто зустрічаються в децентралізованому навчанні. Її архітектура базується на даних, що паралельно, шляхом побудови розріджених топологічних структур, таких як кільце, розширювач, малий світ, уникнула високих витрат на комунікацію, пов'язаних з глобальною синхронізацією, і для виконання спільного навчання моделі покладається тільки на сусідні вузли. Поєднуючи асинхронне оновлення та механізм відмовостійкості, OpenDiLoCo дозволяє споживчим GPU та крайнім пристроям стабільно брати участь у навчальних завданнях, що суттєво підвищує можливість участі в глобальному співпраці в навчанні і є однією з ключових комунікаційних інфраструктур для побудови децентралізованої навчальної мережі.
#PCCL:Бібліотека синхронного зв'язку
PCCL є легковаговою бібліотекою зв'язку, створеною Prime Intellect для децентралізованого середовища навчання ШІ, яка має на меті вирішити проблеми адаптації традиційних бібліотек зв'язку в гетерогенних пристроях та мережах з низькою пропускною здатністю. PCCL підтримує розріджену топологію, стиснення градієнтів, синхронізацію з низькою точністю та відновлення з моменту зупинки, може працювати на споживчих GPU та нестабільних вузлах, є базовим компонентом, що підтримує асинхронну комунікаційну здатність протоколу OpenDiLoCo. Він значно підвищує толерантність до пропускної здатності навчальної мережі та сумісність пристроїв, прокладаючи "остання милю" комунікаційної інфраструктури для створення справді відкритої, бездосвідченої мережі спільного навчання.
03、Prime Intellect стимулююча мережа та розподіл ролей
Prime Intellect побудував мережу навчання, що не потребує дозволу, є верифікаційною та має економічні стимули, що дозволяє будь-кому брати участь у завданнях і отримувати винагороду на основі реального внеску. Протокол функціонує на основі трьох основних ролей:
Ядро процесу угоди включає публікацію завдань, навчання вузлів, валідацію траєкторій, агрегацію ваг та виплату винагород, що формує стимулювальне замкнуте коло навколо "реальної навчальної поведінки".
04、INTELLECT-2: перший публічний перевіряємий децентралізований навчальний модель
Prime Intellect у травні 2025 року випустила INTELLECT-2, це перша у світі велика модель навчання з підкріпленням, що була навчена за допомогою асинхронних, без довіри до децентралізованих вузлів, з параметрами обсягом 32B. Модель INTELLECT-2 була навчена за допомогою понад 100 GPU гетерогенних вузлів, розташованих на трьох континентах, використовуючи повністю асинхронну архітектуру, час навчання перевищив 400 годин, що продемонструвало доцільність та стабільність асинхронної кооперативної мережі. Ця модель не лише є проривом у продуктивності, але й першим системним втіленням парадигми "навчання як консенсус", запропонованої Prime Intellect. INTELLECT-2 інтегрує основні протокольні модулі, такі як PRIME-RL, TOPLOC та SHARDCAST, що знаменує собою перше досягнення децентралізованої навчальної мережі.