Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания стоимости ИИ модельное обучение является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, что напрямую определяет предельные возможности модели и фактическую эффективность её применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянного масштабного вычислительного ресурса, сложных процессов обработки данных и поддержки высокоинтенсивных оптимизационных алгоритмов, что является настоящей "тяжёлой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данной статьи.
Централизованное обучение является наиболее распространенным традиционным методом, осуществляемым единственным учреждением на локальном высокопроизводительном кластере, где весь процесс обучения, от аппаратного обеспечения, базового программного обеспечения, системы планирования кластера до всех компонентов обучающего фреймворка, координируется единой управляющей системой. Эта архитектура глубокой кооперации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее особенно подходящей для обучения масштабных моделей, таких как GPT, Gemini, обладая высокой эффективностью и контролем ресурсов, но одновременно сталкивается с проблемами монополии данных, барьеров ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным методом обучения больших моделей в настоящее время, его суть заключается в разбиении задач обучения модели и распределении их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически он обладает "Децентрализация" характеристиками, в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Параллельные данные: каждый узел обучает разные данные, параметры общие, необходимо сопоставить веса модели
Модельная параллельность: развертывание различных частей модели на разных узлах для достижения высокой масштабируемости
Параллельные каналы: поэтапное последовательное выполнение, повышение пропускной способности
Тензорное параллелизм: тонкая сегментация матричных вычислений, повышение степени параллелизма
Распределённое обучение — это комбинация "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же руководитель удаленно координирует работу сотрудников нескольких "офисов" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким способом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимулирования для обеспечения честности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Сложности с гетерогенными устройствами и разделением: высокая сложность координации гетерогенных устройств, низкая эффективность разделения задач
Узкие места в эффективности связи: нестабильная сетевая связь, заметные узкие места в синхронизации градиентов
Отсутствие доверенного выполнения: отсутствие доверенной среды выполнения затрудняет проверку того, действительно ли узлы участвуют в вычислениях.
Отсутствие единой координации: нет центрального диспетчера, сложное распределение задач и механизм отката ошибок
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "по-настоящему жизнеспособная крупномасштабная децентрализованная тренировка" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и многие другие аспекты, но вопрос о том, может ли быть "совместная эффективность + стимулирование честности + правильность результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализацией, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализации, но все еще зависит от надежной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализацию" в сценариях соблюдения конфиденциальности, которая относительно мягкая в отношении задач обучения, доверительных структур и коммуникационных механизмов, более подходящая в качестве переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задачи, крайне высоких требований к ресурсам или больших трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей обычно зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с ограничениями по конфиденциальности данных и суверенитету ограничены правовыми и этическими нормами, что не позволяет открыто делиться; а задачи, лишенные основ сотрудничества, не имеют внешних стимулов для участия. Эти границы в совокупности составляют реальные ограничения на текущую Децентрализацию обучения.
Но это не означает, что Децентрализация тренировки является ложной гипотезой. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью стимуляции, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: тонкой настройкой LoRA, задачами постобучения с выравниванием поведения, задачами краудсорсинга для обучения и аннотирования данных, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценарием кооперативного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и устойчивостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов
В настоящее время среди основных блокчейн-проектов в области Децентрализация обучения и федеративного обучения можно выделить Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и мы можем видеть начальный прогресс в их инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно обсуждено их различие и взаимодополнение в рамках Децентрализация AI учебной системы.
Prime Intellect: Проверяемая по траектории тренировка усиленного обучения кооперативных сетей.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы каждый мог участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура и ключевые модули протокола Prime Intellect
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задачи асинхронного обучения с подкреплением с разъединением
PRIME-RL является моделью задач и исполняющей рамкой, разработанной Prime Intellect для децентрализованных сценариев обучения, специально предназначенной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо выполнять цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами верификации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального планирования, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения обучения
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, которая используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не полагается на полные перерасчеты модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в объекты, которые можно проверить, что является ключевым нововведением для достижения распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.
#SHARDCAST: Асинхронная агрегация и распространение веса
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и с изменяющимся состоянием узлов реальных сетевых условий. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что обеспечивает постепенное согласование весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
OpenDiLoCo - это оптимизированный фреймворк для связи, разработанный командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, который реализован независимо и является открытым исходным кодом. Он предназначен для решения таких проблем, как ограниченная полоса пропускания, гетерогенные устройства и нестабильные узлы, часто встречающиеся в процессе децентрализованного обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на связь, связанных с глобальной синхронизацией, полагаясь только на соседние узлы для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая вовлеченность в глобальное кооперативное обучение и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, призванная решить проблемы адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает устойчивость сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной основы для создания действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал безразрешительную, проверяемую и экономически стимулирующую сетевую инфраструктуру, позволяющую любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Инициатор задачи: определение обучающей среды, начальной модели, функции награды и стандартов валидации
Тренировочный узел: выполнение локального обучения, отправка обновлений весов и наблюдательных траекторий
Узлы верификации: использование механизма TOPLOC для проверки подлинности поведения обучения и участия в расчете наград и агрегировании стратегий.
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегирование весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального обучения".
04, INTELLECT-2: Первый выпущенный проверяемый Децентрализация обучающий модель.
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире модель глубокого обучения, обученная с помощью асинхронных, доверительных децентрализованных узлов, с количеством параметров 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, используя полностью асинхронную архитектуру, время обучения составило более 400 часов, что продемонстрировало целесообразность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и является первым системным воплощением парадигмы "обучение равно консенсусу", предложенной Prime Intellect. INTELLECT-2 интегрирует такие ключевые модули протоколов, как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение децентрализованной сети обучения.
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
16 Лайков
Награда
16
4
Поделиться
комментарий
0/400
NestedFox
· 07-26 00:11
Снова встретились с устройственным маньяком.
Посмотреть ОригиналОтветить0
CryptoAdventurer
· 07-26 00:03
Смеюсь до смерти, покупайте падения, ИИ снова ударил по моему интеллекту.
Посмотреть ОригиналОтветить0
TrustlessMaximalist
· 07-26 00:01
Неужели это просто командная добыча ИИ?
Посмотреть ОригиналОтветить0
BridgeNomad
· 07-25 23:50
децентрализованное обучение rn = массовая единая точка отказа, если честно... мы уже видели этот фильм раньше с мостами
Децентрализация тренировки: Будущее парадигмы и исследования технологий AI моделей
Священный Грааль Crypto AI: передовые исследования децентрализованного обучения
В полной цепочке создания стоимости ИИ модельное обучение является этапом с наибольшими затратами ресурсов и наивысшими техническими барьерами, что напрямую определяет предельные возможности модели и фактическую эффективность её применения. В отличие от легковесных вызовов на этапе вывода, процесс обучения требует постоянного масштабного вычислительного ресурса, сложных процессов обработки данных и поддержки высокоинтенсивных оптимизационных алгоритмов, что является настоящей "тяжёлой промышленностью" в построении ИИ-систем. С точки зрения архитектурных парадигм методы обучения можно разделить на четыре категории: централизованное обучение, распределенное обучение, федеративное обучение и децентрализованное обучение, которое является основной темой данной статьи.
Централизованное обучение является наиболее распространенным традиционным методом, осуществляемым единственным учреждением на локальном высокопроизводительном кластере, где весь процесс обучения, от аппаратного обеспечения, базового программного обеспечения, системы планирования кластера до всех компонентов обучающего фреймворка, координируется единой управляющей системой. Эта архитектура глубокой кооперации обеспечивает оптимальную эффективность совместного использования памяти, синхронизации градиентов и механизмов отказоустойчивости, что делает ее особенно подходящей для обучения масштабных моделей, таких как GPT, Gemini, обладая высокой эффективностью и контролем ресурсов, но одновременно сталкивается с проблемами монополии данных, барьеров ресурсов, потребления энергии и рисков единой точки.
Распределённое обучение является основным методом обучения больших моделей в настоящее время, его суть заключается в разбиении задач обучения модели и распределении их между несколькими машинами для совместного выполнения, чтобы преодолеть ограничения вычислений и хранения на одном компьютере. Хотя физически он обладает "Децентрализация" характеристиками, в целом он по-прежнему контролируется и координируется централизованной организацией, часто работает в среде высокоскоростной локальной сети, используя технологии высокоскоростной межсоединительной шины NVLink, где главный узел координирует выполнение подзадач. Основные методы включают:
Распределённое обучение — это комбинация "централизованного управления + распределённого выполнения", аналогично тому, как один и тот же руководитель удаленно координирует работу сотрудников нескольких "офисов" для выполнения задач. В настоящее время почти все основные большие модели обучаются именно таким способом.
Децентрализация тренировки представляет собой более открытый и устойчивый к цензуре путь в будущее. Его ключевая особенность заключается в том, что несколько недоверяющих друг другу узлов совместно выполняют задачи тренировки без центрального координатора, обычно с помощью протоколов для распределения задач и сотрудничества, а также с использованием механизмов криптостимулирования для обеспечения честности вклада. Основные проблемы, с которыми сталкивается эта модель, включают:
Децентрализация тренировки может быть понята как: группа глобальных волонтеров, каждый из которых вносит вычислительную мощность для совместной тренировки модели, но "по-настоящему жизнеспособная крупномасштабная децентрализованная тренировка" все еще является системной инженерной задачей, затрагивающей архитектуру системы, коммуникационные протоколы, криптографическую безопасность, экономические механизмы, валидацию моделей и многие другие аспекты, но вопрос о том, может ли быть "совместная эффективность + стимулирование честности + правильность результатов" все еще находится на стадии раннего прототипирования.
Федеративное обучение, как переходная форма между распределенной и Децентрализацией, подчеркивает локальное хранение данных и централизованную агрегацию параметров модели, что подходит для сценариев, акцентирующих внимание на соблюдении конфиденциальности. Федеративное обучение обладает инженерной структурой распределенного обучения и локальными кооперативными возможностями, одновременно имея преимущества распределенных данных в Децентрализации, но все еще зависит от надежной координирующей стороны и не обладает полностью открытыми и антикоррупционными характеристиками. Это можно рассматривать как "контролируемую Децентрализацию" в сценариях соблюдения конфиденциальности, которая относительно мягкая в отношении задач обучения, доверительных структур и коммуникационных механизмов, более подходящая в качестве переходной архитектуры развертывания в промышленности.
Децентрализация тренировки: границы, возможности и реальные пути
С точки зрения парадигмы обучения, Децентрализация обучения не подходит для всех типов задач. В некоторых сценариях, из-за сложной структуры задачи, крайне высоких требований к ресурсам или больших трудностей в сотрудничестве, она естественно не подходит для эффективного выполнения на гетерогенных, децентрализованных узлах. Например, обучение больших моделей обычно зависит от высокой видеопамяти, низкой задержки и высокой пропускной способности, что затрудняет эффективное разделение и синхронизацию в открытых сетях; задачи с ограничениями по конфиденциальности данных и суверенитету ограничены правовыми и этическими нормами, что не позволяет открыто делиться; а задачи, лишенные основ сотрудничества, не имеют внешних стимулов для участия. Эти границы в совокупности составляют реальные ограничения на текущую Децентрализацию обучения.
Но это не означает, что Децентрализация тренировки является ложной гипотезой. На самом деле, в задачах с легкой структурой, легкой параллелизацией и возможностью стимуляции, Децентрализация тренировки демонстрирует четкие перспективы применения. Включая, но не ограничиваясь: тонкой настройкой LoRA, задачами постобучения с выравниванием поведения, задачами краудсорсинга для обучения и аннотирования данных, обучением небольших базовых моделей с контролируемыми ресурсами, а также сценарием кооперативного обучения с участием периферийных устройств. Эти задачи, как правило, обладают высокой параллельностью, низкой связанностью и устойчивостью к гетерогенной вычислительной мощности, что делает их очень подходящими для совместной тренировки через P2P сети, протокол Swarm, распределенные оптимизаторы и другие методы.
Децентрализация тренировки классических проектов
В настоящее время среди основных блокчейн-проектов в области Децентрализация обучения и федеративного обучения можно выделить Prime Intellect, Pluralis.ai, Gensyn, Nous Research и Flock.io. С точки зрения технической инновационности и сложности реализации, Prime Intellect, Nous Research и Pluralis.ai предложили множество оригинальных исследований в области системной архитектуры и алгоритмов, представляя передовые направления текущих теоретических исследований; в то время как пути реализации Gensyn и Flock.io относительно ясны, и мы можем видеть начальный прогресс в их инженерной реализации. В данной статье будут последовательно проанализированы ключевые технологии и инженерные архитектуры, стоящие за этими пятью проектами, а также будет дополнительно обсуждено их различие и взаимодополнение в рамках Децентрализация AI учебной системы.
Prime Intellect: Проверяемая по траектории тренировка усиленного обучения кооперативных сетей.
Prime Intellect стремится создать сеть обучения ИИ, не требующую доверия, чтобы каждый мог участвовать в обучении и получать надежные вознаграждения за свои вычислительные вклады. Prime Intellect надеется создать систему децентрализованного обучения ИИ с проверяемостью, открытостью и полным механизмом стимулов с помощью трех основных модулей: PRIME-RL + TOPLOC + SHARDCAST.
01、Структура и ключевые модули протокола Prime Intellect
02、Подробное объяснение ключевых механизмов тренировки Prime Intellect
#PRIME-RL: Архитектура задачи асинхронного обучения с подкреплением с разъединением
PRIME-RL является моделью задач и исполняющей рамкой, разработанной Prime Intellect для децентрализованных сценариев обучения, специально предназначенной для гетерогенных сетей и асинхронного участия. Она использует обучение с подкреплением в качестве приоритетного объекта адаптации, структурно разъединяя процессы обучения, вывода и загрузки весов, что позволяет каждому узлу обучения независимо выполнять цикл задач локально и сотрудничать через стандартизированные интерфейсы с механизмами верификации и агрегации. По сравнению с традиционными процессами обучения с учителем, PRIME-RL лучше подходит для реализации гибкого обучения в средах без центрального планирования, что снижает сложность системы и закладывает основу для поддержки параллельного выполнения множества задач и эволюции стратегий.
#TOPLOC:Легковесный механизм проверки поведения обучения
TOPLOC — это основная механика проверки обучаемости, предложенная Prime Intellect, которая используется для определения того, действительно ли узел завершил эффективное обучение стратегии на основе наблюдаемых данных. В отличие от тяжелых решений, таких как ZKML, TOPLOC не полагается на полные перерасчеты модели, а завершает верификацию легковесной структуры, анализируя локальные последовательности согласованности между "последовательностью наблюдений ↔ обновлением стратегии". Впервые он преобразует поведенческие траектории в процессе обучения в объекты, которые можно проверить, что является ключевым нововведением для достижения распределения вознаграждений за обучение без доверия, предоставляя жизнеспособный путь для создания可审计、可激励的 Децентрализация协作训练网络.
#SHARDCAST: Асинхронная агрегация и распространение веса
SHARDCAST — это протокол распространения и агрегации весов, разработанный Prime Intellect, оптимизированный для асинхронных, ограниченных по пропускной способности и с изменяющимся состоянием узлов реальных сетевых условий. Он сочетает в себе механизм распространения gossip и локальные стратегии синхронизации, позволяя нескольким узлам продолжать отправлять частичные обновления в состоянии несинхронности, что обеспечивает постепенное согласование весов и эволюцию нескольких версий. По сравнению с централизованными или синхронными методами AllReduce, SHARDCAST значительно повышает масштабируемость и отказоустойчивость децентрализованного обучения, являясь основой для построения стабильного консенсуса по весам и непрерывной итерации обучения.
#OpenDiLoCo: Разреженная асинхронная коммуникационная рамка
OpenDiLoCo - это оптимизированный фреймворк для связи, разработанный командой Prime Intellect на основе концепции DiLoCo, предложенной DeepMind, который реализован независимо и является открытым исходным кодом. Он предназначен для решения таких проблем, как ограниченная полоса пропускания, гетерогенные устройства и нестабильные узлы, часто встречающиеся в процессе децентрализованного обучения. Его архитектура основана на параллельной обработке данных и использует разреженные топологии, такие как Ring, Expander и Small-World, чтобы избежать высоких затрат на связь, связанных с глобальной синхронизацией, полагаясь только на соседние узлы для совместного обучения модели. В сочетании с асинхронным обновлением и механизмом восстановления после сбоев, OpenDiLoCo позволяет потребительским GPU и периферийным устройствам стабильно участвовать в задачах обучения, значительно повышая вовлеченность в глобальное кооперативное обучение и становясь одной из ключевых коммуникационных инфраструктур для построения децентрализованной сети обучения.
#PCCL:Библиотека совместной связи
PCCL — это легковесная библиотека связи, разработанная Prime Intellect для децентрализованной среды обучения ИИ, призванная решить проблемы адаптации традиционных библиотек связи в гетерогенных устройствах и сетях с низкой пропускной способностью. PCCL поддерживает разреженные топологии, сжатие градиентов, синхронизацию с низкой точностью и восстановление после сбоев, может работать на потребительских GPU и нестабильных узлах, являясь основным компонентом, поддерживающим асинхронные коммуникационные возможности протокола OpenDiLoCo. Она значительно повышает устойчивость сети к пропускной способности и совместимость устройств, прокладывая "последнюю милю" коммуникационной основы для создания действительно открытой, не требующей доверия сети совместного обучения.
03, Сеть стимулирования и ролевое подразделение Prime Intellect
Prime Intellect создал безразрешительную, проверяемую и экономически стимулирующую сетевую инфраструктуру, позволяющую любому участвовать в задачах и получать вознаграждение на основе реального вклада. Протокол функционирует на основе трех основных ролей:
Ядро процесса протокола включает в себя публикацию задач, обучение узлов, проверку траекторий, агрегирование весов и распределение вознаграждений, формируя замкнутый цикл стимулов вокруг "реального обучения".
04, INTELLECT-2: Первый выпущенный проверяемый Децентрализация обучающий модель.
Prime Intellect выпустила INTELLECT-2 в мае 2025 года, это первая в мире модель глубокого обучения, обученная с помощью асинхронных, доверительных децентрализованных узлов, с количеством параметров 32B. Модель INTELLECT-2 была обучена с помощью более 100 гетерогенных узлов GPU, расположенных на трех континентах, используя полностью асинхронную архитектуру, время обучения составило более 400 часов, что продемонстрировало целесообразность и стабильность асинхронной сети сотрудничества. Эта модель не только является прорывом в производительности, но и является первым системным воплощением парадигмы "обучение равно консенсусу", предложенной Prime Intellect. INTELLECT-2 интегрирует такие ключевые модули протоколов, как PRIME-RL, TOPLOC и SHARDCAST, что знаменует собой первое достижение децентрализованной сети обучения.