На Cookie осталось всего 10 часов для участия в акции Openledger.

@cookiedotfun @OpenledgerHQ

Раньше я долго ленился, постоянно публиковал Sapien, в итоге зафиксировался на более чем 80-м месте... Последние 10 часов снова напишу статью про Openledger.

Сегодня я хочу рассказать о том, что Ха Мэй только что прочитала техническую документацию @OpenledgerHQ, и не могу не поделиться своими впечатлениями.
Этот фреймворк, я признаю, действительно достиг прорыва в эффективности развертывания ИИ, но до «революционного» еще далеко.

1. Снижение использования памяти с 40-50 ГБ до 8-12 ГБ является значительным преимуществом, особенно для малых и средних предприятий.
Однако в документации не упоминается, что такая оптимизация в значительной степени зависит от хака ядра CUDA, и долгосрочные затраты на обслуживание могут быть весьма высокими.
Все, вероятно, сталкивались с подобными проектами, которые на начальном этапе удивляют своими показателями производительности, но через три месяца начинают возникать всякие странные ошибки OOM.

Время переключения модели <100 мс?
В реальных производственных условиях, учитывая задержку сети и проблемы холодного старта, достижение 200 мс уже является благословением.
В документах все эти бенчмарки проводились в идеальных условиях, и, если я не ошибаюсь, даже базовые данные стресс-тестов не были представлены. По поводу того, есть ли контрольные линии менее 100 мс, это еще нужно проверить на практике.

Третье, является ли расширение GPU пустой болтовней.
Основной дизайн топологической структуры пока не обнародован, нужно понимать, что в распределенной среде синхронизация адаптеров LoRA станет настоящим кошмаром.
В прошлом году был похожий проект, который провалился из-за этого, @KaitoAI, должно быть, помнит об этом.

Четыре, поддержка периферийных устройств действительно является необходимостью.
Когда я увидел оптимизацию Jetson Nano, я был впечатлён, ведь сейчас на рынке предлагаемые решения либо слишком тяжелые, либо имеют слишком большую потерю в точности.
Но упомянутые в документации технологии квантования, честно говоря, просто обычный QAT, только под другим названием, с которым команда @cookiedotfun уже играла два года назад.

Пять, кто видел часть блокчейна, тот понимает.
AI-решения на блокчейне звучат прекрасно, но в документации совершенно не упоминается, как решать вопрос с gas-расходами. Один простой запрос на вывод требует написания десятков записей в блокчейне, кто сможет выдержать такие затраты в долгосрочной перспективе?
Лучше сразу использовать централизованный журнал + периодическую Merkle root на блокчейне.

Конечно, это не полное отрицание.
Дизайн динамически загружаемых адаптеров действительно умен, особенно идея автоматической донастройки zero-shot; хотя название звучит немного по-детски, технический путь верный.
Если удастся решить проблему фрагментации памяти, эта функция может стать козырем!!!

В целом, чтобы полностью изменить модель обслуживания AI, как говорится в белой книге, это не произойдет в одночасье, но я продолжаю быть оптимистичным~

#Openledger