На Cookie залишилося останні 10 годин акції Openledger.

@cookiedotfun @OpenledgerHQ

Раніше я довго ледарював, постійно публікував Sapien, врешті-решт момент зупинився на понад 80-му місці... В останні 10 годин ще раз напишу про Openledger.

Сьогодні ця стаття присвячена тому, що Ха Мей щойно переглянула технічну документацію @OpenledgerHQ і не може стримати свої емоції.
Ця рамка, на мою думку, справді досягла прориву в ефективності впровадження ШІ, але якщо говорити про «революційність», то ще є деяка відстань.

По-перше, зменшення використання пам'яті з 40-50 ГБ до 8-12 ГБ є важливим моментом, особливо для малих і середніх підприємств.
Проте в документації не згадується, що ця оптимізація значною мірою залежить від хака CUDA ядра, тому довгострокові витрати на обслуговування можуть бути досить високими.
Всі ви, напевно, бачили подібні проекти, у яких на початку вражаючі показники продуктивності, а через три місяці починаються різні дивні помилки OOM.

Два, час перемикання моделі <100 мс ?
У реальному виробничому середовищі, враховуючи затримку мережі та проблеми холодного старту, досягнення 200 мс вже є благословенням.
Ті бенчмарки в документі були проведені в ідеальних умовах, якщо я не помиляюся, навіть основні дані стрес-тестування не були представлені. Наявність порогу менше 100 мс ще потрібно перевірити на практиці.

Третє, чи є розширення GPU просто мрією.
Основний дизайн топології наразі не оприлюднений, слід знати, що в розподіленому середовищі синхронізація адаптера LoRA буде справжнім кошмаром.
Минулого року був подібний проект, який загинув через це, @KaitoAI, мабуть, ще пам'ятає цю справу.

Четверте, підтримка периферійних пристроїв дійсно є вимогою.
Коли я побачив оптимізацію Jetson Nano, я був вражений, адже нинішні рішення на ринку або занадто важкі, або мають занадто великі втрати точності.
Проте технології, згадані в документі, якщо чесно, це звичайний QAT, який просто змінив назву, те, чим команда @cookiedotfun займалася два роки тому.

П’ять, що стосується частини блокчейна, ті, хто бачив, розуміють.
Виглядає красиво, коли AI рішення переходять на блокчейн, але в документації зовсім не згадується, як вирішується питання з gas-коштом. Один простий запит на висновок потребує написання десятків записів в блокчейні, хто зможе витримати такі витрати в довгостроковій перспективі?
Краще використовувати централізований журнал + періодичне записування кореня Меркла в блокчейн.

Звичайно, це не зовсім заперечення.
Дизайн динамічного завантаження адаптерів дійсно вражаючий, особливо концепція автоматичного доопрацювання без навчання (zero-shot), хоча назва звучить трохи дивно, але технічний шлях правильний.
Якщо вдасться вирішити проблему фрагментації пам'яті, ця функція може стати справжньою перевагою!!!

В цілому, щоб радикально змінити модель послуг ШІ, як сказано в білому папері, це не можна зробити миттєво, потрібно постійно підтримувати~

#Openledger