Cookie üzerindeki Openledger bu etkinliğin son 10 saati kaldı ~

@cookiedotfun @OpenledgerHQ

Uzun süre tembellik yaptım, sürekli Sapien paylaşıyordum, en sonunda snapshot 80'den fazla kişiyle sabitlendi... Son 10 saatte bir Openledger daha paylaşacağım.

Bugün bu yazıda, Hamei'nin @OpenledgerHQ'nin teknik belgelerini bitirdiğini ve düşüncelerini paylaşmak istediğini anlatacağım.
Bu çerçevenin AI dağıtım verimliliğinde bir atılım olduğunu kabul ediyorum, ancak "devrim niteliğinde" olması için biraz mesafe var.

Bir, bellek kullanımı 40-50 GB'dan 8-12 GB'ye düşmesi, özellikle küçük ve orta ölçekli işletmeler için bir avantajdır.
Ancak belgede belirtilmeyen şey, bu tür bir optimizasyonun büyük ölçüde CUDA çekirdek hack'lerine bağımlı olduğu ve uzun vadeli bakım maliyetinin oldukça yüksek olabileceğidir.
Herkesin zaman zaman benzer projelere tanık olduğunu düşünüyorum, başlangıçta performans ölçütleri etkileyici, üç ay sonra çeşitli garip OOM hataları başlıyor.

İki, model geçiş süresi <100 ms mi?
Gerçek üretim ortamında, ağ gecikmesi ve soğuk başlatma sorunları göz önüne alındığında, 200 ms'ye ulaşmak şükredilecek bir durumdur.
Belgede bulunan o benchmark'lar ideal koşullar altında ölçülmüştür, yanlış hatırlamıyorsam temel stres testi verileri bile yok. 100ms'den az olup olmadığına dair referans çizgisi, pratikle doğrulanması gereken bir noktadır.

Üçüncüsü, GPU genişletme planı bir hayal mi?
Temel topoloji tasarımı henüz açıklanmadı, dağıtık bir ortamda LoRA adaptörlerinin senkronizasyonunun bir kabus olacağını bilmek gerekir.
Geçen yıl benzer bir proje bunun üzerine ölmüştü, @KaitoAI muhtemelen o olayı hala hatırlıyordur.

Dördüncüsü, kenar cihazlarının desteği gerçekten bir ihtiyaç.
Jetson Nano'nun optimizasyonunu görünce gözlerim parladı, sonuçta piyasadaki çözümler ya çok ağır ya da hassasiyet kaybı çok fazla.
Ama belgede bahsedilen niceliksel teknoloji, dürüst olmak gerekirse, sıradan QAT'nın sadece isminin değişmiş hali; @cookiedotfun ekibi iki yıl önce bununla oynamıştı.

Beş, blockchain kısmına geldiğimizde, görenler anlar.
Yapay zeka kararlarının blockchain'e geçirilmesi güzel bir fikir gibi görünüyor, ancak belgelerde gaz ücretlerinin nasıl çözüleceği hakkında hiç bir şey belirtilmemiş. Basit bir akıl yürütme isteği için onca zincir kaydının yazılması gerekiyor, bu maliyeti uzun vadede kim karşılayabilir?
Merkezi bir günlük + belirli aralıklarla Merkle kökünü zincire eklemek daha pratik olur.

Elbette tamamen reddetmek de değil.
Dinamik yükleme adaptörünün tasarımı gerçekten zekice, özellikle de o zero-shot otomatik ince ayar fikri, ismi biraz garip olsa da teknik yolu doğru.
Eğer bellek parçalanma sorununu çözebilirsek, bu özellik bir silah haline gelebilir!!!

Genel olarak, beyaz kitabın söylediği gibi AI hizmet modelini tamamen değiştirmek kolay değil, sürekli umutlu kalmalıyız~

#Openledger