Di Cookie, acara Openledger untuk sesi ini masih tersisa 10 jam terakhir ~

@cookiedotfun @OpenledgerHQ

Sebelumnya saya malas cukup lama, terus-menerus mengeluarkan Sapien, akhirnya snapshot terhenti di lebih dari 80 orang... Terakhir dalam 10 jam lagi saya akan membahas Openledger.

Hari ini saya ingin berbicara tentang Ha Mei yang baru saja selesai membaca dokumen teknis dari @OpenledgerHQ, saya tidak bisa menahan diri.
Kerangka ini memang bisa dianggap memiliki terobosan dalam efisiensi penerapan AI, tetapi jika dikatakan "revolusioner" masih ada jarak.

Satu, pengurangan penggunaan memori dari 40-50 GB menjadi 8-12 GB adalah hal yang menarik, terutama bagi perusahaan kecil dan menengah.
Namun, yang tidak disebutkan dalam dokumen adalah bahwa optimasi ini sangat bergantung pada hack inti CUDA, yang mungkin memiliki biaya pemeliharaan jangka panjang yang tinggi.
Kita semua seharusnya sudah pernah melihat proyek serupa, dengan metrik kinerja yang mengesankan di awal, tetapi setelah tiga bulan mulai muncul berbagai kesalahan OOM yang aneh.

Dua, waktu peralihan model <100 ms?
Dalam lingkungan produksi yang sebenarnya, mengingat masalah latensi jaringan dan cold start, mencapai 200 ms sudah merupakan berkah.
Benchmark yang ada di dokumen tersebut diukur dalam lingkungan ideal, dan sepertinya tidak ada data pengujian tekanan dasar yang disertakan. Apakah di bawah 100ms ada garis acuan masih perlu divalidasi melalui praktik.

Tiga, apakah solusi ekspansi GPU hanya janji kosong.
Desain topologi dasar belum diumumkan untuk saat ini, perlu diketahui bahwa dalam lingkungan terdistribusi, sinkronisasi adapter LoRA akan menjadi mimpi buruk.
Tahun lalu ada proyek serupa yang mati di sini, @KaitoAI seharusnya masih ingat tentang itu.

Empat, dukungan perangkat tepi memang merupakan kebutuhan yang nyata.
Melihat optimasi Jetson Nano membuat saya terkesan, karena saat ini solusi yang ada di pasar baik terlalu berat atau kehilangan akurasi terlalu besar.
Namun, teknologi kuantifikasi yang disebutkan dalam dokumen, sejujurnya adalah QAT biasa yang hanya diganti namanya, barang yang sudah dimainkan oleh tim @cookiedotfun dua tahun yang lalu.

Lima, tentang bagian blockchain, orang yang sudah melihatnya pasti mengerti.
Keputusan AI yang diunggah ke blockchain terdengar indah, tetapi dokumen tersebut sama sekali tidak menyebutkan bagaimana biaya gas akan diselesaikan. Satu permintaan inferensi sederhana memerlukan puluhan catatan di blockchain, siapa yang dapat bertahan dengan biaya ini dalam jangka panjang?
Lebih baik menggunakan log terpusat + root Merkle yang diunggah secara berkala.

Tentu saja itu juga bukan penolakan total.
Desain adaptor yang dimuat secara dinamis memang cerdik, terutama gagasan zero-shot fine-tuning, meskipun namanya terdengar aneh, tetapi jalur teknologinya benar.
Jika masalah fragmentasi memori dapat diatasi, fitur ini bisa menjadi senjata pamungkas!!!

Secara keseluruhan, untuk benar-benar mengubah model layanan AI seperti yang disebutkan dalam white paper, itu tidak bisa dilakukan dalam sekejap, tetap optimis~

#Openledger