لا يزال هناك 10 ساعات متبقية من فعالية Openledger هذه على Cookie ~
@cookiedotfun @OpenledgerHQ
كنت كسولًا لفترة طويلة، وكنت دائمًا أرسل Sapien، وأخيرًا تم تثبيت اللقطة عند أكثر من 80 اسمًا... وأخيرًا قبل 10 ساعات، سأكتب مقالة عن Openledger.
اليوم سأتحدث عن هامي التي انتهت للتو من قراءة الوثائق الفنية لـ @OpenledgerHQ، لا أستطيع كتمان مشاعري. أعترف أن هذا الإطار يعتبر突破ًا في كفاءة نشر الذكاء الاصطناعي، ولكن إذا كان "ثوريًا" فلا يزال هناك بعض المسافة.
1. انخفاض استهلاك الذاكرة من 40-50 جيجا بايت إلى 8-12 جيجا بايت هو نقطة بارزة، خاصة بالنسبة للشركات الصغيرة والمتوسطة. ومع ذلك، لم يتم ذكر في الوثيقة أن هذا التحسين يعتمد بشكل كبير على اختراق نواة CUDA، وقد تكون تكلفة الصيانة طويلة الأجل مرتفعة. يجب أنكم قد رأيتم مشاريع مشابهة في العادة، حيث تكون مؤشرات الأداء في المراحل الأولية مذهلة، وبعد ثلاثة أشهر تبدأ ظهور أخطاء OOM الغريبة.
ثانياً، هل زمن تبديل النموذج أقل من 100 مللي ثانية؟ في بيئة الإنتاج الفعلية، وبالنظر إلى تأخير الشبكة ومشكلة بدء التشغيل البارد، فإن الوصول إلى 200 مللي ثانية هو بالفعل نعمة. البيانات الموجودة في الوثيقة كلها تم قياسها في بيئة مثالية، وإذا لم أخطئ، لم يتم تضمين حتى بيانات اختبار الضغط الأساسية. لا يزال من الضروري التحقق عمليًا من وجود خط مرجعي أقل من 100 مللي ثانية.
ثالثًا، هل خطة توسيع GPU مجرد وعود فارغة. لم يتم الإعلان عن تصميم الهيكل الطوبولوجي الأساسي حتى الآن، يجب أن نعلم أن مزامنة محولات LoRA في بيئة موزعة ستكون كابوسًا. مشروع مشابه حدث العام الماضي قد فشل بسبب هذا، يجب أن يتذكر @KaitoAI تلك المسألة.
رابعًا، دعم الأجهزة الطرفية هو حقًا طلب. عندما رأيت تحسين Jetson Nano ، أضاءت أمامي ، بعد كل شيء ، الحلول المتاحة في السوق إما ثقيلة للغاية أو تفقد دقة كبيرة. ومع ذلك، فإن التقنية الكمية المذكورة في الوثيقة، بصراحة، هي مجرد QAT عادية تم تغيير اسمها، وكانت فريق @cookiedotfun قد لعب بها قبل عامين.
خامساً، بالنسبة لجزء سلسلة الكتل، الذين شاهدوا ذلك يعرفون جميعاً. إن قرار الذكاء الاصطناعي بالتحويل إلى السلسلة يبدو جميلاً، لكن الوثائق لم تتناول تمامًا كيفية حل رسوم الغاز. طلب استدلال بسيط يتطلب كتابة عشرات السجلات على السلسلة، من سيتحمل هذه التكاليف على المدى الطويل؟ ليس من الأفضل استخدام سجلات مركزية + ربط جذر ميركل بشكل دوري.
بالطبع ليست نفيًا كاملًا. تصميم محول التحميل الديناميكي ذكي حقًا، خاصة فكرة الضبط التلقائي بدون بيانات (zero-shot)، على الرغم من أن الاسم يبدو غريبًا بعض الشيء، إلا أن المسار التقني صحيح. إذا تمكنا من حل مشكلة تجزئة الذاكرة، يمكن أن تصبح هذه الميزة سلاحاً فتاكاً!!!
بشكل عام، ليس من السهل تحقيق تغيير جذري في نموذج خدمات الذكاء الاصطناعي كما ورد في الوثيقة البيضاء، ولكن من المهم أن نظل متفائلين.
قد تحتوي هذه الصفحة على محتوى من جهات خارجية، يتم تقديمه لأغراض إعلامية فقط (وليس كإقرارات/ضمانات)، ولا ينبغي اعتباره موافقة على آرائه من قبل Gate، ولا بمثابة نصيحة مالية أو مهنية. انظر إلى إخلاء المسؤولية للحصول على التفاصيل.
لا يزال هناك 10 ساعات متبقية من فعالية Openledger هذه على Cookie ~
@cookiedotfun @OpenledgerHQ
كنت كسولًا لفترة طويلة، وكنت دائمًا أرسل Sapien، وأخيرًا تم تثبيت اللقطة عند أكثر من 80 اسمًا... وأخيرًا قبل 10 ساعات، سأكتب مقالة عن Openledger.
اليوم سأتحدث عن هامي التي انتهت للتو من قراءة الوثائق الفنية لـ @OpenledgerHQ، لا أستطيع كتمان مشاعري.
أعترف أن هذا الإطار يعتبر突破ًا في كفاءة نشر الذكاء الاصطناعي، ولكن إذا كان "ثوريًا" فلا يزال هناك بعض المسافة.
1. انخفاض استهلاك الذاكرة من 40-50 جيجا بايت إلى 8-12 جيجا بايت هو نقطة بارزة، خاصة بالنسبة للشركات الصغيرة والمتوسطة.
ومع ذلك، لم يتم ذكر في الوثيقة أن هذا التحسين يعتمد بشكل كبير على اختراق نواة CUDA، وقد تكون تكلفة الصيانة طويلة الأجل مرتفعة.
يجب أنكم قد رأيتم مشاريع مشابهة في العادة، حيث تكون مؤشرات الأداء في المراحل الأولية مذهلة، وبعد ثلاثة أشهر تبدأ ظهور أخطاء OOM الغريبة.
ثانياً، هل زمن تبديل النموذج أقل من 100 مللي ثانية؟
في بيئة الإنتاج الفعلية، وبالنظر إلى تأخير الشبكة ومشكلة بدء التشغيل البارد، فإن الوصول إلى 200 مللي ثانية هو بالفعل نعمة.
البيانات الموجودة في الوثيقة كلها تم قياسها في بيئة مثالية، وإذا لم أخطئ، لم يتم تضمين حتى بيانات اختبار الضغط الأساسية. لا يزال من الضروري التحقق عمليًا من وجود خط مرجعي أقل من 100 مللي ثانية.
ثالثًا، هل خطة توسيع GPU مجرد وعود فارغة.
لم يتم الإعلان عن تصميم الهيكل الطوبولوجي الأساسي حتى الآن، يجب أن نعلم أن مزامنة محولات LoRA في بيئة موزعة ستكون كابوسًا.
مشروع مشابه حدث العام الماضي قد فشل بسبب هذا، يجب أن يتذكر @KaitoAI تلك المسألة.
رابعًا، دعم الأجهزة الطرفية هو حقًا طلب.
عندما رأيت تحسين Jetson Nano ، أضاءت أمامي ، بعد كل شيء ، الحلول المتاحة في السوق إما ثقيلة للغاية أو تفقد دقة كبيرة.
ومع ذلك، فإن التقنية الكمية المذكورة في الوثيقة، بصراحة، هي مجرد QAT عادية تم تغيير اسمها، وكانت فريق @cookiedotfun قد لعب بها قبل عامين.
خامساً، بالنسبة لجزء سلسلة الكتل، الذين شاهدوا ذلك يعرفون جميعاً.
إن قرار الذكاء الاصطناعي بالتحويل إلى السلسلة يبدو جميلاً، لكن الوثائق لم تتناول تمامًا كيفية حل رسوم الغاز. طلب استدلال بسيط يتطلب كتابة عشرات السجلات على السلسلة، من سيتحمل هذه التكاليف على المدى الطويل؟
ليس من الأفضل استخدام سجلات مركزية + ربط جذر ميركل بشكل دوري.
بالطبع ليست نفيًا كاملًا.
تصميم محول التحميل الديناميكي ذكي حقًا، خاصة فكرة الضبط التلقائي بدون بيانات (zero-shot)، على الرغم من أن الاسم يبدو غريبًا بعض الشيء، إلا أن المسار التقني صحيح.
إذا تمكنا من حل مشكلة تجزئة الذاكرة، يمكن أن تصبح هذه الميزة سلاحاً فتاكاً!!!
بشكل عام، ليس من السهل تحقيق تغيير جذري في نموذج خدمات الذكاء الاصطناعي كما ورد في الوثيقة البيضاء، ولكن من المهم أن نظل متفائلين.
#Openledger