Trên Cookie, sự kiện của Openledger còn lại 10h cuối cùng ~
@cookiedotfun @OpenledgerHQ
Trước đây đã lười rất lâu, chỉ phát Sapien, cuối cùng chốt ảnh ở vị trí hơn 80... Cuối cùng 10h lại nói một bài về Openledger.
Hôm nay bài viết này nói về việc Hạ Muội vừa mới đọc xong tài liệu kỹ thuật của @OpenledgerHQ, không thể không chia sẻ. Khung này tôi công nhận có sự đột phá về hiệu suất triển khai AI, nhưng nếu nói là "cách mạng" thì vẫn còn một khoảng cách.
Một điểm nổi bật là việc giảm mức sử dụng bộ nhớ từ 40-50 GB xuống còn 8-12 GB, đặc biệt là đối với các doanh nghiệp vừa và nhỏ. Tuy nhiên, tài liệu không đề cập rằng, việc tối ưu hóa này phần lớn phụ thuộc vào hack của kernel CUDA, chi phí bảo trì lâu dài có thể sẽ rất cao. Mọi người chắc hẳn đã thấy những dự án tương tự, chỉ số hiệu suất ban đầu rất ấn tượng, nhưng sau ba tháng bắt đầu xuất hiện đủ loại lỗi OOM kỳ lạ.
Hai, thời gian chuyển đổi mô hình <100 ms? Trong môi trường sản xuất thực tế, khi xem xét độ trễ mạng và vấn đề khởi động lạnh, đạt được 200 ms đã là quá tốt. Các benchmark trong tài liệu đều được đo trong môi trường lý tưởng, không sai thì thậm chí dữ liệu kiểm tra áp lực cơ bản cũng không có. Điểm này dưới 100ms có tham khảo nào không thì cần phải xác thực qua thực tiễn.
Ba, giải pháp mở rộng GPU có phải là vẽ bánh không. Thiết kế cấu trúc topo cơ bản tạm thời chưa được công bố, cần biết rằng trong môi trường phân tán, việc đồng bộ hóa của bộ chuyển đổi LoRA sẽ là một cơn ác mộng. Năm ngoái có một dự án tương tự đã chết vì điều này, @KaitoAI chắc hẳn vẫn nhớ chuyện đó.
Bốn, việc hỗ trợ thiết bị biên thực sự là nhu cầu. Khi nhìn thấy sự tối ưu hóa của Jetson Nano, tôi đã bị thu hút ngay lập tức, vì hiện tại các giải pháp trên thị trường đều quá nặng hoặc mất quá nhiều độ chính xác. Tuy nhiên, công nghệ định lượng được đề cập trong tài liệu, nói thật thì chỉ là QAT bình thường đổi tên, thứ mà đội ngũ @cookiedotfun đã chơi cách đây hai năm.
Năm, nói về phần blockchain, những người đã xem qua đều hiểu. AI quyết định lên chuỗi nghe có vẻ đẹp, nhưng tài liệu hoàn toàn không đề cập đến việc giải quyết phí gas như thế nào. Một yêu cầu suy diễn đơn giản cần phải viết hàng chục bản ghi lên chuỗi, ai có thể chịu đựng được chi phí này lâu dài? Không bằng cách sử dụng nhật ký tập trung + định kỳ đưa Merkle root lên chuỗi.
Tất nhiên cũng không phải hoàn toàn phủ định. Thiết kế của bộ điều hợp tải động thực sự rất tinh vi, đặc biệt là ý tưởng tự động tinh chỉnh zero-shot, mặc dù tên gọi có vẻ hơi trẻ con, nhưng hướng công nghệ là đúng. Nếu có thể giải quyết vấn đề phân mảnh bộ nhớ, tính năng này có thể trở thành vũ khí bí mật!!!
Tổng thể mà nói, để thay đổi hoàn toàn mô hình dịch vụ AI như trong sách trắng đã nói, cũng không phải là điều có thể đạt được ngay lập tức, vẫn tiếp tục lạc quan~
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Trên Cookie, sự kiện của Openledger còn lại 10h cuối cùng ~
@cookiedotfun @OpenledgerHQ
Trước đây đã lười rất lâu, chỉ phát Sapien, cuối cùng chốt ảnh ở vị trí hơn 80... Cuối cùng 10h lại nói một bài về Openledger.
Hôm nay bài viết này nói về việc Hạ Muội vừa mới đọc xong tài liệu kỹ thuật của @OpenledgerHQ, không thể không chia sẻ.
Khung này tôi công nhận có sự đột phá về hiệu suất triển khai AI, nhưng nếu nói là "cách mạng" thì vẫn còn một khoảng cách.
Một điểm nổi bật là việc giảm mức sử dụng bộ nhớ từ 40-50 GB xuống còn 8-12 GB, đặc biệt là đối với các doanh nghiệp vừa và nhỏ.
Tuy nhiên, tài liệu không đề cập rằng, việc tối ưu hóa này phần lớn phụ thuộc vào hack của kernel CUDA, chi phí bảo trì lâu dài có thể sẽ rất cao.
Mọi người chắc hẳn đã thấy những dự án tương tự, chỉ số hiệu suất ban đầu rất ấn tượng, nhưng sau ba tháng bắt đầu xuất hiện đủ loại lỗi OOM kỳ lạ.
Hai, thời gian chuyển đổi mô hình <100 ms?
Trong môi trường sản xuất thực tế, khi xem xét độ trễ mạng và vấn đề khởi động lạnh, đạt được 200 ms đã là quá tốt.
Các benchmark trong tài liệu đều được đo trong môi trường lý tưởng, không sai thì thậm chí dữ liệu kiểm tra áp lực cơ bản cũng không có. Điểm này dưới 100ms có tham khảo nào không thì cần phải xác thực qua thực tiễn.
Ba, giải pháp mở rộng GPU có phải là vẽ bánh không.
Thiết kế cấu trúc topo cơ bản tạm thời chưa được công bố, cần biết rằng trong môi trường phân tán, việc đồng bộ hóa của bộ chuyển đổi LoRA sẽ là một cơn ác mộng.
Năm ngoái có một dự án tương tự đã chết vì điều này, @KaitoAI chắc hẳn vẫn nhớ chuyện đó.
Bốn, việc hỗ trợ thiết bị biên thực sự là nhu cầu.
Khi nhìn thấy sự tối ưu hóa của Jetson Nano, tôi đã bị thu hút ngay lập tức, vì hiện tại các giải pháp trên thị trường đều quá nặng hoặc mất quá nhiều độ chính xác.
Tuy nhiên, công nghệ định lượng được đề cập trong tài liệu, nói thật thì chỉ là QAT bình thường đổi tên, thứ mà đội ngũ @cookiedotfun đã chơi cách đây hai năm.
Năm, nói về phần blockchain, những người đã xem qua đều hiểu.
AI quyết định lên chuỗi nghe có vẻ đẹp, nhưng tài liệu hoàn toàn không đề cập đến việc giải quyết phí gas như thế nào. Một yêu cầu suy diễn đơn giản cần phải viết hàng chục bản ghi lên chuỗi, ai có thể chịu đựng được chi phí này lâu dài?
Không bằng cách sử dụng nhật ký tập trung + định kỳ đưa Merkle root lên chuỗi.
Tất nhiên cũng không phải hoàn toàn phủ định.
Thiết kế của bộ điều hợp tải động thực sự rất tinh vi, đặc biệt là ý tưởng tự động tinh chỉnh zero-shot, mặc dù tên gọi có vẻ hơi trẻ con, nhưng hướng công nghệ là đúng.
Nếu có thể giải quyết vấn đề phân mảnh bộ nhớ, tính năng này có thể trở thành vũ khí bí mật!!!
Tổng thể mà nói, để thay đổi hoàn toàn mô hình dịch vụ AI như trong sách trắng đã nói, cũng không phải là điều có thể đạt được ngay lập tức, vẫn tiếp tục lạc quan~
#Openledger