Il reste encore 10h pour l'événement Openledger sur Cookie ~
@cookiedotfun @OpenledgerHQ
J'ai été paresseux pendant longtemps, je n'ai cessé de publier sur Sapien, et finalement, le snapshot s'est fixé à plus de 80... Dans les dernières 10 heures, je vais encore parler d'Openledger.
Aujourd'hui, cet article parle de la sœur de Ha qui vient de terminer la documentation technique de @OpenledgerHQ, elle ne peut pas s'en empêcher. Je reconnais que ce cadre représente une avancée en termes d'efficacité de déploiement de l'IA, mais il lui reste encore un certain chemin à parcourir pour être considéré comme "révolutionnaire".
1. La réduction de l'utilisation de la mémoire de 40-50 Go à 8-12 Go est un point fort, en particulier pour les petites et moyennes entreprises. Cependant, ce qui n'est pas mentionné dans le document, c'est que cette optimisation dépend en grande partie des hacks des noyaux CUDA, et le coût de maintenance à long terme pourrait être très élevé. Vous avez probablement déjà vu des projets similaires, avec des indicateurs de performance époustouflants au départ, mais qui commencent à afficher toutes sortes d'erreurs OOM étranges trois mois plus tard.
Deux, temps de commutation du modèle <100 ms ? Dans un environnement de production réel, compte tenu des problèmes de latence réseau et de démarrage à froid, atteindre 200 ms est déjà un véritable soulagement. Les benchmarks dans le document ont tous été mesurés dans des conditions idéales, et je ne me trompe pas en disant qu'ils n'ont même pas inclus de données de tests de stress de base. Il reste à valider par la pratique s'il existe une référence pour les valeurs inférieures à 100 ms.
Troisième, le plan d'extension GPU est-il une promesse en l'air. La conception de la structure topologique de base n'a pas encore été publiée, il faut savoir que dans un environnement distribué, la synchronisation des adaptateurs LoRA sera un cauchemar. L'année dernière, un projet similaire a échoué à cause de cela, @KaitoAI devrait encore se souvenir de cette affaire.
Quatrième, le support des appareils périphériques est en effet une demande réelle. En voyant l'optimisation du Jetson Nano, j'ai été impressionné, car les solutions actuelles sur le marché sont soit trop lourdes, soit entraînent une trop grande perte de précision. Cependant, la technologie de quantification mentionnée dans le document, pour être honnête, n'est rien d'autre que le QAT ordinaire avec un nouveau nom, quelque chose que l'équipe @cookiedotfun a déjà utilisé il y a deux ans.
Cinq, en ce qui concerne la partie blockchain, ceux qui l'ont vue comprennent tous. La prise de décision par IA sur la chaîne semble magnifique, mais le document ne mentionne pas du tout comment résoudre les frais de gas. Une simple demande de raisonnement nécessite d'écrire des dizaines d'enregistrements sur la chaîne, qui peut supporter ce coût à long terme ? Il vaut mieux utiliser directement des journaux centralisés + des racines Merkle mises en chaîne régulièrement.
Bien sûr, ce n'est pas un rejet total. La conception de l'adaptateur à chargement dynamique est vraiment ingénieuse, en particulier l'idée de l'ajustement automatique zero-shot. Bien que le nom soit un peu enfantin, la voie technique est correcte. Si le problème de la fragmentation de la mémoire peut être résolu, cette fonctionnalité pourrait devenir un atout décisif !!!
Dans l'ensemble, il ne sera pas facile de transformer complètement le modèle de service AI comme le dit le livre blanc, cela ne se fera pas du jour au lendemain, je reste optimiste~
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Il reste encore 10h pour l'événement Openledger sur Cookie ~
@cookiedotfun @OpenledgerHQ
J'ai été paresseux pendant longtemps, je n'ai cessé de publier sur Sapien, et finalement, le snapshot s'est fixé à plus de 80... Dans les dernières 10 heures, je vais encore parler d'Openledger.
Aujourd'hui, cet article parle de la sœur de Ha qui vient de terminer la documentation technique de @OpenledgerHQ, elle ne peut pas s'en empêcher.
Je reconnais que ce cadre représente une avancée en termes d'efficacité de déploiement de l'IA, mais il lui reste encore un certain chemin à parcourir pour être considéré comme "révolutionnaire".
1. La réduction de l'utilisation de la mémoire de 40-50 Go à 8-12 Go est un point fort, en particulier pour les petites et moyennes entreprises.
Cependant, ce qui n'est pas mentionné dans le document, c'est que cette optimisation dépend en grande partie des hacks des noyaux CUDA, et le coût de maintenance à long terme pourrait être très élevé.
Vous avez probablement déjà vu des projets similaires, avec des indicateurs de performance époustouflants au départ, mais qui commencent à afficher toutes sortes d'erreurs OOM étranges trois mois plus tard.
Deux, temps de commutation du modèle <100 ms ?
Dans un environnement de production réel, compte tenu des problèmes de latence réseau et de démarrage à froid, atteindre 200 ms est déjà un véritable soulagement.
Les benchmarks dans le document ont tous été mesurés dans des conditions idéales, et je ne me trompe pas en disant qu'ils n'ont même pas inclus de données de tests de stress de base. Il reste à valider par la pratique s'il existe une référence pour les valeurs inférieures à 100 ms.
Troisième, le plan d'extension GPU est-il une promesse en l'air.
La conception de la structure topologique de base n'a pas encore été publiée, il faut savoir que dans un environnement distribué, la synchronisation des adaptateurs LoRA sera un cauchemar.
L'année dernière, un projet similaire a échoué à cause de cela, @KaitoAI devrait encore se souvenir de cette affaire.
Quatrième, le support des appareils périphériques est en effet une demande réelle.
En voyant l'optimisation du Jetson Nano, j'ai été impressionné, car les solutions actuelles sur le marché sont soit trop lourdes, soit entraînent une trop grande perte de précision.
Cependant, la technologie de quantification mentionnée dans le document, pour être honnête, n'est rien d'autre que le QAT ordinaire avec un nouveau nom, quelque chose que l'équipe @cookiedotfun a déjà utilisé il y a deux ans.
Cinq, en ce qui concerne la partie blockchain, ceux qui l'ont vue comprennent tous.
La prise de décision par IA sur la chaîne semble magnifique, mais le document ne mentionne pas du tout comment résoudre les frais de gas. Une simple demande de raisonnement nécessite d'écrire des dizaines d'enregistrements sur la chaîne, qui peut supporter ce coût à long terme ?
Il vaut mieux utiliser directement des journaux centralisés + des racines Merkle mises en chaîne régulièrement.
Bien sûr, ce n'est pas un rejet total.
La conception de l'adaptateur à chargement dynamique est vraiment ingénieuse, en particulier l'idée de l'ajustement automatique zero-shot. Bien que le nom soit un peu enfantin, la voie technique est correcte.
Si le problème de la fragmentation de la mémoire peut être résolu, cette fonctionnalité pourrait devenir un atout décisif !!!
Dans l'ensemble, il ne sera pas facile de transformer complètement le modèle de service AI comme le dit le livre blanc, cela ne se fera pas du jour au lendemain, je reste optimiste~
#Openledger