Graphcore et Aleph Alpha créent une nouvelle technique d'IA

Graphcore et Aleph Alpha présentent un modèle d’IA à 80 % sparsifié

Graphcore et notre partenaire Aleph Alpha sont fiers de présenter une avancée conséquente en termes d’efficacité de calcul d’IA avec la sparsification d’un modèle à 13 milliards de paramètres, permettant d’obtenir un modèle à seulement 2,6 milliards de paramètres.

Cette technique avancée, grâce à laquelle il est possible de supprimer environ 80 % des poids du modèle tout en conservant la plupart de ses capacités, se sert de l’IPU pour les multiplications de matrices à points clairsemées (une caractéristique propre à son architecture conçue pour l’IA).
Les deux entreprises ont présenté une variante sparsifiée du Luminous Chatbot d’Aleph Alpha à la conférence SC22 au Texas.
Celle-ci n’utilise que 20 % des FLOPS de traitement et 44 % de la mémoire de son équivalent dense.
Et surtout, ses 2,6 milliards de paramètres peuvent être entièrement stockés dans la mémoire intégrée ultra haute vitesse d’un IPU-POD16 Classic, ce qui permet d’optimiser les performances.

Élagage des paramètres

La plupart des applications d’IA s’appuient encore sur des modèles denses dans lesquels tous les paramètres bénéficient d’une représentation et de calculs égaux, qu’ils contribuent ou non au comportement du modèle. Par conséquent, des ressources précieuses (temps, mémoire) sont consacrées au stockage et à la réalisation de calculs sur des paramètres inutiles.
Aleph Alpha et Graphcore ont été en mesure d’en « élaguer » les 80 % les moins pertinents et de ré-entraîner le modèle Luminous uniquement grâce aux poids les plus importants (représentés à l’aide du format CSR, ou Compressed Sparse Row).
La quantité de FLOPS de calcul nécessaire pour l’inférence correspond à 20 % de celle du modèle dense. L’utilisation de la mémoire a été réduite à 44 % car de l’espace supplémentaire est requis pour stocker les informations de valeur et d’emplacement liées aux paramètres non nuls restants.
En outre, le modèle sparsifié consomme 38 % moins d’énergie que son homologue dense.

Efficacité optimale

La sparsification est considérée comme une contre-mesure essentielle à la croissance exponentielle de la taille et de la demande en calcul des modèles d’IA.
Un grand nombre d’avancées liées aux capacités des modèles (langage, vision, multimodalité) découlent de cette croissance. Cependant, les calculs liés à l’entraînement se multiplient tellement (le nombre de paramètres au carré, environ) que les coûts s’envolent et que la viabilité des solutions d’IA en évolution constantes est remise en question. La prochaine génération de modèles présentera des capacités encore plus avancées, faisant de la sparsification une étape primordiale, permettant de créer des sous-modèles hautement spécialisés pour mieux tirer parti des connaissances.
Grâce à de techniques telles que la sparsité approximative ou la sélectivité, il est possible de profiter d’avancées rapides et continues, et d’une croissance durable et linéaire des calculs.
Une telle réduction des besoins en calcul de l’IA permet également d’élargir le potentiel commercial des start-ups du secteur comme Aleph Alpha, alors en mesure de déployer des modèles hautement performants avec des exigences minimes en termes de calcul pour les clients.

Aleph Alpha

Plus tôt cette année, Graphcore et Aleph Alpha ont annoncé leur intention de collaborer sur la recherche et le déploiement de modèles.
Aleph Alpha développe des modèles multimodaux originaux et faits en Europe, dont le très acclamé Luminous, capable de prendre en charge des tâches multilingues, et de comprendre et de répondre à des questions sur les contextes avec n’importe quelle combinaison de langues et d’informations visuelles.
Ce modèle Luminous original est vendu via API aux entreprises et organisations souhaitant créer des produits et services basés sur l’IA.
Graphcore et Aleph Alpha offrent des applications commerciales de leurs modèles sparsifiés Luminous Base et Luminous Extended à 30 milliards de paramètres, qui incluent des options conversationnelles pour les applications basées sur les connaissances d’entreprise.