Meta dévoile les plans du SuperCluster de recherche en IA

Meta Platform Inc a dévoilé sa dernière solution pour le traitement et l’hébergement de l’intelligence artificielle (IA) de la prochaine génération – le AI Research SuperCluster (RSC), a-t-il annoncé dans un billet de blog lundi dernier.

Selon Meta, l’entreprise prévoit de construire le supercluster massif à la mi-2022 et vise à devenir le superordinateur le plus rapide du monde, notamment pour le traitement du langage naturel (NLP), le traitement de la vision par ordinateur et la recherche sur l’apprentissage profond.

Meta annonce le AI Research SuperCluster (RSC), notre dernier superordinateur d’IA. pour la recherche sur l’IA. RSC permettra à nos chercheurs de faire de nouvelles expériences révolutionnaires dans les domaines suivants #IA. Pour en savoir plus sur la SRC et le rôle important qu’elle jouera, consultez le site https://t.co/l9CcQuFLyM. pic.twitter.com/gD8Ve74ZqQ

– Meta AI (@MetaAI) 24 janvier 2022

Meta déclare que le nouveau système facilitera également le développement de technologies futures pour le Metaverse, qui reposeront sur les nouveaux systèmes informatiques basés sur l’IA.

La société s’attend à ce que ses efforts permettent de développer des « modèles d’IA plus précis » pour les services actuels ainsi que de construire « des expériences utilisateur totalement nouvelles, en particulier dans le Metaverse », a-t-elle déclaré, ajoutant que les investissements futurs et les outils d’apprentissage auto-supervisé contribueraient à faciliter les futures plateformes du Metaverse et à faire progresser l’IA.

Le traitement NLP du futur

Kevin Lee, responsable du programme technique de Meta et Shubho Sengupta, ingénieur logiciel métaa expliqué dans le post commun que le nouveau centre de données aurait une performance de « près de 5 exaflops de calcul de précision mixte », ajoutant,

« Tout au long de l’année 2022, nous nous efforcerons de faire passer le nombre de GPU de 6 080 à 16 000, ce qui permettra d’augmenter les performances d’entraînement de l’IA de plus de 2,5 fois. La matrice InfiniBand sera étendue pour prendre en charge 16 000 ports dans une topologie à deux couches sans sursouscription. Le système de stockage aura une bande passante cible de 16 To/s et une capacité à l’échelle de l’exaoctet pour répondre à la demande croissante. »

Le RSC permettra aux programmes d’IA de Meta d’apprendre à partir de trillions d’exemples de langage à travers des images, des textes et des vidéos pour « développer de nouveaux outils de réalité augmentée ».

Les chercheurs en IA de l’entreprise basée à Menlo Park pourront ensuite former des programmes d’IA avancés pour permettre la traduction vocale en temps réel pour de grands groupes, y compris des locuteurs de différentes langues, pour de nombreuses activités telles que la collaboration à des projets ou les jeux.

Meta a également expliqué que ses investissements dans la recherche sur l’IA ont commencé après la fondation de son laboratoire Facebook AI Research en 2013, ce qui a conduit à des avancées dans les capacités d’apprentissage auto-supervisé.

Meta s’est expliqué davantage, en déclarant ,

« Pour profiter pleinement des avantages de l’apprentissage auto-supervisé et des modèles basés sur les transformateurs, divers domaines, qu’il s’agisse de la vision, de la parole, du langage, ou pour des cas d’utilisation critiques comme l’identification de contenus nuisibles, nécessiteront la formation de modèles de plus en plus grands, complexes et adaptables. La vision par ordinateur, par exemple, doit traiter des vidéos plus grandes et plus longues avec des taux d’échantillonnage de données plus élevés. La reconnaissance vocale doit fonctionner correctement même dans des scénarios difficiles avec beaucoup de bruit de fond, comme des fêtes ou des concerts ».

Ces technologies contribueront également à faciliter la robotique et de nombreux modes d’IA pour effectuer des tâches en temps réel, dans des cas d’utilisation du monde réel.

Meta a également expliqué que sa première itération de l’installation, en 2017, a accueilli 22 000 unités de traitement graphique (GPU) NVIDIA V100 Tensor Core pour exécuter 35 000 tâches d’entraînement chaque jour.

Plusieurs partenaires de longue date, dont Penguin Computing, Pure Storage et NVIDIA, ont fourni une infrastructure essentielle pour développer les composants du plan de contrôle, du stockage et du cluster du RSC.

Le géant de la technologie a pour objectif, plus tard en 2020, de créer une infrastructure améliorée capable d’entraîner des modèles « avec plus d’un trillion de paramètres sur des ensembles de données aussi grands qu’un exabyte. »

L’installation actuelle du RSC contient 760 systèmes NVIDIA DGX A100, soit un total de 6 080 GPU pour fournir des « flux de travail de vision par ordinateur jusqu’à 20 fois plus rapides », a expliqué le géant technologique.

Sécurité dans COVID, désinformation

En outre, Meta a déclaré avoir initialement créé le RSC dans le contexte de la pandémie de coronavirus et de la pénurie de semi-conducteurs, en utilisant des outils à distance et des serveurs en nuage.

Ces efforts ont nécessité que Meta conçoive le RSC « à partir de zéro » avec des « conventions spécifiques à Meta » pour construire les composants du système tels que la disposition du rack, le câblage, le refroidissement, les alimentations électriques et le réseau, ajoutant,

« Nous devions nous assurer que toutes les équipes, de la construction au matériel en passant par les logiciels et l’IA, travaillaient au même rythme et en coordination avec nos partenaires. »

Meta a également adopté son nouveau magasin de recherche en IA (AIRStore) pour ses techniques complexes de modélisation de l’IA afin de minimiser les flux de données interrégionaux pour le trafic interrégional sur le serveur.

Les nouveaux modèles d’IA apprendront également à partir de « données du monde réel » cryptées et séparées d’Internet afin de protéger la vie privée des utilisateurs lors du traitement dans le centre de données. Le RSC effectuerait également des processus d’examen de la confidentialité pour protéger les données avant le cryptage afin de réguler le flux de données anciennes et nouvelles aux points d’extrémité.

Cette nouvelle fait suite à des développements importants de l’outil de traitement du langage XLS-R de la société, conçu pour s’autosurveiller efficacement et fonctionner avec plus de 10 fois plus d’heures de données vocales publiques.

Le nouveau système NLP fait partie des nombreuses solutions que Meta a développées pour le Metaverse, le futur outil de communication spatiale censé succéder à l’Internet, ainsi que pour protéger ses utilisateurs.

Meta a révélé ses ambitions de construire la plateforme de communication montante après Mark Zuckerberg, directeur général et fondateur de Meta.Au début du mois d’août, Mark Zuckerberg a surpris le public en annonçant son intention de changer de nom pour devenir une entreprise du Metaverse, ce qu’il a ensuite annoncé officiellement lors de l’événement Connect 2021 en octobre.

Le dernier outil de Meta est également une nouvelle stratégie d’entreprise visant à lutter contre les contenus préjudiciables et les abus en ligne, notamment après avoir fait l’objet de critiques importantes pour avoir prétendument omis de s’attaquer à de telles situations, ce qui a conduit à la mort d’une jeune femme sur la plateforme de médias sociaux, ce que l’entreprise a fermement démenti.

M. Zuckerberg et d’autres dirigeants de Meta ont promis d’intensifier leurs efforts pour protéger les futurs utilisateurs du Metaverse grâce à une série de financements, d’initiatives, de technologies et de mesures de collaboration visant à lutter contre l’épidémie de discours haineux signalée sur sa famille d’applications et à construire le Metaverse de manière éthique.