Meta veut construire le superordinateur le plus puissant du monde dédié à l’IA

Temps de lecture : 5 min

Après avoir investi massivement dans des solutions d’IA et de Machine Learning, notamment grâce à la création en 2013 de son AI Research Lab, Meta (anciennement Facebook) continue son ascension dans ce domaine. Le 24 janvier dernier, le géant américain a annoncé la construction d’un nouveau superordinateur, l’AI Research SuperCluster (RSC), dédié à l’intelligence artificielle pour différents projets du groupe. Le supercalculateur pourrait être l’un des plus puissants et rapides du monde pour des tâches spécifiques.

L’un des plus puissants superordinateur du monde

Depuis sa création, la division IA de Meta se concentre sur des recherches de solutions basées sur l’intelligence artificielle. Après avoir mis au point en 2017 un superordinateur, la division a décidé d’améliorer ses solutions grâce à des centres de calcul conçus pour entraîner des modèles très complexes, comprenant plus de 1000 milliards de paramètres et reposant sur les nouveaux processeurs graphiques (GPU) et technologies réseaux. Grâce à ces recherches, l’équipe a réussi à mettre au point, en collaboration avec Penguin Computing (pour l’intégration et l’infogérance), Pure Storage (pour le stockage) et Nvidia (pour les GPU et les équipements de mise en réseau), un supercalculateur baptisé AI Research SuperCluster (RSC) et dont les performances promettent d’être étonnantes. 

RCS, qui est déjà opérationnel mais avec des capacités réduites, en attendant la fin de sa conception, dispose pour la première phase de son utilisation de 760 systèmes Nvidia DGX A100, ce qui représente 6 080 GPU connectés. « Chaque DGX communique via une structure Infiniband à deux niveaux NVIDIA Quantum 1600 Gb/s sans surabonnement. Le niveau de stockage de RSC comprend 175 pétaoctets de Pure Storage FlashArray, 46 pétaoctets de stockage en cache dans les systèmes Penguin Computing Altus et 10 pétaoctets de Pure Storage FlashBlade. », précise Meta dans son communiqué.

Comparé à son prédecesseur, le superordinateur Nvidia le plus rapide de Meta lancé en 2017, et en l’état actuel, RSC est déjà environ 20 fois plus rapide pour entraîner un système IA à reconnaître le contenu d’une photo, et trois fois plus rapide pour décoder le langage humain. À ce stade, le RSC serait comparable au cinquième superordinateur le plus rapide au monde selon le classement des plus grands supercalculateurs au monde du site Top500.org, le Perlmutter, situé au National Energy Research Scientific Computing Center de Californie.

Nvidia a précisé que le RSC n’est pas encore complet et que ses capacités augmenteront une fois la construction du data center terminée, soit d’ici mi-2022. Dans cette seconde phase, RSC sera chargé de connecter 16 000 GPUs et fournira alors une puissance de calcul de cinq exaflops en précision mixte (32 ou 16 bits), soit 5 trillions d’opérations par seconde, un exaflop représentant un milliard de milliards d’opérations de calcul par seconde. Une performance qui devrait le propulser en tête des ordinateurs les plus puissants et rapides du monde, devant le plus puissant calculateur actuel, le japonais Fugaku, qui atteint les 2 exaflops. Le système de stockage et de cache devrait aussi être amélioré pour être capable de fournir jusqu’à 16 To/s de données, avant d’atteindre l’exaoctet une fois terminé.

Un superordinateur dédié au métavers et à l’IA

Selon la société américaine, le supercalculateur devrait, entre autres, aider les chercheurs en intelligence artificielle à former et entraîner des modèles d’IA plus performants à partir de milliard de données. Il devrait notamment être utilisé pour de nombreux services et projets de Meta comme dans le cas de la nouvelle IA « multimodale » récemment dévoilée par Meta. D’après Meta, RSC permettra de former plus rapidement les modèles d’IA de traitement de langage naturel et de vision par ordinateur à travailler dans des centaines de langues différentes et à analyser des quantités exponentielles de textes, images et vidéos. Ces derniers seront particulièrement pertinents pour soutenir la modération de Meta sur ses différentes plateformes, et détecter des contenus dangereux. 

IRSC aidera aussi à obtenir une meilleure reconnaissance vocale dans des conditions difficiles, comme des concerts ou des fêtes. Le traitement du langage naturel devrait quant à lui permettre à des groupes de centaines de personnes parlant des langues différentes, de travailler ensemble grâce à une traduction vocale en temps réel.

RSC devrait également permettre de réaliser des prouesses dans d’autres domaines, comme celui de la robotique ou de l’IA incarnée, au service des projets métavers du groupe. Pour alimenter le métavers et ses expériences inédites, les technologies devront disposer de solutions de calcul extrêmement puissantes et capables d’analyser en temps réel un nombre important de données qui se développent en continu. Dans le métavers, les IA doivent être conscientes du contexte pour proposer une expérience multisensorielle en 3D en temps réel, et permettre aux « agents intelligents incarnés » de comprendre leur environnement pour fournir une expérience utilisateur unique. Grâce à ses capacités, le RSC de Meta devrait répondre parfaitement à ce besoin pour créer de nouvelles expériences via l’IA

Confidentialité des données

Pour mettre au point ce superordinateur et lui fournir des données pertinentes pour son apprentissage, les équipes de Meta AI ont pris le parti d’utiliser des données réelles issues de produits de Meta. Le groupe estime que, contrairement à sa précédente infrastructure de recherche sur l’IA, qui s’appuyait sur des sources ouvertes et accessibles au public, RSC nécessite un ensemble de données réelles pour garantir des résultats à la hauteur des performances du superordinateur.

Mais, suite aux nombreuses polémiques subies par la société (Cambridge Analytica, WhatsApp,…), Meta a dû placer la confidentialité et la sécurité au cœur de sa stratégie. Pour garantir une sécurité maximale, RSC est isolé de l’internet public, et ne dispose pas de connexions entrantes ou sortantes directes. Les données mises à disposition devront être anonymes et une vérification via un processus d’examen de la confidentialité s’effectuera avant leur importation dans le supercalculateur. 

Les données seront ensuite chiffrées, de même que l’intégralité du chemin reliant les systèmes de stockage de Meta et les GPU. Les clés de déchiffrement seront supprimées régulièrement pour préserver l’accès à des données plus anciennes. Les données seront, à terme, déchiffrées juste avant l’entraînement pour former les modèles d’IA.

Bien que ralenti dans son développement par le travail en distanciel des deux dernières années et la pénurie récente de semi-conducteurs, Meta a réussi à mettre au point l’un des superordinateurs les plus puissants du monde pour répondre à ses besoins. D’autres géants de la tech s’activent également à créer leur propre supercalculateur dédié à leurs activités, comme Tesla, qui a développé sa propre infrastructure de calcul haute performance équipée de microprocesseurs réalisés par ses équipes d’ingénieurs et répondant aux exigences de son IA.

Rejoignez-nous 

Vos études touchent à leurs fins ou vous êtes à la recherche de nouveaux défis ? Alors rejoignez Adentis dès aujourd’hui en cliquant sur le lien ci-dessous :

>> Je veux rejoindre Adentis <<

Photo de couverture : tous droits réservés.