Dans un monde de progrès exponentiels, l’IA continue de surprendre. Les sceptiques annoncent des murs, mais la réalité des avancées technologiques les contredit.
Mustafa Suleyman, co-fondateur de DeepMind, souligne que le développement de l’intelligence artificielle (IA) est loin de rencontrer des obstacles. En effet, depuis 2010, la quantité de données d’entraînement pour les modèles d’IA de pointe a explosé d’un trillion de fois, passant de 10¹⁴ flops à plus de 10²⁶ flops pour les modèles les plus récents. Ce rythme de croissance exponentielle contredit les prédictions pessimistes des sceptiques qui parlent souvent de limitations liées à la loi de Moore, aux données ou à l’énergie. Cependant, la réalité est plus complexe et dynamique.
Suleyman compare l’entraînement de l’IA à une pièce remplie de personnes utilisant des calculatrices. Auparavant, augmenter la puissance de calcul signifiait simplement ajouter plus de personnes, mais beaucoup restaient inactives, attendant leurs prochains calculs. Aujourd’hui, l’innovation repose sur l’accélération de ces calculatrices et sur la synchronisation de leur fonctionnement. Trois avancées clés convergent pour rendre cela possible.
Premièrement, les unités de calcul sont devenues plus rapides. Les puces Nvidia, par exemple, ont augmenté leur performance brute de sept fois en six ans, passant de 312 téraflops en 2020 à 2 250 téraflops aujourd’hui. De plus, la puce Maia 200 de Suleyman, lancée en janvier, offre 30 % de performance supplémentaire par dollar par rapport aux autres matériels disponibles. Deuxièmement, la technologie HBM (High Bandwidth Memory) a permis d’accélérer l’arrivée des données. Avec HBM3, la bande passante triple celle de son prédécesseur, maintenant ainsi les processeurs occupés en tout temps. Troisièmement, la connectivité a évolué : des technologies comme NVLink et InfiniBand relient des milliers de GPU en supercalculateurs de taille entrepôt, fonctionnant comme des entités cognitives uniques.
Ces avancées combinées ont permis une augmentation spectaculaire de la puissance de calcul. Par exemple, former un modèle de langage qui prenait 167 minutes sur huit GPU en 2020 ne nécessite plus que quatre minutes sur du matériel moderne équivalent. Cela illustre un bond de 50 fois en performance, bien au-delà de la prévision de 5 fois que la loi de Moore aurait suggérée.
Suleyman conclut que, tant que ces forces convergentes continueront d’agir, le développement de l’IA ne devrait pas rencontrer de limites majeures dans un avenir proche.