IA : la guerre des puces fait rage parmi les géants de la tech
Une chronique de Roald Sieberath Entrepreneur, investisseur pour Noshaq, professeur invité à l'UCLouvain et l'UNamur, et président de l'Agence du Numérique (Digital Wallonia).
- Publié le 14-04-2024 à 11h54
Le boom de l'IA et son usage intensif des puces type "GPU" (Graphics Processing Unit) - initialement prévues pour les cartes graphiques, leur capacité de calcul en parallèle s'est révélée idéalement appropriée aux applications de réseaux de neurones profonds -, a entraîné une ruée vers ce type de matériel. La société NVIDIA est le leader incontesté de ce type de matériel et a vu la demande de ses cartes s'envoler, malgré des prix qui étaient croissants également (la carte A100, standard du marché en IA, pour ne pas dire en quasi-monopole, se vend vers les 10 000 euros). Lorsque l'on sait que la mise au point, le training de ChatGPT (basé sur GPT 3.5) avait nécessité de l'ordre de 10 000 de ces cartes, il n'est pas compliqué de déduire que l'infrastructure nécessaire avait coûté plusieurs centaines de millions (dont une centaine rien qu'en puces GPU).
À présent, il y a un mouvement double : du côté de l'inférence (c'est-à-dire l'usage du modèle, une fois qu'il a été entraîné), de gros efforts sont faits pour simplifier et réduire la consommation par requête (parce que les utilisateurs, eux, se comptent en centaines de millions). Mais du côté de la mise au point et du training des nouveaux modèles, on est dans une véritable course aux armements entre les gros acteurs (GAFAM, OpenAI), à celui qui disposera de la plus grosse infrastructure.
On rapporte ainsi que Microsoft et OpenAI préparent un nouveau data center (nommé Stargate) pour un investissement de 100 milliards, à finaliser vers 2028 (avec une consommation énergétique inouïe de 5 GW). Pour ne pas être en reste, Amazon Web Services annonce qu'ils vont investir 150 milliards dans les quinze prochaines années pour booster leurs data centers à la vague IA. Elon Musk a déclaré qu'il voit la capacité dédiée à l'IA être multipliée par dix tous les six mois (bien plus rapidement que la célèbre loi exponentielle de Moore qui pilote l'accroissement de la puissance informatique depuis 60 ans). Il y a 15 ans, on disait "data is the new oil", en voyant la valeur dans la donnée. Certains indiquent à présent "compute is the new oil" : le nouveau pétrole sera la capacité de traitement de ces giga centres de traitement consacrés à l'IA. L'Europe, qui se réveille à peine sur le front des semiconducteurs, a misé sur des architectures ouvertes (RISC-V) mais la route va être longue avant de pouvoir compter dans la course…
