⚡Grok-3 : une IA sous stéroïdes ?⚡

📹 Lors de l'émission matinale où #grok3 a été lancé, #xAI a également partagé de nouvelles informations sur ses centres de données.

🌐 Certains d'entre vous se souviennent peut-être de la nouvelle qui s'est répandue sur Internet en octobre selon laquelle en seulement 122 jours, Nvidia, en collaboration avec xAI, avait construit le plus grand supercalculateur du monde, Colossus, avec 100 000 GPU.

🤔 Le moment a tout simplement surpris tout le monde : normalement, la construction de tels clusters prenait 2 à 3 ans.

🔍 Immédiatement après cela, le nombre de GPU dans Colossus a doublé et a pris moins de temps : seulement 92 jours. Il s'avère qu'il était prêt fin janvier et que la pré-formation de Grok-3, selon Musk lui-même, a été achevée dans les premiers jours de l'année.

🧠 Par conséquent, il était peu probable que le Grok-3 de base soit formé avec ces capacités. Mais l'entraînement au raisonnement est toujours en cours (un manque de point de contrôle d'entraînement a été démontré dans la démo).

✍🏻 Mais ce n'est pas tout : Musk promet que Colossus deviendra cinq fois plus grand et disposera à terme d'un million de cartes graphiques. Cette croissance coûterait environ 25 à 30 milliards de dollars, et les travaux ont déjà commencé.

🇲🇨 Pour référence, chaque #NVIDIA H100 consomme jusqu'à 700 W, donc Colossus sera généralement à peu près le même que Monaco...