Selon un rapport de Pinplay du 19 octobre, la page Arxiv montre que Microsoft Research, en collaboration avec l'Université de l'Académie chinoise des sciences et l'Université Tsinghua, a publié conjointement un article et annoncé une architecture BitNet évolutive et stable 1-$BIT$ Transformer. BitNet est conçu pour les grands modèles de langage. L'équipe de recherche a déclaré que pour entraîner le poids de 1 bit, l'équipe avait introduit BitLinear sous le nom de nn. Une alternative au calque $LINEAR$ . Les résultats expérimentaux montrent que BitNet atteint des performances compétitives dans les tâches de modélisation de langage tout en réduisant considérablement l'empreinte mémoire et la consommation d'énergie. De plus, BitNet présente une loi de mise à l'échelle similaire à celle des transformateurs de pleine précision, montrant qu'il a le potentiel de s'adapter à des modèles de langage plus grands tout en conservant des avantages en termes d'efficacité et de performances.

#bitcoin#microsoft

#axs #zkevm 8386511451#profitez#crypto2023 #cryptonews