Bittensor子网3在去中心化网络上完成720亿参数AI模型训练

两项技术创新推动了去中心化训练，随着市场对Covenant-72B成果作出反应，$TAO代币价格攀升。

Bittensor的Subnet 3在没有中央数据中心的情况下，成功训练出一个拥有720亿参数的AI模型。该模型名为Covenant-72B，由全球超过70名参与者共同构建完成。所有节点仅通过标准的家庭互联网连接。在MMLU基准测试的同等零样本条件下，Covenant-72B以67.1的分数超越了Meta的LLaMA-2-70B模型（65.6分）。这一成果对长期以来关于去中心化计算能力的假设提出了有力挑战。

训练过程覆盖了1.1万亿个词元，涉及全球超过70个节点，每个节点仅使用500Mb/s的普通互联网连接。实现如此规模训练的两项核心创新是：首先，SparseLoCo技术通过结合top-k稀疏化、2位量化和跨节点误差反馈，将通信开销降低了146倍，无需中央服务器即可保持所有节点同步。其次，Gauntlet系统在训练期间处理信任与贡献度评估，通过损失评估和OpenSkill排名来考核每个节点，所有分数均记录在区块链上，确保了完全的透明性，使每位参与者都拥有可验证的贡献记录。模型权重已在相关平台以Apache许可开源，可供任何人免费访问、使用或基于其构建，这种开放方式使其有别于当今许多受限制的专有AI模型。

Covenant-72B训练成功的消息公开后，市场迅速作出反应。Bittensor的原生代币$TAO在消息公布后上涨14%，达到236美元。该代币在过去30天内已累计上涨36%，过去六个月的交易量增长了167%。与此同时，灰度在同一周扩大了其TAO信托基金规模，此举为更广泛的机构投资者直接接触该代币提供了渠道。随着投资者对AI相关加密资产的兴趣持续增长，这一时机进一步推升了代币价格。技术成果与机构兴趣的结合吸引了广泛的市场关注。Covenant-72B的MMLU分数为去中心化计算提供了一个可信且可测试的基准，其结果可测量且可在标准条件下复现，这使其与AI加密领域早期许多未经证实的说法截然区分开来。Bittensor所展示的方法为一个由社区驱动的AI模型训练提供了一个可行框架。整个网络在没有任何中央协调的情况下，由70多名参与者协同运行，这为未来的分布式大模型训练树立了一个可运作的先例。