蚂蚁开源万亿参数强化学习高性能权重交换框架Awex

蚂蚁集团于近日对外宣布正式开源其自主研发的万亿级参数强化学习高性能权重交换框架——Awex系统（Asystem Weight Exchange Framework）。据官方资料显示，在今年十月份该企业已相继开放了两组基于万亿级参数量的大型预训练模型：非推理型Ling-1T与推理型Ring-1T。其中特别值得关注的是,Ring-1T通过深度应用该自研技术架构,成功实现在数千张GPU并行计算环境下仅需5至8秒即可完成对超大规模参数矩阵的数据同步,显著提升了分布式训练效率。（广角观察）

©版权声明：如无特殊说明，本站所有内容均为Amassai.net 原创发布和所有。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。否则，我站将依法保留追究相关法律责任的权利。