小红书、北大开源面向大规模MoE训推的负载均衡方案UltraEP

7月20日，小红书发文宣布其与北大提出UltraEP，首次把基于“精确”路由信息的“实时”负载均衡引入生产系统：在每个microbatch和每一层动态复制热点专家，让真实训推也能逼近理想性能。据小红书方面介绍，UltraEP平均达到理想性能的94.3%，相比业界SOTA训推框架提升1.49倍，并应用在了大规模预训练的实际生产中。（广角观察）

©版权声明：如无特殊说明，本站所有内容均为Amassai.net 原创发布和所有。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。否则，我站将依法保留追究相关法律责任的权利。