Yuan3.0 Ultra多模态基础大模型开源

3月5日，YuanLab.ai团队正式开源推出”源Yuan3.0 Ultra”多模态基础大模型。作为源3.0系列专为万亿参数规模设计的旗舰产品，该模型已成为目前全球仅有的三个实现万亿级开源多模态能力的大模型之一。其采用统一多模态架构体系，包含视觉编码器、语言主干网络及多模态对齐模块三大核心组件，在视觉与语言信息融合建模方面实现突破性进展。其中语言主干网络基于混合专家（MoE）架构构建，集成103层Transformer结构，在初始训练阶段参数量达1515B；通过创新性引入LAEP技术方案，研发团队在预训练过程中成功将最终参数量优化至1010B，并使预训练算力效率提升49%。该模型激活参数量为68.8B。此外还创新性地引入了Localized Filtering Attention（LFA）机制，在语义关系建模方面表现显著优于传统Attention结构，在多项测试中展现出更高的精度水平。（广角观察）

©版权声明：如无特殊说明，本站所有内容均为Amassai.net 原创发布和所有。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。否则，我站将依法保留追究相关法律责任的权利。