元象发布国内最大MoE开源模型，性能“跨级”跃升

日前，元象XVERSE（以下简称为元象）方面发布XVERSE-MoE-A36B开源模型，旨在加速AI应用的低成本部署。据悉，该模型也是目前国内最大的MoE（混合专家模型架构）开源模型。

公开信息显示，MoE架构能够将多个细分领域的专家模型组合成一个超级模型，打破了传统扩展定律（Scaling Law）的局限。这一架构在扩大模型规模的同时，能保持模型性能的最大化，甚至还可降低训练和推理成本。

据元象方面介绍，XVERSE-MoE-A36B模型的总参数达255B、激活参数为36B。该模型在训练时间减少30%、推理性能提升100%的同时，还能大致达到超过100B大模型的“跨级”性能跃升。

同时XVERSE-MoE-A36B的训练借鉴了“课程学习”理念，在训练过程中实现了动态数据切换，在不同阶段多次引入新处理的高质量数据，并动态调整数据采样比例。这也使得该模型不再被初始语料集所限制，而是能够持续学习新引入的高质量数据，提升了语料覆盖面和泛化能力。同时元象方面还通过调整采样比例，平衡了不同数据源对XVERSE-MoE-A36B性能的影响。

在元象方面公布的多个评测结果中显示，XVERSE-MoE-A36B的表现超越了多个同类模型，其中包括Skywork-MoE、Mixtral-8x22B，以及3140亿参数的MoE开源模型Grok-1-A86B等。

值得一提的是，除了发布XVERSE-MoE-A36B开源模型之外，日前元象方面还宣布其“高性能全家桶”系列模型全部开源、无条件免费商用，让更多中小企业、研究者和开发者能够按需选择。

此前在8月底，元象方面还推出了国内首个基于物理的3D动作生成模型MotionGen。据悉，该模型创新性地融合了大模型、物理仿真和强化学习等前沿算法，用户只需输入简单文本指令就能快速生成逼真、流畅、复杂的3D动作。

此外在不久前举行的2024腾讯全球数字生态大会上，元象大模型产品中心总监张玥还分享了元象大模型的文旅娱乐应用落地成果。据了解，元象大模型是广东首批获得国家备案的大模型，应用落地方包括陕西旅游集团、QQ音乐、虎牙直播、全民K歌、腾讯云等。

【以上内容转自“三易生活网”，不代表本网站观点。如需转载请取得三易生活网许可，如有侵权请联系删除。】

延伸阅读：

• 阿里云开源千亿大模型，性能超越Llama3-70B
• Meta发布开源模型SAM 2，可实时分割视频对象