5 月 30 日开云体育(中国)官方网站，华为通知推出参数限制高达 7180 亿的全新模子盘古 Ultra MoE，这是一个全过程在昇腾 AI 打算平台上考试的准万亿 MoE 模子。据悉，盘古团队提倡 Depth-Scaled Sandwich-Norm（DSSN）雄厚架构和 TinyInit 小启动化的关节，在昇腾平台上终止了尽头 18TB 数据的恒久雄厚考试。在考试关节上，华为团队初度清晰在昇腾 CloudMatrix 384 超节点上买通大稀零比 MoE 强化学习（RL）后考试框架的重要本事，使 RL 后考试插足超节点集群时间。