近日，移動(dòng)云主導(dǎo)制定的IETF國(guó)際標(biāo)準(zhǔn)RFC9793《BGPExtensionsforBitIndexExplicitReplication（BIER）》正式發(fā)布，該標(biāo)準(zhǔn)針對(duì)主流的MoE（MixtureofExperts）架構(gòu)AI大模型的專家并行All－to－All通信瓶頸問(wèn)題提供了高效解決方案，為AI大模型的高效訓(xùn)練和推理提供了堅(jiān)實(shí)的保障。這一突破性成果標(biāo)志著移動(dòng)云的技術(shù)創(chuàng)新實(shí)力獲國(guó)際權(quán)威認(rèn)可，彰顯了中國(guó)在全球 互聯(lián)網(wǎng) 標(biāo)準(zhǔn)體系建設(shè)中的重要話語(yǔ)權(quán)。

突破瓶頸：高效組播賦能MoE架構(gòu)

在人工智能邁向萬(wàn)億參數(shù)大模型時(shí)代的關(guān)鍵進(jìn)程中，MoE架構(gòu)憑借其優(yōu)異的性能表現(xiàn)，成為主流AI模型的基石架構(gòu)。然而，在MoE大模型的訓(xùn)練與推理環(huán)節(jié)，專家并行所需的All－to－All通信對(duì)網(wǎng)絡(luò)帶寬提出了極為苛刻的要求，特別是在超節(jié)點(diǎn)的scale－up網(wǎng)絡(luò)中，傳統(tǒng)的通信模式難以滿足需求，成為制約AI大模型進(jìn)一步發(fā)展的一大痛點(diǎn)。

移動(dòng)云主導(dǎo)制定的高效組播方案，憑借獨(dú)特的無(wú)狀態(tài)組播特性，可實(shí)現(xiàn)AI大模型門控路由器的實(shí)時(shí)靈活指定，并具備在數(shù)據(jù)報(bào)文中攜帶組播接收者列表的能力，無(wú)需依賴復(fù)雜耗時(shí)的組播樹建立過(guò)程。這一特性與MoE大模型的門控路由器根據(jù)專家實(shí)時(shí)負(fù)載水平等因素為每個(gè)Token動(dòng)態(tài)選擇對(duì)應(yīng)的TopN專家的機(jī)制完美契合。通過(guò)上述創(chuàng)新技術(shù)方案，可以大幅提升All－to－All通信效率，有效提升AI大模型訓(xùn)練與推理的效率和性能。

標(biāo)準(zhǔn)筑基：推動(dòng)AI技術(shù)普惠化落地

在云智算戰(zhàn)略深化落地的背景下，AI大模型的訓(xùn)練與推理的效率和性能成為產(chǎn)業(yè)發(fā)展的核心競(jìng)爭(zhēng)力。本次由移動(dòng)云主導(dǎo)制定的IETF國(guó)際標(biāo)準(zhǔn)，為解決MoE架構(gòu)AI大模型關(guān)鍵通信瓶頸問(wèn)題提供了國(guó)際通用技術(shù)規(guī)范，并有望應(yīng)用于AI超節(jié)點(diǎn)產(chǎn)品，提升MoE架構(gòu)大模型的訓(xùn)練以及推理的通信效率，有效降低大模型訓(xùn)練和推理成本，助力AI技術(shù)在千行百業(yè)的標(biāo)準(zhǔn)化、普惠化應(yīng)用。

未來(lái)，移動(dòng)云將繼續(xù)發(fā)揮技術(shù)優(yōu)勢(shì)，加強(qiáng)AI大模型等前沿技術(shù)領(lǐng)域的自主創(chuàng)新，讓中國(guó)主導(dǎo)的國(guó)際標(biāo)準(zhǔn)成為AI和云計(jì)算基礎(chǔ)設(shè)施高質(zhì)量發(fā)展的技術(shù)基石，持續(xù)賦能各行業(yè)的數(shù)字化轉(zhuǎn)型。