国产精品久久久久久亚洲影视,粉嫩av一区二区三区免费野,国产欧美一区二区精品性色

我們只關(guān)注教育

聚焦大模型訓練效率提升北大依托昇騰突破細粒度混合并行技術(shù)

來源：青橘網(wǎng) 發(fā)表于2025-08-01 15:59:09 編輯：沫曉朵

摘要: 在人工智能大模型迅猛發(fā)展的當下，大模型參數(shù)和計算量呈指數(shù)級增長，大規(guī)模深度學習模型的訓練離不開多硬件設(shè)備的分布式計算。在鯤鵬昇騰科教創(chuàng)新

　　在人工智能大模型迅猛發(fā)展的當下，大模型參數(shù)和計算量呈指數(shù)級增長，大規(guī)模深度學習模型的訓練離不開多硬件設(shè)備的分布式計算。在鯤鵬昇騰科教創(chuàng)新卓越中心的算力支持下，北京大學計算機學院崔斌教授團隊創(chuàng)新研發(fā)了面向大模型的高效分布式訓練框架，大幅提升了大規(guī)模分布式訓練模型的效率。

　　針對模型訓練任務(wù)的多樣性和復雜性所帶來的負載不均問題，研究團隊創(chuàng)新設(shè)計出了細粒度模型切分與并行策略搜索算法。此方法依托昇騰強大的計算資源管理能力，及算子優(yōu)化技術(shù)對訓練策略的適配，完成了統(tǒng)一訓練接口到智能切分策略的全過程。首先通過總結(jié)多種大模型訓練的共同特點，設(shè)計出統(tǒng)一的接口來啟動和管理不同任務(wù)負載的模型訓練任務(wù)，對訓練時所花費的算力、內(nèi)存、網(wǎng)絡(luò)通信等進行精確地計算。接著基于這些數(shù)據(jù)細致拆解龐大且復雜的大模型，根據(jù)不同模塊分配不同的訓練策略以適應各模塊的負載差異，實現(xiàn)訓練任務(wù)的高效并行。目前，該方案已實現(xiàn)比分片數(shù)據(jù)并行、3D 并行等全局模版化并行方案提升15% 的訓練效率。

　　除此之外，團隊還解決了分布式計算所涉及的硬件間通信傳輸效率問題。結(jié)合昇騰高速互聯(lián)總線技術(shù)的高帶寬低時延優(yōu)勢，系統(tǒng)會很根據(jù)不同的通信需求，對硬件設(shè)備進行分組以優(yōu)化組隊時間，運用計算通信重疊技術(shù)讓“計算”和“通信”同步進行，提高訓練流水線的效率，并在模型切分的決策時考慮計算通信重疊的性能影響，綜合多方面因素選取最適合的分布式運行方案，最終實現(xiàn)數(shù)據(jù)傳輸效率和資源利用率的最大化。

　　該研究成果不僅為模型大規(guī)模訓練提供了高效的解決方案，更展現(xiàn)了自主算力在分布式計算領(lǐng)域的巨大潛力。目前，研究成果已在國際頂級學術(shù)會議NeurIPS、ICLR、AAAI發(fā)表3篇論文，為國內(nèi)AI技術(shù)突破提供了理論支撐與實踐范式。

　　北京大學鯤鵬昇騰科教創(chuàng)新卓越中心的這一突破彰顯了校企協(xié)同創(chuàng)新的顯著成效。未來，中心將持續(xù)加速AI前沿技術(shù)在自主計算平臺的深度落地，為我國人工智能產(chǎn)業(yè)的自主化突破提供強勁動能。