<ul id="mwmk6"><sup id="mwmk6"></sup></ul>
<ul id="mwmk6"></ul>
    <abbr id="mwmk6"></abbr>
  • <ul id="mwmk6"></ul>
  • <ul id="mwmk6"><sup id="mwmk6"></sup></ul>
    資訊在沃

    我國科學家新算法融合并行技術,AI訓練速度實現近乎翻倍突破!

       發布時間:2025-05-29 12:23 作者:馮璃月

    近日,中國科學家在人工智能領域取得了重大突破,他們聯合研發了一種名為GroPipe的全新混合并行算法,成功地將流水線模型并行與數據并行融合,實現了AI訓練速度的大幅提升,近乎翻倍。

    據悉,這一創新成果由西北農林科技大學信息工程學院智能計算與農業信息系統團隊領銜,團隊負責人劉斌教授擔任核心作者,并與美國紐約州立大學及云南大學展開合作。相關研究成果已在國際計算機體系結構領域的權威期刊《IEEE Transactions on Computers》上發表。

    在大型深度卷積神經網絡(DCNNs)的訓練過程中,為了提高模型精度,使用越來越大的數據集已成為常態,但這也導致了訓練時間的顯著增加。傳統的數據并行(DP)和流水線模型并行(PMP)等分布式訓練方法雖然提供了解決方案,但仍面臨負載不平衡和通信開銷大等挑戰。

    針對這些問題,研究團隊提出了GroPipe算法架構,該架構通過協同整合PMP和DP,采用基于性能預測技術的自動模型分割算法,實現了負載的平衡和性能的量化評估。這一創新方法不僅解決了傳統訓練方法的痛點,還構建了一種全新的“組內流水線 + 組間數據并行”的分層訓練架構。

    在GroPipe方法中,自動模型劃分算法(AMPA)發揮了關鍵作用,它實現了計算負載的動態均衡調度,大幅提升了GPU資源的利用率。在一臺8-GPU服務器上進行的廣泛測試中,GroPipe方法展現出了卓越的性能優勢。

    具體來說,在ImageNet數據集上,GroPipe方法相較于主流方案(如DP、Torchgpipe、DAPPLE和DeepSpeed)在ResNet系列模型上平均加速比達到了42.2%,在VGG系列模型上更是高達79.2%。在BERT-base模型訓練中,GroPipe方法的性能提升最高可達51%。

    這一研究成果不僅為中國科學家在國際人工智能領域贏得了榮譽,更為人工智能的發展注入了新的活力。GroPipe算法的創新性和實用性,將有望推動人工智能技術在更多領域的應用和發展。

     
     
    更多>同類內容
    全站最新
    熱門內容
    本欄最新
     
    国产精品无码DVD在线观看| 精品一区二区视频在线观看| 日韩欧美亚洲中文乱码 | 国产午夜精品一二区理论影院| 2020天堂在线亚洲精品专区| 2021年国产精品久久| 午夜精品射精入后重之免费观看 | 一区二区不卡久久精品| 久久精品国产亚洲7777| 国产精品自在线天天看片 | 国产精品高清在线| 精品一区二区三区无码视频| 亚洲av永久中文无码精品综合 | 日韩a毛片免费观看| 精品视频在线免费观看| 久久夜色精品国产| 久久成人国产精品一区二区 | 亚洲国产精品人久久| 久久93精品国产91久久综合| 国产高清在线精品一区二区| 午夜精品久久久久久影视777| 亚洲精品无码午夜福利中文字幕 | 亚洲精品高清在线| 亚洲AV蜜桃永久无码精品| 一本久久a久久精品综合香蕉| 国产成人综合日韩精品婷婷九月 | 青青草97国产精品免费观看| 亚洲日韩精品无码AV海量| 亚洲日韩乱码中文无码蜜桃臀| 中日韩产精品1卡二卡三卡| 日韩精品国产自在久久现线拍| 日韩精品人妻系列无码专区免费| 日韩亚洲Av人人夜夜澡人人爽| 日韩精品无码一区二区中文字幕| 日韩专区在线观看| 日韩美女一级毛片| 一级一级特黄女人精品毛片| 国产成人综合精品一区| 久久丝袜精品中文字幕| 亚洲日韩精品一区二区三区| 国产精品天干天干综合网|