<ul id="mwmk6"><sup id="mwmk6"></sup></ul>
<ul id="mwmk6"></ul>
    <abbr id="mwmk6"></abbr>
  • <ul id="mwmk6"></ul>
  • <ul id="mwmk6"><sup id="mwmk6"></sup></ul>
    資訊在沃

    小米發(fā)布MiMo開源大模型,7B參數(shù)展現(xiàn)卓越推理力超越競(jìng)品

       發(fā)布時(shí)間:2025-04-30 15:31 作者:鐘景軒

    小米大模型團(tuán)隊(duì)近日通過其官方公眾號(hào)“Xiaomi MiMo”宣布了一項(xiàng)重要決定:正式開源專為推理任務(wù)定制的大模型——Xiaomi MiMo。這款模型在多項(xiàng)公開測(cè)評(píng)中,如數(shù)學(xué)推理和代碼競(jìng)賽,均展現(xiàn)出了卓越的性能,尤其值得注意的是,它僅以7B參數(shù)就超越了OpenAI的o1-mini(閉源)以及阿里Qwen的QwQ-32B-Preview(開源),后者規(guī)模更為龐大。

    MiMo之所以能在推理能力上取得如此顯著的成就,關(guān)鍵在于其在預(yù)訓(xùn)練和后訓(xùn)練階段所采取的創(chuàng)新策略。在預(yù)訓(xùn)練階段,團(tuán)隊(duì)精心挑選并合成了大量富含推理信息的語料,總量達(dá)到了約200B tokens。通過分三個(gè)階段逐步提升訓(xùn)練難度,MiMo累計(jì)接受了25T tokens的訓(xùn)練,這一過程極大地豐富了模型對(duì)推理模式的認(rèn)知,為其強(qiáng)大的推理能力奠定了堅(jiān)實(shí)的基礎(chǔ)。

    在后訓(xùn)練階段,MiMo團(tuán)隊(duì)更是引入了高效且穩(wěn)定的強(qiáng)化學(xué)習(xí)算法和框架,以進(jìn)一步提升模型的推理性能。他們創(chuàng)造性地提出了Test Difficulty Driven Reward(測(cè)試難度驅(qū)動(dòng)獎(jiǎng)勵(lì))機(jī)制,這一機(jī)制有效地緩解了困難算法問題中獎(jiǎng)勵(lì)稀疏的難題。同時(shí),他們還引入了Easy Data Re-Sampling(簡單數(shù)據(jù)重采樣)策略,以確保強(qiáng)化學(xué)習(xí)(RL)訓(xùn)練過程的穩(wěn)定性。

    為了進(jìn)一步提高訓(xùn)練效率,MiMo團(tuán)隊(duì)還設(shè)計(jì)并實(shí)現(xiàn)了Seamless Rollout(無縫展開)系統(tǒng)。這一系統(tǒng)使得RL訓(xùn)練的速度提升了2.29倍,驗(yàn)證速度也提高了1.96倍,從而大大縮短了模型的開發(fā)周期。

    Xiaomi MiMo的開源,無疑為推理任務(wù)的大模型研究注入了新的活力。它以其卓越的性能和創(chuàng)新的技術(shù),為行業(yè)樹立了新的標(biāo)桿,也為廣大開發(fā)者提供了寶貴的學(xué)習(xí)和研究資源。

     
     
    更多>同類內(nèi)容
    全站最新
    熱門內(nèi)容
    本欄最新
     
    中文日韩字幕一区在线观看| 亚洲日韩精品无码专区| 中文字幕精品1在线| 亚洲日韩av无码中文| 国产精品国产三级国快看| 亚洲国产成人精品无码区二本| 亚洲精品国产情侣av在线| 久久夜色精品国产亚洲AV动态图 | 九九在线精品视频| 日韩av无码久久精品免费| 国产精品第一页爽爽影院| 国产精品乱码久久久久久软件| 2021精品国产综合久久| 精品一区二区三区波多野结衣| 久久精品国产自在一线| 国产精品涩涩涩视频网站| 精品国产品香蕉在线观看75 | 久久久无码精品亚洲日韩蜜桃| 亚洲精品无码久久久久sm| 国产午夜精品一区二区| 精品国产污污免费网站入口在线 | 国产麻豆精品一区二区三区v视界 国产麻豆一精品一AV一免费 | 一本大道无码日韩精品影视| 国产成人精品实拍在线| 国产精品自产拍在线网站| 精品久久久久久中文字幕女| 精品国产_亚洲人成在线| 精品国产成a人在线观看| 日韩国产成人资源精品视频| 精品久久久久久久99热| 国产精品国产三级国产普通话a| 国产精品综合视频| 国产精品亚洲专区在线播放| 国产亚洲美女精品久久| 久久精品一区二区三区日韩| 日韩精品无码一区二区中文字幕 | 精品国产一区二区三区在线| 在线91精品亚洲网站精品成人| 国产精品视频无圣光一区| 国产在线视精品麻豆| 亚洲日韩国产精品第一页一区 |