AMD近期宣布了一項(xiàng)重大進(jìn)展，成功將經(jīng)過(guò)優(yōu)化的DeepSeek-V3模型集成到其Instinct MI300X GPU上。這一模型通過(guò)SGLang進(jìn)行了強(qiáng)化，專為AI推理設(shè)計(jì)，旨在提升性能。
事實(shí)上，早在去年12月26日，AMD已在Github上發(fā)布了支持DeepSeek-V3模型的SGLang v0.4.1版本，為這一集成奠定了基礎(chǔ)。
據(jù)AMD透露，DeepSeek V3是目前性能最強(qiáng)的開源大型語(yǔ)言模型（LLM），其表現(xiàn)甚至超越了GPT-4。這一成就得益于SGLang與DeepSeek團(tuán)隊(duì)的緊密合作，使得DeepSeek V3在發(fā)布首日便能在英偉達(dá)和AMD的GPU上順利運(yùn)行。AMD還特別感謝了美團(tuán)搜索與推薦算法平臺(tái)團(tuán)隊(duì)以及DataCrunch提供的GPU資源支持。
DeepSeek-V3模型采用了混合專家（MoE）架構(gòu)，總參數(shù)量高達(dá)6710億，每個(gè)token激活370億參數(shù)，展現(xiàn)出強(qiáng)大的處理能力。為了實(shí)現(xiàn)高效推理和高經(jīng)濟(jì)效益的訓(xùn)練，該模型引入了多頭潛在注意力（MLA）和DeepSeekMoE架構(gòu)。
DeepSeek-V3開創(chuàng)性地采用了一種無(wú)輔助損失的負(fù)載平衡策略，并設(shè)置了多標(biāo)記預(yù)測(cè)訓(xùn)練目標(biāo)，進(jìn)一步提升了模型的性能。這使得開發(fā)人員能夠利用高級(jí)模型，同時(shí)處理文本和視覺(jué)數(shù)據(jù)，從而廣泛獲取先進(jìn)功能，并享受更多功能帶來(lái)的便利。
AMD Instinct GPU加速器與DeepSeek-V3的結(jié)合，為AI模型的運(yùn)行帶來(lái)了顯著改善，特別是在推理方面。AMD表示，ROCm中廣泛的FP8支持有助于解決內(nèi)存瓶頸和高延遲等關(guān)鍵問(wèn)題。這使得平臺(tái)能夠在相同的硬件限制下處理更大的模型或批處理，從而提高了訓(xùn)練和推理過(guò)程的效率。
FP8降低精度計(jì)算減少了數(shù)據(jù)傳輸和計(jì)算中的延遲。AMD ROCm擴(kuò)展了其對(duì)FP8的支持，從框架到庫(kù)，全面提升了性能和效率。這一技術(shù)革新為AI模型的高效運(yùn)行提供了有力保障。
