<ul id="mwmk6"><sup id="mwmk6"></sup></ul>
<ul id="mwmk6"></ul>
    <abbr id="mwmk6"></abbr>
  • <ul id="mwmk6"></ul>
  • <ul id="mwmk6"><sup id="mwmk6"></sup></ul>
    資訊在沃

    Meta發布Llama 4系列AI,混合專家架構能否助其效率飆升?

       發布時間:2025-04-06 06:00 作者:柳晴雪

    meta近期推出了其最新的Llama 4系列AI模型,這一系列包括了Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth三款模型。據meta透露,這些模型均經過了龐大的未標注文本、圖像和視頻數據的訓練,旨在賦予它們廣泛的視覺理解能力。

    目前,meta已將Scout和Maverick兩款模型上架至Hugging Face平臺。而Behemoth模型仍在緊鑼密鼓的訓練中。Scout模型能夠在單個英偉達H100 GPU上運行,而Maverick則需要更高配置的英偉達H100 DGX AI平臺或性能相當的設備。

    值得注意的是,Llama 4系列是meta首次采用混合專家(MoE)架構的模型。這種架構通過將數據處理任務分解為多個子任務,再將這些子任務分配給更小的、專門化的“專家”模型,從而在訓練和回答用戶查詢時展現出更高的效率。例如,Maverick模型擁有4000億個參數,但在128個“專家”模型中,只有170億個參數處于活躍狀態。

    相比之下,Scout模型擁有170億個活躍參數,分布在16個“專家”模型中,總參數數為1090億個。盡管Llama 4系列模型在性能上有所提升,但它們并非像OpenAI的o1和o3-mini那樣的“推理模型”。推理模型會對答案進行事實核查,通常能更可靠地回答問題,但響應時間相對較長。

    meta內部測試顯示,Maverick模型在通用AI助手和聊天等應用場景中表現出色,尤其在創意寫作、代碼生成、翻譯、推理、長文本上下文總結和圖像基準測試等方面,其性能超過了OpenAI的GPT-4和谷歌的Gemini 2.0等模型。然而,與谷歌的Gemini 2.5 Pro、Anthropic的Claude 3.7 Sonnet和OpenAI的GPT-4.5等更強大的最新模型相比,Maverick仍有一定的提升空間。

    Scout模型則擅長總結文檔和基于大型代碼庫進行推理。該模型支持處理1000萬個詞元,這意味著它一次能夠處理數百萬字的文本。meta還預告了其Behemoth模型。據透露,Behemoth擁有2880億個活躍參數,分布在16個“專家”模型中,總參數數接近2萬億個。meta內部基準測試顯示,在一些衡量解決數學問題等科學、技術、工程和數學(STEM)技能的評估中,Behemoth的表現優于GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro,但略遜于Gemini 2.5 Pro。

     
     
    更多>同類內容
    全站最新
    熱門內容
    本欄最新
     
    国产美女亚洲精品久久久综合 | 精品亚洲视频在线| 亚洲精品国产第1页| 亚洲国产精品无码一线岛国| 久久精品国产精品亚洲| 动漫精品专区一区二区三区不卡| 日韩熟女精品一区二区三区| 成人精品一区二区三区电影| www.国产精品.com| 在线综合亚洲中文精品| 精品久久久久久久久午夜福利| 2021国产精品自产拍在线观看 | 91精品国产高清久久久久久91| 亚洲国产精品lv| 久久er这里只有精品| 国产成人精品白浆久久69| 好属妞这里只有精品久久 | 久久久精品国产免大香伊| 久久综合久久自在自线精品自| 久久无码专区国产精品s| 久久精品国产一区| 国产精品186在线观看在线播放| 国产精品无码AV一区二区三区| 国内精品久久久久伊人av | 国产精品民宅偷窥盗摄| 精品国产乱码久久久久久郑州公司 | 中文字幕一区二区三区日韩精品| 久久99精品久久久久久9蜜桃| 国产精品成人免费观看| 精品久久人人妻人人做精品 | 亚洲国产精品久久久天堂| 国产成人精品高清在线观看93| 久久99精品久久久久麻豆| 无码日韩精品一区二区三区免费| 无码国产精品一区二区免费模式| 日韩国产成人精品视频 | 国产精品亚洲va在线观看| 国产亚洲精品2021自在线| 国产亚洲日韩在线三区| 亚洲日韩在线中文字幕综合| 日韩精品一二三四区|