meta公司近期震撼發布了其全新的Llama 4系列人工智能模型，該系列包括Llama 4 Scout、Llama 4 Maverick及尚未完全公開的Llama 4 Behemoth，標志著AI技術的新里程碑。
此次發布的亮點在于Llama 4系列首次引入了混合專家（MoE）架構，這一創新設計通過將復雜任務分解給多個專業子模型處理，極大提升了模型訓練和推理的效率。這些“專家”子模型各司其職，共同協作，使得Llama 4系列在處理多任務時更加游刃有余。
值得注意的是，Llama 4系列模型經過海量多模態數據的嚴格訓練，包括文本、圖像、視頻和音頻等多種格式，因此具備了出色的視覺理解和跨格式內容轉換能力。這種全面的數據處理能力，使得Llama 4系列在多媒體應用中展現出無與倫比的優勢。
在上下文處理能力方面，Llama 4系列同樣令人矚目。特別是Llama 4 Scout，其上下文窗口高達1000萬個token，而Llama 4 Maverick也達到了100萬個token。這意味著它們可以輕松應對超長文本輸入，如7500頁的文檔，為科研、工程、文學等領域提供了前所未有的支持。
目前，用戶已經可以在Llama.com網站以及meta旗下的WhatsApp、Messenger、Instagram Direct等平臺體驗到Llama 4 Scout和Llama 4 Maverick的強大功能。據meta透露，Llama 4 Behemoth仍在緊鑼密鼓的訓練中，預計將在未來某個時間點與大家見面。
具體來看，Llama 4 Scout憑借其170億活躍參數和16個“專家”模型（總參數達1090億），在文檔總結和代碼推理方面表現出色，且僅需單個NVIDIA H100 GPU即可運行，非常適合高效信息提取和復雜邏輯推理任務。而Llama 4 Maverick則擁有更龐大的170億活躍參數和128個“專家”模型（總參數量高達4000億），在創意寫作、翻譯和圖像處理等方面均展現出卓越性能，超越了眾多競爭對手。
至于Llama 4 Behemoth，作為系列中的旗艦產品，它配備了驚人的2880億活躍參數和接近2萬億的總參數，使其在多個STEM基準測試中獨占鰲頭，充分證明了其強大的問題解決能力。
