在AI領域，一篇博客文章往往難以引起廣泛關注，但Keller Jordan的博客卻是個例外。近日，AI云服務商Hyperbolic的聯合創始人兼CTO Yuchen Jin在社交平臺X上透露，Keller Jordan僅憑這篇博客就成功加入了OpenAI，并且有可能正在使用其中提出的神經網絡隱藏層優化器Muon來訓練GPT-5。
Jordan的這篇博客發布于2024年12月，題為《Muon：神經網絡隱藏層的優化器》。在博客中，他詳細介紹了Muon的設計原理及其在多個任務中的實證結果。據悉，Muon是一個針對神經網絡隱藏層二維參數的優化器，它通過采用SGD-momentum生成的更新，并在應用之前對每個更新應用Newton-Schulz迭代作為后處理步驟，以實現更新矩陣的近似正交化。
Jordan在博客中指出，Muon在多個任務中均取得了顯著的效果。例如，在CIFAR-10數據集上，它將訓練速度記錄提高到94%準確率，從3.3秒提高到2.6秒；在NanoGPT快速運行競賽任務FineWeb上，它將訓練速度記錄提高至3.28 val loss，提高了1.35倍；在擴展到774M和1.5B參數的同時，Muon也繼續顯示了訓練速度的提升。
Jordan在博客中還對神經網絡優化研究文獻進行了批判，指出其中充斥著大量已死的優化器。他認為，這些優化器聲稱能夠擊敗AdamW，但往往以巨大的優勢獲勝，卻從未被社區采用。Jordan認為，問題出在研究界，而非潛在的采用者。他犀利地指出，這項研究出了問題，并提出應該采用更高的證據標準來評估新的神經網絡訓練方法。
Jordan的觀點和Muon的實證結果顯然引起了OpenAI的注意。據Yuchen Jin透露，Jordan正是憑借這篇博客成功加入了OpenAI，并且有可能正在使用Muon來訓練GPT-5。這一消息無疑讓AI領域對Muon充滿了期待。
從職場社交平臺領英上也可以看到，Jordan確實是在2024年12月加入了OpenAI。這一時間點與博客的發布時間相吻合，進一步印證了Yuchen Jin的爆料。如果Jordan真的在使用Muon來訓練GPT-5，那么這一技術很有可能成為GPT-5中的重要部分。
不過，Jordan也在博客中提出了一些尚未解決的問題。例如，Muon是否可以擴展到更大規模的訓練？是否有可能在大型GPU集群中正確分布Muon使用的Newton-Schulz迭代？以及Muon是否僅適用于預訓練，而不適用于微調或強化學習工作負載？這些問題仍有待進一步的研究和驗證。
盡管如此，Muon的出現仍然為AI領域帶來了新的希望和可能。它讓人們看到了在神經網絡優化方面還有巨大的潛力和空間等待挖掘。隨著技術的不斷進步和發展，相信未來會有更多像Muon這樣的創新技術涌現出來，推動AI領域不斷向前發展。
