<ul id="mwmk6"><sup id="mwmk6"></sup></ul>
<ul id="mwmk6"></ul>
    <abbr id="mwmk6"></abbr>
  • <ul id="mwmk6"></ul>
  • <ul id="mwmk6"><sup id="mwmk6"></sup></ul>
    資訊在沃

    聯想AI服務器新突破:本地部署DeepSeek大模型,性能滿載支持百并發

       發布時間:2025-03-03 12:31 作者:陸辰風

    聯想集團近日宣布了一項重大技術突破,成功在聯想問天WA7780 G3服務器上單機部署了DeepSeek-R1/V3 671B大模型。這一成就不僅刷新了企業級大模型部署的基準,還以遠低于行業公認的1TGB顯存要求(實際僅使用768GB),實現了流暢支持100并發用戶的能力,充分滿足千人以上規模企業的使用需求。

    在DeepSeek大模型本地化部署逐漸成為企業關注焦點的背景下,聯想的這次技術革新為企業提供了寶貴的選型參考。面對行業普遍存在的關鍵問題,如單機能否部署完整版的DeepSeek R1、最低配置需求、高并發與吞吐量下的用戶體驗保障以及如何避免采購陷阱,聯想給出了明確的答案。

    聯想的研發團隊通過一系列創新技術,包括專家并行優化、智能訪存架構升級以及PCIe 5.0全互聯架構的應用,顯著提升了顯存利用率,從而實現了性能的大幅提升。在512 token標準測試環境下,系統能夠支持100個并發用戶以每秒10 token的速度穩定輸出,首token響應時間更是被壓縮至30秒以內。即使在面對4K長序列的復雜場景時,系統也能保持25個并發用戶的同等性能。

    聯想問天WA7780 G3服務器僅配置了8張96GB顯存的GPU卡,而DeepSeek-R1大模型的模型參數就占據了約700GB顯存,剩余顯存空間有限。如果不進行專門優化,系統僅能支持2至3個用戶接入。然而,在聯想萬全異構智算平臺的加持下,通過精心優化,聯想成功實現了用戶體驗的三項關鍵指標:首token延遲小于30秒、單token延遲小于100毫秒、支持2K以上長序列問題處理。同時,這一方案還實現了20%以上的成本節約,充分展示了聯想在服務器技術領域的深厚積累和創新實力。

    聯想的這一創新成果不僅為企業提供了設備選型的新思路,還提醒企業在評估測試數據時,應審慎看待總吞吐量和總并發數等指標,而應更加關注用戶體驗和數據精度等隱藏信息。例如,將數據精度從FP8轉為int8或int4(即量化)雖然可以顯著提升性能表現,但會犧牲結果的準確性,這顯然不是用戶所期望的。高吞吐量和高并發量也并不等同于用戶體驗好。如果服務器GPU卡配置不高,局部通信瓶頸可能會引發響應延遲,導致用戶體驗降級。

    聯想的這一技術突破將有效破除大模型在企業落地過程中的瓶頸,加速大模型在企業的應用進程。未來,聯想基礎設施業務群與聯想研究院先進計算實驗室將繼續深化合作,依托聯想萬全異構智算平臺對DeepSeek平臺從AI預訓練、后訓練到推理的全流程進行持續優化,為客戶提供性能更佳、性價比更高的產品和解決方案,推動DeepSeek大模型的廣泛落地,引領新一輪的生產力革命。

     
     
    更多>同類內容
    全站最新
    熱門內容
    本欄最新
     
    日韩夜夜高潮夜夜爽无码| 四虎成人国产精品视频| 99久久综合精品免费| 国内精品久久久久影院一蜜桃| 精品久久综合1区2区3区激情| segui久久综合精品| 麻豆人妻少妇精品无码专区| 亚洲日韩中文字幕| 嘿嘿射久草日韩视频| 男人扒开女人下添高潮日韩视频 | 2022国产成人福利精品视频| 亚洲午夜精品久久久久久人妖| 久久精品国产亚洲av四虎| 久久青草国产精品一区| 久久精品无码一区二区三区| 国产精品污WWW在线观看| 99久久国产综合精品女同图片| 在线精品国产一区二区三区 | 无码国产精品久久一区免费| 亚洲熟女精品中文字幕| 亚洲a∨无码精品色午夜| 狠狠精品干练久久久无码中文字幕| 亚洲色精品三区二区一区| 亚洲精品美女久久久久久久| 亚洲精品GV天堂无码男同| 国产午夜精品一区二区三区极品| 美女精品永久福利在线| 在线观看国产精品va| 依依成人精品视频在线观看 | 亚洲精品无码永久在线观看你懂的| 欧洲精品无码一区二区三区在线播放| 亚洲伊人久久精品影院| 久久精品国产福利国产秒| 久久精品中文字幕无码| 日韩精品国产另类专区| 久久亚洲精品无码aⅴ大香| 国产精品香蕉在线| 午夜精品福利在线| 日韩精品一区二区三区中文字幕| 亚洲av日韩av永久无码电影| 亚洲精品tv久久久久久久久久|