近日,聯想集團宣布基于聯想問天 WA7780 G3服務器,在行業內首次實現單機部署DeepSeek-R1/V3 671B大模型,以低于行業公認1TGB顯存(實際768GB)承載100并發用戶流暢體驗,可以滿足千人以上企業的使用需求,為行業樹立了企業級大模型部署新基準。

聯想問天 WA7780 G3大模型訓推一體服務器
01
突破性能限制,樹立DeepSeek-R1大模型部署新基準
作為全球關注的焦點,眾多企業正準備在本地化部署DeepSeek大模型。然而,在落地實施過程中用戶普遍面臨以下關鍵決策難題:單機能否部署滿血版DeepSeek R1?所需最低配置是什么?如何確保高并發與吞吐量下的優質體驗?如何避免采購陷阱?
聯想此次突破為企業提供科學選型指南。針對行業公認1TB顯存是千億參數大模型運行基線的背景下,聯想研發團隊通過專家并行優化、智能訪存架構升級及PCIe 5.0全互聯架構創新,大幅提升了顯存利用率,從而實現了性能的提升。
聯想實測數據顯示,在512 token標準測試環境下,該系統可支持100個并發用戶持續獲得每秒10 token的穩定輸出,首token響應時間壓縮至30秒內。即便面對4K長序列復雜場景,仍能保持25個并發用戶同等性能表現。
尤為值得關注的是,這臺服務器僅配置了8張96GB顯存的GPU卡。而DeepSeek-R1大模型的模型參數就需占用約700GB顯存,僅余不到100GB顯存空間可需用于KV-Cache等計算,如果不做專門優化,僅能支持2、3個用戶接入。
聯想在萬全異構智算平臺的加持下通過精心優化實現了突破,成功達成了用戶最為關注的三項關鍵指標:
首token延遲小于30秒、單token延遲小于100毫秒、支持2K以上長序列問題處理,同時實現了20%以上的成本節約,充分彰顯了聯想在服務器領域的深厚技術積累與創新實力。
02
持續優化升級,解決用戶體驗難題
聯想的這一創新成果揭示了設備選型的新維度,也提醒企業審慎評估各種測試數據,摒棄對總吞吐量和總并發數等指標的片面追求,而應從用戶體驗出發,關注這些指標背后的隱藏信息,如數據精度等。實際上,如果將數據精度從FP8轉為int8或int4(即量化),雖能明顯改善性能表現(如更高并發量和高吞吐量),但會犧牲結果的準確性,顯然這不是用戶所期望的。
需要特別指出的是,高吞吐量和高并發量也并不等同于用戶體驗好。若服務器GPU卡配置不高,局部通信瓶頸可能引發響應延遲使體驗降級,這正是聯想著力解決的難點之一。
毫無疑問,聯想技術突破將有效破除大模型落地瓶頸,顯著加速大模型在企業的落地進程。未來,聯想基礎設施業務群與聯想研究院先進計算實驗室將繼續攜手合作,依托聯想萬全異構智算平臺對DeepSeek平臺從AI預訓練、后訓練到推理的全流程進行持續優化,為客戶奉獻出性能更佳、性價比更高的產品和解決方案,以加速DeepSeek大模型的落地,推動新一輪生產力革命。