97人人爽|97碰在线视频|三年片在线|中文字幕一区二区三区三区四区

?
當前位置：首頁 / 新聞資訊 / 行業資訊

DeepSeek開源周第二日：開源首個用于MoE模型訓練通信庫

發布日期：2025-02-26     184 次

今天是DeepSeek開源周第二日，一早，DeepSeek如約就放出了開源代碼庫DeepEP王炸。

據了解，DeepEP是首個用于 MoE 模型訓練和推理的開源 EP 通信庫，它填補了MoE模型專用通信工具的空白，為大規模分布式AI訓練和實時推理場景提供了更高效的底層支持。

在這里，簡單介紹一下DeepEP的技術性能特點：

1、高效通信架構

支持優化的全對全通信模式，實現節點內和節點間的NVLink與RDMA互聯，提升數據傳輸效率

2、多精度與調度優化

原生支持FP8低精度運算調度，降低計算資源消耗。

3、重性能內核

據介紹，高吞吐量內核可適用于訓練和推理預填充場景，最大化數據處理能力；

4、低延遲內核

它針對推理解碼場景設計，采用純RDMA通信和自適應路由技術，減少延遲。

5、資源控制與重疊機制

通過靈活的GPU資源控制策略，實現計算與通信過程的高效重疊，避免資源閑置。

6、深度優化場景

針對NVLink到RDMA的非對稱帶寬轉發場景進行專項優化，提升異構網絡下的傳輸性能；

此外，它還支持SM（Streaming Multiprocessors）數量動態控制，平衡不同任務（如訓練與推理）的吞吐量需求。


上一篇: 愛立信證明5G NTN回傳能力
下一篇: 中國數智化供應鏈管理行業新篇章 數智賦能新篇：張志毅的供應鏈創新實踐與引領

為您精選

最新文章

尋找更多銷售、技術和解決方案的信息？

?
關于綠測

廣州綠測電子科技有限公司（簡稱：綠測科技）成立于2015年11月，是一家專注于耕耘測試與測量行業的技術開發公司。綠測科技以“工程師的測試管家”的理念向廣大客戶提供專業的管家服務。綠測科技的研發部及工廠設立于廣州番禺區，隨著公司業務的發展，先后在廣西南寧、深圳、廣州南沙、香港等地設立了機構。綠測科技經過深耕測試與測量領域多年，組建了一支經驗豐富的團隊，可為廣大客戶提供品質過硬的產品及測試技術服務等支持。

綠測工場服務號
綠測工場服務號
綠測科技訂閱號
綠測科技訂閱號
020-2204 2442
Copyright @ 2015-2024 廣州綠測電子科技有限公司 版權所有 E-mail：Sales@greentest.com.cn 粵ICP備18033302號