DeepSeek第四天放出了双响炮:开源DualPipe和EPLB

   2025-02-27 IP属地 河北快科技晓丽16
导读

2月27日消息,今天是DeepSeek开源周第四日,不同于前三日早早就发出的开源项目。今天DeepSeek公布开源项目,比平日稍微晚些,让

2月27日消息,今天是DeepSeek开源周第四日,不同于前三日早早就发出的开源项目。

今天DeepSeek公布开源项目,比平日稍微晚些,让关注者们等的稍微有点着急,包括小编在内。

但是等待的结果总是值得的,这不今天公布了两项开源内容。话不多说,转入正题。

今天DeepSeek发布了DualPipe(双向管道并行算法)和EPLB(专家并行负载均衡器)

据DeepSeek介绍,DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法,它实现了向后和向后计算通信阶段的双向重叠,显著减少训练空闲时间。

同时,流水线气泡优化这一创新调度策略,降低传统管道并行中的“气泡”问题,有效提升硬件资源利用率。在GitHub上,目前该算法已经获得544个Star收藏。

另外,在此谈一谈EPLB(专家并行负载均衡器)

EPLB(专家并行负载均衡器)具有动态负载均衡、分层与全局平衡结合、流量优化的特点

具体来看,动态负载均衡是基于混合专家(MoE)架构,通过冗余专家策略复制高负载专家,并采用启发式分配算法优化GPU间的负载均衡;

另外在分层与全局平衡结合方面,它既支持单个节点的分层负载管理,也实现跨节点的全局负载平衡,减少GPU闲置。

此外在流量优化上,可在平衡负载的同时,通过调整专家分布降低节点间通信数据量,提升整体训练效率。

DeepSeek第四天放出了双响炮:开源DualPipe和EPLB

DeepSeek第四天放出了双响炮:开源DualPipe和EPLB


 
举报收藏 0
 
更多>同类资讯中心
推荐图文
推荐资讯中心
本月点击排行
大家都在“看”
快速投稿

你可能不是行业专家,但你一定有独特的观点和视角,赶紧和业内人士分享吧!

我要投稿

投稿须知

手机扫一扫,查看资讯
手机扫一扫,掌上查看本条资讯
免责声明
• 
本文为晓丽转载或用户上传作品,作者: 晓丽。欢迎转载,转载请注明原文出处:https://www.0b2b.com/news/show-34.html 。本站部分内容来源于合作媒体、企业机构、用户上传和互联网的公开资料等,仅供参考。本站对站内所有资讯的内容、观点保持中立,不对内容的准确性、可靠性或完整性提供任何明示或暗示的保证。如果有侵权等问题,请及时联系我们,我们将在收到通知后第一时间妥善处理该部分内容。1205677645@qq.com。