分享好友 资讯中心首页 资讯中心分类 切换频道

DeepSeek第四天放出了双响炮:开源DualPipe和EPLB

2025-02-27 14:06IP属地 河北150晓丽快科技

2月27日消息,今天是DeepSeek开源周第四日,不同于前三日早早就发出的开源项目。

今天DeepSeek公布开源项目,比平日稍微晚些,让关注者们等的稍微有点着急,包括小编在内。

但是等待的结果总是值得的,这不今天公布了两项开源内容。话不多说,转入正题。

今天DeepSeek发布了DualPipe(双向管道并行算法)和EPLB(专家并行负载均衡器)

据DeepSeek介绍,DualPipe是一项在DeepSeek-V3技术报告中引入的双向管道等值算法,它实现了向后和向后计算通信阶段的双向重叠,显著减少训练空闲时间。

同时,流水线气泡优化这一创新调度策略,降低传统管道并行中的“气泡”问题,有效提升硬件资源利用率。在GitHub上,目前该算法已经获得544个Star收藏。

另外,在此谈一谈EPLB(专家并行负载均衡器)

EPLB(专家并行负载均衡器)具有动态负载均衡、分层与全局平衡结合、流量优化的特点

具体来看,动态负载均衡是基于混合专家(MoE)架构,通过冗余专家策略复制高负载专家,并采用启发式分配算法优化GPU间的负载均衡;

另外在分层与全局平衡结合方面,它既支持单个节点的分层负载管理,也实现跨节点的全局负载平衡,减少GPU闲置。

此外在流量优化上,可在平衡负载的同时,通过调整专家分布降低节点间通信数据量,提升整体训练效率。

DeepSeek第四天放出了双响炮:开源DualPipe和EPLB

DeepSeek第四天放出了双响炮:开源DualPipe和EPLB


举报
收藏 0
比亚迪海洋网累计销量突破440万!全新休旅车与独立MPV蓄势待发
3月12日消息,比亚迪海洋网销售事业部总经理张卓在广州站发布会上透露,比亚迪海洋网累计销量已突破440万辆。自2022年成立以来,

2025-03-12152

苹果iOS 18.3.2正式版发布:重要错误修复、安全更新
3月12日消息,今天凌晨,苹果发布iOS18.3.2正式版更新,距离上次发布正式版间隔29天,本次更新版本号为22D82|22D8082。苹果在更

2025-03-12145

龙芯CPU打造纯国产税务系统:中国银联都用它!
3月12日消息,龙芯中科介绍了基于龙芯CPU处理器的纯国产税务系统信创方案,既满足了信创改造需求,也实现了税务系统的智能化升级

2025-03-12149

小米SU7每年续保价格不一样 原因出在这
3月12日消息,有小米SU7车主好奇,为什么自己的小米SU7今年的续保价格和去年的不一样?对此,小米汽车官方进行了回应:每年的汽

2025-03-12155

小米15 Ultra首销量翻倍!6000-8000价位第一 创历史新高
3月12日消息,小米15 Ultra在3月3日正式首销,一周时间过去,有第三方机构的数据显示,该机首周销量对比前代直接翻倍,成绩非常

2025-03-12151

你需要吗!小米要做摩托车了:雷军回应
3月6日消息,小米在汽车领域做的风生水起,那么会不会进入摩托车市场呢,之前有传闻称他们可能有这个计划。不少人期待雷军是否还

2025-03-06154

全新小鹏G9亮相:全车66项升级 智驾、双腔空悬全部标配
3月6日消息,小鹏汽车今日发布了全新小鹏G9官图。小鹏汽车董事长何小鹏表示,全新小鹏G9全车升级了66项体验,并且,G9作为小鹏旗

2025-03-06142

最新Mac Studio用的还是上代M3 Ultra:苹果给出解释
3月6日消息,今天苹果更新了Mac Studio,但其高端型号搭载的仍是上一代的M3 Ultra芯片,而非最新的M4 Ultra,这也引发了不少猜测

2025-03-06128

小米SU7 Ultra有多火:机场停一天 71组哨兵视频
3月6日消息,小米SU7 Ultra已经在3月2日开启交付,目前已经有不少车主提车,成为全球第一批车主。作为一款路面上不常见的超级性

2025-03-06125

小米在中国高端手机份额排名第三 仅次于苹果、华为
3月6日消息,自2017年起,中国智能手机市场显著迈向高端化,而美国对华为的禁令更是加速了这一进程。Counterpoint最新发布的《智

2025-03-06128