(2025-2-28热点)-DeepEP开源库发布

 2025-05-03  阅读 36  评论 0

摘要:2月25日,DeepSeek官宣,今日开源代码库为DeepEP,它是首个用于MoE模型训练和推理的开源EP通信库。特点有:高效的全员沟通;节点内和节点间均支持NVLink和RDMA;用于训练和推理预填充的高吞吐量内核;用于推理解码的低延迟内

2月25日,DeepSeek官宣,今日开源代码库为DeepEP,它是首个用于 MoE 模型训练和推理的开源EP通信库。

特点有:高效的全员沟通;节点内和节点间均支持 NVLink和RDMA;用于训练和推理预填充的高吞吐量内核;用于推理解码的低延迟内核;

原生 FP8 调度支持;灵活的GPU资源控制,实现计算-通信重叠。

版权声明:该内容为言词句集网所有,严禁转载、复制、镜像。

原文链接:https://yancijuji.com/meirizuixinshi/293429.html

发表评论:

管理员

  • 内容310686
  • 积分0
  • 金币0
关于我们
言词句集网是一个优质内容分享平台,主要为大家分享一些句子、说说、名言、读后感等内容,如果大家觉得身边有一些正能量的内容也可以投稿给我们。
联系方式
电话:
地址:广东省东莞市
Email:admin@qq.com

Copyright © 2022 言词句集网(yancijuji.com) Inc. 保留所有权利。

页面耗时0.0437秒, 内存占用1.73 MB, 访问数据库16次

粤ICP备2021108076号