近日，DeepSeek在其備受矚目的“開源周”活動中，迎來了第二天的重要發(fā)布——DeepEP，這是一個專為混合專家（MoE）模型訓(xùn)練和推理設(shè)計的開源EP通信庫。

DeepEP的開源地址已經(jīng)公布，感興趣的開發(fā)者和研究人員可以訪問此鏈接獲取更多信息。

據(jù)官方介紹，DeepEP具備多項顯著特征，使其成為處理MoE模型時的理想選擇。首先，它采用了高效優(yōu)化的全到全通信方式，確保了數(shù)據(jù)傳輸?shù)母咝浴Ｆ浯危珼eepEP支持節(jié)點內(nèi)外的通信，并且兼容NVLink和RDMA技術(shù)，這為用戶提供了更多的靈活性和兼容性。

DeepEP還提供了高吞吐量的內(nèi)核，這些內(nèi)核在訓(xùn)練和推理的前期填充階段能夠顯著提升效率。同時，對于推理解碼任務(wù)，DeepEP則提供了一套低延遲內(nèi)核，這些內(nèi)核采用純RDMA技術(shù)，最大限度地減少了延遲，從而優(yōu)化了推理解碼速度。

DeepEP完全支持FP8數(shù)據(jù)格式的調(diào)度，這對于低精度計算的需求來說無疑是一個重要的優(yōu)勢。該庫還提供了靈活的GPU資源管理功能，支持計算與通信的重疊執(zhí)行，這進(jìn)一步提高了資源利用效率和整體性能。

DeepEP的設(shè)計初衷是為了滿足混合專家（MoE）和專家并行（EP）模型的特殊需求。它提供了高吞吐量和低延遲的all-to-all GPU內(nèi)核，這些內(nèi)核常用于MoE的派發(fā)和合并操作。為了與DeepSeek-V3論文中提出的組限制門控算法兼容，DeepEP還進(jìn)行了一些針對不對稱帶寬轉(zhuǎn)發(fā)優(yōu)化的內(nèi)核設(shè)計。

例如，它能夠?qū)?shù)據(jù)從NVLink域轉(zhuǎn)發(fā)到RDMA域，這些優(yōu)化的內(nèi)核提供了高吞吐量，非常適合用于訓(xùn)練和推理的預(yù)填充任務(wù)。同時，DeepEP還支持SM（流式多處理器）數(shù)量控制，這為用戶提供了更多的控制和靈活性。

對于延遲敏感型的推理解碼任務(wù)，DeepEP的低延遲內(nèi)核無疑是一個重要的亮點。這些內(nèi)核采用純RDMA技術(shù)，最大限度地減少了延遲，從而確保了推理解碼任務(wù)的高效執(zhí)行。DeepEP還采用了一種基于Hook的通信與計算重疊方法，這種方法不會占用任何SM資源，進(jìn)一步提高了整體性能。

當(dāng)然，要使用DeepEP，還需要滿足一些硬件和軟件的要求。例如，需要配備Hopper GPUs（未來可能會支持更多架構(gòu)或設(shè)備），以及Python 3.8及以上版本、CUDA 12.3及以上版本和PyTorch 2.1及以上版本。還需要使用NVLink或基于RDMA網(wǎng)絡(luò)的節(jié)點間通信。