|
|
【#DeepSeek宣布开源DeepGEMM#，同时支持普通的和专家混合（MoE）分组的GEMM运算】据新浪科技报道，DeepSeek开源周（OpenSourceWeek）第三日，在宣布开源MLA解码核FlashMLA以及DeepEP两款代码库后，DeepSeek今日再次宣布开放了DeepGEMM代码库。
据DeepSeek方面介绍，DeepGEMM是专为简洁高效的FP8通用矩阵乘法（GEMMs）而设计，它同时支持普通的和专家混合（MoE）分组的GEMM运算。该库使用CUDA编写，在安装过程中无需编译，通过在运行时使用轻量级即时编译模块来编译所有内核。
目前，DeepGEMM仅支持英伟达Hopper架构运算，为解决FP8张量核心累加不精确的问题，它采用了CUDA核心的两级累加（提升）方法。该代码库设计非常简洁，只有一个核心内核函数，代码量约为300行。来源：福布斯中文网
|
|
发表于 2025-2-26 17:48:28