文章来源:08AI导航发布时间:2025-03-10 09:47:08
DeepGEMM是一个专为高效FP8通用矩阵乘法(GEMM)设计的库,具有细粒度缩放功能,支持普通和混合专家(MoE)分组GEMM。

CUDA编写:DeepGEMM使用CUDA编写,无需编译,采用轻量级即时(JIT)模块在运行时编译所有内核。
细粒度缩放功能:支持普通和混合专家(MoE)分组GEMM,适用于不同的矩阵形状和计算需求。
性能优化:采用CUDA核心两级累积(提升)解决不精确的FP8张量核心累积问题,利用Hopper TMA功能加速数据移动。
性能优异:尽管设计轻量,但其性能匹敌甚至超过了各种矩阵形状的专家调整库。
易于访问:作为一个干净且易于访问的资源,DeepGEMM是学习Hopper FP8矩阵乘法和优化技术的理想选择。
灵活性:支持自动选择块大小、warpgroups数量、最佳流水线阶段和TMA集群大小,以适应不同的计算需求。
DeepGEMM适用于需要高效矩阵乘法操作的场景,特别是在深度学习ai模型训练和推理中,能够显著提高计算效率和性能。
github:https://github.com/deepseek-ai/DeepGEMM
1.DeepSeek开源周第二天开源项目:Deepep
2. DeepSeek开源周第一天开源项目:DeepSeekFlashMLA
相关攻略 更多
最新资讯 更多
2025年了,AI还看不懂时钟,90%人都能答对,顶尖AI全军覆没
更新时间:2025-10-14
光刻机龙头或领投“欧洲OpenAI”
更新时间:2025-10-14
华人缔造商业传奇,全球第一家突破百亿美金的AI编程企业诞生
更新时间:2025-10-14
具身智能进家干活,先从“AI家电”抓起?
更新时间:2025-10-14
前零一万物联创戴宗宏创业:20人团队,能干上百人的AI定制项目
更新时间:2025-10-14
阿里端出最强语音模型,英文rap精准转文字,准确率干翻全球
更新时间:2025-10-14
小扎「梦之队」首批论文上线,LLM自举进化,单步性能狂飙22%
更新时间:2025-10-14
再也不怕面瘫脸,YouTube黑科技:AI帮你「永久微笑」,连僵尸都咧嘴笑
更新时间:2025-10-14
2025年全球企业级AI Agent优秀厂商有哪些?
更新时间:2025-10-14
GPT-5 为啥不 “胡说” 了?OpenAI 新论文讲透了
更新时间:2025-10-14