本周 DeepSeek 开源了自家线上服务用的推理框架 DeepInfer,当前支持 V4.1 Flash 模型。它集成了 FlashMLA、DeepGEMM、DeepEP 等自研算子库,支持注意力数据并行、MoE 专家并行和负载均衡、草稿 token 加速解码,还提供批次无关推理和确定性采样。硬件上同时支持英伟达 SM100 和华为昇腾 950,以 Apache 2.0 协议开源。
点评:这是本周热度最高的新闻之一,此前 DeepSeek 开源的多是零散算子,这次给出了能串起来的推理引擎,而且第一天就支持国产 NPU。不过官方也说明,KV cache 系统、预填充和解码分离、多副本负载均衡都没包含在内,但最值得关注的是后续官方给出了模型服务的经济成本与收益,让大家对模型价格有了更直观的了解。