DeepSeek V4.1:把 MoE 的「非对称激活」讲清楚

DeepSeek V4.1 把 MoE 专家从均匀排班改成按 token 语义与任务难度非对称路由,同等 FLOPs 下推理质量提升。
DeepSeek V4.1 这一代 MoE(混合专家)架构,最值得讲清楚的不是"它又开源了",而是"它把专家激活做成了非对称"。传统 MoE 里,每个 token 会均匀地激活 top-k 个专家,所有专家的总参数量很大但每次推理只动用一小部分——这是它能压成本的核心。
V4.1 的改进是:不同专家不再被平等排班,而是按 token 的语义类型、按任务难度做非对称分配。简单问候类 token 只走少数几个通用专家;复杂推理类 token 会被路由到更多、更专门的专家。结果是同等 FLOPs 下推理质量提升,且长尾任务的表现明显改善。财新在报道中把这一点称为"MoE 从均匀路由走向语义路由"的关键一步。(来源:DeepSeek 官方发布与财新报道;单源细节待复核。)
评论 (0)
正文划词可点「问萝卜特」——自动发评论并由 AI 回复
加载评论中…