什么是混合专家（MoE）？为什么超大模型还能跑得动

这两年最火的开源模型——DeepSeek、Mixtral、以及不少闭源旗舰——都用了同一种架构：混合专家（Mixture of Experts，简称 MoE）。它解决了一个矛盾：既想让模型很大很聪明，又不想每次回答都贵得离谱。这篇用一个「专家会诊」的比喻，把它讲清楚。

先看普通大模型的”浪费”

普通的「稠密（Dense）」大模型有个特点：每回答一个字，全部参数都要参与计算。就像一家公司，无论来的是法律问题还是财务问题，全体员工都得开会——人越多，开一次会越贵越慢。

参数量越大越聪明（这点见什么是参数量），但「全员参与」让超大模型的推理成本高到难以承受。MoE 就是来破解这个的。

MoE 的核心：请专家，不用全员开会

混合专家的思路很直观：把模型内部拆成很多个「专家」小网络，每次只叫上最相关的几个来干活。

用一个比喻：

• 模型里养着一批专科专家（比如「代码专家」「翻译专家」「数学专家」……）
• 前面有一个门控网络（Router，路由器），像分诊台
• 每来一个 token，路由器判断「这个该找谁」，只激活最匹配的 2 个专家，其余的都在休息
• 几个专家给出结果，汇总成这一步的输出

于是模型总参数可以非常大（专家很多，知识储备足），但每次实际参与计算的只是一小部分（只叫醒 2 个）——又大又省，秘密就在这里。

“总参数”和”激活参数”：看懂 MoE 的关键

理解 MoE，记住这两个数就够了：

• 总参数：所有专家加起来有多大——决定知识上限
• 激活参数：每次实际用到的有多少——决定速度和成本

比如一个模型标称「671B 总参数、37B 激活」，意思是：它肚子里装着 671 亿×10 的知识，但每回答一步只调动其中 370 亿的算力。你享受了大模型的脑容量，却只付小模型的算力账。

这也是为什么看到 MoE 模型的参数量时不能只看总数——真正决定它跑多快、多贵的是激活参数。

MoE 的代价

天下没有免费的午餐，MoE 也有它的麻烦：

• 吃显存：虽然每次只算一部分，但所有专家都得先装进内存/显存待命，占用比同等激活量的稠密模型大得多
• 训练更复杂：要让路由器学会「派活派得准」、让各专家负载均衡（别全挤到一个专家），工程难度更高
• 偶有不稳：路由决策不总是最优，可能把问题派给不太合适的专家

所以 MoE 不是万能药，而是一种**「用显存换速度和成本」**的权衡——特别适合参数规模巨大的旗舰模型。

和普通大模型怎么选

对普通用户来说，你其实不用纠结架构——好不好用看实际表现，不看是不是 MoE。但了解它能帮你看懂两件事：

• 为什么有些模型「参数巨大却响应飞快、还便宜」——多半是 MoE
• 为什么同样标着几百 B，本地部署门槛却天差地别——MoE 吃的是显存，不是算力

小结

混合专家（MoE）的精髓，是把「全员开会」改成「按需请专家」：总参数很大保证聪明，每次只激活一小部分保证快和省，代价是更吃显存、训练更复杂。它是这两年超大模型还能跑得动、还降得下价的关键架构之一。理解了「总参数 vs 激活参数」，你再看那些动辄几百 B 的模型就不会被数字唬住了。想继续深入，可读什么是参数量和大模型是怎么工作的。