一、问题：大模型落地“算得起”还要“跑得稳” 近来，大语言模型向千亿、万亿级参数迈进，带动推理部署从数据中心向行业与边缘场景延伸。MoE稀疏架构通过“按需调用专家”一定计算预算下扩大模型容量，被视为重要技术路线之一。但在实际部署中，MoE往往伴随大量专家参数与复杂路由管理：显存承载能力成为关键瓶颈。显存不足时，只有少量“热专家”能够常驻，其余专家需要在内存与显存之间频繁搬运，不仅拉高时延，也使吞吐表现波动，制约在线服务体验与边缘侧落地。 二、原因：显存与带宽受限叠加路由策略粗放，放大了迁移成本 业内普遍面临的难点在于：一上，专家数量多、参数体量大，导致缓存空间紧张；另一方面，推理过程的路由选择具有动态性，若缺乏对“下一步需要哪些专家”的有效预测，参数加载只能被动发生，数据传输与计算无法充分重叠，延迟被显著放大。同时，不同算力单元在计算特性与调度方式上存在差异，若仅依赖单一设备或固定策略，容易出现小批量任务加载开销占比过高、资源利用不均等问题。叠加自主软硬件适配需求提升，如何在保证精度的前提下提升整体效率，成为亟待突破的方向。 三、影响：优化MoE推理效率，关系到行业应用成本与自主生态成熟度 MoE推理效率的提升，不仅意味着更低的硬件门槛与更高的服务稳定性，也直接影响行业应用的成本结构。对于需要低时延响应的智能客服、内容生成、工业质检、终端侧智能助理等场景，推理延迟和显存占用决定了能否在既定预算内实现规模化部署。更看，围绕主流架构形成可复用的优化工具链与工程实践，有助于增强生态对新型模型结构的支撑能力，降低对特定高端硬件的依赖，推动从“能训练”向“能部署、能迭代、能运营”转变。 四、对策：以“专家等价性”为抓手，构建软硬件协同的异构推理框架 据“华为计算”消息，南京大学李猛博士团队基于对MoE专家冗余性、可替代性的观察，提出以专家等价性驱动的无损显存优化思路，并结合昇腾平台特性形成软硬件协同方案，围绕推理全流程进行系统化重构，核心举措包括： ——在执行框架上，通过多级流水线并行设计，将参数加载、串行计算与并行推理进行更紧密的重叠，尽可能把数据传输“藏”在计算过程中，降低传输对时延的直接冲击。 ——在路由与缓存策略上，不再简单地“谁被选中就加载谁”，而是依据专家贡献度与等价关系对专家进行分层管理：优先保障关键专家驻留，同时允许等价专家在一定范围内替代未加载的低优先级专家，从而减少重复搬运与显存占用。 ——在参数预取上，提出在线预测与预取机制，借助共享专家的引导信息，提前推断后续可能调用的专家并完成加载，减少被动等待带来的停顿；该机制强调在线实现，降低对离线额外训练与复杂改造的依赖。 ——在异构资源调度上，设计动态负载均衡方法，根据任务规模与运行状态在不同算力单元间合理分配，避免小批量请求中“加载开销盖过计算收益”的情况，更利用异构计算优势。 基于上述思路，团队面向昇腾软硬件体系研发了推理加速引擎，涵盖动态路由管理、专家预测预取、算子适配等模块，并与有关软件栈进行深度结合，实现从路由、加载到执行的全链路优化。 五、前景：从单点突破走向工具链共享，推进边缘智能与产业应用 测试结果显示，在模型精度保持不变的前提下，上述方案可将显存消耗降低50%以上，并使推理速度相较同类方法提升2倍以上，同时显著提高显存缓存命中水平，缓解MoE部署“显存不够用、延迟不稳定”的痛点。更值得关注的是，团队计划将推理优化工具链面向社区开放，有望为科研人员与工程开发者提供可复用的工程底座，推动更多MoE结构模型在不同硬件环境中实现高效运行。 展望未来，随着大模型从通用能力走向行业深耕，推理侧的系统优化将与模型结构创新同等重要。围绕稀疏模型的高效调度、边缘侧的低功耗高吞吐、以及面向多场景的稳定服务能力，仍有广阔提升空间。此次进展为MoE在自主软硬件体系上的规模化部署提供了可验证的技术路径，也为我国智能计算生态在工程化与工具化层面补齐关键环节提供了参考。
这项研究成果反映了自主芯片与算法创新相结合的发展方向。南京大学团队的突破不仅解决了混合专家模型的实际部署难题，更为自主芯片生态的完善提供了有力支撑。随着类似创新成果的涌现，自主芯片平台在大模型领域的应用前景将深入拓宽，推动我国人工智能产业向更高层次发展。