摘要
混合专家大模型通过稀疏激活扩展参数容量，但Top-k路由会在Chiplet系统中形成专家热点、随机权重装载、片间散集通信和同步尾延迟。针对热门复制、静态放置与单步预取难以联合利用跨层依赖和互连状态的问题，文章提出CoMoE-Chip。该架构在Attention、专家、路由控制和HBM/PIM内存Chiplet之间维护版本化目录，以专家转移图预测下一层候选，联合执行有限副本、置信度预取、拥塞感知映射、信用控制与分层归并。合成Trace驱动解析模型设置64个专家、Top-2路由、8个专家Chiplet、Zipf偏斜系数1.1、跨层可预测性0.65和512 GB/s有效片间带宽。结果显示，相较静态映射，CoMoE-Chip将平均每层时延由4.742 ms降至1.621 ms，P95由5.186 ms降至1.711 ms，远端专家装载量由12.954 GB/批降至1.245 GB/批，分别降低65.82%、67.01%和90.39%，负载均衡度由0.516提高到0.804，副本因子为1.26。研究表明，MoE Chiplet优化应把专家转移、物理驻留、网络压力和尾延迟作为统一闭环。
混合专家（Mixture-of-Experts，MoE）以门控网络为每个Token选择少量前馈专家，在保持单Token计算量近似稳定的同时扩大模型总参数量[2][3][4][5][6]。DeepSeekMoE、DeepSeek-V3、DeepSeek-R1与Qwen3进一步把细粒度专家、共享专家和大规模专家并行用于前沿模型[7][8][9][10]。然而，稀疏计算并不等于稀疏系统成本：专家权重仍需被存储和按需读取，Token必须在路由器、专家设备和归并节点之间散集，且每层输出要等待最慢专家完成。Tutel、MegaBlocks、DeepSpeed-MoE和Lina通过稀疏内核、通信重排与流水化降低GPU集群开销[11][12][13][14]，MoETuner和CRAFT从跨层依赖、专家放置及副本收益优化多GPU服务[15][16]。随着UCIe 3.0把Chiplet链路推进至48/64 GT/s等级[28]，多Chiplet加速器为细粒度专家迁移和片上复用提供了新空间；但Expert Streaming、HCRMap、MoEntwine、Mozart、ThAME与Sieve等工作也表明，片间带宽、存储层次、专家热点和执行队列会成为共同瓶颈[17][18][19][20][21][22]。文章提出CoMoE-Chip，目标不是宣称首次发现跨层依赖或专家复制，而是把跨层转移置信度、有限副本、权重预取、Token到副本映射和NoP信用控制放入同一硬件—运行时闭环。文章贡献为：①建立可解释的专家转移图和不确定性度量；②设计分层驻留、有限复制和可撤销预取机制；③提出考虑模型路由分数、计算队列、片间路径和权重装载的受约束映射；④以合成Trace驱动解析模型分析路由偏斜、转移可预测性和Die-to-Die带宽的作用边界。
1 MoE推理的Chiplet瓶颈
1.1 稀疏激活与稠密系统状态
设第l层输入Token表示为ht^l，路由器输出对E个专家的分数gt^l，Top-k集合为S_t^l，则MoE层输出可写为：
式（1）中的计算只执行k个专家，但设备必须能够访问全部E个专家权重。对于低批量解码，一个批次可能只为某个专家分配1~2个Token，专家GEMM退化为低利用率矩阵—向量计算；若专家权重不在本地，还要支付从HBM、PIM或远端Chiplet装载的固定开销。随着专家数增加和单Token激活比例下降，活跃专家数量与每个专家的Token数呈现“长尾+稀疏并集”，Sieve把这一趋势概括为双峰专家分布[22]，ReXpert则指出即使权重驻留，路由偏斜仍会通过局部占用率损失降低实际矩阵利用率[23]。
表1 MoE在多Chiplet系统中的压力传播
| 压力源 | 直接现象 | 二阶影响 | 仅做静态映射的缺陷 |
|---|---|---|---|
| 专家热点 | 少数专家接收大量Token | 队列变长、尾延迟由热点决定 | 无法适应主题、阶段和会话变化 |
| 长尾激活 | 大量专家每批仅有少量Token | 低矩阵利用率、权重摊销不足 | 冷专家仍占固定近端容量 |
| 权重装载 | 非本地专家需跨层级读取 | 挤占HBM/D2D带宽并增加能耗 | 未利用下一层预测提前隐藏时延 |
| Token散集 | 路由结果造成突发多对多流量 | NoP热点、缓冲阻塞和回压 | 平均带宽充足仍可能出现局部拥塞 |
| 同步归并 | Top-k专家输出完成后才能继续 | 最慢专家放大P95/P99 | 只优化平均负载不能消除长尾 |
| 副本更新 | 热点副本需要复制、迁移和失效 | 容量压力、版本一致性和迁移抖动 | 盲目复制会挤出高价值权重 |
1.2 热点频率不足以描述路由
专家流行度回答“当前层哪些专家被频繁选择”，却没有回答“当前专家之后最可能访问哪个下一层专家”。MoETuner已经观察到跨层路由依赖可用于设备放置[15]，Expert Streaming进一步用动态专家轨迹组织微切片流[17]。文章把依赖显式表示为层间转移图：节点是〈层，专家〉，有向边权是相邻层共同路由的条件概率。相同流行度的两个专家可能具有不同后继集合：一个后继高度集中，适合确定性预取；另一个后继熵高，激进预取会制造无效流量。
其中Nl(i,j)是在滑动窗口中从第l层专家i转移到第l+1层专家j的计数，ε为平滑项，Hl(i)是转移熵。运行时对低熵边使用确定性预取，对中熵边保留少量候选，对高熵节点只维持热点副本而不提前装载。图2给出12个专家的示例转移矩阵；主对角线之外仍存在强边，说明按专家编号邻近或仅按全局热度布局不能替代实际依赖。
图1 跨层专家转移概率示例
1.3 Chiplet机会与新约束
Chiplet允许将Attention、专家计算、路由控制和高容量存储按不同工艺节点实现，并通过封装内互连连接。UCIe 3.0支持更高数据率和Raw Streaming等映射，为低开销片间流提供标准基础[28]。但Chiplet并不自动消除数据移动：D2D链路的双向带宽、物理路径、缓冲深度、重传、组播支持和功耗均有限。MoEntwine通过交织映射利用不同阶段的冷热链路[19]，Mozart以NoP-Tree和异构Chiplet支持专家协同[20]，ThAME通过3D异构内存处理权重和Token流[21]。CoMoE-Chip据此把NoP视为一等资源，而不是在放置完成后才计算通信代价。
2 CoMoE-Chip总体设计
2.1 硬件组成与数据通路
图2 CoMoE-Chip总体架构
如图2所示，系统由Attention Chiplet、若干专家Chiplet、路由控制Chiplet、HBM/PIM内存Chiplet和UCIe/NoP组成。Attention Chiplet完成归一化、投影、注意力及路由前置计算；专家Chiplet包含矩阵阵列、片上SRAM、Token队列和可编程专家页表；路由控制Chiplet维护转移图、版本化目录、链路遥测和信用；内存Chiplet保存完整专家权重、冷副本和预取缓冲，并可对低算术强度专家提供近存执行。该划分与ThAME的异构内存、Sieve的GPU—PIM动态分工和ReXpert的近存专家池方向一致[21][22][23]，但CoMoE-Chip把跨层预测与物理副本目录直接耦合。
表2 CoMoE-Chip模块、状态和关键接口
| 模块 | 主要状态 | 关键动作 | 失败或退化路径 |
|---|---|---|---|
| Attention Chiplet | Token、KV、路由前特征 | 生成路由分数，发出预测提示 | 预测关闭时按标准Top-k执行 |
| 专家Chiplet | 本地专家页、Token队列、负载计数 | 计算专家、接收组播、局部归并 | 本地满载时把Token映射到其他副本 |
| 路由控制Chiplet | 转移图、专家目录、信用和遥测 | 副本选择、预取、路径与版本控制 | 过载时冻结副本更新并回退静态目录 |
| HBM/PIM Chiplet | 完整权重、冷副本、预取缓冲 | 权重装载、近存冷专家执行 | 预取失败时按需读取或执行 |
| UCIe/NoP | 虚通道、信用、组播树、错误状态 | Token散发、权重传输、结果归并 | 拥塞时限流、改道或撤销低置信预取 |
2.2 版本化专家目录
每个专家目录项包含专家标识、层号、权重版本、本地或远端位置、精度格式、剩余租约、当前队列、最近命中和副本状态。目录更新采用“准备—发布—回收”三阶段：新副本先在目标Chiplet完成校验，再原子发布版本；旧副本只在在途Token归并后回收。这样可以避免迁移过程中同一Token读取不同权重版本。对于静态推理权重，版本变化主要来自模型热升级或量化配置切换；对于在线适配专家，还需要更严格的一致性和租户隔离。
2.3 两时间尺度控制
专家驻留和Token映射不能使用同一更新时间。副本复制涉及GB级权重和容量置换，应在几十至数百个批次的慢时间尺度上执行；Token到副本映射只涉及KB级激活和队列选择，可逐批甚至逐微批执行。HCRMap同样采用慢驻留与快映射的思想[18]。CoMoE-Chip在慢环中根据稳定热度、转移图和资源压力选择副本，在快环中依据瞬时队列和路径拥塞决定Token目的地；预取处于二者之间，可由当前层路由事件触发并随置信度撤销。
3 转移引导的专家复用机制
3.1 副本收益与容量约束
设二元变量xe,c表示专家e是否驻留于Chiplet c，me为专家权重大小，M_c为可用容量。对候选副本的预期收益定义为：
其中λe是请求强度，phit由专家热度和转移图共同估计，Ccopy是复制成本，Cmem是挤占其他专家造成的机会成本，Cnop是复制期间对NoP的压力。与只按热度复制不同，若某专家本身不热但总是某个高频前驱的确定后继，其phit仍可能很高；反之，全局热点若已在多个邻近Chiplet上驻留，新增副本的边际收益会快速下降。CRAFT以细粒度层级估计避免过度复制[16]，CoMoE-Chip进一步把跨层转移和NoP压力纳入收益。
3.2 置信度分级预取
当前层路由完成后，控制器查找每个已选专家的下一层转移分布。若最大概率超过θh且熵低于Hh，立即把对应后继专家页预取到目标专家Chiplet或内存侧高速缓冲；若概率处于中间区间，则仅预取权重头部、元数据或最可能的两个候选；若熵高，则不执行权重预取，只保留目录和Token路由准备。APEX通过轻量预测路由器提前决定边缘MoE专家[24]，Beyond Capacity利用早期专家确定隐藏高带宽闪存读取[25]。CoMoE-Chip强调“可撤销”和“带宽信用”：预取没有足够信用时不发起，错误预取可在低优先级虚通道被抢占。
3.3 拥塞感知Token到副本映射
模型语义要求每个Token仍执行路由器选择的Top-k专家，因此系统只能在同一专家的多个等价副本之间选择，不得随意替换专家。设z_t,e,c表示Token t的专家e映射到Chiplet c，目标为：
Qc是计算队列，Lpath是路径占用，Tfetch是所需权重尚未就绪时的等待，Bc是本地内存Bank压力，Rtail是该选择对批次尾延迟的风险；ae,c表示允许按需装载或在内存Chiplet执行。快环先过滤版本不一致和无信用目标，再对剩余副本进行代价排序。为了避免所有Token同时追逐当前最空闲Chiplet，代价中加入预测完成时间并采用分批信用扣减。
图3 转移预测、复用与拥塞感知映射流程
3.4 组播散发与分层归并
同一批次中多个Token可能访问同一专家，控制器先按〈层，专家，版本，目标Chiplet〉聚合，再以组播或批量DMA发送激活。专家输出优先在本地交换节点归并Top-k加权结果，只有聚合后的向量返回Attention Chiplet。对于跨多个Chiplet的同一专家副本，系统按Token分片，不重复执行同一Token。NoP使用至少三类虚通道：高优先级Token/结果、正常权重装载、可抢占预取；信用分别核算，防止GB级权重流阻塞低时延激活。互连网络中的死锁、Head-of-Line阻塞和拓扑热点需要遵循经典虚通道与路由设计原则[29][34]。
3.5 延迟与能耗模型
单层时延由Attention、路由、专家执行和归并的关键路径决定。由于计算、权重预取和Token通信可部分重叠，文章采用：
Tdispatch由Token字节数、NoP路径和排队决定，Tload由未命中专家权重和有效带宽决定，T_expert由最大副本队列及矩阵利用率决定。层能耗由专家计算、SRAM/HBM/PIM读取、D2D传输和目录控制相加。为了避免用峰值带宽推导过度乐观结果，模型对D2D和HBM使用有效带宽，并对并发权重流加入拥塞折减。Roofline模型可用于判断专家执行是算力、局部带宽还是远端装载受限[35]。
4 合成Trace驱动解析模型
4.1 评价范围与可复现边界
文章使用合成路由Trace和参数化解析模型进行概念验证，不报告流片芯片、FPGA原型或商用GPU实测。Trace生成器使用Zipf分布描述专家热度，并用相关参数ρ控制相邻层保留可预测后继的概率；模型根据每批专家并集、队列不均衡、权重命中、D2D带宽和策略开销计算每层平均时延、P95、Token流量、远端专家装载量、负载均衡度及副本因子。基准数值经过低批量MoE的量级校准，但不能替代真实模型路由Trace、周期级NoP、DRAM时序和物理功耗。后续验证应把DeepSeek或Qwen路由Trace接入BookSim、Ramulator/DRAMSim和Timeloop/Accelergy[30][31][32]。
表3 合成Trace与解析模型的基准配置
| 项目 | 基准设置 | 敏感性范围 | 说明 |
|---|---|---|---|
| MoE层与专家 | 32层，每层64个专家 | 可扩展至128/256专家 | 每Token选择Top-2专家 |
| 微批Token数 | 64 | 16~256 | 对应低批量交互式解码 |
| 专家Chiplet | 8个 | 4~16个 | 另含Attention、路由和内存Chiplet |
| 专家权重页 | 1.0 GB/专家（归一） | 0.25~2.0 GB | 用于容量和装载量核算 |
| 专家偏斜 | Zipf α=1.1 | 0.5~2.0 | α越高，热点越集中 |
| 跨层可预测性 | ρ=0.65 | 0.1~0.9 | 控制转移图低熵程度 |
| D2D有效带宽 | 512 GB/s | 128~2 048 GB/s | 表示聚合后的双向有效带宽 |
| 比较策略 | 静态、热门复制、转移预取、CoMoE-Chip | — | 使用同一Trace与容量预算 |
| 结果性质 | 合成Trace驱动解析值 | — | 不等同于真实硬件测量 |
4.2 比较策略
静态映射把每个专家固定在一个Chiplet，Token始终访问归属位置，非驻留权重按需从内存层装载。热门复制根据滑动窗口频率复制少数热点专家，但不使用跨层转移。转移预取使用式（2）预测并提前装载下一层专家，但不做计算队列和NoP压力重映射。CoMoE-Chip同时启用有限复制、分级预取、拥塞感知副本映射、信用和分层归并。四种策略共享相同专家容量预算；副本因子表示额外专家页与原始驻留页之比，不把预取缓冲的短期占用计为永久副本。
5 结果与分析
5.1 基准配置结果
表4 基准配置下的体系结构解析结果
| 策略 | 平均时延/ms | P95/ms | Token流量/(GB/批) | 专家装载/(GB/批) | 均衡度 | 副本因子 |
|---|---|---|---|---|---|---|
| 静态映射 | 4.7417 | 5.1859 | 1.3419 | 12.9540 | 0.5156 | 0.00 |
| 热门复制 | 4.0355 | 4.4050 | 1.3458 | 10.0345 | 0.5091 | 1.44 |
| 转移预取 | 2.0671 | 2.2078 | 1.3464 | 1.9765 | 0.5097 | 1.12 |
| CoMoE-Chip | 1.6207 | 1.7107 | 1.3153 | 1.2448 | 0.8040 | 1.26 |
表4显示，在α=1.1、ρ=0.65和512 GB/s条件下，CoMoE-Chip平均每层时延为1.6207 ms，较静态映射降低65.82%；P95为1.7107 ms，降低67.01%。远端专家装载量由12.9540 GB/批降至1.2448 GB/批，降低90.39%，而永久副本因子为1.26，低于热门复制的1.44。热门复制只把P95降低15.06%左右，且均衡度没有改善，说明复制热点若不结合Token重映射，队列仍集中在少数副本。转移预取显著减少权重装载，却因同一目标Chiplet可能接收多个预测流，均衡度仍接近0.51。CoMoE-Chip的均衡度提高至0.8040，表明快环映射对尾延迟同样关键。
图4 不同策略的远端专家装载量
图4把性能差异分解到权重数据移动。静态映射在低批量下难以用多个Token摊销专家页读取；热门复制减少部分热点读取，但冷专家和跨层后继仍频繁装载；转移预取把大部分装载移出关键路径；CoMoE-Chip进一步通过有限副本命中和错误预取抑制减少总装载量。Token流量四种策略相近，因为模型语义仍要求Top-2专家处理，主要收益来自权重不再沿关键路径反复移动，而不是删除必要激活通信。
5.2 路由偏斜敏感性
图5 专家偏斜对每层P95时延的影响
当Zipf系数α由0.5增至2.0时，静态映射P95快速上升，因为热点Chiplet的计算队列和路径流量同时增长；热门复制缓解部分计算热点，但额外副本占用使冷专家装载机会成本增加。转移预取对偏斜较不敏感，但如果预测后继集中在相同物理位置，仍会形成局部拥塞。CoMoE-Chip曲线斜率最低，原因是慢环把稳定热点分散到多个Chiplet，快环再根据瞬时队列选择副本。结果不意味着任意高偏斜均可通过复制解决：当可用容量不足或热集合变化快于迁移周期时，副本抖动会抵消收益。
5.3 D2D带宽敏感性
图6 Die-to-Die有效带宽对P95时延的影响
D2D有效带宽从128 GB/s提高到2 048 GB/s时，所有策略时延下降，但收益斜率不同。静态映射最依赖互连，因为权重和Token都沿远端路径传输；热门复制仍需要迁移大副本；CoMoE-Chip通过局部复用降低对峰值带宽的指数，因此在低带宽区间保持更稳定。高带宽端曲线逐渐收敛，说明当D2D不再是瓶颈后，专家计算队列、HBM读取和同步尾延迟成为主导，继续增加链路带宽的边际收益降低。UCIe 3.0提升数据率，但系统仍需要负载与流量整形才能兑现带宽[28]。
5.4 跨层可预测性的作用
图7 跨层转移可预测性对P95时延的影响
ρ由0.1提高到0.9时，静态映射几乎不变，热门复制只有轻微改善，因为两者不直接利用转移图。转移预取的收益最依赖ρ：低可预测性导致候选过多和无效装载，高可预测性则能把权重读取提前。CoMoE-Chip对ρ的敏感度小于纯预取，一方面在低ρ时依靠热点副本和拥塞映射兜底，另一方面在高ρ时利用低熵后继减少远端装载。这说明转移图不应成为单点假设；系统必须在置信度不足时平滑退化。
5.5 机制消融
表5使用基准配置，将完整CoMoE-Chip归一为1.00。消融值由同一解析模型按被关闭机制重新计入路径、装载和队列代价，目的是说明方向与耦合，不代表芯片实测加速比。
表5 CoMoE-Chip方向性消融结果
| 配置 | P95归一值 | 专家装载归一值 | 均衡度 | 副本因子 | 主要退化原因 |
|---|---|---|---|---|---|
| 完整CoMoE-Chip | 1.00 | 1.00 | 0.804 | 1.26 | 转移、驻留、映射和信用联合 |
| 无跨层转移图 | 1.29 | 2.14 | 0.792 | 1.28 | 预取退化为全局热度，错误装载增加 |
| 无有限副本 | 1.38 | 2.46 | 0.744 | 1.00 | 热点后继每批重复从内存层读取 |
| 无拥塞映射 | 1.31 | 1.07 | 0.541 | 1.26 | 命中相同但Token集中到热点副本 |
| 无信用/优先级 | 1.18 | 1.12 | 0.765 | 1.26 | 低置信权重流阻塞Token和结果 |
| 单时间尺度更新 | 1.23 | 1.19 | 0.711 | 1.34 | 频繁迁移导致副本抖动和目录冲突 |
无跨层转移图时，系统仍可复制热点并依据队列映射，但权重装载归一值升至2.14；无拥塞映射时，专家装载几乎不变，P95却升至1.31，表明“权重已经在附近”并不能保证最慢专家及时完成。取消信用后性能退化相对较小，但这只是平均模型；在真实NoP中，长权重包引起的Head-of-Line阻塞可能使P99恶化更明显。单时间尺度更新增加副本因子却降低均衡度，说明迁移频率越高不一定越好。
6 硬件开销、可靠性与安全
6.1 控制器和目录开销
转移图不需要保存完整Token序列。对于32层、每层64个专家，若只保留每个节点Top-8后继、16 bit计数和16 bit专家标识，原始边状态约为32×64×8×4 B，即64 KB量级；加上双缓冲、时间戳和置信度仍可控制在数百KB。专家目录规模主要由副本数决定，远小于GB级权重。快环映射可使用并行比较器或小型向量核，慢环副本选择则由固件或管理核执行。真正的成本来自预取缓冲和额外副本容量，而不是转移表本身。
6.2 正确性与一致性
CoMoE-Chip不改变门控网络选择的专家，只选择同一专家的等价副本，因此在权重版本和数值格式一致时保持模型语义。预取失败只增加等待，不应改变Top-k结果。目录必须防止三类静默错误：①迁移时读取半更新权重；②量化副本尺度与权重版本不匹配；③旧Token在模型热升级后被错误路由到新版本。系统使用版本号、校验和、在途引用计数和回滚指针解决。若近存冷专家使用不同精度，必须在部署前通过层级误差预算和端到端任务验证，不能把其视为无损副本。
6.3 多租户隔离与侧信道
专家热点、转移图和队列模式可能泄露租户主题或请求阶段。控制器应按租户或安全域维护统计，限制跨租户副本共享；遥测只暴露聚合压力而非专家标识；释放SRAM和预取缓冲时执行擦除。攻击者还可能构造请求制造热点、挤占副本容量或形成NoP拒绝服务，因此副本预算、预取信用和队列配额需要租户级上限。对共享模型允许权重物理共享，但Token、激活、KV及路由Trace必须保持地址和访问控制隔离。
表6 工程风险及控制措施
| 风险 | 触发条件 | 影响 | 控制措施 |
|---|---|---|---|
| 预测漂移 | 主题变化、模型升级、路由器温度变化 | 错误预取和副本失效 | 滑动窗口、熵门限、版本重置和回退 |
| 副本抖动 | 热集合变化快、慢环周期过短 | 迁移流量、容量碎片和时延波动 | 租约、迟滞阈值和最小驻留期 |
| NoP拥塞 | 权重预取与Token突发重叠 | P95/P99和死锁风险 | 虚通道、信用、可抢占预取和路径遥测 |
| 目录不一致 | 热升级、迁移失败或超时 | 静默数值错误 | 准备—发布—回收、校验和与回滚 |
| 安全侧信道 | 跨租户共享统计或缓冲 | 访问模式泄露 | 安全域统计、配额、擦除和最小化遥测 |
| 模型精度变化 | 近存或副本使用不同低精度 | 路由语义不变但专家输出偏移 | 离线误差预算、逐层校验和端到端回归 |
7 适用边界与验证路线
该研究有四项明确限制。第一，合成Zipf—Markov Trace不能覆盖真实模型中层间、序列位置、语言域和推理阶段的复杂相关性；需要采集公开MoE模型的匿名路由Trace。第二，解析模型把NoP拥塞压缩为有效带宽与队列项，不能复现包级阻塞、重传、时钟域和热约束；需要BookSim或RTL级验证。第三，结果没有纳入专家数值精度、模型质量和在线负载变化，不能据此宣称真实模型无损。第四，永久副本因子没有转换成具体封装面积和成本，必须结合工艺、SRAM/HBM容量及UCIe PHY进行物理设计。
表7 从概念验证到可投稿实证的后续路线
| 阶段 | 需要补充的证据 | 主要工具或平台 | 通过标准 |
|---|---|---|---|
| 真实Trace | 各层专家频率、转移熵、共激活和阶段漂移 | DeepSeek/Qwen开源模型与推理运行时 | 多数据集、不同批量和上下文具有稳定规律 |
| 系统仿真 | 包级NoP、HBM/PIM、计算队列与预取并发 | BookSim、Ramulator 2.0、Timeloop | P95/P99、带宽和能耗对基线仍有收益 |
| 原型实现 | 目录、信用、组播和副本运行时 | FPGA或多GPU模拟Chiplet | 保持Top-k语义并可回滚 |
| 物理评估 | 面积、频率、PHY、封装、温度和功耗 | RTL综合、Accelergy及封装模型 | 控制开销不吞噬数据移动收益 |
| 应用验证 | 质量、稳定性、多租户与故障注入 | 代码、数学、检索和智能体任务 | 任务正确率不显著下降，故障可恢复 |
验证时应至少包含三类对照：以MoETuner/CRAFT代表放置与复制，以Expert Streaming/HCRMap代表Chiplet轨迹和压力感知，以Sieve/ThAME/ReXpert代表PIM、3D内存及近存专家池[15][16][17][18][19][20][21][22][23]。此外，需要报告相同模型、相同权重容量、相同带宽和相同SLO下的结果，避免通过增加副本或放宽尾延迟获得表面加速。对于面向推理服务的版本，还应把请求级、引擎级和专家级调度联合评估，相关多层调度研究表明只优化单层可能留下新的队头阻塞[36]。
8 结 论
MoE把稠密参数计算转化为输入相关的专家选择，却把系统瓶颈转移到权重驻留、Token散集、队列不均衡和同步尾延迟。文章提出CoMoE-Chip，在Attention、专家、路由控制和HBM/PIM Chiplet之间建立版本化专家目录，以跨层转移图评估下一层复用，并在两时间尺度上联合执行有限副本、置信度预取、拥塞感知Token映射、信用控制和分层归并。合成Trace驱动解析结果显示，基准配置下平均每层时延、P95和远端专家装载量相较静态映射分别降低65.82%、67.01%和90.39%，同时以1.26的副本因子把负载均衡度提高到0.804。该结果证明了机制耦合的潜力，但不是流片或周期级实测。文章的核心结论是：未来MoE Chiplet不应把专家视为静态权重块，而应把〈专家、后继、版本、副本、路径和队列〉视为可预测且可控制的执行状态。后续工作需以真实路由Trace、包级互连、内存时序和物理功耗完成验证。
A chiplet architecture for expert reuse in MoE inference
Abstract Mixture-of-experts (MoE) models scale parameter capacity through sparse activation, but input-dependent top-k routing creates expert hot spots, random weight fetches, scatter-gather traffic, and synchronization tails in chiplet systems. This paper presents CoMoE-Chip, an expert-reuse architecture that couples a versioned expert directory with inter-layer transition graphs, bounded replication, confidence-gated prefetching, congestion-aware token-to-replica mapping, credit control, and hierarchical reduction across attention, expert, routing-control, and HBM/PIM chiplets. The transition graph estimates conditional successor probabilities and entropy, enabling deterministic prefetch only when prediction confidence and path credits are sufficient. A synthetic trace-driven analytical model uses 64 experts, top-2 routing, eight expert chiplets, a Zipf skew of 1.1, inter-layer predictability of 0.65, and 512 GB/s effective die-to-die bandwidth. CoMoE-Chip reduces mean per-layer latency from 4.742 ms to 1.621 ms and P95 latency from 5.186 ms to 1.711 ms relative to static mapping, corresponding to reductions of 65.82% and 67.01%. Remote expert loading decreases from 12.954 GB to 1.245 GB per batch, a 90.39% reduction, while load-balance score increases from 0.516 to 0.804 with a replica factor of 1.26. These values are analytical, not silicon measurements. The results indicate that MoE chiplet efficiency requires a closed loop across routing transitions, physical residency, network pressure, and tail latency rather than replication alone.
参考文献
[1] VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. Long Beach: Curran Associates, 2017, 30: 5998-6008.
[2] SHAZEER N, MIRHOSEINI A, MAZIARZ K, et al. Outrageously large neural networks: the sparsely-gated mixture-of-experts layer[C]//International Conference on Learning Representations. Toulon: OpenReview, 2017.
[3] LEPIKHIN D, LEE H, XU Y, et al. GShard: scaling giant models with conditional computation and automatic sharding[C]//International Conference on Learning Representations. Virtual: OpenReview, 2021.
[4] FEDUS W, ZOPH B, SHAZEER N. Switch transformers: scaling to trillion parameter models with simple and efficient sparsity[J]. Journal of Machine Learning Research, 2022, 23(120): 1-39.
[5] DU N, HUANG Y, DAI A M, et al. GLaM: efficient scaling of language models with mixture-of-experts[C]//International Conference on Machine Learning. Baltimore: PMLR, 2022, 162: 5547-5569.
[6] ZOPH B, BELLO I, KUMAR S, et al. ST-MoE: designing stable and transferable sparse expert models[EB/OL]. arXiv:2202.08906, 2022[2026-09-03]. https://arxiv.org/abs/2202.08906.
[7] DAI D, DENG C, ZHAO C, et al. DeepSeekMoE: towards ultimate expert specialization in mixture-of-experts language models[C]//Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. Bangkok: Association for Computational Linguistics, 2024: 1280-1297.
[8] DEEPSEEK-AI. DeepSeek-V3 technical report[EB/OL]. arXiv:2412.19437, 2024[2026-09-03]. https://arxiv.org/abs/2412.19437.
[9] DEEPSEEK-AI. DeepSeek-R1: incentivizing reasoning capability in LLMs via reinforcement learning[EB/OL]. arXiv:2501.12948, 2025[2026-09-03]. https://arxiv.org/abs/2501.12948.
[10] YANG A, LI A, YANG B, et al. Qwen3 technical report[EB/OL]. arXiv:2505.09388, 2025[2026-09-03]. https://arxiv.org/abs/2505.09388.
[11] HWANG C, CUI W, XIONG Y, et al. Tutel: adaptive mixture-of-experts at scale[C]//Proceedings of Machine Learning and Systems. Miami: MLSys, 2023, 5: 269-287.
[12] GALE T, NARAYANAN D, YOUNG C, et al. MegaBlocks: efficient sparse training with mixture-of-experts[C]//Proceedings of Machine Learning and Systems. Miami: MLSys, 2023, 5: 288-304.
[13] RAJBHANDARI S, RASLEY J, RUWASE O, et al. DeepSpeed-MoE: advancing mixture-of-experts inference and training to power next-generation AI scale[C]//International Conference on Machine Learning. Baltimore: PMLR, 2022, 162: 18332-18346.
[14] LI J, JIANG Y, ZHU Y, et al. Accelerating distributed MoE training and inference with Lina[C]//2023 USENIX Annual Technical Conference. Boston: USENIX Association, 2023: 945-959.
[15] GO S, MAHAJAN D. MoETuner: optimized mixture of expert serving with balanced expert placement and token routing[EB/OL]. arXiv:2502.06643, 2025[2026-09-03]. https://arxiv.org/abs/2502.06643.
[16] ZHAO A, CAI Z, SONG Z, et al. CRAFT: cost-aware expert replica allocation with fine-grained layerwise estimations[EB/OL]. arXiv:2603.28768, 2026[2026-09-03]. https://arxiv.org/abs/2603.28768.
[17] MA S, LI H, ZHANG W, et al. Expert streaming: accelerating low-batch MoE inference via multi-chiplet architecture and dynamic expert trajectory scheduling[EB/OL]. arXiv:2603.27624, 2026[2026-09-03]. https://arxiv.org/abs/2603.27624.
[18] ZHANG Y. HCRMap: pressure-aware hot-expert residency mapping for 3.5D MoE chiplet inference[EB/OL]. arXiv:2607.11586, 2026[2026-09-03]. https://arxiv.org/abs/2607.11586.
[19] TANG X, HOU J, JIANG D, et al. MoEntwine: unleashing the potential of wafer-scale chips for large-scale expert parallel inference[EB/OL]. arXiv:2510.25258, 2025[2026-09-03]. https://arxiv.org/abs/2510.25258.
[20] LUO S, YE H, LI P, et al. Mozart: modularized and efficient MoE training on 3.5D wafer-scale chiplet architectures[EB/OL]. arXiv:2603.07006, 2026[2026-09-03]. https://arxiv.org/abs/2603.07006.
[21] DHINGRA P, PAL P K, DOPPA J R, et al. ThAME: 3D memory-enabled heterogeneous accelerator for LLM mixture of experts[EB/OL]. arXiv:2607.17074, 2026[2026-09-03]. https://arxiv.org/abs/2607.17074.
[22] KIM J, LACOUTURE R, ZHANG G, et al. Sieve: dynamic expert-aware PIM acceleration for evolving mixture-of-experts models[EB/OL]. arXiv:2605.11277, 2026[2026-09-03]. https://arxiv.org/abs/2605.11277.
[23] SHAO K, ZENG M, YUAN X, et al. MoE expert execution in disaggregated LLM serving with a high-bandwidth ReRAM near-memory architecture[EB/OL]. arXiv:2608.13962, 2026[2026-09-03]. https://arxiv.org/abs/2608.13962.
[24] KANANI A, BADAWI L, OGRAS U Y. APEX: adaptive expert prefetching for memory-efficient edge MoE inference[EB/OL]. arXiv:2608.11688, 2026[2026-09-03]. https://arxiv.org/abs/2608.11688.
[25] KIM S, JIN J, KIM J Y. Beyond capacity: scalable MoE LLM inference via high-bandwidth flash with direct GPU and HBM paths[EB/OL]. arXiv:2608.14333, 2026[2026-09-03]. https://arxiv.org/abs/2608.14333.
[26] WU Q, FANG C, CHEN J, et al. A scheduling framework for efficient MoE inference on edge GPU-NDP systems[EB/OL]. arXiv:2601.03992, 2026[2026-09-03]. https://arxiv.org/abs/2601.03992.
[27] FAN Z, LIU L. Context-Aware Mixture-of-Experts Inference on CXL-Enabled GPU-NDP Systems[EB/OL]. arXiv:2512.04476, 2025[2026-09-03]. https://arxiv.org/abs/2512.04476.
[28] UNIVERSAL CHIPLET INTERCONNECT EXPRESS CONSORTIUM. UCIe specification revision 3.0[S/OL]. Beaverton: UCIe Consortium, 2025[2026-09-03].
[29] DALLY W J, TOWLES B. Principles and practices of interconnection networks[M]. San Francisco: Morgan Kaufmann, 2004.
[30] JIANG N, BECKER D U, MICHELOGIANNAKIS G, et al. A detailed and flexible cycle-accurate network-on-chip simulator[C]//IEEE International Symposium on Performance Analysis of Systems and Software. Austin: IEEE, 2013: 86-96.
[31] PARASHAR A, RAINA P, SHA A, et al. Timeloop: a systematic approach to DNN accelerator evaluation[C]//IEEE International Symposium on Performance Analysis of Systems and Software. Madison: IEEE, 2019: 304-315.
[32] WU Y N, EMER J S, SZE V. Accelergy: an architecture-level energy estimation methodology for accelerator designs[C]//IEEE/ACM International Conference on Computer-Aided Design. Westminster: IEEE, 2019: 1-8.
[33] JOUUPPI N P, YOUNG C, PATIL N, et al. In-datacenter performance analysis of a tensor processing unit[C]//ACM/IEEE 44th Annual International Symposium on Computer Architecture. Toronto: ACM, 2017: 1-12.
[34] KIM J, DALLY W J, SCOTT S, et al. Technology-driven, highly-scalable dragonfly topology[C]//ACM/IEEE 35th Annual International Symposium on Computer Architecture. Beijing: IEEE, 2008: 77-88.
[35] WILLIAMS S, WATERMAN A, PATTERSON D. Roofline: an insightful visual performance model for multicore architectures[J]. Communications of the ACM, 2009, 52(4): 65-76.
[36] SUN Y, HAFFAR G, XU M, et al. Multi-layer scheduling for MoE-based LLM reasoning[EB/OL]. arXiv:2602.21626, 2026[2026-09-03]. https://arxiv.org/abs/2602.21626.
