作者：吴家良发布时间：2026-05-31 08:20:03 点击数：14328

本周监管部门披露重要研究成果台官员否认美不支持“台独”时宕机 很高兴为您解答这个问题，让我来帮您详细说明一下。品牌授权报修电话，快速上门服务

四川省甘孜藏族自治州云南省文山壮族苗族自治州广南县福建省三明市梅列区甘肃省兰州市陕西省汉中市西乡县江苏省南京市浦口区山西省阳泉市平定县福建省漳州市龙海市西藏山南市蓟州区东二营镇元氏县苏村乡贵州省黔东南苗族侗族自治州天柱县百色市田林县密云区河南寨镇海南省三沙市西沙区朝阳区管庄地区黑龙江省绥化市明水县青海省果洛藏族自治州青海省海南藏族自治州贵德县密云区不老屯镇内蒙古锡林郭勒盟镶黄旗山西省晋中市太谷区合肥市庐阳区和田地区阿克苏地区新和县山东省淄博市临淄区江西省萍乡市上栗县辽宁省大连市旅顺口区密云区河南寨镇甘肃省天水市秦州区四川省成都市金牛区青海省玉树藏族自治州治多县广东省惠州市龙门县内蒙古呼伦贝尔市阿荣旗湖北省宜昌市西陵区江苏省连云港市赣榆区四川省甘孜藏族自治州丹巴县贵州省六盘水市水城县辽宁省本溪市溪湖区蓟州区东二营镇江西省景德镇市昌江区贵州省铜仁市印江土家族苗族自治县辽宁省辽阳市白塔区吉林省四平市铁西区重庆市市辖区北碚区蓟州区官庄镇四川省乐山市青海省果洛藏族自治州四川省广安市岳池县江苏省南通市启东市固原市西吉县南开区体育中心街道辽宁省本溪市溪湖区平山县岗南镇山西省晋中市太谷区丰台区宛平城地区山东省青岛市城阳区云南省西双版纳傣族自治州勐腊县延庆区康庄镇山西省阳泉市平定县青海省海西蒙古族藏族自治州德令哈市平顶山市湛河区桂林市秀峰区蚌埠市龙子湖区四川省凉山彝族自治州甘洛县四川省成都市金牛区长安区广安街道山西省晋中市榆社县黑龙江省哈尔滨市巴彦县桥西区东华街道山东省东营市垦利区新乐市协神乡蚌埠市蚌山区海南省三沙市西沙区辽宁省铁岭市开原市山西省吕梁市中阳县丰台区宛平城地区百色市田林县芜湖市南陵县云南省丽江市宁蒗彝族自治县长安区广安街道湖北省宜昌市夷陵区许昌市建安区静海区大邱庄镇甘肃省庆阳市镇原县辽宁省沈阳市沈河区山东省烟台市龙口市开封市通许县山西省运城市夏县江苏省徐州市新沂市贵州省黔南布依族苗族自治州惠水县内蒙古鄂尔多斯市康巴什区延庆区沈家营镇桂林市兴安县山东省东营市垦利区桥西区东华街道陕西省汉中市西乡县四川省宜宾市珙县河东区东新街道四川省成都市新都区

本周官方更新行业通报DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE，很高兴为您解答这个问题，让我来帮您详细说明一下:官方服务专线，支持多品牌报修

山西省晋城市泽州县福建省南平市建瓯市武清区上马台镇芜湖市南陵县贵州省铜仁市印江土家族苗族自治县平山县岗南镇许昌市建安区黑龙江省大兴安岭地区呼玛县江苏省苏州市相城区辽宁省铁岭市开原市崇左市宁明县山西省晋中市灵石县甘肃省定西市渭源县百色市田林县黑龙江省绥化市明水县福建省南平市昌平区阳坊镇延庆区沈家营镇黑龙江省哈尔滨市巴彦县福建省厦门市湖里区四川省遂宁市蓬溪县平山县宅北乡江苏省连云港市赣榆区四川省成都市双流区桂林市秀峰区福建省福州市永泰县江西省宜春市奉新县甘肃省天水市秦州区山西省运城市夏县山西省临汾市安泽县江苏省苏州市相城区四川省泸州市江阳区云南省怒江傈僳族自治州福贡县山西省运城市夏县鹿泉区寺家庄镇平顶山市湛河区甘肃省兰州市山东省滨州市蓟州区东二营镇广东省广州市越秀区赞皇县院头镇桂林市兴安县甘肃省天水市秦州区陕西省汉中市南郑区密云区古北口镇博尔塔拉蒙古自治州温泉县内蒙古呼伦贝尔市阿荣旗江西省宜春市奉新县云南省西双版纳傣族自治州勐腊县蓟州区官庄镇江西省吉安市永新县西藏山南市蚌埠市龙子湖区百色市靖西市四川省成都市新都区伊犁哈萨克自治州昭苏县百色市靖西市蚌埠市蚌山区朝阳区豆各庄地区甘肃省庆阳市镇原县鹿泉区寺家庄镇青海省海西蒙古族藏族自治州德令哈市芜湖市南陵县蓟州区东施古镇江苏省镇江市句容市辽宁省沈阳市沈河区山西省忻州市宁武县陕西省商洛市山阳县大兴区平山县上观音堂乡山东省淄博市临淄区长安区广安街道江苏省南通市启东市山东省枣庄市台儿庄区山东省泰安市东平县江西省景德镇市昌江区喀什地区麦盖提县贵州省铜仁市玉屏侗族自治县蚌埠市龙子湖区西城区月坛街道大兴区平山县岗南镇赞皇县西龙门乡山西省临汾市安泽县密云区高岭镇桥西区留营街道陕西省宝鸡市眉县井陉县测鱼镇桥西区苑东街道平顶山市湛河区伊犁哈萨克自治州昭苏县四川省广安市岳池县云南省红河哈尼族彝族自治州泸西县乌鲁木齐市沙依巴克区芜湖市南陵县鹿泉区白鹿泉乡四川省甘孜藏族自治州平山县小觉镇云南省玉溪市新平彝族傣族自治县焦作市中站区

全球服务区域:四川省凉山彝族自治州西昌市山西省吕梁市中阳县朝阳区管庄地区甘肃省陇南市武都区黑龙江省哈尔滨市巴彦县山西省朔州市山阴县江西省吉安市吉安县赞皇县院头镇山东省潍坊市青州市云南省红河哈尼族彝族自治州绿春县桂林市兴安县哈密市伊吾县甘肃省定西市渭源县上海市市辖区嘉定区丰台区宛平城地区山西省忻州市宁武县陕西省商洛市山阳县大兴区井陉县吴家窑乡蓟州区东施古镇黑龙江省大兴安岭地区呼玛县朝阳区双井街道山西省晋中市榆社县湖北省襄阳市襄州区井陉县测鱼镇桂林市兴安县山西省晋城市泽州县密云区不老屯镇江苏省连云港市赣榆区福建省福州市永泰县福建省南平市江苏省南京市浦口区昌平区小汤山镇山西省临汾市安泽县平顶山市湛河区四川省甘孜藏族自治州平山县上观音堂乡马鞍山市博望区朝阳区管庄地区赞皇县西龙门乡陕西省汉中市西乡县重庆市市辖区北碚区内蒙古锡林郭勒盟镶黄旗四川省宜宾市翠屏区湖北省恩施土家族苗族自治州恩施市福建省南平市许昌市建安区四川省成都市双流区青海省果洛藏族自治州四川省成都市金牛区广东省汕头市龙湖区哈密市伊吾县吉林省四平市铁西区山西省临汾市安泽县山西省晋中市榆社县马鞍山市博望区亳州市利辛县平山县小觉镇海南省儋州市辽宁省沈阳市山西省晋中市灵石县福建省福州市罗源县四川省甘孜藏族自治州辽宁省大连市旅顺口区青海省玉树藏族自治州治多县四川省德阳市广汉市蓟州区东施古镇甘肃省陇南市内蒙古鄂尔多斯市康巴什区西藏阿里地区日土县哈密市伊吾县赵县沙河店镇江西省宜春市奉新县丰台区和义街道辽宁省铁岭市清河区蓟州区官庄镇陕西省宝鸡市眉县怀柔区宝山镇怀柔区龙山街道四川省遂宁市蓬溪县福建省三明市梅列区昌平区回龙观街道蚌埠市龙子湖区内蒙古鄂尔多斯市康巴什区赞皇县院头镇四川省德阳市广汉市甘肃省定西市渭源县蓟州区东施古镇云南省丽江市宁蒗彝族自治县蓟州区东赵各庄镇北辰区广源街道辽宁省辽阳市白塔区江苏省徐州市伊犁哈萨克自治州昭苏县门头沟区大峪街道西藏山南市赞皇县西龙门乡河东区大直沽街道江西省吉安市吉安县西藏山南市贡嘎县

今日行业报告传达重要政策DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE，很高兴为您解答这个问题，让我来帮您详细说明一下:售后服务维修中心电话，支持多渠道服务

全国服务区域：山西省吕梁市岚县四川省遂宁市蓬溪县信阳市平桥区南开区体育中心街道江西省景德镇市昌江区和田地区南开区长虹街道广东省惠州市龙门县甘肃省陇南市元氏县苏村乡内蒙古锡林郭勒盟正镶白旗平顶山市卫东区江苏省徐州市丰县贵州省黔南布依族苗族自治州惠水县青海省海北藏族自治州门源回族自治县湖北省宜昌市夷陵区陕西省汉中市留坝县乌鲁木齐市沙依巴克区福建省南平市建瓯市海南省三沙市西沙区湖北省恩施土家族苗族自治州建始县桂林市秀峰区四川省甘孜藏族自治州泸定县西城区月坛街道焦作市沁阳市长安区南村镇赞皇县院头镇陕西省西安市未央区吉林省长春市双阳区昌平区小汤山镇南开区体育中心街道山西省吕梁市中阳县山西省临汾市安泽县广东省汕头市南澳县山东省泰安市泰山区山东省泰安市泰山区西城区月坛街道湖北省襄阳市襄州区朝阳区双井街道井陉县测鱼镇内蒙古锡林郭勒盟镶黄旗大兴区陕西省宝鸡市千阳县云南省文山壮族苗族自治州广南县辽宁省大连市旅顺口区甘肃省天水市秦州区江西省宜春市宜丰县四川省凉山彝族自治州昭觉县蚌埠市蚌山区湖北省恩施土家族苗族自治州恩施市四川省成都市双流区四川省广安市岳池县山东省威海市丰台区右安门街道蓟州区官庄镇河东区东新街道和田地区延庆区沈家营镇山西省晋中市榆社县贵州省铜仁市玉屏侗族自治县芜湖市南陵县湖北省恩施土家族苗族自治州恩施市阿克苏地区拜城县云南省大理白族自治州云龙县湖北省宜昌市宜都市内蒙古锡林郭勒盟正镶白旗四川省泸州市江阳区辽宁省沈阳市浑南区湖北省恩施土家族苗族自治州建始县山西省晋中市太谷区贵州省铜仁市玉屏侗族自治县四川省广安市岳池县辽宁省铁岭市开原市塔城地区和布克赛尔蒙古自治县山西省朔州市山阴县甘肃省兰州市吉林省四平市铁西区延庆区康庄镇四川省成都市双流区广东省惠州市龙门县新乐市协神乡云南省西双版纳傣族自治州勐腊县井陉县测鱼镇赵县沙河店镇辽宁省锦州市义县广东省云浮市新兴县元氏县殷村镇辽宁省大连市旅顺口区南开区长虹街道云南省文山壮族苗族自治州广南县湖北省襄阳市襄州区赞皇县西龙门乡四川省遂宁市蓬溪县山西省吕梁市中阳县四川省凉山彝族自治州西昌市四川省宜宾市珙县甘肃省陇南市辽宁省铁岭市清河区四川省广元市北辰区

售后服务上门服务电话，智能分配单据：DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE

编辑｜Panda

「快！」

说到索尼克，不管是刺猬索尼克还是音速索尼克，大家的第一印象多半就是「快」，而「快」也是现在许多 AI 模型和应用优化的一大核心目标。

近日，由普林斯顿大学 Tri Dao（FlashAttention 的一作）和加州大学伯克利分校 Ion Stoica 领导的一个联合研究团队也做出了一个超快的索尼克：SonicMoE

一作 Wentao Guo 的推文，他目前正在普林斯顿大学就读计算机科学博士

据介绍，SonicMoE 能在英伟达 Blackwell GPU 上以峰值吞吐量运行！并且运算性能超过了 DeepSeek 之前开源并引发巨大轰动的 DeepGEMM。

有趣的是，DeepSeek 前些天还在 DeepGEMM 库中开源了新的技术 Mega MoE，即巨型 MoE—— 从名字也能看出来，这与 SonicMoE（音速 MoE）显然是两个不同的方向，华体汇(中国)也期待能看到「」与「」这两个方向的更直接的对比。

下面华体汇(中国)就基于官方技术博客，简单了解下 SonicMoE。

博客地址：https://tridao.me/blog/2026/sonicmoe-blackwell/代码库：https://github.com/Dao-AILab/sonic-moe论文地址：https://arxiv.org/abs/2512.14080

MoE 与它的隐患

要理解 SonicMoE 解决的是什么问题，先得认识一种正在主导前沿 AI 的架构设计 —— 混合专家模型（Mixture of Experts，MoE）。

细粒度 MoE 架构

想象一家医院。面对每一位患者，医院不会让所有科室同时出动，而是先由全科医生判断，再分诊给最合适的专科。MoE 架构的逻辑与此相似：模型内部有大量「专家」子网络，每一个输入的信息片段（即 token，可以理解为文字或词语）只会被路由到其中一小部分专家处理，而不是流经所有参数。

这样做的好处显而易见：用相对较少的计算量，撑起了一个参数规模庞大的模型

2024 年发布的 Mixtral 8x22B，以及近期的 DeepSeek V3.2、Kimi K2.5、Qwen3 等明星模型，都是 MoE 架构的忠实拥趸。按照模型缩放法则，专家越「细粒度」（即每个专家越小、数量越多），模型在同等计算量下的表现往往越好。于是在短短两年间，MoE 专家的粒度提升了整整 9 倍，每次激活的专家比例则降至原来的十二分之一。

然而，代价也随之而来。

标准 MoE 实现前向传播的工作流程。π 是存储路由元数据的二进制掩码。黄色框表示内核边界。蓝色框是 HBM 中的变量。红色标签表示在正向 / 反向传播过程中缓存的激活值。紫色框是最终输出。全局内存中每个变量旁边的橙色框表示对应 Qwen3-235B-A22B-Thinking-2507 MoE 模型在处理 32k 个 token 时的张量大小比例。

标准 MoE 实现的反向激活梯度传递工作流程。

当专家越来越多、越来越「细」，训练这样的模型会遭遇两堵越来越高的墙：

第一堵墙是显存。在训练神经网络时，前向传播的中间结果必须被保存下来，以便反向传播时计算梯度。对于细粒度 MoE 来说，这些中间结果（激活值）的规模与专家粒度成正比 —— 专家越细，显存占用越大，最终会逼近 GPU 显存的物理极限。

第二堵墙是内存带宽。GPU 的性能取决于两个维度：算力（每秒能做多少次运算）和带宽（每秒能搬多少数据）。当专家足够细时，每个专家处理的数据量太少，GPU 的算力根本来不及被填满，大量时间都花在了从内存「搬运」数据上。这正是所谓「内存瓶颈」。对于典型的 Qwen3 细粒度 MoE，其单位计算量的内存访问强度比等参数量的普通模型高出 12 倍。

现有的开源训练工具（如 ScatterMoE 和 MoMoE）对这两个问题都存在明显不足，尤其是随着模型越来越细粒度，差距愈发显著。而SonicMoE正是为此而生。

SonicMoE 的每一层激活记忆占用空间（左图）即使在专家粒度（嵌入维度 / 专家中间维度）增加时也保持不变，并且与现有的 MoE 训练核 ScatterMoE 和 MoMoE 相比，SonicMoE 可以实现 1.87-4.04 倍的相对加速。

核心创新：一次算法级的重新设计

SonicMoE 的关键洞察，乍听简单，却需要深厚的系统级思维才能想到：问题的根源在于，现有 MoE 训练框架在中间结果的存储上过于「慷慨」—— 它们把太多临时数据写入了显存，而这些数据本可以不存。

传统方法在执行 MoE 的前向传播和反向传播时，会在每个计算阶段之间将中间张量（即矩阵形式的中间数据）写入 GPU 的高带宽内存（HBM）。这就好比一个厨师每炒完一道中间步骤，就把食材装盘放进冰箱，下一步再取出来继续 —— 频繁的存取本身就是大量时间的浪费。

SonicMoE 的前向计算工作流程以及与 PyTorch 中标准 MoE 实现的比较。这里还比较了两种方法的激活内存和 IO 成本。

SonicMoE 的算法重设计从根本上改变了这一流程，核心有两点：

第一，激活内存与专家粒度解耦

在训练反向传播中，SonicMoE 通过重新设计计算顺序，完全避免了缓存任何与专家规模成比例的中间张量。

具体来说，它将原本需要缓存的「下投影输出」等关键中间量，通过重排矩阵乘法的收缩顺序来消除 —— 不再存储中间结果，而是在需要时通过聪明的计算路径直接推导出所需梯度。

这使得 SonicMoE 的每层激活内存占用，在专家粒度大幅增加时保持恒定，相当于一个相同激活参数量的稠密模型。

这一改进无需任何额外的矩阵重计算代价，正面回答了此前业界一直认为「鱼和熊掌不可兼得」的问题。

第二，IO 感知的算子融合

SonicMoE 将原本分散成多个 GPU 核函数（kernel）的操作大量融合在一起。

例如，「Gather 融合」技术让数据搬运操作在矩阵乘法计算核的执行过程中同步完成，而不是作为单独步骤先把数据重排好再交给矩阵乘法 —— 这不仅省去了一次完整的内存读写，还利用了 GPU L2 缓存的局部性优势，让缓存命中率从约 66% 提升至约 75%，进一步降低了访问慢速 HBM 的频率。

此外，SwiGLU 激活函数的计算也被融入矩阵乘法的尾声（epilogue）阶段，在数据还驻留在寄存器时就地完成，无需额外的内存读写。

在最关键的反向传播核函数（dH kernel）中，SonicMoE 还进一步利用 GPU 的异步执行特性，将数据搬运的等待时间与矩阵运算重叠起来。

SonicMoE 的 dH 工作流程图的语义与标准 PyTorch MoE 多核实现等效，同时 SonicMoE 显著降低了 IO 成本。

实测结果显示，即便该核函数的 HBM 数据流量增加了 24%，张量核心（Tensor Core）的利用率仅下降约 10%—— 内存开销几乎被算力完全「吸收」。

可以利用最新的 NVIDIA 硬件特性来隐藏 SonicMoE 的 dH 内核中的 IO 延迟，并大幅减少整体运行时间。

软件抽象层 QuACK：让创新能跨代迁移

SonicMoE 还有一个容易被忽视的工程亮点：研究团队开发了一套名为QuACK的统一软件抽象层，将所有 MoE 矩阵乘法核函数统一为「主循环 + 可定制尾声」的共同结构。

两个使用 QuACK 实现的 SonicMoE 内核。左侧：内核工作流程图。中间：QuACK 尾声混合类，其中每个内核重写 epi_visit_subtile（dH 为 88 行代码，上投影前向为 21 行代码）。右侧：SonicMoE 的简化内核启动调用。

这样的设计意味着，当 GPU 从上一代 Hopper 架构（H100）升级到最新的 Blackwell 架构（B200/B300）时，硬件特有的优化只需要在极少数地方做局部修改，核心算法逻辑无需重写。

Tri Dao 与 Ion Stoica 团队之所以能快速将 SonicMoE 移植到英伟达最新旗舰 Blackwell GPU 并达到峰值吞吐，很大程度上正是受益于这一前瞻性的软件架构。

实验结果

研究团队在英伟达最新 B300 GPU 上，以六个真实开源 MoE 模型配置为基准进行了全面测评，涵盖从 7B 到 685B 参数的不同规模，包括 OLMoE、Qwen3-235B、DeepSeek V3.2 等当下最受关注的 MoE 架构。

B300 上 6 种真实 MoE 配置的前向（左）和后向（右）TFLOPS。从左到右依次为：OLMoE-1B-7B-0125、gpt-oss-20b、Kimi-Linear-48B-A3B-Base、Qwen3-Next-80B-A3B-Thinking、Qwen3-235B-A22B-Thinking-2507 和 DeepSeek-V3.2-Exp。Triton 官方示例不支持后向传播，Qwen3-Next-80B 的前向传播也不支持 K=10。

SonicMoE 与基线模型在 B300 上针对 7B OLMoE 规模 MoE（T=32768，d=2048，n=1024，E=64，K=8）的运行时分解情况。

结果相当显著：

与同样针对 Blackwell GPU 优化、由 DeepSeek 开发的 DeepGEMM 基准相比，SonicMoE 在前向传播上平均高出54%，在反向传播上平均高出35%—— 而 DeepGEMM 本身已是业界公认的高性能实现；与 Triton 官方 MoE 示例相比，SonicMoE 前向传播快21%与目前学术界和工业界广泛使用的 ScatterMoE、MoMoE 等训练框架相比，SonicMoE 的速度优势往往达到 近两倍甚至更高。

从核函数级别的运行时分析来看，SonicMoE 的加速主要来自两个方面：其一，Gather 融合消除了独立的数据搬运核函数，这是最主要的加速来源；其二，更快的分组矩阵乘法实现（得益于 Blackwell 独有的 CLC 调度器和 2CTA MMA 技术）贡献了额外约 10% 的提升。

在激活内存方面，当专家粒度从 Mixtral 时代提高到 Kimi K2.5 量级时，传统方案的每层激活内存会线性膨胀，而 SonicMoE 的占用则保持稳定。这对于在有限显存中训练更细粒度的未来模型，意味着更大的操作空间。

SonicMoE 很快，同时还有更深层的意义：当硬件的进步受制于物理规律逐渐放缓，软件层面的创新正越来越多地扮演起「平权者」的角色。

SonicMoE 的论文标题是「硬件高效、软件可扩展的细粒度 MoE 蓝图」—— 这个「蓝图」二字，或许正是研究团队想传递的信号：这不只是一个工具，而是一种可以被复制和继承的设计哲学。

SonicMoE 目前已在 GitHub 和 PyPI 开源，支持 H100 和最新 B200/B300 GPU，未来计划扩展至专家并行、MXFP8/FP4 精度支持，以及下一代英伟达 Rubin GPU。

在内存和算力日益稀缺的今天，这种创新极具价值，毕竟这是在为整个 AI 生态节省真金白银的成本。

你更看好 DeepSeek 的 Mega MoE 还是今天介绍的 SonicMoE？

本周行业报告更新最新政策DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE

编辑｜Panda

「快！」

说到索尼克，不管是刺猬索尼克还是音速索尼克，大家的第一印象多半就是「快」，而「快」也是现在许多 AI 模型和应用优化的一大核心目标。

近日，由普林斯顿大学 Tri Dao（FlashAttention 的一作）和加州大学伯克利分校 Ion Stoica 领导的一个联合研究团队也做出了一个超快的索尼克：SonicMoE

一作 Wentao Guo 的推文，他目前正在普林斯顿大学就读计算机科学博士

据介绍，SonicMoE 能在英伟达 Blackwell GPU 上以峰值吞吐量运行！并且运算性能超过了 DeepSeek 之前开源并引发巨大轰动的 DeepGEMM。

有趣的是，DeepSeek 前些天还在 DeepGEMM 库中开源了新的技术 Mega MoE，即巨型 MoE—— 从名字也能看出来，这与 SonicMoE（音速 MoE）显然是两个不同的方向，华体汇(中国)也期待能看到「」与「」这两个方向的更直接的对比。

下面华体汇(中国)就基于官方技术博客，简单了解下 SonicMoE。

博客地址：https://tridao.me/blog/2026/sonicmoe-blackwell/代码库：https://github.com/Dao-AILab/sonic-moe论文地址：https://arxiv.org/abs/2512.14080

MoE 与它的隐患

要理解 SonicMoE 解决的是什么问题，先得认识一种正在主导前沿 AI 的架构设计 —— 混合专家模型（Mixture of Experts，MoE）。

细粒度 MoE 架构

想象一家医院。面对每一位患者，医院不会让所有科室同时出动，而是先由全科医生判断，再分诊给最合适的专科。MoE 架构的逻辑与此相似：模型内部有大量「专家」子网络，每一个输入的信息片段（即 token，可以理解为文字或词语）只会被路由到其中一小部分专家处理，而不是流经所有参数。

这样做的好处显而易见：用相对较少的计算量，撑起了一个参数规模庞大的模型

2024 年发布的 Mixtral 8x22B，以及近期的 DeepSeek V3.2、Kimi K2.5、Qwen3 等明星模型，都是 MoE 架构的忠实拥趸。按照模型缩放法则，专家越「细粒度」（即每个专家越小、数量越多），模型在同等计算量下的表现往往越好。于是在短短两年间，MoE 专家的粒度提升了整整 9 倍，每次激活的专家比例则降至原来的十二分之一。

然而，代价也随之而来。

标准 MoE 实现前向传播的工作流程。π 是存储路由元数据的二进制掩码。黄色框表示内核边界。蓝色框是 HBM 中的变量。红色标签表示在正向 / 反向传播过程中缓存的激活值。紫色框是最终输出。全局内存中每个变量旁边的橙色框表示对应 Qwen3-235B-A22B-Thinking-2507 MoE 模型在处理 32k 个 token 时的张量大小比例。

标准 MoE 实现的反向激活梯度传递工作流程。

当专家越来越多、越来越「细」，训练这样的模型会遭遇两堵越来越高的墙：

第一堵墙是显存。在训练神经网络时，前向传播的中间结果必须被保存下来，以便反向传播时计算梯度。对于细粒度 MoE 来说，这些中间结果（激活值）的规模与专家粒度成正比 —— 专家越细，显存占用越大，最终会逼近 GPU 显存的物理极限。

第二堵墙是内存带宽。GPU 的性能取决于两个维度：算力（每秒能做多少次运算）和带宽（每秒能搬多少数据）。当专家足够细时，每个专家处理的数据量太少，GPU 的算力根本来不及被填满，大量时间都花在了从内存「搬运」数据上。这正是所谓「内存瓶颈」。对于典型的 Qwen3 细粒度 MoE，其单位计算量的内存访问强度比等参数量的普通模型高出 12 倍。

现有的开源训练工具（如 ScatterMoE 和 MoMoE）对这两个问题都存在明显不足，尤其是随着模型越来越细粒度，差距愈发显著。而SonicMoE正是为此而生。

SonicMoE 的每一层激活记忆占用空间（左图）即使在专家粒度（嵌入维度 / 专家中间维度）增加时也保持不变，并且与现有的 MoE 训练核 ScatterMoE 和 MoMoE 相比，SonicMoE 可以实现 1.87-4.04 倍的相对加速。

核心创新：一次算法级的重新设计

SonicMoE 的关键洞察，乍听简单，却需要深厚的系统级思维才能想到：问题的根源在于，现有 MoE 训练框架在中间结果的存储上过于「慷慨」—— 它们把太多临时数据写入了显存，而这些数据本可以不存。

传统方法在执行 MoE 的前向传播和反向传播时，会在每个计算阶段之间将中间张量（即矩阵形式的中间数据）写入 GPU 的高带宽内存（HBM）。这就好比一个厨师每炒完一道中间步骤，就把食材装盘放进冰箱，下一步再取出来继续 —— 频繁的存取本身就是大量时间的浪费。

SonicMoE 的前向计算工作流程以及与 PyTorch 中标准 MoE 实现的比较。这里还比较了两种方法的激活内存和 IO 成本。

SonicMoE 的算法重设计从根本上改变了这一流程，核心有两点：

第一，激活内存与专家粒度解耦

在训练反向传播中，SonicMoE 通过重新设计计算顺序，完全避免了缓存任何与专家规模成比例的中间张量。

具体来说，它将原本需要缓存的「下投影输出」等关键中间量，通过重排矩阵乘法的收缩顺序来消除 —— 不再存储中间结果，而是在需要时通过聪明的计算路径直接推导出所需梯度。

这使得 SonicMoE 的每层激活内存占用，在专家粒度大幅增加时保持恒定，相当于一个相同激活参数量的稠密模型。

这一改进无需任何额外的矩阵重计算代价，正面回答了此前业界一直认为「鱼和熊掌不可兼得」的问题。

第二，IO 感知的算子融合

SonicMoE 将原本分散成多个 GPU 核函数（kernel）的操作大量融合在一起。

例如，「Gather 融合」技术让数据搬运操作在矩阵乘法计算核的执行过程中同步完成，而不是作为单独步骤先把数据重排好再交给矩阵乘法 —— 这不仅省去了一次完整的内存读写，还利用了 GPU L2 缓存的局部性优势，让缓存命中率从约 66% 提升至约 75%，进一步降低了访问慢速 HBM 的频率。

此外，SwiGLU 激活函数的计算也被融入矩阵乘法的尾声（epilogue）阶段，在数据还驻留在寄存器时就地完成，无需额外的内存读写。

在最关键的反向传播核函数（dH kernel）中，SonicMoE 还进一步利用 GPU 的异步执行特性，将数据搬运的等待时间与矩阵运算重叠起来。

SonicMoE 的 dH 工作流程图的语义与标准 PyTorch MoE 多核实现等效，同时 SonicMoE 显著降低了 IO 成本。

实测结果显示，即便该核函数的 HBM 数据流量增加了 24%，张量核心（Tensor Core）的利用率仅下降约 10%—— 内存开销几乎被算力完全「吸收」。

可以利用最新的 NVIDIA 硬件特性来隐藏 SonicMoE 的 dH 内核中的 IO 延迟，并大幅减少整体运行时间。

软件抽象层 QuACK：让创新能跨代迁移

SonicMoE 还有一个容易被忽视的工程亮点：研究团队开发了一套名为QuACK的统一软件抽象层，将所有 MoE 矩阵乘法核函数统一为「主循环 + 可定制尾声」的共同结构。

两个使用 QuACK 实现的 SonicMoE 内核。左侧：内核工作流程图。中间：QuACK 尾声混合类，其中每个内核重写 epi_visit_subtile（dH 为 88 行代码，上投影前向为 21 行代码）。右侧：SonicMoE 的简化内核启动调用。

这样的设计意味着，当 GPU 从上一代 Hopper 架构（H100）升级到最新的 Blackwell 架构（B200/B300）时，硬件特有的优化只需要在极少数地方做局部修改，核心算法逻辑无需重写。

Tri Dao 与 Ion Stoica 团队之所以能快速将 SonicMoE 移植到英伟达最新旗舰 Blackwell GPU 并达到峰值吞吐，很大程度上正是受益于这一前瞻性的软件架构。

实验结果

研究团队在英伟达最新 B300 GPU 上，以六个真实开源 MoE 模型配置为基准进行了全面测评，涵盖从 7B 到 685B 参数的不同规模，包括 OLMoE、Qwen3-235B、DeepSeek V3.2 等当下最受关注的 MoE 架构。

B300 上 6 种真实 MoE 配置的前向（左）和后向（右）TFLOPS。从左到右依次为：OLMoE-1B-7B-0125、gpt-oss-20b、Kimi-Linear-48B-A3B-Base、Qwen3-Next-80B-A3B-Thinking、Qwen3-235B-A22B-Thinking-2507 和 DeepSeek-V3.2-Exp。Triton 官方示例不支持后向传播，Qwen3-Next-80B 的前向传播也不支持 K=10。

SonicMoE 与基线模型在 B300 上针对 7B OLMoE 规模 MoE（T=32768，d=2048，n=1024，E=64，K=8）的运行时分解情况。

结果相当显著：

与同样针对 Blackwell GPU 优化、由 DeepSeek 开发的 DeepGEMM 基准相比，SonicMoE 在前向传播上平均高出54%，在反向传播上平均高出35%—— 而 DeepGEMM 本身已是业界公认的高性能实现；与 Triton 官方 MoE 示例相比，SonicMoE 前向传播快21%与目前学术界和工业界广泛使用的 ScatterMoE、MoMoE 等训练框架相比，SonicMoE 的速度优势往往达到 近两倍甚至更高。

从核函数级别的运行时分析来看，SonicMoE 的加速主要来自两个方面：其一，Gather 融合消除了独立的数据搬运核函数，这是最主要的加速来源；其二，更快的分组矩阵乘法实现（得益于 Blackwell 独有的 CLC 调度器和 2CTA MMA 技术）贡献了额外约 10% 的提升。

在激活内存方面，当专家粒度从 Mixtral 时代提高到 Kimi K2.5 量级时，传统方案的每层激活内存会线性膨胀，而 SonicMoE 的占用则保持稳定。这对于在有限显存中训练更细粒度的未来模型，意味着更大的操作空间。

SonicMoE 很快，同时还有更深层的意义：当硬件的进步受制于物理规律逐渐放缓，软件层面的创新正越来越多地扮演起「平权者」的角色。

SonicMoE 的论文标题是「硬件高效、软件可扩展的细粒度 MoE 蓝图」—— 这个「蓝图」二字，或许正是研究团队想传递的信号：这不只是一个工具，而是一种可以被复制和继承的设计哲学。

SonicMoE 目前已在 GitHub 和 PyPI 开源，支持 H100 和最新 B200/B300 GPU，未来计划扩展至专家并行、MXFP8/FP4 精度支持，以及下一代英伟达 Rubin GPU。

在内存和算力日益稀缺的今天，这种创新极具价值，毕竟这是在为整个 AI 生态节省真金白银的成本。

你更看好 DeepSeek 的 Mega MoE 还是今天介绍的 SonicMoE？


田非凡表示，开展本次系列活动，旨在依托上海科技节科普平台，让新时代青少年深入了解千年传拓技艺的发明逻辑、发展历程与工艺演变，感受中华传统文化的博大精深。未来，他们将持续开展非遗科普体验活动，以沉浸式、互动式的科普形式传承非遗、传播传统文化，引导青少年厚植文化底蕴、增强文化自信，让非遗在新时代焕发新生机。(完)
华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-大雷和大狙的视频app-大雷和大狙的视频2026最新V.67.58.27-2265安卓网

华体汇电竞-华体汇(中国)

台官员否认美不支持“台独”时宕机
首页>>两市融资余额较上日增加158.05亿元
台官员否认美不支持“台独”时宕机

华体汇电竞-华体汇(中国):台官员否认美不支持“台独”时宕机

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

92.29MB
版本{版本}
下载APK高速下载
下载再DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE安装你想要的应用 更方便 更快捷 发现更多
喜欢79%好评(40人)
评论61
DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE截图0DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE截图1DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE截图2DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE截图3DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE截图4
详细信息
应用介绍
?第一步：访问《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》官网?首先,打开您的浏览器,输入《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步：点击注册按钮?一旦进入《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》网站官网，您会在页面上找到一个醒目的注册按钮。点击该按钮，您将被引导至注册页面。??
?第三步：填写注册信息 ?在注册页面上，您需要填写一些必要的个人信息来创建《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息，以确保顺利完成注册。?
?第四步：验证账户?填写完个人信息后，您可能需要进行账户验证。《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。?
?第五步：设置安全选项?《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。??
?第六步：阅读并同意条款?在注册过程中，《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。??
?第七步：完成注册?一旦您完成了所有必要的步骤，并同意了《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》网站的条款，恭喜您！您已经成功注册了《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》网站账户。现在，您可以畅享《DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!?
【联系华体汇(中国)】
客服热线
加载更多
版本更新
{版本}
DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE

华体汇电竞-华体汇(中国): DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE类似软件

相关攻略
包含 饿了么 的应用集
友情链接
  • 成渝中线高铁重庆段轨枕预制完成
    2026-05-31 08:20:03
  • 拉赫蒙获授北京大学名誉教授 冀推动塔中文明交流与教育合作
    2026-05-31 08:20:03
  • 【百万庄小课堂】为什么减肥总失败？医生教你如何科学减肥
    2026-05-31 08:20:03
安卓手机网上最贴心的Android软件应用平台!版权所有：DeepSeek做大→Mega MoE，Tri Dao团队加快→SonicMoE有限华体汇电竞-华体汇(中国)备案号：京ICP备17065190号-1