作者:王予育发布时间:2026-06-18 03:22:12 点击数:89087

本月行业报告公开重大成果莫迪六天内出访五国寻求“外交救国” 很高兴为您解答这个问题,让我来帮您详细说明一下。品牌授权报修电话,快速上门服务

蓟州区官庄镇四川省凉山彝族自治州甘洛县赵县沙河店镇无极县大陈镇江西省萍乡市上栗县内蒙古呼伦贝尔市阿荣旗广东省江门市顺义区空港街道湖北省孝感市汉川市西藏山南市贡嘎县焦作市福建省南平市建瓯市怀柔区雁栖地区辽宁省沈阳市和田地区西城区天桥街道山东省烟台市龙口市甘肃省庆阳市镇原县黑龙江省鸡西市鸡冠区西藏拉萨市达孜区山东省东营市垦利区蚌埠市蚌山区山西省阳泉市平定县广东省佛山市三水区南开区长虹街道内蒙古乌海市乌达区黑龙江省佳木斯市汤原县辽宁省沈阳市浑南区焦作市沁阳市怀柔区雁栖地区博尔塔拉蒙古自治州温泉县山西省朔州市山阴县湖北省孝感市汉川市桂林市秀峰区福建省福州市罗源县朝阳区管庄地区江西省吉安市吉安县黑龙江省大兴安岭地区呼玛县陕西省宝鸡市千阳县山西省忻州市定襄县伊犁哈萨克自治州昭苏县山西省吕梁市中阳县元氏县殷村镇元氏县苏村乡丰台区和义街道山东省潍坊市青州市内蒙古呼伦贝尔市阿荣旗桥西区苑东街道青海省果洛藏族自治州内蒙古锡林郭勒盟正镶白旗江苏省徐州市新沂市西乡塘区山东省烟台市牟平区平山县岗南镇山西省晋中市榆社县青海省玉树藏族自治州治多县赞皇县院头镇辽宁省锦州市义县海淀区青龙桥街道甘肃省陇南市武都区蓟州区东赵各庄镇山西省忻州市宁武县西城区天桥街道行唐县龙州镇山东省潍坊市青州市怀柔区龙山街道辽宁省铁岭市清河区甘肃省白银市景泰县贵州省黔南布依族苗族自治州惠水县桥西区东华街道黑龙江省七台河市桃山区北辰区新乐市协神乡和平区南市街道陕西省宝鸡市千阳县昌平区回龙观街道昌平区小汤山镇西藏山南市贡嘎县黑龙江省鸡西市鸡冠区青海省玉树藏族自治州治多县平顶山市卫东区贵州省铜仁市玉屏侗族自治县贵州省铜仁市玉屏侗族自治县四川省甘孜藏族自治州福建省厦门市湖里区山东省德州市齐河县内蒙古乌海市乌达区赞皇县院头镇蚌埠市龙子湖区四川省成都市双流区甘肃省陇南市武都区贵州省铜仁市印江土家族苗族自治县桂林市秀峰区山西省晋中市榆社县四川省遂宁市蓬溪县塔城地区和布克赛尔蒙古自治县密云区古北口镇平山县小觉镇行唐县龙州镇喀什地区麦盖提县

今日研究机构公开行业新动态还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速,很高兴为您解答这个问题,让我来帮您详细说明一下:官方服务专线,支持多品牌报修

井陉县测鱼镇福建省福州市罗源县辽宁省辽阳市白塔区四川省宜宾市江安县内蒙古锡林郭勒盟镶黄旗陕西省宝鸡市眉县元氏县殷村镇重庆市市辖区北碚区许昌市建安区河东区东新街道丰台区右安门街道四川省甘孜藏族自治州丹巴县山东省聊城市冠县上海市市辖区嘉定区行唐县龙州镇广东省珠海市斗门区西青区精武镇静海区大邱庄镇黑龙江省哈尔滨市巴彦县平顶山市卫东区辽宁省朝阳市北票市平山县东回舍镇湖北省恩施土家族苗族自治州建始县洛阳市汝阳县江西省吉安市吉安县无极县大陈镇江苏省南京市浦口区平山县宅北乡内蒙古锡林郭勒盟镶黄旗山东省德州市齐河县黑龙江省大兴安岭地区呼玛县内蒙古兴安盟乌兰浩特市鹿泉区白鹿泉乡江西省九江市武宁县湖北省恩施土家族苗族自治州建始县甘肃省天水市秦州区福建省莆田市仙游县朝阳区小关街道塔城地区和布克赛尔蒙古自治县平山县宅北乡内蒙古鄂尔多斯市鄂托克旗大兴区湖北省宜昌市秭归县山西省晋中市太谷区广东省佛山市三水区南开区长虹街道山西省临汾市安泽县朝阳区酒仙桥街道博尔塔拉蒙古自治州温泉县海南省儋州市湖北省孝感市汉川市平山县东回舍镇朝阳区双井街道合肥市瑶海区南开区长虹街道南开区体育中心街道蚌埠市蚌山区朝阳区管庄地区西藏山南市湖北省宜昌市夷陵区四川省广安市岳池县广东省佛山市三水区四川省宜宾市珙县湖北省宜昌市夷陵区四川省宜宾市珙县广东省深圳市云南省普洱市景东彝族自治县山西省朔州市山阴县江苏省徐州市新沂市山东省枣庄市台儿庄区山西省运城市夏县辽宁省朝阳市北票市山东省泰安市泰山区西藏山南市西城区月坛街道江苏省苏州市相城区桥西区苑东街道丰台区和义街道辽宁省沈阳市浑南区辽宁省沈阳市山西省忻州市定襄县福建省厦门市海沧区辽宁省锦州市义县平山县岗南镇湖北省襄阳市襄州区黑龙江省鹤岗市山东省淄博市临淄区昌平区回龙观街道平山县小觉镇焦作市中站区山西省运城市夏县内蒙古呼伦贝尔市阿荣旗四川省广安市岳池县顺义区空港街道陕西省商洛市山阳县辽宁省沈阳市辽宁省沈阳市浑南区鹿泉区寺家庄镇西青区精武镇辽宁省铁岭市开原市

全球服务区域:乌鲁木齐市沙依巴克区贵州省黔东南苗族侗族自治州天柱县昌平区延寿镇山西省吕梁市中阳县甘肃省陇南市山东省淄博市临淄区福建省漳州市龙海市辽宁省铁岭市开原市辽宁省锦州市义县陕西省咸阳市兴平市江苏省镇江市句容市朝阳区小红门地区西藏拉萨市达孜区伊犁哈萨克自治州昭苏县长安区南村镇西青区精武镇山西省吕梁市岚县黑龙江省哈尔滨市巴彦县云南省玉溪市新平彝族傣族自治县马鞍山市博望区山西省忻州市定襄县贵州省黔南布依族苗族自治州惠水县吉林省长春市双阳区云南省丽江市宁蒗彝族自治县江西省景德镇市昌江区乌鲁木齐市沙依巴克区广东省广州市越秀区湖北省宜昌市秭归县长安区南村镇青海省玉树藏族自治州治多县井陉县吴家窑乡黑龙江省大兴安岭地区呼玛县辽宁省沈阳市浑南区山东省烟台市龙口市湖北省宜昌市宜都市门头沟区大峪街道蓟州区官庄镇江苏省南京市浦口区密云区高岭镇广东省佛山市三水区井陉县测鱼镇甘肃省定西市渭源县江苏省徐州市云南省西双版纳傣族自治州勐腊县阿克苏地区新和县合肥市庐阳区江西省宜春市奉新县山西省晋中市灵石县江苏省苏州市相城区四川省成都市金牛区行唐县龙州镇密云区高岭镇亳州市利辛县平山县小觉镇陕西省汉中市南郑区哈密市伊吾县亳州市利辛县山西省晋中市太谷区内蒙古鄂尔多斯市鄂托克旗江西省九江市武宁县四川省甘孜藏族自治州丹巴县青海省果洛藏族自治州湖北省宜昌市西陵区山东省淄博市临淄区怀柔区龙山街道江苏省徐州市新沂市内蒙古兴安盟乌兰浩特市桥西区苑东街道河东区东新街道江苏省镇江市句容市焦作市中站区辽宁省沈阳市沈河区合肥市瑶海区云南省文山壮族苗族自治州广南县北辰区广东省汕头市南澳县青海省果洛藏族自治州江苏省徐州市新沂市延庆区康庄镇黑龙江省大兴安岭地区呼玛县元氏县苏村乡云南省文山壮族苗族自治州广南县密云区古北口镇山东省泰安市泰山区辽宁省沈阳市浑南区内蒙古鄂尔多斯市鄂托克旗昌平区阳坊镇朝阳区小关街道怀柔区龙山街道山东省枣庄市台儿庄区吉林省白山市浑江区青海省果洛藏族自治州山东省青岛市城阳区四川省甘孜藏族自治州泸定县重庆市县巫山县内蒙古鄂尔多斯市鄂托克旗蓟州区东二营镇巴音郭楞蒙古自治州和硕县四川省甘孜藏族自治州九龙县西藏山南市

本月相关部门发布新政策还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速,很高兴为您解答这个问题,让我来帮您详细说明一下:售后服务维修中心电话,支持多渠道服务

全国服务区域:平顶山市卫东区合肥市瑶海区广东省深圳市福建省南平市建瓯市井陉县测鱼镇四川省凉山彝族自治州昭觉县阿克苏地区拜城县云南省怒江傈僳族自治州福贡县江苏省连云港市赣榆区甘肃省甘南藏族自治州上海市市辖区嘉定区四川省遂宁市蓬溪县许昌市建安区隆安县平山县岗南镇蓟州区官庄镇云南省大理白族自治州云龙县海淀区青龙桥街道辽宁省铁岭市开原市西城区月坛街道焦作市陕西省汉中市留坝县蓟州区官庄镇西青区精武镇湖北省宜昌市秭归县马鞍山市博望区黑龙江省绥化市明水县云南省大理白族自治州云龙县山东省聊城市茌平区百色市靖西市四川省凉山彝族自治州甘洛县内蒙古鄂尔多斯市鄂托克旗广东省汕头市龙湖区钦州市百色市靖西市黑龙江省鸡西市鸡冠区无极县大陈镇密云区高岭镇福建省漳州市龙海市湖北省宜昌市宜都市塔城地区和布克赛尔蒙古自治县蓟州区东赵各庄镇和田地区山西省临汾市安泽县辽宁省沈阳市平顶山市卫东区辽宁省铁岭市清河区辽宁省沈阳市宝坻区牛家牌镇江西省景德镇市昌江区朝阳区双井街道内蒙古兴安盟乌兰浩特市贵州省铜仁市玉屏侗族自治县西藏阿里地区日土县湖北省宜昌市秭归县大兴区焦作市蓟州区东二营镇西城区天桥街道延庆区沈家营镇山东省聊城市茌平区濮阳市南乐县云南省普洱市景东彝族自治县福建省福州市罗源县昌平区小汤山镇昌平区延寿镇福建省漳州市龙海市昌平区延寿镇行唐县龙州镇陕西省咸阳市兴平市和田地区内蒙古乌海市乌达区西藏山南市内蒙古锡林郭勒盟镶黄旗信阳市平桥区巴音郭楞蒙古自治州和硕县山东省聊城市冠县淮南市大通区河西区桃园街道四川省宜宾市江安县贵州省黔南布依族苗族自治州惠水县合肥市瑶海区青秀区焦作市中站区乌鲁木齐市沙依巴克区朝阳区豆各庄地区辽宁省沈阳市浑南区辽宁省铁岭市清河区黑龙江省佳木斯市汤原县平山县东回舍镇合肥市瑶海区四川省凉山彝族自治州西昌市丰台区长辛店镇辽宁省辽阳市白塔区内蒙古锡林郭勒盟镶黄旗宝坻区牛家牌镇哈密市伊吾县武清区上马台镇广东省广州市越秀区淮南市大通区

售后服务上门服务电话,智能分配单据:还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速

机器之心编辑部

5 月 22 日,Tri Dao 在社交媒体上转发了 Han Guo 的一条推文。他还写道:「经过一些数学重写,结果发现 Transformer 的所有内容都是一系列 GEMM + epilogue(矩阵乘法加尾声)。给定一些优化的原语,LLM(以及新手)就可以为所有 Transformer 操作编写光速内核!」

Tri Dao 是 FlashAttention 系列的核心作者之一,而这条推文则指向了他们当天发布的一篇论文:CODA

论文标题:CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs论文地址:https://arxiv.org/abs/2605.19269代码地址:https://github.com/HanGuo97/coda-kernels

这个名字,读起来像「终曲」,念起来像「CUDA」。来自 MIT、普林斯顿、Together AI 和 Meta 的研究者,试图用一套新的编程抽象,把 Transformer 训练里那些鲜少被人关注、却持续消耗时间的「散碎计算」,系统性地消化掉。

背景:训练大模型的「偷懒税」

要理解 CODA 在解决什么问题,先要明白大模型训练的时间都去哪了。

在一块英伟达 H100 上训练一个 LLaMA-3 风格的 1B 参数模型,大部分人会直觉地认为:时间都花在矩阵乘法和注意力计算上,毕竟那才是「真正的计算」。这个直觉大体上没错:矩阵乘法(GEMM)和注意力确实占据了主要算力

但如果你打开性能分析器仔细看,会发现还有一批「小算子」在安静地消耗着时间:归一化(RMSNorm)、激活函数(SwiGLU、RoPE)、残差加法、跨层规约……它们单个计算量不大,却频繁地把大型中间张量从显存里搬进搬出。

这就是所谓的「内存带宽瓶颈」:好比一个厨艺绝顶的厨师,但每做一道菜都要把食材从远处的仓库搬来、用完再送回去,而不是放在手边的台面上。厨师的手速再快,等待搬运的时间也是真实的浪费。

更糟糕的是,随着英伟达的 FP8、FP4 等低精度格式让矩阵计算越来越快,这些「搬运」操作的相对成本反而在上升:矩阵乘法加速了,但张量搬进搬出的成本并没有同比缩短。

论文中有一组数据很直观:在 H100 上用 TorchTitan 训练 1B 参数模型时,非矩阵乘法操作占据了相当一部分的端到端运行时间,且随着 FP8 精度的引入,这一比例还会进一步凸显。

现有的编程框架对此几乎无能为力。PyTorch 把 Transformer 的计算表达成一串算子序列,算子之间有清晰的边界。这种边界对于自动微分(autograd)非常友好,却恰好阻止了跨算子的融合优化:每一个算子边界,往往就是一次不必要的显存写回。

CODA:「尾声」里藏着宝藏

CODA 的出发点是一个朴素的观察。

在 GPU 上,一个高性能的矩阵乘法(GEMM)内核在结构上分为两个部分:主循环(mainloop)负责核心的矩阵分块乘加计算,尾声(epilogue)负责在结果写回显存之前做一些收尾处理,比如加偏置、类型转换、简单缩放。

尾声存在的意义,在于此时矩阵乘法的输出还「活在」片上寄存器里,还没有落地到全局显存。这是一个短暂的黄金窗口:如果能在这个时刻多做一些计算,就可以完全省掉一次显存写入再读出的往返。

CODA 的核心洞察是:Transformer 里那些内存密集型操作,其实很多可以被代数地重新参数化,塞进这个「尾声」窗口里执行。

这需要一点数学技巧。以最常见的 GEMM-RMSNorm-GEMM 模式为例:一个矩阵乘法的结果,经过残差加法、RMS 归一化,然后再做另一个矩阵乘法。传统做法是三个独立算子串行执行,中间结果两次落地显存。

CODA 团队发现,RMS 归一化中的行缩放因子 r,因为是每行共享的标量,它和后面的矩阵乘法满足交换律:可以把 r 的应用从「第二个 GEMM 之前」推迟到「第二个 GEMM 的尾声」。推迟之后,第一个 GEMM 的尾声只需要计算局部的「分块均方根」(partial RMS),由一个极轻量的辅助规约内核合并,而完整的 RMSNorm 计算消失了。

类似的重新参数化,对 SwiGLU、RoPE(旋转位置编码)、交叉熵损失等操作同样适用,甚至对反向传播也成立。论文中有一个定理证明:只要前向尾声是「分块局部」的,反向传播就自动继承相同的结构。具体请访问原论文查看。

五种「积木」和一套「乐高语言」

CODA 不是一个具体的融合内核,而是一套编程抽象。

它固定住经过专家优化的 GEMM 主循环,然后在尾声位置暴露五类可组合的基本原语:

逐元素变换(residual 加法、激活函数、RoPE)向量加载与存储(广播 RMSNorm 权重)矩阵分块加载与存储(保存中间激活供反向传播使用)分块规约(局部均方根、分块 log-sum-exp)有状态变换(在线归一化所需的 max 和 sum-exp 统计)

用这五类积木,一个标准 Transformer 的前向和反向传播中、除注意力之外的几乎全部操作都可以被覆盖。

更有意思的是这套抽象对「谁来写代码」的宽容度。论文在实验中评估了两种实现模式:一种是人工程序员撰写,另一种是用 Claude Code 来生成 —— 给定 CODA 的原语说明、若干示例和实现日志,由 AI 完成大部分内核代码,人工轻度监督。

两种模式的性能表现均达到了较高水平。Tri Dao 在推文中说「LLM 以及新手就可以编写光速内核」,这正是论文实验结果在现实层面的映射。

实验结果

CODA 的基准测试选择的是较为苛刻的对手:cuBLAS 加上 torch.compile,以及专为 LLM 优化的 Liger Kernel 和 FlashInfer。

论文对每个内核评估了两种实现:CODA (LLM)由 Claude Code 生成,研究者提供原语说明、若干示例和一份持续更新的实现技巧日志,AI 完成主体代码,人工做轻度监督;CODA (Human)由人工程序员独立编写,使用同样的高层重参数化思路,但不依赖 CODA 原语集本身。两组结果都与 cuBLAS + torch.compile、Liger Kernel、FlashInfer 等优化库进行对比。

在单算子层面,以 GEMM-RMSNorm-GEMM 这一典型模式为例,CODA 在对应 1B、7B、70B 三个模型规模的隐藏维度下均实现了对 cuBLAS + PyTorch 基线的超越。SwiGLU、RoPE、交叉熵等尾声组合也有类似表现。

LLM 生成的内核在大多数基准上与人工手写版本不相上下,个别配置下甚至略有超越。这在 GPU 内核优化这个历来门槛极高的领域,是一个颇为罕见的结论。

反向传播的收益尤为突出:GEMM-Residual-PartialRMS-GEMM 的反向内核相比基线加速幅度可达 1.6 至 1.8 倍,SwiGLU 反向也有约 1.4 至 1.6 倍的提升。这个方向上,LLM 与人工实现的差距同样微小。这并不奇怪:反向传播天然涉及更多中间张量的存取,尾声融合的收益就更大;而 CODA 的原语设计足够清晰,使得 AI 模型能够正确地完成组合。

在完整 Transformer 层的端到端基准中,CODA 的前向加速在不同规模下约为 5% 至 20%,在较大模型尺寸(对应 70B 规模的隐藏维度)下效果更为显著。

数值精度方面,CODA 的重参数化调整了 RMSNorm 缩放因子的应用时机,但实验表明其数值误差与 PyTorch 参考实现相当,在某些配置下误差甚至更小 —— 得益于 GEMM 主循环本身具有更高精度的累加器。

CODA 能做什么:一张速查单

在进入更大的视角之前,先把 CODA 的能力边界说清楚。

覆盖范围:标准 Transformer(如 LLaMA 架构)的前向和反向传播中,除注意力和词嵌入之外的几乎全部计算,包括 RMSNorm、残差加法、SwiGLU 激活、RoPE 旋转位置编码、交叉熵损失,以及上述操作的反向梯度计算。加速效果:在对应 1B 至 70B 规模的隐藏维度下,单算子层面相比 cuBLAS + torch.compile 基线有不同程度的提升,其中反向传播收益最为显著(部分内核可达 1.6 倍以上);完整 Transformer 层的端到端前向加速约为 5% 至 20%,在较大模型尺寸下效果更突出。谁能用:CODA 基于 CuTeDSL(NVIDIA CUTLASS 的 Python DSL)实现,支持人工程序员和 AI 模型两种内核编写方式,且两种方式均能达到高性能。当前限制:目前仅支持单 GPU 场景,不涉及分布式训练;重参数化主要针对标准 Transformer 架构,其他架构的适用性有待验证。

CODA 并非孤立的工作。它是一类思想的具体实现:在 GPU 上,真正的优化空间往往不在「算什么」,而在「怎么搬」。

FlashAttention 让注意力计算「住进」了片上内存,CODA 试图让归一化和激活函数也「住进去」。Triton 降低了写自定义内核的门槛,ThunderKittens、TileLang 等进一步在不同层次上探索这一空间。这些工作共同指向同一个方向:把 PyTorch 算子图的表达便利性,与接近手写 CUDA 的执行效率,真正统一在一套可编程的框架里。

Tri Dao 推文的最后一句话值得再回味:「LLM 以及新手就可以为所有 Transformer 操作编写光速内核。」这背后有一个更深的逻辑:当编程抽象设计得足够好,AI 模型本身就可以参与到自身训练基础设施的优化中。这个循环,才是 CODA 最耐人寻味的地方。

从这个角度看,「CODA」这个名字或许另有深意。在古典音乐中,Coda 是乐曲末尾收束全篇的段落。在这里,它是 GEMM 内核的「尾声」—— 而写好这段尾声,或许正是 Transformer 训练系统效率提升的下一个重要章节。

本月行业报告公开重要信息还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速

机器之心编辑部

5 月 22 日,Tri Dao 在社交媒体上转发了 Han Guo 的一条推文。他还写道:「经过一些数学重写,结果发现 Transformer 的所有内容都是一系列 GEMM + epilogue(矩阵乘法加尾声)。给定一些优化的原语,LLM(以及新手)就可以为所有 Transformer 操作编写光速内核!」

Tri Dao 是 FlashAttention 系列的核心作者之一,而这条推文则指向了他们当天发布的一篇论文:CODA

论文标题:CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs论文地址:https://arxiv.org/abs/2605.19269代码地址:https://github.com/HanGuo97/coda-kernels

这个名字,读起来像「终曲」,念起来像「CUDA」。来自 MIT、普林斯顿、Together AI 和 Meta 的研究者,试图用一套新的编程抽象,把 Transformer 训练里那些鲜少被人关注、却持续消耗时间的「散碎计算」,系统性地消化掉。

背景:训练大模型的「偷懒税」

要理解 CODA 在解决什么问题,先要明白大模型训练的时间都去哪了。

在一块英伟达 H100 上训练一个 LLaMA-3 风格的 1B 参数模型,大部分人会直觉地认为:时间都花在矩阵乘法和注意力计算上,毕竟那才是「真正的计算」。这个直觉大体上没错:矩阵乘法(GEMM)和注意力确实占据了主要算力

但如果你打开性能分析器仔细看,会发现还有一批「小算子」在安静地消耗着时间:归一化(RMSNorm)、激活函数(SwiGLU、RoPE)、残差加法、跨层规约……它们单个计算量不大,却频繁地把大型中间张量从显存里搬进搬出。

这就是所谓的「内存带宽瓶颈」:好比一个厨艺绝顶的厨师,但每做一道菜都要把食材从远处的仓库搬来、用完再送回去,而不是放在手边的台面上。厨师的手速再快,等待搬运的时间也是真实的浪费。

更糟糕的是,随着英伟达的 FP8、FP4 等低精度格式让矩阵计算越来越快,这些「搬运」操作的相对成本反而在上升:矩阵乘法加速了,但张量搬进搬出的成本并没有同比缩短。

论文中有一组数据很直观:在 H100 上用 TorchTitan 训练 1B 参数模型时,非矩阵乘法操作占据了相当一部分的端到端运行时间,且随着 FP8 精度的引入,这一比例还会进一步凸显。

现有的编程框架对此几乎无能为力。PyTorch 把 Transformer 的计算表达成一串算子序列,算子之间有清晰的边界。这种边界对于自动微分(autograd)非常友好,却恰好阻止了跨算子的融合优化:每一个算子边界,往往就是一次不必要的显存写回。

CODA:「尾声」里藏着宝藏

CODA 的出发点是一个朴素的观察。

在 GPU 上,一个高性能的矩阵乘法(GEMM)内核在结构上分为两个部分:主循环(mainloop)负责核心的矩阵分块乘加计算,尾声(epilogue)负责在结果写回显存之前做一些收尾处理,比如加偏置、类型转换、简单缩放。

尾声存在的意义,在于此时矩阵乘法的输出还「活在」片上寄存器里,还没有落地到全局显存。这是一个短暂的黄金窗口:如果能在这个时刻多做一些计算,就可以完全省掉一次显存写入再读出的往返。

CODA 的核心洞察是:Transformer 里那些内存密集型操作,其实很多可以被代数地重新参数化,塞进这个「尾声」窗口里执行。

这需要一点数学技巧。以最常见的 GEMM-RMSNorm-GEMM 模式为例:一个矩阵乘法的结果,经过残差加法、RMS 归一化,然后再做另一个矩阵乘法。传统做法是三个独立算子串行执行,中间结果两次落地显存。

CODA 团队发现,RMS 归一化中的行缩放因子 r,因为是每行共享的标量,它和后面的矩阵乘法满足交换律:可以把 r 的应用从「第二个 GEMM 之前」推迟到「第二个 GEMM 的尾声」。推迟之后,第一个 GEMM 的尾声只需要计算局部的「分块均方根」(partial RMS),由一个极轻量的辅助规约内核合并,而完整的 RMSNorm 计算消失了。

类似的重新参数化,对 SwiGLU、RoPE(旋转位置编码)、交叉熵损失等操作同样适用,甚至对反向传播也成立。论文中有一个定理证明:只要前向尾声是「分块局部」的,反向传播就自动继承相同的结构。具体请访问原论文查看。

五种「积木」和一套「乐高语言」

CODA 不是一个具体的融合内核,而是一套编程抽象。

它固定住经过专家优化的 GEMM 主循环,然后在尾声位置暴露五类可组合的基本原语:

逐元素变换(residual 加法、激活函数、RoPE)向量加载与存储(广播 RMSNorm 权重)矩阵分块加载与存储(保存中间激活供反向传播使用)分块规约(局部均方根、分块 log-sum-exp)有状态变换(在线归一化所需的 max 和 sum-exp 统计)

用这五类积木,一个标准 Transformer 的前向和反向传播中、除注意力之外的几乎全部操作都可以被覆盖。

更有意思的是这套抽象对「谁来写代码」的宽容度。论文在实验中评估了两种实现模式:一种是人工程序员撰写,另一种是用 Claude Code 来生成 —— 给定 CODA 的原语说明、若干示例和实现日志,由 AI 完成大部分内核代码,人工轻度监督。

两种模式的性能表现均达到了较高水平。Tri Dao 在推文中说「LLM 以及新手就可以编写光速内核」,这正是论文实验结果在现实层面的映射。

实验结果

CODA 的基准测试选择的是较为苛刻的对手:cuBLAS 加上 torch.compile,以及专为 LLM 优化的 Liger Kernel 和 FlashInfer。

论文对每个内核评估了两种实现:CODA (LLM)由 Claude Code 生成,研究者提供原语说明、若干示例和一份持续更新的实现技巧日志,AI 完成主体代码,人工做轻度监督;CODA (Human)由人工程序员独立编写,使用同样的高层重参数化思路,但不依赖 CODA 原语集本身。两组结果都与 cuBLAS + torch.compile、Liger Kernel、FlashInfer 等优化库进行对比。

在单算子层面,以 GEMM-RMSNorm-GEMM 这一典型模式为例,CODA 在对应 1B、7B、70B 三个模型规模的隐藏维度下均实现了对 cuBLAS + PyTorch 基线的超越。SwiGLU、RoPE、交叉熵等尾声组合也有类似表现。

LLM 生成的内核在大多数基准上与人工手写版本不相上下,个别配置下甚至略有超越。这在 GPU 内核优化这个历来门槛极高的领域,是一个颇为罕见的结论。

反向传播的收益尤为突出:GEMM-Residual-PartialRMS-GEMM 的反向内核相比基线加速幅度可达 1.6 至 1.8 倍,SwiGLU 反向也有约 1.4 至 1.6 倍的提升。这个方向上,LLM 与人工实现的差距同样微小。这并不奇怪:反向传播天然涉及更多中间张量的存取,尾声融合的收益就更大;而 CODA 的原语设计足够清晰,使得 AI 模型能够正确地完成组合。

在完整 Transformer 层的端到端基准中,CODA 的前向加速在不同规模下约为 5% 至 20%,在较大模型尺寸(对应 70B 规模的隐藏维度)下效果更为显著。

数值精度方面,CODA 的重参数化调整了 RMSNorm 缩放因子的应用时机,但实验表明其数值误差与 PyTorch 参考实现相当,在某些配置下误差甚至更小 —— 得益于 GEMM 主循环本身具有更高精度的累加器。

CODA 能做什么:一张速查单

在进入更大的视角之前,先把 CODA 的能力边界说清楚。

覆盖范围:标准 Transformer(如 LLaMA 架构)的前向和反向传播中,除注意力和词嵌入之外的几乎全部计算,包括 RMSNorm、残差加法、SwiGLU 激活、RoPE 旋转位置编码、交叉熵损失,以及上述操作的反向梯度计算。加速效果:在对应 1B 至 70B 规模的隐藏维度下,单算子层面相比 cuBLAS + torch.compile 基线有不同程度的提升,其中反向传播收益最为显著(部分内核可达 1.6 倍以上);完整 Transformer 层的端到端前向加速约为 5% 至 20%,在较大模型尺寸下效果更突出。谁能用:CODA 基于 CuTeDSL(NVIDIA CUTLASS 的 Python DSL)实现,支持人工程序员和 AI 模型两种内核编写方式,且两种方式均能达到高性能。当前限制:目前仅支持单 GPU 场景,不涉及分布式训练;重参数化主要针对标准 Transformer 架构,其他架构的适用性有待验证。

CODA 并非孤立的工作。它是一类思想的具体实现:在 GPU 上,真正的优化空间往往不在「算什么」,而在「怎么搬」。

FlashAttention 让注意力计算「住进」了片上内存,CODA 试图让归一化和激活函数也「住进去」。Triton 降低了写自定义内核的门槛,ThunderKittens、TileLang 等进一步在不同层次上探索这一空间。这些工作共同指向同一个方向:把 PyTorch 算子图的表达便利性,与接近手写 CUDA 的执行效率,真正统一在一套可编程的框架里。

Tri Dao 推文的最后一句话值得再回味:「LLM 以及新手就可以为所有 Transformer 操作编写光速内核。」这背后有一个更深的逻辑:当编程抽象设计得足够好,AI 模型本身就可以参与到自身训练基础设施的优化中。这个循环,才是 CODA 最耐人寻味的地方。

从这个角度看,「CODA」这个名字或许另有深意。在古典音乐中,Coda 是乐曲末尾收束全篇的段落。在这里,它是 GEMM 内核的「尾声」—— 而写好这段尾声,或许正是 Transformer 训练系统效率提升的下一个重要章节。


广西侨联将持续用好“八桂侨声”工作品牌,不断搭建学习交流、创业赋能、联谊合作、成长成才的平台,为侨界青年办实事、解难题,团结引领更多侨界青年建功立业。(完)
华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-影音先锋小说区官方版-影音先锋小说区2026最新N.1.25.64-游戏风云

华体汇电竞-华体汇(中国)

莫迪六天内出访五国寻求“外交救国”
莫迪六天内出访五国寻求“外交救国”

莫迪六天内出访五国寻求“外交救国”

百万最新免费软件游戏

下载

莫迪六天内出访五国寻求“外交救国”
首页>>五部门联合公布《互联网信息内容多渠道分发服务管理规定》
莫迪六天内出访五国寻求“外交救国”

华体汇电竞-华体汇(中国):莫迪六天内出访五国寻求“外交救国”

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

68.45MB
版本{版本}
下载APK高速下载
下载再还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速安装你想要的应用 更方便 更快捷 发现更多
喜欢21%好评(47人)
评论98
还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图0还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图1还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图2还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图3还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图4
详细信息
  • 软件大小:71.36MB
  • 最后更新:2026-06-18 03:22:12
  • 最新版本:{版本}
  • 文件格式:apk
  • 应用分类:ios-Android还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速
  • 使用语言:中文
  • :需要联网
  • 系统要求:7.37以上
应用介绍
?第一步:访问《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》官网?首先,打开您的浏览器,输入《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步:点击注册按钮?一旦进入《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站官网,您会在页面上找到一个醒目的注册按钮。点击该按钮,您将被引导至注册页面。??
?第三步:填写注册信息 ?在注册页面上,您需要填写一些必要的个人信息来创建《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息,以确保顺利完成注册。?
?第四步:验证账户?填写完个人信息后,您可能需要进行账户验证。《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站会向您提供的电子邮件地址或手机号码发送一条验证信息,您需要按照提示进行验证操作。这有助于确保账户的安全性,并防止不法分子滥用您的个人信息。??
?第五步:设置安全选项?《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站通常要求您设置一些安全选项,以增强账户的安全性。例如,可以设置安全问题和答案,启用两步验证等功能。请根据系统的提示设置相关选项,并妥善保管相关信息,确保您的账户安全。?
?第六步:阅读并同意条款?在注册过程中,《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前,请仔细阅读并理解这些条款,并确保您同意并愿意遵守。???
?第七步:完成注册?一旦您完成了所有必要的步骤,并同意了《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站的条款,恭喜您!您已经成功注册了《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站账户。现在,您可以畅享《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!??
【联系华体汇(中国)】
客服热线
加载更多
版本更新
{版本}
还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速
  • 台州援疆干部多维发力交出创新援疆答卷
  • 前5个月湖南“新三样”出口87.7亿元 增长势头强劲
  • 中国代表:政治对抗解决不了伊朗核问题
  • 福建屏南:畲族“火凤凰”飞入夜经济 老寨焕新彩
  • 【2026打卡中国】从第10届南博会看云南经贸腾飞
  • 中国经济圆桌会丨三峡水运新通道工程有三个难点
  • 77岁夏伯渝保持锻炼 力争完成“7+2”极限挑战
  • 潮声·青年说丨寻找下一个陈丽君
  • 青海办理首单离境退税业务
  • 张玉宁破门后做出吸奶嘴庆祝动作
  • 台北街头现“小狗一样大”的老鼠?背后藏着政治戏码,王世坚都看不下去:没出息!
  • 特朗普称取消原定对伊朗的打击行动
  • 《给阿嬷的情书》,票房超10亿元
  • *ST闻泰:华体汇电竞-华体汇(中国)对安世的控制权仍暂处于受限状态

    从“小众秘境”到热门“打卡地” 湖南湘潭点燃文旅“新”引擎

    华体汇电竞-华体汇(中国):齐鲁师范学院原党委书记林松柏接受审查调查

    详情
查看更多
加载中加载中,请稍等...

华体汇电竞-华体汇(中国): 还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速类似软件

  • “5·19中国旅游日”青海分会场活动启动美国枪击事件受害者家属起诉ChatGPT 称其是“帮凶”

    印尼羽毛球公开赛:会师队友 国羽提前锁定一个混双决赛席位

  • 家长“凌晨排队” 职校为啥火了《只此青绿》赴台演出开票即售罄 中国东方演艺集团探索产业高质量发展新路径

    下厨房的年轻人多了

  • 我国油气供应能力持续提升比亚迪鲨鱼皮卡今年将在国内销售

    山东发布“无证明之省”建设三项地方标准

  • 美国特勤局:白宫附近枪击案嫌疑人在医院死亡应对南方新一轮强降雨 中国官方启动应急响应

    国家下达11.99亿元中央预算内资金支持云南医疗卫生服务体系建设

  • 坚持“当下改”与“长久立”相结合(树立和践行正确政绩观)黑龙江:近期强对流天气多发 31日部分地区有强风雹

    嘴馋别只怪自制力差 或许你的身体缺这些

  • 中俄共绘教育合作新图景今年高考命题有何特点

    加拿大:拟禁止16岁以下青少年注册社交媒体账号

  • 网友称摸起来很像人民币 六神回应江西省2026年高考结束

    跨越千里遇乡音 这些词的菲律宾语发音和闽南语如此接近

  • 国家粮食和物资储备局向贵州紧急调运中央防汛抗旱物资特朗普指示美军打击伊朗 伊外长发警告

    宁夏固原:特色产业扎根六盘山 联农带农富万家

  • 卓然股份:因未按期披露定期报告被证监会立案特朗普:伊朗不会因为谈判而获得任何制裁豁免

    主持人:C罗正毁掉葡萄牙夺世界杯机会

  • 小朋友在宁夏博物馆乐享“文化和自然遗产日”扎根海底抗狂风巨浪 广东造出新型海洋牧场重器

    中外民众谈俄罗斯总统普京访华:好邻居要常来常往

  • 全球最大航运华体汇电竞-华体汇(中国)推出中东至欧洲新服务 避开霍尔木兹海峡世界级风土待“开瓶” 香格里拉葡萄酒产区加速破圈

    中信建投期货:6月3日能化早报

  • 两伙盗墓贼争抢战国楚墓 连续盗挖3天被抓获2026“互联中国公益行动”在贵州贵阳启动

    携手共话绿色发展 中越绿色产业国际合作对接交流活动在京举办

  • 黎以在美谈判未就停火达成一致 以军在黎战线向北推进福建舰下水4周年

    苹果或打破对台积电依赖 岛内担忧

  • 杭州谋划“十五五” 重点着墨“人工智能创新发展第一城”许昕回应国乒双冠

    飞船返回制动结束 神二十一航天员报告感觉良好

  • 野猪撞碎玻璃门闯进烧烤店湖南新化县委书记下井督导安全

    (美加墨世界杯)加拿大扳平波黑 获队史世界杯首分

  • 做难而正确的事,他们选择在上海挑战4041.99点,创指创新高!数据中心板块掀涨停潮,工业富联成交额居首

    活力中国调研行丨拎包入住、设备共享 这家“创新孵化器”助推生物医药科研创新

  • 海外侨商看好海南自贸港投资机遇成都海关“白名单”制度助力川企“加速跑”

    乌兹别克斯坦总理访港 李家超邀企业“多落户香港”

  • 河南车祸撞民房引大火 知情人回应台胞刘融的音乐梦:“把乐团经验留给孩子们”

    广东小学生已经开始卷龙船赛

  • 菲律宾参议院组成弹劾法庭审理副总统弹劾案藏马熊当牧民面捕食牦牛 当地回应

    中美将在韩国举行经贸磋商

  • “广西之夜”旅游推介会在渝举行 邀山城游客夏日畅游八桂让法治成为护航企业高质量发展最可靠保障——国新办发布会介绍规范涉企行政执法专项行动有关情况

    疯狂的石头:一块秦朝石刻引发的争鸣

  • 大爷入戏太深上台暴打日军演员中国国民党副主席张荣恭:姓中国姓、讲中国话、敬中国神、过中国节,两岸同胞都是中国人一家人

    西部外资信心指数发布:外资眼中的西部,为何值得“下注”?

  • 国台办:台胞到大陆旅行交流完全可以高高兴兴来、平平安安回重庆大足:少年习狮舞 感受非遗魅力

    各界人士共祭济南“五三惨案”98周年

  • 奥迪E7X官宣预售日本学者表示:日本政府修宪扩军路线破坏地区稳定

    跨越山海的甜蜜奔赴:一条专线激活东盟鲜果进口新通道

  • 酒店“逢假就涨” 多重约束缘何管不住“任性定价”?谁将成为美加墨世界杯黑马

    美国师生探访宋庆龄在上海的“可爱的家”

  • 马上评|严惩造谣者,不让实干者流汗再流泪官方通报一糖果制品中检出伟哥

    第三轮第六批中央生态环保督察全部实现进驻

  • 张建中:发展具身智能,虚拟仿真训练平台至关重要勇者不惧!高考首日女生笑容满面走出考场

    岛内称特朗普警告“台独”重击赖当局

  • 136天26台超百场 2026国家大剧院国际戏剧季将启诺基亚发布首款微聊手机 售价199元

    《西湖龙井茶全书》首发 构建茶叶全生命周期知识体系

  • 珠江流域成功防御今年入汛以来最强降雨过程粤港澳大湾区、长三角气温指数(系列)在穗发布

    男子刷寻亲视频 妻子找到亲姐妹

  • 山西襄垣:一河碧水润乡野 文旅赋能兴乡村地产链跑出两只AI概念大牛股

    云冈石窟部分洞窟昨起临时封闭

  • 歌手霍尊前女友陈露晒报警回执【活力中国调研行】机器人什么时候能当保姆?企业:5到10年就可以

    辽宁省首个集成电路产业创新中心落地运营

  • 数字经济专题展区惊艳亮相第35届“哈洽会”从“纸上建议”到“发展实效” 民进重庆市委会2025年履职纪实

    贵州省直属机关工会工作委员会原主任张平被开除党籍

  • 昆明海关“海关重点领域廉洁风险”专项治理公告伊朗议会议长发声:在确认人民权益得到保障前不批准任何协议

    全球最精明的人为何组团涌向苏州

  • 大衣哥回应诽谤案开庭时间停航不停封,特朗普为何主动刹车?

    大美边疆看我家丨黑龙江鹤岗:生态宜居的山水之城

  • 印尼海域发生6.7级地震 或引发局地海啸国际移民组织表示海地暴力升级致150万人流离失所

    合力建设远离贫困、共同发展的美好世界

  • 5月28日央行开展1013亿元7天期逆回购操作船员遭袭后,印度政府指示:保持高度戒备

    伊朗高级官员否认美军击沉多艘小型船只的言论

  • 美国副总统计划出席在瑞士举行的签字仪式高温来了 家中药品要不要放进冰箱

    “5·18国际博物馆日”浙江主会场活动在德清举行

相关攻略
  • 雷军强烈建议大家现在就换手机
    2026-06-18 03:22:12
包含 饿了么 的应用集
  • 【小新的Vlog】“打卡”长春宠物博览会:萌宠异兽齐聚尽显趣味 重庆冷冻浓缩果汁首次自营出口欧盟 2026年全国体操锦标赛:浙江队获男女混合团体赛冠军
    以不懈奋斗书写青春华章
    战火中的儿童节:活着已是拼尽全力
    146253352181532026-06-18 03:22:12
  • 广西田林:小满时节葡萄管护忙 普京访华前发表视频讲话 “云端”管水 江西全省水库实现雨水情测报设施全覆盖
    镜观·回响|让中华文明瑰宝永续留存 泽惠后人
    从盐碱滩涂到亿吨大港 东营港经开区海陆联动向海图强
    33132136649642026-06-18 03:22:12
  • 【追光的你】习言道|时代的责任赋予青年,时代的光荣属于青年 “牢记初心使命 奋进复兴征程”主题采访走进贵州遵义 伊朗最高领袖外事顾问:特朗普近期言行难掩“白宫幻想破灭”
    六一将至,来看军人对军娃的暖心祝福
    海南将打造全国一流旅居养老目的地
    5447766985135969452026-06-18 03:22:12
  • 阔别半世纪 全球首例野化放归雪豹后代现身内蒙古 低空安全司亮相,为低空经济“起飞”保驾护航 情法相融护青苗 西安法院织密未成年人司法保护网”
    8户央企外部董事职务变动
    老挝国家主席在华重回早年所住宿舍
    9326987488611662026-06-18 03:22:12
  • 泽连斯基称乌军成功击沉一艘俄舰艇 深耕一线真实故事 电视剧《金关》研讨会举行 香蕉可能会从日本人的餐桌上消失
    皇岗海关查获出境旅客携带濒危象牙制品8件
    超1.1亿人获得个税退税
    679664604607752026-06-18 03:22:12
  • 多家海外华文媒体聚焦广西南宁 记录南宁发展变化 黄金进入“猴市” 2026国际菌草技术研讨活动在福州启幕
    “中美关系将会有史以来最好的”
    4月末中国外汇储备规模升至34105亿美元
    394013930334502026-06-18 03:22:12
  • 一季度末普惠型小微企业贷款余额同比增长9.9% 国际人士:中美元首会谈对全球局势影响深远 职场考勤打卡,如何“管人”而不“伤人”?
    盖茨基金会清仓微软
    麦收关键期晴雨相间 南北分区科学应对
    62311791003152026-06-18 03:22:12
  • 教育部:推动高校录取通知书回归“一页纸” 纠治奢华录取通知书 中俄百余名垂钓高手竞技边城东宁 暴雨后路边过山鲫鱼成群赶路
    叠滘龙船:全员猛男 实力保证
    华泰证券:地产板块估值筑底
    1697978819093368432026-06-18 03:22:12
  • 2026长三角机器人及自动化展览会在江苏无锡举行 所罗门群岛议会通过一项对总理马内莱的不信任动议 宁夏出台青年就业见习新规 非宁户籍青年同等享受政策
    两路寸滩海关缉私分局办案区人员信息一体化采集系统采购项目(第二次)比选公告
    青海海西州6.3级地震已致1人遇难8人受伤
    112279953084602026-06-18 03:22:12
  • 盖茨基金会清仓微软 天热了车里别放这些东西 日本企业物价指数同比涨幅创逾三年新高
    杭州临平通报某小区有人非法从事试管婴儿手术:已立案调查
    美媒称美伊谈判重回正轨
    717404156341532026-06-18 03:22:12
  • 雷军:未来或投入至少2000亿研发费用 (滇藏公路50年)噶丹·东竹林寺国通语“引路人”洛桑多吉的家国修行 学习手记|更好担负起新的文化使命
    泰国总理下令彻查火车与公交车相撞事故
    市场监管总局发布一批儿童相关国家标准
    496449916195715592026-06-18 03:22:12
  • 华为麒麟2026手机芯片今秋面世 今年所有城市将开展体检 (乡村行·看振兴)湖北利川:一片“粽叶”串起富民产业链
    美国4月CPI同比上涨3.8% 创近三年最高水平
    妈!您辛苦了,母亲节快乐,余生请多爱自己一些
    34964460728827122026-06-18 03:22:12
  • 重庆国际友城美食文化嘉年华启幕 A股四大股指高开 半导体板块活跃 多项措施促进铁路与旅游融合发展
    习近平会见巴基斯坦总理夏巴兹
    中国央行5日开展5000亿元买断式逆回购操作
    2562460472205251722026-06-18 03:22:12
  • CBA总决赛:浙江浙商证券胜上海久事 上海迪士尼度假区全新主题园区和两座新酒店正在建设中 伦敦世乒赛中国女队挺进决赛
    巴西男足公布美加墨世界杯26人名单 内马尔入选
    陈靖姑信俗文化牵起海外侨胞桑梓情
    616857492885562026-06-18 03:22:12
  • 高考结束妈妈请儿子同学来家里吃饭 “多文明、多民族联欢会”在悉尼举行 专家:美国创下二战后最危险里程碑
    最差的普高和最好的中专该怎么选
    幼儿园食品安全新规今起施行
    670612628107513502026-06-18 03:22:12
  • 重庆:考生家长冒雨送考 李强会见老挝人民革命党中央总书记、国家主席通伦 三部门负责人就《国务院关于对外投资的规定》答记者问
    台积电持续走强 台股市值超越印度
    浙江将迎两天“雨水模式” 假期返程时段晴好回归
    8622514590816409892026-06-18 03:22:12
  • 拒绝伊朗回应 美方称停火“有效但脆弱” 这个“朋友圈”为何是世界的刚需 中国民营企业家谈科技创新:重视细节积累与长期主义
    2026年两岸融合发展交流营辽吉分营开营 台湾青年沉浸式体验中华文化
    国家邮政局发布2026年“十佳快递员”事迹
    821355907177182026-06-18 03:22:12
  • 王旭烽新作《茶事笔记》问世 再推茶文化力作 厦门新增一条西非远洋通道 辽宁12345热线有了“国标”政务大模型
    西藏民营经济人士与少年儿童开展手拉手活动
    伊朗袭击美军基地 科威特巴林响起警报
    13571343238225612026-06-18 03:22:12
  • 悉尼将举办2027年澳大利亚旅游交易会 宁夏银川:水上运动成民众假期户外社交“新宠” 云南建设干热河谷生态带 涉及53个县市区
    广东多地出现强降雨 全省累计转移36127人
    中国江淮江汉江南等地降雨进入最强时段
    359911598706297332026-06-18 03:22:12
  • 百万顶帐篷热销背后,读懂河北生态之美的进阶、可感、“诗和远方” “解锁可持续体重管理 上海街头健康减重科普展吸引市民 2026全国跳水冠军赛第五个比赛日 四川队获两金广东队获一金
    准考证被锁车内 消防破窗取出
    背着双肩包就能来 湖南携8807个岗位赴粤诚意揽才
    127497598677552026-06-18 03:22:12
  • 第一观察|推动中朝关系与时俱进取得更大发展 交通运输部:6月1日—7日,国家铁路运输货物8006.6万吨 2026年“暖途”行动预计服务司机超630万人次
    员工离职“顺走”“老东家”商业秘密
    美中央司令部称霍尔木兹海峡仍保持通行
    848649921345382026-06-18 03:22:12
  • 全网刷屏的“粉色蓝莓”是真的吗?记者探访 摩洛哥企业高管:足球是推动经济增长的绝佳催化剂 美索不达米亚文明特展在法国卢浮宫揭幕
    压力给到了C罗
    北京海淀区市监局:正对“鹅腿阿姨”进行核查,将依法依规处置
    57975947681289552026-06-18 03:22:12
  • 俄罗斯“帕拉达”号学员舰抵达大连开展联谊交流活动 东西问|在张彭春的故乡,多国专家看见中国人权治理的“根”与“果” 第九届全球华语朗诵大赛阿联酋赛区总决赛落幕
    A股金融相关板块周三走强
    南方多地强降雨持续闷热感加剧 东北华北雨水送清凉
    618922141276332026-06-18 03:22:12
友情链接
  • 世卫组织发布新版高温应对指南
    2026-06-18 03:22:12
  • 2026年全国高考首日 西安市出租汽车行业“爱心送考”300余趟次
    2026-06-18 03:22:12
  • 国家发改委:从未要求中国科技企业不得接受外商投资
    2026-06-18 03:22:12
安卓手机网上最贴心的Android软件应用平台!版权所有:还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速有限华体汇电竞-华体汇(中国)备案号:京ICP备17065190号-1
华体汇电竞-华体汇(中国)

<small id='9BvT'></small><noframes id='u7oRQ'>

    <tbody id='QZUrUt'></tbody>

  • <tfoot id='27ZlN'></tfoot>

          <legend id='SgUr'><style id='Y5hkt'><dir id='MDf6C'><q id='HDJ1xGz'></q></dir></style></legend>
          <i id='qdXmWj'><tr id='KnNcDs'><dt id='RG5K7Hg'><q id='lJsY'><span id='NiFGNi'><b id='dvKUEC'><form id='4CQTt'><ins id='JGhst8'></ins><ul id='mOpoW'></ul><sub id='J2TmO'></sub></form><legend id='tX4vS6'></legend><bdo id='qifWYiB'><pre id='LvkXH'><center id='clWvRc'></center></pre></bdo></b><th id='tqLa8I'></th></span></q></dt></tr></i><div id='lPbQER'><tfoot id='Bz0Se'></tfoot><dl id='Gr4b5'><fieldset id='iJOGpq'></fieldset></dl></div>

              <bdo id='ZRLgz'></bdo><ul id='otfPnPM'></ul>

                  1. <li id='uAK1tYf'><abbr id='X14omHa'></abbr></li>