作者:郭静颖发布时间:2026-06-14 12:41:39 点击数:77935

本周监管部门传达重磅消息国乒3-1法国进世乒赛决赛 很高兴为您解答这个问题,让我来帮您详细说明一下。品牌授权报修电话,快速上门服务

江苏省镇江市句容市山东省烟台市牟平区洛阳市汝阳县西乡塘区青海省玉树藏族自治州治多县湖北省宜昌市西陵区福建省南平市建瓯市河西区桃园街道桥西区东华街道山西省吕梁市岚县昌平区阳坊镇四川省成都市双流区阿克苏地区拜城县陕西省汉中市南郑区福建省三明市梅列区上海市市辖区嘉定区桂林市秀峰区甘肃省兰州市重庆市市辖区北碚区门头沟区大峪街道江苏省连云港市赣榆区百色市靖西市长安区广安街道贵州省铜仁市玉屏侗族自治县陕西省汉中市西乡县陕西省汉中市南郑区亳州市利辛县湖北省宜昌市宜都市防城港市东兴市青海省海西蒙古族藏族自治州德令哈市密云区不老屯镇四川省甘孜藏族自治州九龙县广东省惠州市龙门县黑龙江省绥化市明水县辽宁省辽阳市白塔区桥西区留营街道西藏阿里地区日土县四川省乐山市四川省凉山彝族自治州昭觉县和平区南市街道内蒙古鄂尔多斯市康巴什区门头沟区大峪街道甘肃省兰州市井陉县测鱼镇密云区不老屯镇南阳市内乡县江苏省连云港市赣榆区芜湖市南陵县洛阳市汝阳县平山县上观音堂乡江西省宜春市奉新县朝阳区管庄地区黑龙江省鹤岗市密云区高岭镇山东省聊城市茌平区山西省晋中市灵石县湖北省恩施土家族苗族自治州建始县广东省佛山市三水区陕西省宝鸡市眉县云南省普洱市景东彝族自治县巴音郭楞蒙古自治州和硕县广东省广州市越秀区四川省广安市岳池县上海市市辖区嘉定区山东省潍坊市青州市延庆区康庄镇怀柔区龙山街道广东省汕头市龙湖区四川省广元市黑龙江省伊春市金林区广东省佛山市三水区山东省聊城市茌平区湖北省孝感市汉川市淮南市大通区山东省聊城市冠县福建省厦门市湖里区甘肃省天水市秦州区武清区上马台镇辽宁省沈阳市云南省怒江傈僳族自治州福贡县四川省泸州市江阳区桥西区苑东街道巴音郭楞蒙古自治州和硕县黑龙江省鸡西市鸡冠区云南省红河哈尼族彝族自治州泸西县平顶山市卫东区四川省宜宾市珙县内蒙古乌海市乌达区江苏省连云港市赣榆区黑龙江省哈尔滨市巴彦县黑龙江省大兴安岭地区呼玛县福建省南平市建瓯市蚌埠市龙子湖区蓟州区官庄镇辽宁省辽阳市白塔区喀什地区麦盖提县蓟州区东赵各庄镇崇左市四川省甘孜藏族自治州平山县岗南镇

今日相关部门传达重大行业信息还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速,很高兴为您解答这个问题,让我来帮您详细说明一下:官方服务专线,支持多品牌报修

青海省果洛藏族自治州无极县大陈镇塔城地区和布克赛尔蒙古自治县平山县东回舍镇广东省汕头市龙湖区贵州省黔东南苗族侗族自治州天柱县朝阳区管庄地区黑龙江省绥化市明水县淮南市大通区蓟州区东施古镇西青区精武镇湖北省恩施土家族苗族自治州恩施市江西省宜春市奉新县百色市田林县甘肃省天水市秦州区西青区精武镇湖北省襄阳市襄州区辽宁省沈阳市沈河区山西省忻州市定襄县四川省成都市双流区北海市海城区河东区大直沽街道山东省泰安市东平县山西省晋城市高平市元氏县殷村镇江苏省南京市浦口区山西省忻州市定襄县辽宁省沈阳市浑南区四川省德阳市广汉市河东区大直沽街道无极县大陈镇吉林省白山市浑江区北辰区广源街道陕西省汉中市留坝县蓟州区官庄镇四川省凉山彝族自治州昭觉县辽宁省铁岭市清河区广东省汕头市龙湖区甘肃省陇南市武都区辽宁省朝阳市北票市陕西省汉中市南郑区海淀区青龙桥街道四川省凉山彝族自治州西昌市广东省惠州市龙门县鹿泉区寺家庄镇塔城地区和布克赛尔蒙古自治县贵州省铜仁市印江土家族苗族自治县崇左市宁明县内蒙古锡林郭勒盟镶黄旗陕西省宝鸡市眉县云南省红河哈尼族彝族自治州绿春县四川省成都市金牛区阿克苏地区新和县蓟州区东施古镇朝阳区豆各庄地区辽宁省朝阳市北票市江苏省苏州市相城区西乡塘区和平区南市街道四川省凉山彝族自治州西昌市山东省青岛市城阳区朝阳区酒仙桥街道福建省厦门市湖里区青秀区顺义区空港街道云南省怒江傈僳族自治州福贡县山东省聊城市茌平区湖北省宜昌市秭归县元氏县苏村乡云南省丽江市宁蒗彝族自治县云南省大理白族自治州云龙县赞皇县院头镇焦作市沁阳市阿克苏地区新和县元氏县山东省德州市齐河县福建省福州市罗源县湖北省襄阳市襄州区合肥市庐阳区青海省玉树藏族自治州治多县江苏省徐州市丰县桥西区苑东街道江西省九江市武宁县密云区不老屯镇武清区汊沽港镇宝坻区牛家牌镇广东省佛山市三水区山东省德州市齐河县四川省遂宁市蓬溪县西藏阿里地区日土县云南省红河哈尼族彝族自治州泸西县朝阳区酒仙桥街道山西省临汾市安泽县内蒙古乌海市乌达区北辰区元氏县湖北省孝感市汉川市福建省南平市蓟州区官庄镇山西省晋中市灵石县

全球服务区域:福建省莆田市城厢区广东省云浮市新兴县四川省甘孜藏族自治州泸定县防城港市东兴市重庆市县巫山县蓟州区东二营镇元氏县陕西省西安市未央区福建省南平市建瓯市福建省莆田市仙游县静海区大邱庄镇四川省广安市岳池县门头沟区大峪街道四川省甘孜藏族自治州九龙县无极县大陈镇山西省晋城市泽州县黑龙江省鸡西市鸡冠区怀柔区雁栖地区西藏山南市贡嘎县蓟州区官庄镇广东省江门市元氏县苏村乡平山县小觉镇崇左市宁明县长安区南村镇广东省汕头市龙湖区四川省甘孜藏族自治州新乐市协神乡昌平区小汤山镇和平区南市街道元氏县苏村乡山东省滨州市怀柔区雁栖地区陕西省宝鸡市千阳县云南省丽江市宁蒗彝族自治县黑龙江省佳木斯市富锦市辽宁省铁岭市开原市山西省朔州市山阴县丰台区和义街道门头沟区大峪街道甘肃省陇南市山东省东营市垦利区河东区大直沽街道青秀区平山县东回舍镇江苏省徐州市新沂市云南省普洱市景东彝族自治县南开区体育中心街道山东省烟台市牟平区内蒙古呼伦贝尔市阿荣旗内蒙古呼伦贝尔市阿荣旗江西省吉安市永新县蓟州区官庄镇山东省滨州市辽宁省辽阳市白塔区山西省晋中市灵石县山西省晋中市灵石县广东省佛山市三水区福建省福州市罗源县朝阳区管庄地区马鞍山市博望区海南省三沙市西沙区江苏省徐州市新沂市河东区大直沽街道四川省德阳市广汉市江西省九江市武宁县河东区东新街道甘肃省白银市景泰县辽宁省辽阳市白塔区和平区南市街道北辰区焦作市中站区四川省成都市双流区广东省珠海市斗门区甘肃省陇南市武都区福建省漳州市龙海市南开区体育中心街道平山县宅北乡贵州省黔东南苗族侗族自治州天柱县福建省莆田市城厢区福建省南平市伊犁哈萨克自治州昭苏县江苏省连云港市赣榆区山西省忻州市定襄县塔城地区和布克赛尔蒙古自治县喀什地区叶城县甘肃省定西市渭源县青海省玉树藏族自治州治多县江苏省南京市浦口区辽宁省辽阳市白塔区北海市海城区朝阳区豆各庄地区贵州省黔南布依族苗族自治州惠水县黑龙江省佳木斯市汤原县江苏省苏州市相城区平顶山市卫东区隆安县信阳市平桥区山西省晋城市泽州县江西省景德镇市昌江区

本周官方渠道披露行业新动向还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速,很高兴为您解答这个问题,让我来帮您详细说明一下:售后服务维修中心电话,支持多渠道服务

全国服务区域:上海市市辖区嘉定区元氏县苏村乡江苏省苏州市相城区喀什地区叶城县广东省珠海市斗门区黑龙江省绥化市明水县赞皇县院头镇辽宁省铁岭市开原市辽宁省沈阳市濮阳市南乐县元氏县山西省吕梁市中阳县云南省红河哈尼族彝族自治州泸西县江苏省南京市浦口区山西省朔州市山阴县静海区西翟庄镇陕西省咸阳市兴平市内蒙古鄂尔多斯市康巴什区云南省玉溪市新平彝族傣族自治县云南省红河哈尼族彝族自治州绿春县崇左市宁明县四川省成都市双流区信阳市平桥区甘肃省甘南藏族自治州云南省红河哈尼族彝族自治州绿春县阿克苏地区新和县辽宁省沈阳市辽宁省朝阳市北票市伊犁哈萨克自治州昭苏县长安区广安街道山西省忻州市定襄县云南省红河哈尼族彝族自治州绿春县山东省淄博市临淄区武清区汊沽港镇山东省东营市垦利区百色市靖西市丰台区宛平城地区朝阳区管庄地区湖北省恩施土家族苗族自治州恩施市广东省深圳市焦作市沁阳市平山县上观音堂乡山东省威海市百色市靖西市江苏省徐州市延庆区沈家营镇防城港市东兴市昌平区阳坊镇昌平区阳坊镇昌平区回龙观街道广东省惠州市龙门县蚌埠市蚌山区鹿泉区寺家庄镇信阳市平桥区江苏省苏州市相城区山东省德州市齐河县山东省青岛市城阳区西城区天桥街道山东省淄博市临淄区陕西省宝鸡市眉县湖北省宜昌市秭归县钦州市山西省临汾市安泽县山东省枣庄市台儿庄区西青区精武镇陕西省汉中市留坝县丰台区长辛店镇黑龙江省佳木斯市汤原县山西省运城市夏县黑龙江省佳木斯市富锦市平山县岗南镇云南省玉溪市新平彝族傣族自治县平山县岗南镇桥西区东华街道蚌埠市蚌山区福建省三明市梅列区武清区上马台镇山东省聊城市冠县贵州省铜仁市玉屏侗族自治县桥西区东华街道钦州市山东省潍坊市青州市元氏县殷村镇山东省淄博市临淄区北辰区焦作市蓟州区东二营镇黑龙江省七台河市桃山区辽宁省锦州市义县山西省晋中市太谷区南开区长虹街道江苏省南京市浦口区西城区月坛街道福建省南平市平顶山市湛河区密云区古北口镇怀柔区龙山街道江苏省徐州市新沂市山东省滨州市平山县小觉镇

售后服务上门服务电话,智能分配单据:还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速

机器之心编辑部

5 月 22 日,Tri Dao 在社交媒体上转发了 Han Guo 的一条推文。他还写道:「经过一些数学重写,结果发现 Transformer 的所有内容都是一系列 GEMM + epilogue(矩阵乘法加尾声)。给定一些优化的原语,LLM(以及新手)就可以为所有 Transformer 操作编写光速内核!」

Tri Dao 是 FlashAttention 系列的核心作者之一,而这条推文则指向了他们当天发布的一篇论文:CODA

论文标题:CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs论文地址:https://arxiv.org/abs/2605.19269代码地址:https://github.com/HanGuo97/coda-kernels

这个名字,读起来像「终曲」,念起来像「CUDA」。来自 MIT、普林斯顿、Together AI 和 Meta 的研究者,试图用一套新的编程抽象,把 Transformer 训练里那些鲜少被人关注、却持续消耗时间的「散碎计算」,系统性地消化掉。

背景:训练大模型的「偷懒税」

要理解 CODA 在解决什么问题,先要明白大模型训练的时间都去哪了。

在一块英伟达 H100 上训练一个 LLaMA-3 风格的 1B 参数模型,大部分人会直觉地认为:时间都花在矩阵乘法和注意力计算上,毕竟那才是「真正的计算」。这个直觉大体上没错:矩阵乘法(GEMM)和注意力确实占据了主要算力

但如果你打开性能分析器仔细看,会发现还有一批「小算子」在安静地消耗着时间:归一化(RMSNorm)、激活函数(SwiGLU、RoPE)、残差加法、跨层规约……它们单个计算量不大,却频繁地把大型中间张量从显存里搬进搬出。

这就是所谓的「内存带宽瓶颈」:好比一个厨艺绝顶的厨师,但每做一道菜都要把食材从远处的仓库搬来、用完再送回去,而不是放在手边的台面上。厨师的手速再快,等待搬运的时间也是真实的浪费。

更糟糕的是,随着英伟达的 FP8、FP4 等低精度格式让矩阵计算越来越快,这些「搬运」操作的相对成本反而在上升:矩阵乘法加速了,但张量搬进搬出的成本并没有同比缩短。

论文中有一组数据很直观:在 H100 上用 TorchTitan 训练 1B 参数模型时,非矩阵乘法操作占据了相当一部分的端到端运行时间,且随着 FP8 精度的引入,这一比例还会进一步凸显。

现有的编程框架对此几乎无能为力。PyTorch 把 Transformer 的计算表达成一串算子序列,算子之间有清晰的边界。这种边界对于自动微分(autograd)非常友好,却恰好阻止了跨算子的融合优化:每一个算子边界,往往就是一次不必要的显存写回。

CODA:「尾声」里藏着宝藏

CODA 的出发点是一个朴素的观察。

在 GPU 上,一个高性能的矩阵乘法(GEMM)内核在结构上分为两个部分:主循环(mainloop)负责核心的矩阵分块乘加计算,尾声(epilogue)负责在结果写回显存之前做一些收尾处理,比如加偏置、类型转换、简单缩放。

尾声存在的意义,在于此时矩阵乘法的输出还「活在」片上寄存器里,还没有落地到全局显存。这是一个短暂的黄金窗口:如果能在这个时刻多做一些计算,就可以完全省掉一次显存写入再读出的往返。

CODA 的核心洞察是:Transformer 里那些内存密集型操作,其实很多可以被代数地重新参数化,塞进这个「尾声」窗口里执行。

这需要一点数学技巧。以最常见的 GEMM-RMSNorm-GEMM 模式为例:一个矩阵乘法的结果,经过残差加法、RMS 归一化,然后再做另一个矩阵乘法。传统做法是三个独立算子串行执行,中间结果两次落地显存。

CODA 团队发现,RMS 归一化中的行缩放因子 r,因为是每行共享的标量,它和后面的矩阵乘法满足交换律:可以把 r 的应用从「第二个 GEMM 之前」推迟到「第二个 GEMM 的尾声」。推迟之后,第一个 GEMM 的尾声只需要计算局部的「分块均方根」(partial RMS),由一个极轻量的辅助规约内核合并,而完整的 RMSNorm 计算消失了。

类似的重新参数化,对 SwiGLU、RoPE(旋转位置编码)、交叉熵损失等操作同样适用,甚至对反向传播也成立。论文中有一个定理证明:只要前向尾声是「分块局部」的,反向传播就自动继承相同的结构。具体请访问原论文查看。

五种「积木」和一套「乐高语言」

CODA 不是一个具体的融合内核,而是一套编程抽象。

它固定住经过专家优化的 GEMM 主循环,然后在尾声位置暴露五类可组合的基本原语:

逐元素变换(residual 加法、激活函数、RoPE)向量加载与存储(广播 RMSNorm 权重)矩阵分块加载与存储(保存中间激活供反向传播使用)分块规约(局部均方根、分块 log-sum-exp)有状态变换(在线归一化所需的 max 和 sum-exp 统计)

用这五类积木,一个标准 Transformer 的前向和反向传播中、除注意力之外的几乎全部操作都可以被覆盖。

更有意思的是这套抽象对「谁来写代码」的宽容度。论文在实验中评估了两种实现模式:一种是人工程序员撰写,另一种是用 Claude Code 来生成 —— 给定 CODA 的原语说明、若干示例和实现日志,由 AI 完成大部分内核代码,人工轻度监督。

两种模式的性能表现均达到了较高水平。Tri Dao 在推文中说「LLM 以及新手就可以编写光速内核」,这正是论文实验结果在现实层面的映射。

实验结果

CODA 的基准测试选择的是较为苛刻的对手:cuBLAS 加上 torch.compile,以及专为 LLM 优化的 Liger Kernel 和 FlashInfer。

论文对每个内核评估了两种实现:CODA (LLM)由 Claude Code 生成,研究者提供原语说明、若干示例和一份持续更新的实现技巧日志,AI 完成主体代码,人工做轻度监督;CODA (Human)由人工程序员独立编写,使用同样的高层重参数化思路,但不依赖 CODA 原语集本身。两组结果都与 cuBLAS + torch.compile、Liger Kernel、FlashInfer 等优化库进行对比。

在单算子层面,以 GEMM-RMSNorm-GEMM 这一典型模式为例,CODA 在对应 1B、7B、70B 三个模型规模的隐藏维度下均实现了对 cuBLAS + PyTorch 基线的超越。SwiGLU、RoPE、交叉熵等尾声组合也有类似表现。

LLM 生成的内核在大多数基准上与人工手写版本不相上下,个别配置下甚至略有超越。这在 GPU 内核优化这个历来门槛极高的领域,是一个颇为罕见的结论。

反向传播的收益尤为突出:GEMM-Residual-PartialRMS-GEMM 的反向内核相比基线加速幅度可达 1.6 至 1.8 倍,SwiGLU 反向也有约 1.4 至 1.6 倍的提升。这个方向上,LLM 与人工实现的差距同样微小。这并不奇怪:反向传播天然涉及更多中间张量的存取,尾声融合的收益就更大;而 CODA 的原语设计足够清晰,使得 AI 模型能够正确地完成组合。

在完整 Transformer 层的端到端基准中,CODA 的前向加速在不同规模下约为 5% 至 20%,在较大模型尺寸(对应 70B 规模的隐藏维度)下效果更为显著。

数值精度方面,CODA 的重参数化调整了 RMSNorm 缩放因子的应用时机,但实验表明其数值误差与 PyTorch 参考实现相当,在某些配置下误差甚至更小 —— 得益于 GEMM 主循环本身具有更高精度的累加器。

CODA 能做什么:一张速查单

在进入更大的视角之前,先把 CODA 的能力边界说清楚。

覆盖范围:标准 Transformer(如 LLaMA 架构)的前向和反向传播中,除注意力和词嵌入之外的几乎全部计算,包括 RMSNorm、残差加法、SwiGLU 激活、RoPE 旋转位置编码、交叉熵损失,以及上述操作的反向梯度计算。加速效果:在对应 1B 至 70B 规模的隐藏维度下,单算子层面相比 cuBLAS + torch.compile 基线有不同程度的提升,其中反向传播收益最为显著(部分内核可达 1.6 倍以上);完整 Transformer 层的端到端前向加速约为 5% 至 20%,在较大模型尺寸下效果更突出。谁能用:CODA 基于 CuTeDSL(NVIDIA CUTLASS 的 Python DSL)实现,支持人工程序员和 AI 模型两种内核编写方式,且两种方式均能达到高性能。当前限制:目前仅支持单 GPU 场景,不涉及分布式训练;重参数化主要针对标准 Transformer 架构,其他架构的适用性有待验证。

CODA 并非孤立的工作。它是一类思想的具体实现:在 GPU 上,真正的优化空间往往不在「算什么」,而在「怎么搬」。

FlashAttention 让注意力计算「住进」了片上内存,CODA 试图让归一化和激活函数也「住进去」。Triton 降低了写自定义内核的门槛,ThunderKittens、TileLang 等进一步在不同层次上探索这一空间。这些工作共同指向同一个方向:把 PyTorch 算子图的表达便利性,与接近手写 CUDA 的执行效率,真正统一在一套可编程的框架里。

Tri Dao 推文的最后一句话值得再回味:「LLM 以及新手就可以为所有 Transformer 操作编写光速内核。」这背后有一个更深的逻辑:当编程抽象设计得足够好,AI 模型本身就可以参与到自身训练基础设施的优化中。这个循环,才是 CODA 最耐人寻味的地方。

从这个角度看,「CODA」这个名字或许另有深意。在古典音乐中,Coda 是乐曲末尾收束全篇的段落。在这里,它是 GEMM 内核的「尾声」—— 而写好这段尾声,或许正是 Transformer 训练系统效率提升的下一个重要章节。

本月行业协会传达重大通报还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速

机器之心编辑部

5 月 22 日,Tri Dao 在社交媒体上转发了 Han Guo 的一条推文。他还写道:「经过一些数学重写,结果发现 Transformer 的所有内容都是一系列 GEMM + epilogue(矩阵乘法加尾声)。给定一些优化的原语,LLM(以及新手)就可以为所有 Transformer 操作编写光速内核!」

Tri Dao 是 FlashAttention 系列的核心作者之一,而这条推文则指向了他们当天发布的一篇论文:CODA

论文标题:CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs论文地址:https://arxiv.org/abs/2605.19269代码地址:https://github.com/HanGuo97/coda-kernels

这个名字,读起来像「终曲」,念起来像「CUDA」。来自 MIT、普林斯顿、Together AI 和 Meta 的研究者,试图用一套新的编程抽象,把 Transformer 训练里那些鲜少被人关注、却持续消耗时间的「散碎计算」,系统性地消化掉。

背景:训练大模型的「偷懒税」

要理解 CODA 在解决什么问题,先要明白大模型训练的时间都去哪了。

在一块英伟达 H100 上训练一个 LLaMA-3 风格的 1B 参数模型,大部分人会直觉地认为:时间都花在矩阵乘法和注意力计算上,毕竟那才是「真正的计算」。这个直觉大体上没错:矩阵乘法(GEMM)和注意力确实占据了主要算力

但如果你打开性能分析器仔细看,会发现还有一批「小算子」在安静地消耗着时间:归一化(RMSNorm)、激活函数(SwiGLU、RoPE)、残差加法、跨层规约……它们单个计算量不大,却频繁地把大型中间张量从显存里搬进搬出。

这就是所谓的「内存带宽瓶颈」:好比一个厨艺绝顶的厨师,但每做一道菜都要把食材从远处的仓库搬来、用完再送回去,而不是放在手边的台面上。厨师的手速再快,等待搬运的时间也是真实的浪费。

更糟糕的是,随着英伟达的 FP8、FP4 等低精度格式让矩阵计算越来越快,这些「搬运」操作的相对成本反而在上升:矩阵乘法加速了,但张量搬进搬出的成本并没有同比缩短。

论文中有一组数据很直观:在 H100 上用 TorchTitan 训练 1B 参数模型时,非矩阵乘法操作占据了相当一部分的端到端运行时间,且随着 FP8 精度的引入,这一比例还会进一步凸显。

现有的编程框架对此几乎无能为力。PyTorch 把 Transformer 的计算表达成一串算子序列,算子之间有清晰的边界。这种边界对于自动微分(autograd)非常友好,却恰好阻止了跨算子的融合优化:每一个算子边界,往往就是一次不必要的显存写回。

CODA:「尾声」里藏着宝藏

CODA 的出发点是一个朴素的观察。

在 GPU 上,一个高性能的矩阵乘法(GEMM)内核在结构上分为两个部分:主循环(mainloop)负责核心的矩阵分块乘加计算,尾声(epilogue)负责在结果写回显存之前做一些收尾处理,比如加偏置、类型转换、简单缩放。

尾声存在的意义,在于此时矩阵乘法的输出还「活在」片上寄存器里,还没有落地到全局显存。这是一个短暂的黄金窗口:如果能在这个时刻多做一些计算,就可以完全省掉一次显存写入再读出的往返。

CODA 的核心洞察是:Transformer 里那些内存密集型操作,其实很多可以被代数地重新参数化,塞进这个「尾声」窗口里执行。

这需要一点数学技巧。以最常见的 GEMM-RMSNorm-GEMM 模式为例:一个矩阵乘法的结果,经过残差加法、RMS 归一化,然后再做另一个矩阵乘法。传统做法是三个独立算子串行执行,中间结果两次落地显存。

CODA 团队发现,RMS 归一化中的行缩放因子 r,因为是每行共享的标量,它和后面的矩阵乘法满足交换律:可以把 r 的应用从「第二个 GEMM 之前」推迟到「第二个 GEMM 的尾声」。推迟之后,第一个 GEMM 的尾声只需要计算局部的「分块均方根」(partial RMS),由一个极轻量的辅助规约内核合并,而完整的 RMSNorm 计算消失了。

类似的重新参数化,对 SwiGLU、RoPE(旋转位置编码)、交叉熵损失等操作同样适用,甚至对反向传播也成立。论文中有一个定理证明:只要前向尾声是「分块局部」的,反向传播就自动继承相同的结构。具体请访问原论文查看。

五种「积木」和一套「乐高语言」

CODA 不是一个具体的融合内核,而是一套编程抽象。

它固定住经过专家优化的 GEMM 主循环,然后在尾声位置暴露五类可组合的基本原语:

逐元素变换(residual 加法、激活函数、RoPE)向量加载与存储(广播 RMSNorm 权重)矩阵分块加载与存储(保存中间激活供反向传播使用)分块规约(局部均方根、分块 log-sum-exp)有状态变换(在线归一化所需的 max 和 sum-exp 统计)

用这五类积木,一个标准 Transformer 的前向和反向传播中、除注意力之外的几乎全部操作都可以被覆盖。

更有意思的是这套抽象对「谁来写代码」的宽容度。论文在实验中评估了两种实现模式:一种是人工程序员撰写,另一种是用 Claude Code 来生成 —— 给定 CODA 的原语说明、若干示例和实现日志,由 AI 完成大部分内核代码,人工轻度监督。

两种模式的性能表现均达到了较高水平。Tri Dao 在推文中说「LLM 以及新手就可以编写光速内核」,这正是论文实验结果在现实层面的映射。

实验结果

CODA 的基准测试选择的是较为苛刻的对手:cuBLAS 加上 torch.compile,以及专为 LLM 优化的 Liger Kernel 和 FlashInfer。

论文对每个内核评估了两种实现:CODA (LLM)由 Claude Code 生成,研究者提供原语说明、若干示例和一份持续更新的实现技巧日志,AI 完成主体代码,人工做轻度监督;CODA (Human)由人工程序员独立编写,使用同样的高层重参数化思路,但不依赖 CODA 原语集本身。两组结果都与 cuBLAS + torch.compile、Liger Kernel、FlashInfer 等优化库进行对比。

在单算子层面,以 GEMM-RMSNorm-GEMM 这一典型模式为例,CODA 在对应 1B、7B、70B 三个模型规模的隐藏维度下均实现了对 cuBLAS + PyTorch 基线的超越。SwiGLU、RoPE、交叉熵等尾声组合也有类似表现。

LLM 生成的内核在大多数基准上与人工手写版本不相上下,个别配置下甚至略有超越。这在 GPU 内核优化这个历来门槛极高的领域,是一个颇为罕见的结论。

反向传播的收益尤为突出:GEMM-Residual-PartialRMS-GEMM 的反向内核相比基线加速幅度可达 1.6 至 1.8 倍,SwiGLU 反向也有约 1.4 至 1.6 倍的提升。这个方向上,LLM 与人工实现的差距同样微小。这并不奇怪:反向传播天然涉及更多中间张量的存取,尾声融合的收益就更大;而 CODA 的原语设计足够清晰,使得 AI 模型能够正确地完成组合。

在完整 Transformer 层的端到端基准中,CODA 的前向加速在不同规模下约为 5% 至 20%,在较大模型尺寸(对应 70B 规模的隐藏维度)下效果更为显著。

数值精度方面,CODA 的重参数化调整了 RMSNorm 缩放因子的应用时机,但实验表明其数值误差与 PyTorch 参考实现相当,在某些配置下误差甚至更小 —— 得益于 GEMM 主循环本身具有更高精度的累加器。

CODA 能做什么:一张速查单

在进入更大的视角之前,先把 CODA 的能力边界说清楚。

覆盖范围:标准 Transformer(如 LLaMA 架构)的前向和反向传播中,除注意力和词嵌入之外的几乎全部计算,包括 RMSNorm、残差加法、SwiGLU 激活、RoPE 旋转位置编码、交叉熵损失,以及上述操作的反向梯度计算。加速效果:在对应 1B 至 70B 规模的隐藏维度下,单算子层面相比 cuBLAS + torch.compile 基线有不同程度的提升,其中反向传播收益最为显著(部分内核可达 1.6 倍以上);完整 Transformer 层的端到端前向加速约为 5% 至 20%,在较大模型尺寸下效果更突出。谁能用:CODA 基于 CuTeDSL(NVIDIA CUTLASS 的 Python DSL)实现,支持人工程序员和 AI 模型两种内核编写方式,且两种方式均能达到高性能。当前限制:目前仅支持单 GPU 场景,不涉及分布式训练;重参数化主要针对标准 Transformer 架构,其他架构的适用性有待验证。

CODA 并非孤立的工作。它是一类思想的具体实现:在 GPU 上,真正的优化空间往往不在「算什么」,而在「怎么搬」。

FlashAttention 让注意力计算「住进」了片上内存,CODA 试图让归一化和激活函数也「住进去」。Triton 降低了写自定义内核的门槛,ThunderKittens、TileLang 等进一步在不同层次上探索这一空间。这些工作共同指向同一个方向:把 PyTorch 算子图的表达便利性,与接近手写 CUDA 的执行效率,真正统一在一套可编程的框架里。

Tri Dao 推文的最后一句话值得再回味:「LLM 以及新手就可以为所有 Transformer 操作编写光速内核。」这背后有一个更深的逻辑:当编程抽象设计得足够好,AI 模型本身就可以参与到自身训练基础设施的优化中。这个循环,才是 CODA 最耐人寻味的地方。

从这个角度看,「CODA」这个名字或许另有深意。在古典音乐中,Coda 是乐曲末尾收束全篇的段落。在这里,它是 GEMM 内核的「尾声」—— 而写好这段尾声,或许正是 Transformer 训练系统效率提升的下一个重要章节。


中新网晋城5月3日电 (杨佩佩 李娜)“五一”假期,山西晋城高平市三甲镇千亩紫斑牡丹种植基地迎来盛花期,数十万株牡丹竞相绽放、姹紫嫣红,吸引了不少游客慕名而来,共赴国色天香春日之约。
华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-黃色A片三級三級三級免费看密使官方版-黃色A片三級三級三級免费看密使最新版V.87.44.30-360驱动大师

华体汇电竞-华体汇(中国)

国乒3-1法国进世乒赛决赛
国乒3-1法国进世乒赛决赛

国乒3-1法国进世乒赛决赛

百万最新免费软件游戏

下载

国乒3-1法国进世乒赛决赛
首页>>小米YU7全新颜色公布:火山灰
国乒3-1法国进世乒赛决赛

华体汇电竞-华体汇(中国):国乒3-1法国进世乒赛决赛

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

32.19MB
版本{版本}
下载APK高速下载
下载再还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速安装你想要的应用 更方便 更快捷 发现更多
喜欢41%好评(59人)
评论80
还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图0还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图1还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图2还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图3还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速截图4
详细信息
  • 软件大小:83.22MB
  • 最后更新:2026-06-14 12:41:39
  • 最新版本:{版本}
  • 文件格式:apk
  • 应用分类:ios-Android还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速
  • 使用语言:中文
  • :需要联网
  • 系统要求:2.22以上
应用介绍
?第一步:访问《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》官网?首先,打开您的浏览器,输入《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步:点击注册按钮?一旦进入《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站官网,您会在页面上找到一个醒目的注册按钮。点击该按钮,您将被引导至注册页面。??
?第三步:填写注册信息 ?在注册页面上,您需要填写一些必要的个人信息来创建《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息,以确保顺利完成注册。?
?第四步:验证账户?填写完个人信息后,您可能需要进行账户验证。《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站会向您提供的电子邮件地址或手机号码发送一条验证信息,您需要按照提示进行验证操作。这有助于确保账户的安全性,并防止不法分子滥用您的个人信息。?
?第五步:设置安全选项?《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站通常要求您设置一些安全选项,以增强账户的安全性。例如,可以设置安全问题和答案,启用两步验证等功能。请根据系统的提示设置相关选项,并妥善保管相关信息,确保您的账户安全。?
?第六步:阅读并同意条款?在注册过程中,《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前,请仔细阅读并理解这些条款,并确保您同意并愿意遵守。??
?第七步:完成注册?一旦您完成了所有必要的步骤,并同意了《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站的条款,恭喜您!您已经成功注册了《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站账户。现在,您可以畅享《还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!?
【联系华体汇(中国)】
客服热线
加载更多
版本更新
{版本}
还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速
  • 外交部:反对《纽约时报》为台湾当局散布“台独”分裂谬论提供平台
  • 东西问|习罡华:中国禅何以成为东亚共同的精神“语法”?
  • 天热了车里别放这些东西
  • 2026有赞春季发布会:AI进入效果时代,重构商家增长逻辑
  • 新疆乌恰:凌晨突降雨夹雪 民警连夜奋战护平安
  • (青春华章·丝路逐光)河西学院独臂女孩的逆袭之路终见繁花
  • 安徽出台政策支持金融“活水”精准滴灌水利建设
  • 伊朗称加强军事发展 以称可随时恢复作战
  • 哈萨克斯坦今年前4个月抓获76名外籍涉毒人员
  • 李显龙被广西油柑圈粉 用中文点赞:很甜!
  • 东西问丨刘瑞馨:澳大利亚华人博物馆承载哪些移民记忆?
  • 两岸一家亲!台湾嘉宾受邀为妈祖祝寿:两岸都是中国人 同文同种
  • 女子跟房东结婚 新郎真叫“房东”
  • 为何“霍尔木兹海峡不开黄金难涨”

    1亿亩新绿要怎样实现?今年“三北”工程攻坚战安排240多个项目

    华体汇电竞-华体汇(中国):第25届“汉语桥”世界大学生中文比赛预选赛在尼泊尔举行

    详情
查看更多
加载中加载中,请稍等...

华体汇电竞-华体汇(中国): 还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速类似软件

  • 洞察印尼商机 助力鄂企出海 ——开拓印尼市场交流会美军称执行对伊海上封锁已使58艘商船改变航向

    张雪得知夺冠后瞬间弹起握拳嘶吼

  • 浙江(华东)深远海风电母港核心区码头进入海上施工光大期货:6月8日软商品日报

    5月28日人民币对美元中间价报6.8240 上调51个基点

  • 国乒世乒赛淘汰赛男女团对手确定A股或将重返强势格局

    探访山东大学海洋研究院:为深海装备造“中国标尺”

  • 去年全国核发绿证超过29亿个咸阳青少年国际足球冠军赛揭幕 欧文将现场助阵

    中国国家防总针对南方7省份启动防汛四级应急响应

  • 生态环境部发布《流域水生态环境质量标准制订技术导则》2026年中国职工匹克球系列赛西安站收官 助推新兴运动普及

    荷兰军舰非法闯西沙群岛 中方驱离

  • “盈尺清芬——清代花鸟画扇面展”在广西南宁开展一体推进整治形式主义为基层减负(树立和践行正确政绩观)

    为战蓄能!官兵开展装备换季保养工作

  • 习近平同俄罗斯总统会谈私域直播设陷阱“拼单赌石”藏骗局深陷赌石骗局 多名老年人上当

    无人车全链路补能体系在山东青岛发布 可实现自动泊车、充电

  • 共同引领中朝关系实现更大发展——国际社会高度评价习近平总书记朝鲜之行粤港澳专家齐聚中山 中西医协同助力健康湾区建设

    南宁海关隶属梧州海关涉案财物拍卖公告(2026年第1期)

  • 退役老兵夫妻摆摊卖饺子感动无数人第一位走出考场学生

    002843昨日涨停,今日跌停

  • 队史第11冠!重庆狼队夺得2026王者荣耀挑战者杯冠军马祖渔船入港靠泊维修通道在福州连江正式启用

    人工智能如何重塑电影行业?中国科技馆《北辰对话》聚焦研讨

  • 高考物理“两极分化”华为人才离职创业华体汇电竞-华体汇(中国)估值1亿美元

    提前被单招录取考生双手插兜出考场

  • 东西问丨刘瑞馨:澳大利亚华人博物馆承载哪些移民记忆?王毅会见特立尼达和多巴哥外长索伯斯

    长江防总:预计长江流域主汛期降水总体偏少

  • 韩正出席“共享大市场·出口中国”白俄罗斯专场活动并致辞朱之文身披银甲化身“南天门大将军”

    女子在家洗澡醉酒男闯入欲行不轨

  • 中美元首握手广东湛江前4个月对韩原产地签证额同比增近1.5倍

    中国航天科技集团联手包头共建低空经济试验基地

  • 贵州兴义:万峰林水田宛如天然“调色板”从“买东西”到“买感觉” 情绪消费何以吸引年轻人

    泰国发出极端天气预警

  • 中国秋粮旺季累计收购超3.38亿吨 为近年来较高水平美加州故障储罐可能已出现裂缝

    美军中央司令部:对伊朗发动“自卫性”打击

  • 妄图洗白成“解放者”,日本注定徒劳(环球走笔)中国七部门发文:严防医药代表商业贿赂行为

    俄外长告知美国务卿:俄军着手报复性打击基辅军事关联目标

  • 维尼修斯获皇马放行 将赴巴西队报到中消协一季度投诉分析:职业技能培训平均涉诉金额超7000元

    全国80支救援队伍山西集结 地震演练现场各显神通

  • 广西柳州一刑事案件造成4死1伤刘昊然的高考“刘”言请查收

    南方今年来最大范围高温来袭 全国闷热指数地图看哪里全天蒸桑拿

  • 直击人机协同训练现场除了“全李酒店”,还有“喜登来酒店”“希顿酒店”

    王楚钦:不提倡任何生日应援活动 希望多关注比赛

  • 海外华文媒体探访成都高新区:看生物医药如何炼成“国际范儿”江西南昌:小辣酱“炒香”致富路

    职场经验被AI“复制”,员工数字权益如何保护

  • 国羽3:0胜日本队挺进尤伯杯决赛湖南江永高山蔬菜热销粤港澳大湾区

    “孕妻脑梗变3岁”当事人3年后新变化

  • 谢咏霖取得中国车手F3首胜专家:多发性硬化非不治之症 关键在规范治疗

    锁边塔克拉玛干 新疆持续织密我国最大沙漠“绿围脖”

  • 杭州:2028年基本建成城乡建设领域“人工智能+”生态体系联合国机构称地缘紧张考验经济韧性

    万斯称美伊谈判取得很大进展 但美方也准备了“B方案”

  • 航天员母亲看返回舱开伞抿嘴擦泪武汉:家务机器人走进公寓 居家复杂场景内“练兵”

    东北超现场向看台狂扔纯奶冰激凌

  • 湖北恩施多地夜空上演“星河盛宴”国台办批赖清德谬论:谎话说1000遍还是谎话 绝对成不了真

    《中国网络诚信发展报告(2026)》在南宁发布

  • 郑丽文点燃民意 四把火猛烧赖清德赵虎因公牺牲年仅44岁

    241枚距今约1.1亿年前恐龙足迹 为何在宁夏六盘山岩壁上

  • 火焰烹煮咖啡香 保山“咖叔”成网红伊朗官员表示:高浓缩铀的处置是伊美谈判严重分歧之一

    32支高校战队集结沈阳 机甲大师北部赛区开赛

  • 冷空气“快闪”式影响中东部!明天北方加速回暖,下周华北平原首轮高温来袭!张雪得知夺冠后瞬间弹起挥拳嘶吼

    驴友在川西4600米营地帐篷里去世

  • 夏天在派送!全国冷饮指数地图出炉 看看谁家急需冷饮解暑江西深化与大湾区跨境电商产业合作 助力企业出海发展

    电影文化探访节目《周末一起看电影》聚焦侨批背后的家国情怀

  • 2025年京津冀三地PM2.5年均浓度较2020年降幅均超20%以上刘伟当选基金业协会监事长

    两只小熊猫刚到台湾就火了!有人抢着取名,有人却谈“前提”

  • 国家防总针对重庆、贵州启动防汛四级应急响应多家中小银行集体暂停货基申购

    受贿1.89亿余元!重庆市委原常委陆克华一审被判死缓

  • 涉柳州地震,这些信息是谣言(2026·05·21)菲律宾学者:四大领域潜力巨大 中国与东盟合作未来可期丨世界观

    中俄携手育才 深圳北理莫斯科大学探索教育合作新路

  • 新疆导游“天山那头有人民”被贴标签 台湾教师:扩交流是解方澳门青少年参访红色娘子军纪念馆:“这种精神值得华体汇(中国)代代相传”

    2026年广西全民数字素养与技能提升月启动

  • CBA季后赛:北京北汽队负于上海久事队 止步半决赛告别盲目进补!甲状腺与营养的正确打开方式

    第二十一届中博会将于9月举行 首设APEC成员经济体展区

  • 伟大征程丨开天辟地 中国共产党成立耳朵痒却啥也掏不出 或暗示5种问题

    医生:别再给孩子多吃糖

相关攻略
  • 山西运城樱桃首次“空降”泰国
    2026-06-14 12:41:39
包含 饿了么 的应用集
  • 绿营议员诡辩日菲瓜分海域与台无关 国务院印发《城市更新“十五五”规划》 中央网信办召开全国网络生态治理工作会议
    前4月完成投资1791.7亿元 川渝共建重点项目建设稳步推进
    工业强市苏州以绿色转型激活高质量发展新动能
    146183652183702026-06-14 12:41:39
  • 一张“银票”带火晋商故里 山西祁县沉浸式文旅引客来 已繁育199只崽!来卧龙看大熊猫幼崽卖萌 张雪机车与麻阳龙舟同日夺冠
    北方大风呼啸河南汤阴刷新5月风速纪录 此轮大风何时减弱?
    直击福建航空应急救援巡航演练
    33131606649412026-06-14 12:41:39
  • 世界技能大赛使节招待会举行 多国嘉宾称赞中国技能人才发展 五粮液换帅 56岁本土国企老将接棒 多用洗眼液可以保护眼睛?无依据
    美国众议院通过决议:限制特朗普对伊朗动武权力
    广东法院去年审结一审劳动争议案件8.8万件
    5447782945135924322026-06-14 12:41:39
  • “潮风客韵”旅游计次票上线 粤东地区旅客享便捷 中国非遗馆里逛非遗市集 怀柔区非遗进隆福寺商圈 司法部:企业不能简单以“有码、无码”为由拒绝或拖延行政检查”
    广东发布第四批推进大湾区规则衔接机制对接典型案例
    患者因腹泻就医6小时后死亡,官方通报:存在医疗过错
    9323757488686502026-06-14 12:41:39
  • 中国高考进入第二天 南京考生轻松自信走出考场 专家谈解放军“围观”美日菲演习 硝烟四起!直击武警“枪王”挑战赛现场
    白城医学高等专科学校原党委书记刘俊道接受审查调查
    统战赋能田园文旅 江西玉山绘就乡村振兴新图景
    679877094606892026-06-14 12:41:39
  • 2026入境游旅行商大会暨陕西入境旅游华体汇电竞-华体汇(中国)推介会在西安举行 跨越山海 他从老挝山村站上中国讲台 桂林“五一”假期首日:象山脚下文化“大餐”引客如潮
    第七次中国—中东欧国家地方领导人会议今天开幕
    中外网络达人走进“人文圣山”江西庐山:用镜头展现庐山之美
    394059830339672026-06-14 12:41:39
  • 美商界代表进入中美元首会谈现场 泰周刊:市场风格走向再平衡 “2026·全球人权治理高端论坛”将在北京举行
    618大战,为何先从手机降价开始?
    英国宣布制裁两家中国实体 中方已提出严正交涉
    62318841005752026-06-14 12:41:39
  • 银行积存金业务为何“双轨调整” 北大对阵清华 华语辩论世界杯名校表演赛在京举办 奋斗是青春最亮丽的底色
    国家统计局:5月份CPI总体平稳 PPI继续上涨
    这个夏天电影院见!超50部影片定档2026暑期档
    1697946689093370632026-06-14 12:41:39
  • 柴犬等主人下班时被男子射晕带走 从“观光”到“参与” 深度体验成旅行新风尚 江苏盱眙龙虾节开幕:3天预计吃掉120吨龙虾
    3602 万人次游四川! “五一”假期四川全域旅游活力迸发
    国家防总针对重庆、贵州启动防汛四级应急响应
    112273383085172026-06-14 12:41:39
  • 第二十一届海峡旅游博览会在厦门开幕 曝白鹿团队重组 南方降雨增强6省区部分地区有大暴雨 华北东北雷雨频繁
    两女子地铁车厢吸烟躺卧
    黎真主党称打击以军目标
    717585156335542026-06-14 12:41:39
  • 非法获取个人信息9亿余条用来“开盒”网暴 两被告人获刑 巴菲特出席伯克希尔股东大会现场 香港教育大学校长李子建:以跨学科方式推动阳明学传播与发展
    阿里率先打通AI购物全链路,千问上也能“逛淘宝”了
    新疆第十四届哲学社会科学奖表彰大会举行
    496470131195769022026-06-14 12:41:39
  • 周锡玮:中华文化刻在两岸中国人骨子里 上海:实景党课激发红色传承新活力 北京市首个太空算力产业创新中心成立
    "洪迪厄斯”号邮轮出现汉坦病毒病例 世卫官员称该邮轮拟驶往西班牙海岛
    中国工商银行甘肃分行原副行长吕红晓被“双开”
    34964151728814312026-06-14 12:41:39
  • A股新一轮资金再分配来了吗 吉林“宠拉松”开跑 逾400家庭携萌宠山地撒欢 机器人“玩转”南博会
    北京启动防汛四级应急响应
    山东招远一矿区发生事故 致3人死亡2人受伤
    2562475552205281712026-06-14 12:41:39
  • 美总统称曾警告以总理勿再进攻伊朗 扎波罗热核电站通报称:保障外部供电线路的热电站遭无人机袭击 女教师打伞事件拍摄者发声
    德国机构下调2026年本国经济增长预期
    甘添:未来3至5年将迎来人民币资产非常好的配置机遇
    616446472882712026-06-14 12:41:39
  • 特朗普:已知晓以伊最新局势 美军处于戒备状态 00后农机手跨越700公里赶夏收 保洁坠入污水池 消防发现池里还有人
    中国国产存储龙头长鑫科技科创板IPO过会
    伊朗正“审议”美方对14点提议所作回应
    670614208107591922026-06-14 12:41:39
  • 中国铝业:拟投资建设氧化铝项目 海内外信众齐聚“妈祖故里”湄洲岛 共庆妈祖诞辰1066周年 公路抵村到户 “移动超市”开进西藏墨脱乡村
    防范八种化学品流失用于制毒风险 国家禁毒办发布警示
    美国参议院批准凯文·沃什担任美联储主席
    8622580059816402382026-06-14 12:41:39
  • 中国西北地区首家破产法庭成立 新华时评|安全红线不容侥幸逾越 “数爱无疆”数字公益故事展播 | 我的马拉松|跑在你身边
    澳门“五一”假期交出亮眼旅游“成绩单”
    汇聚同心 全力以赴 游泳运动员潘展乐邀您关注统战新语
    821576907298782026-06-14 12:41:39
  • 清远连山首次在野外记录到海南鳽 高考作文 为何每年刷屏? 创业板指半日涨1.91%,半导体走强
    数聚微光,爱润无疆——2025“数爱无疆”数字公益故事案例发布
    八部门联合印发《综合整治非法跨境证券期货基金经营活动实施方案》
    13574903238269472026-06-14 12:41:39
  • 神舟二十三号航天员乘组顺利进驻“天宫” 中国航天员完成第8次“太空会师” 十年来北京城市副中心固定资产投资超万亿元 沈阳以政策赋能新业态 激活消费新动能
    台当局附和日菲划界被踢下桌 台湾时政新媒体人:百姓要的是日子不是口号
    南方或将形成跨越千里的暴雨带 以河南为中心的干热型高温登场
    359938698706416902026-06-14 12:41:39
  • 深探经典内核 北京人艺《原野》再登台 “广西柳州市地震区域搜救出最后1名被困人员 生命体征平稳 数字考古实景剧《看见石家河》在湖北天门上演
    商务部公布关于美国对5家中国企业实施涉伊朗石油制裁措施的阻断禁令
    江西庐山:日出云海惊鸿宴
    127445798646792026-06-14 12:41:39
  • 习近平主席特使、国家国际发展合作署署长陈晓东出席哥斯达黎加总统权力交接仪式 特朗普提名克莱顿出任美国国家情报总监 加息预期升温 金价短期承压
    2026年“五一”假期宁夏道路运输总体平稳有序
    以色列称已控制加沙六成区域 以军为何“步步紧逼”
    848641041345982026-06-14 12:41:39
  • 东西问|彭裕超:文学这座“桥”如何让中塞两国走近彼此? 现场直击:广西柳州5.2级地震 民众户外避险 男子踩中蛇窝被毒蛇咬数口 休克昏迷
    警惕身边的泄密风险丨“密”从口出
    【好评中国】乡村大集热气腾腾,中国消费升级的生动缩影
    57975861681605012026-06-14 12:41:39
  • 韩正会见白俄罗斯第一副总理斯诺普科夫 普京谈与泽连斯基会面:不主动不拒绝 北京市2026“欢迎学子回家”行动启动
    警钟长鸣!国务院安委办通报典型案例 商洛高速桥梁垮塌等事故细节公布
    《APEC贸易数字化合作框架》取得实质性进展
    618922688176312026-06-14 12:41:39
友情链接
  • 金观平:立足“上台阶”优化交通布局
    2026-06-14 12:41:39
  • 第44届康博会将于6月26日在重庆启幕
    2026-06-14 12:41:39
  • 王曼昱:决赛紧张惨烈 感谢孙颖莎
    2026-06-14 12:41:39
安卓手机网上最贴心的Android软件应用平台!版权所有:还在手写CUDA内核?CODA来了!LLM和新手也能让Transformer跑出光速有限华体汇电竞-华体汇(中国)备案号:京ICP备17065190号-1
华体汇电竞-华体汇(中国)

<small id='g1son'></small><noframes id='5f5i0'>

    <tbody id='1lAsP'></tbody>

  • <tfoot id='KIy98E'></tfoot>

          <legend id='gegUz'><style id='qOcB4'><dir id='iPm8r'><q id='268ED'></q></dir></style></legend>
          <i id='7rgqKh'><tr id='FJIIVGR'><dt id='Y0gd'><q id='pgzA'><span id='71MrHk'><b id='5TsDx'><form id='lAenne'><ins id='ZQPaLh'></ins><ul id='qWEHx'></ul><sub id='9V4Na'></sub></form><legend id='cV9EN'></legend><bdo id='B0XpS'><pre id='JVcF54'><center id='J1pf9'></center></pre></bdo></b><th id='f7vq5y'></th></span></q></dt></tr></i><div id='NNDOT0'><tfoot id='SQuG'></tfoot><dl id='HFoYe'><fieldset id='hZ31'></fieldset></dl></div>

              <bdo id='gQNXF3'></bdo><ul id='yFb4co'></ul>

                  1. <li id='QQ46'><abbr id='uKcP'></abbr></li>