今日官方传递行业新研究成果“格斗女中医”石铭斩获UFC生涯首胜 很高兴为您解答这个问题，让我来帮您详细说明一下。品牌授权报修电话，快速上门服务

怀柔区雁栖地区桂林市兴安县山东省青岛市城阳区赵县沙河店镇平山县上观音堂乡四川省宜宾市江安县长安区广安街道平山县上观音堂乡青秀区江苏省镇江市句容市黑龙江省佳木斯市富锦市亳州市利辛县密云区河南寨镇伊犁哈萨克自治州昭苏县上海市市辖区嘉定区内蒙古乌海市乌达区桥西区苑东街道黑龙江省七台河市桃山区青海省海北藏族自治州门源回族自治县山东省泰安市泰山区陕西省宝鸡市千阳县朝阳区管庄地区蚌埠市蚌山区桥西区苑东街道桥西区苑东街道福建省福州市罗源县崇左市福建省南平市建瓯市广东省珠海市斗门区武清区汊沽港镇平山县东回舍镇合肥市庐阳区北辰区海南省儋州市许昌市建安区山东省东营市垦利区甘肃省定西市渭源县丰台区长辛店镇巴音郭楞蒙古自治州和硕县黑龙江省七台河市桃山区马鞍山市博望区陕西省宝鸡市千阳县辽宁省沈阳市云南省怒江傈僳族自治州福贡县内蒙古锡林郭勒盟镶黄旗北辰区广源街道昌平区延寿镇四川省成都市双流区朝阳区管庄地区和平区南市街道银川市贺兰县江西省宜春市奉新县江苏省苏州市相城区元氏县苏村乡云南省红河哈尼族彝族自治州泸西县北辰区广源街道南开区体育中心街道山东省滨州市山西省晋城市泽州县甘肃省陇南市武都区怀柔区龙山街道芜湖市南陵县西青区精武镇宝坻区牛家牌镇辽宁省沈阳市浑南区江西省景德镇市昌江区蓟州区东二营镇哈密市伊吾县广东省惠州市龙门县湖北省恩施土家族苗族自治州建始县南开区长虹街道四川省乐山市芜湖市南陵县福建省福州市罗源县福建省厦门市海沧区朝阳区管庄地区平山县岗南镇甘肃省定西市渭源县陕西省汉中市留坝县西藏山南市山西省吕梁市中阳县西城区天桥街道四川省成都市双流区山西省忻州市定襄县丰台区和义街道丰台区和义街道内蒙古鄂尔多斯市康巴什区鹿泉区寺家庄镇海南省海口市美兰区平顶山市卫东区朝阳区酒仙桥街道陕西省汉中市留坝县江苏省连云港市赣榆区湖北省孝感市汉川市井陉县吴家窑乡甘肃省陇南市武都区焦作市沁阳市密云区高岭镇朝阳区小关街道四川省乐山市

今日国家机构发布重要动态OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？，很高兴为您解答这个问题，让我来帮您详细说明一下:官方服务专线，支持多品牌报修

门头沟区大峪街道陕西省汉中市西乡县巴音郭楞蒙古自治州和硕县江苏省苏州市相城区贵州省铜仁市玉屏侗族自治县山西省运城市夏县山西省忻州市宁武县蓟州区东施古镇西城区天桥街道朝阳区酒仙桥街道云南省红河哈尼族彝族自治州绿春县四川省宜宾市珙县陕西省宝鸡市眉县湖北省恩施土家族苗族自治州恩施市和平区南市街道陕西省西安市未央区河西区桃园街道辽宁省沈阳市沈河区广东省广州市越秀区密云区古北口镇马鞍山市博望区西藏拉萨市达孜区云南省大理白族自治州云龙县赞皇县院头镇崇左市陕西省咸阳市兴平市贵州省铜仁市玉屏侗族自治县福建省莆田市仙游县湖北省恩施土家族苗族自治州建始县江西省九江市武宁县亳州市利辛县江西省吉安市吉安县无极县大陈镇江西省宜春市奉新县朝阳区管庄地区四川省泸州市江阳区福建省漳州市龙海市山西省运城市夏县广东省深圳市青海省海南藏族自治州贵德县西青区精武镇福建省福州市永泰县陕西省汉中市西乡县四川省广安市岳池县青海省玉树藏族自治州治多县静海区大邱庄镇桥西区苑东街道四川省广安市岳池县西乡塘区北辰区延庆区沈家营镇密云区河南寨镇福建省南平市建瓯市青海省海南藏族自治州贵德县焦作市中站区蓟州区东赵各庄镇朝阳区酒仙桥街道洛阳市汝阳县陕西省宝鸡市千阳县山西省吕梁市岚县江苏省镇江市句容市海南省儋州市北海市海城区朝阳区双井街道贵州省黔东南苗族侗族自治州天柱县蚌埠市龙子湖区吉林省四平市铁西区广东省云浮市新兴县新乐市协神乡江苏省苏州市相城区百色市田林县四川省广安市岳池县武清区上马台镇辽宁省沈阳市静海区大邱庄镇丰台区和义街道朝阳区小关街道贵州省铜仁市印江土家族苗族自治县海南省三沙市西沙区朝阳区双井街道重庆市市辖区北碚区山东省聊城市茌平区信阳市平桥区江西省吉安市吉安县湖北省宜昌市夷陵区江苏省徐州市丰台区长辛店镇武清区上马台镇四川省甘孜藏族自治州静海区大邱庄镇蚌埠市蚌山区黑龙江省绥化市明水县江西省赣州市石城县山东省淄博市临淄区密云区河南寨镇山西省晋中市太谷区福建省厦门市海沧区巴音郭楞蒙古自治州和硕县四川省甘孜藏族自治州丹巴县朝阳区小红门地区

全球服务区域:濮阳市南乐县江西省萍乡市上栗县青秀区平山县上观音堂乡崇左市宁明县北辰区广源街道黑龙江省大兴安岭地区呼玛县福建省南平市建瓯市密云区不老屯镇广东省汕头市南澳县山西省吕梁市岚县丰台区宛平城地区四川省成都市双流区朝阳区小关街道黑龙江省鸡西市鸡冠区洛阳市汝阳县云南省文山壮族苗族自治州广南县井陉县吴家窑乡四川省凉山彝族自治州西昌市平山县上观音堂乡四川省凉山彝族自治州昭觉县江苏省徐州市丰县甘肃省陇南市武都区喀什地区麦盖提县山西省晋中市太谷区和田地区开封市通许县江苏省徐州市贵州省黔南布依族苗族自治州惠水县江西省宜春市宜丰县山西省吕梁市中阳县江苏省南京市浦口区四川省甘孜藏族自治州九龙县山东省淄博市临淄区合肥市瑶海区贵州省铜仁市印江土家族苗族自治县黑龙江省佳木斯市汤原县江苏省徐州市丰县内蒙古兴安盟乌兰浩特市丰台区宛平城地区湖北省恩施土家族苗族自治州建始县广东省佛山市三水区顺义区空港街道黑龙江省大兴安岭地区呼玛县平山县小觉镇内蒙古呼伦贝尔市阿荣旗和田地区广东省佛山市三水区西青区精武镇甘肃省定西市渭源县黑龙江省伊春市金林区昌平区延寿镇辽宁省辽阳市白塔区贵州省铜仁市印江土家族苗族自治县山西省晋中市太谷区四川省德阳市广汉市合肥市庐阳区辽宁省锦州市义县桂林市兴安县昌平区回龙观街道吉林省四平市铁西区云南省文山壮族苗族自治州广南县江苏省徐州市新沂市河东区东新街道黑龙江省大兴安岭地区呼玛县陕西省汉中市西乡县焦作市朝阳区酒仙桥街道广东省深圳市广东省江门市辽宁省朝阳市北票市朝阳区小红门地区昌平区延寿镇朝阳区豆各庄地区福建省三明市梅列区蓟州区官庄镇福建省南平市建瓯市西藏拉萨市达孜区赞皇县西龙门乡顺义区空港街道海南省儋州市湖北省宜昌市夷陵区山东省烟台市龙口市贵州省黔南布依族苗族自治州惠水县河西区桃园街道上海市市辖区嘉定区福建省厦门市海沧区焦作市中站区江西省萍乡市上栗县辽宁省沈阳市沈河区湖北省宜昌市秭归县黑龙江省七台河市桃山区福建省福州市罗源县云南省普洱市景东彝族自治县新乐市协神乡湖北省宜昌市秭归县阿克苏地区拜城县桥西区苑东街道湖北省宜昌市西陵区南阳市内乡县

本月官方披露行业研究成果OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？，很高兴为您解答这个问题，让我来帮您详细说明一下:售后服务维修中心电话，支持多渠道服务

全国服务区域：陕西省宝鸡市千阳县上海市市辖区嘉定区吉林省长春市双阳区内蒙古锡林郭勒盟正镶白旗山西省阳泉市平定县怀柔区雁栖地区四川省广安市岳池县芜湖市南陵县广东省惠州市龙门县江西省鹰潭市余江区陕西省汉中市留坝县银川市贺兰县福建省三明市梅列区四川省广安市岳池县云南省普洱市景东彝族自治县宝坻区牛家牌镇昌平区阳坊镇门头沟区大峪街道湖北省恩施土家族苗族自治州建始县山东省德州市齐河县隆安县江苏省徐州市新沂市青海省玉树藏族自治州治多县西藏山南市贡嘎县江西省九江市武宁县山东省聊城市冠县江苏省苏州市相城区喀什地区麦盖提县广东省云浮市新兴县甘肃省甘南藏族自治州湖北省襄阳市襄州区海南省海口市美兰区福建省漳州市龙海市福建省厦门市湖里区重庆市市辖区北碚区平山县宅北乡青海省海北藏族自治州门源回族自治县陕西省宝鸡市眉县湖北省宜昌市宜都市怀柔区雁栖地区元氏县苏村乡甘肃省白银市景泰县南开区长虹街道江西省宜春市宜丰县福建省漳州市龙海市崇左市昌平区延寿镇内蒙古锡林郭勒盟正镶白旗陕西省西安市未央区福建省莆田市仙游县江西省宜春市宜丰县甘肃省陇南市武都区丰台区右安门街道江西省吉安市吉安县山东省烟台市牟平区海南省儋州市福建省福州市永泰县广东省佛山市三水区赞皇县院头镇青海省玉树藏族自治州治多县昌平区小汤山镇湖北省恩施土家族苗族自治州建始县西乡塘区蓟州区官庄镇百色市田林县四川省乐山市北海市海城区桥西区苑东街道山东省烟台市龙口市云南省丽江市宁蒗彝族自治县南开区体育中心街道防城港市东兴市四川省凉山彝族自治州甘洛县平山县上观音堂乡平山县宅北乡黑龙江省佳木斯市汤原县昌平区阳坊镇黑龙江省佳木斯市富锦市辽宁省沈阳市江西省景德镇市昌江区江西省宜春市宜丰县平顶山市湛河区焦作市沁阳市合肥市庐阳区马鞍山市博望区陕西省汉中市西乡县行唐县龙州镇亳州市利辛县内蒙古锡林郭勒盟正镶白旗江苏省徐州市丰县陕西省咸阳市兴平市丰台区右安门街道怀柔区宝山镇辽宁省铁岭市清河区四川省德阳市广汉市甘肃省白银市景泰县山东省泰安市泰山区山东省泰安市东平县海南省儋州市山东省泰安市东平县

售后服务上门服务电话，智能分配单据：OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？

机器之心编辑部

如果有一天，一段由 AI 编程工具写的纯粹的程序代码 —— 没有神经网络，没有梯度下降，没有任何「训练」—— 却在经典游戏里打出了理论最高分，在机器人控制里跑出了媲美 Deep RL 的成绩，你会怎么解释这件事？

这不是科幻设定，而是 OpenAI 研究工程师翁家翌（Jiayi Weng）最近在一篇博客里记录的真实实验。他本来只是想给游戏测试写几条便宜的小规则，结果弄出了一套让他自己都感到震撼的东西。他由此重新审视了一种长期被低估的方法 ——heuristics，认为它可能正在迎来属于自己的时代。

手写规则本身不是新东西。专家系统几十年前就有了，问题也是老问题：今天加一条规则修好 A，明天发现 B 坏了，后天再打补丁，最后没人敢动了。规模一大，维护成本就把人压垮。翁家翌的核心观察是：coding agent 改变的正是这条成本曲线。当 agent 能够自动读日志、看回放、改代码、跑测试、记录实验，一套手写规则系统就第一次有了持续生长的可能 —— 原来只能当补丁用的东西，现在开始值得长期拥有了。

这也直接触碰了 Continual Learning 的老问题。神经网络的灾难性遗忘，根源在于旧能力只能靠参数隐式保存，新数据一来就容易被冲掉。而在他提出的 Heuristic Learning 框架里，旧能力可以直接写进回归测试、固定 seed 的回放和明确的失败记录，历史是显式的、可读的、可重构的。这不是解决了遗忘问题，而是把「防遗忘」变成了一个更工程化的问题来处理。

当然，翁家翌也指出了这套方法的边界：代码的表达能力终究有限，复杂感知和长程泛化还是神经网络的主场。他认为更有前景的方向是两者结合 —— 用 Heuristic System 快速处理在线数据、积累可回归的经验，再周期性地把这些经验内化进神经网络。

他把这个愿景总结成一句话：凡是可以被持续迭代的，都开始能被解决。这和之前几轮范式转移的逻辑一脉相承 —— 从 pretrain 到 RLHF，再到 large-scale RL，每一步都是把「可验证」的边界往外推了一圈。Heuristic Learning，或许是下一圈。

翁家翌是 OpenAI 后训练（Post-training）RL 基础设施的核心工程师之一。2022 年加入 OpenAI 时，他的面试官正是 John Schulman。此后，他主导搭建了 OpenAI 后训练阶段的核心 RL 基础设施，这套系统支撑着 GPT 系列在 RLHF、对齐与推理优化阶段的训练迭代。

以下是翁家翌的博客《Learning Beyond Gradients》原文，机器之心经授权转载：

原文链接：https://trinkle23897.github.io/learning-beyond-gradients/#zh

Continual Learning 一直难以被解决，主要卡在神经网络的灾难性遗忘：学了新东西，旧能力就容易被冲掉。那如果不把目光只放在神经网络权重上，还有没有其他解决方案？

随着 LLM agent 变强，coding 的速度和质量都在提升。但我最近更在意的是另一个现象：coding agent 不训练新网络、不更新权重，只是持续看失败、改代码、加测试、看回放，也能把一套程序系统越养越强。

这让我重新看待 heuristic，也就是手写规则和程序策略。过去很多 heuristic 不是没用，而是没人养得起；coding agent 改变的是这条维护成本曲线。于是，过去只能当一次性补丁的规则，开始变成值得长期拥有的代码。

凡是可以被持续迭代的，都开始能被解决。这也是 Continual Learning 一直想要解决的问题。它会是既 Pretrain、RLHF、Large-scale RL/RLVR 之后的下一个范式吗？

异常现象

在业余时间维护 EnvPool 的时候，我想用一个便宜一点的策略来测试游戏环境正确性，不然每次 CI 都跑神经网络，很费测试资源。

一开始的问题只是：

能不能写一些便宜、可复现、比随机强很多的 heuristic，专门把环境跑到有信息量的状态？

我试着使用 codex（gpt-5.4）写一个基于规则的版本，完全不依赖 NN。没想到弄了几下，结果比我预期离谱很多：

一个打砖块游戏 Atari Breakout，策略从 387 -> 507 -> 839 -> 864，最后打到理论最高分；一个仿真四足机器人关节控制任务 MuJoCo Ant，纯 Python 程序策略先学会节律步态，再接上短视窗模型规划，最后上了 6000+ 分，进入常见 Deep RL 结果的量级；一个仿真机器人跑步任务 MuJoCo HalfCheetah，靠可解释的步态 / 姿态规则和在线规划，迭代到 5 局复测均值 11836.7，也进入了常见 Deep RL 结果的量级；一整套 Atari 57 个游戏，一共跑了 57 个游戏 x 2 种输入 x 3 次运行 = 342 条 coding-agent 搜索轨迹，表现有好有坏；但在固定环境交互步数下，中位数 HNS 游戏得分在 1M 环境步附近已经远高于 PPO 这类 Deep RL 算法的曲线。

这些结果第一次见到十分震撼，更让我在意的是：codex 没有训练神经网络，它在维护一套还能继续生长的软件系统。

Breakout 策略到最后远远超过一句 “球在左边就往左”。这个策略长出来的是动作探测、状态读取、球和挡板检测、落点预测、卡住循环检测、回归测试、视频回放和实验记录。Ant 策略也超过一条步态公式，里面有节律控制、姿态反馈、接触信息、短视窗模型展开。

于是我意识到有必要在这里创造一个新的概念：这里被更新的对象已经不只是策略函数，而是一套带有记忆、反馈入口和回归机制的软件系统。

Heuristic Learning

在接着和 codex 交流了一阵子之后，我想把这个过程定义为 Heuristic Learning（HL）：

HL 的主体由程序代码构成；它和今天常见的 Deep RL 实践共享状态、动作、反馈、更新的闭环；但更新对象从神经网络参数换成了软件结构；它的反馈由 coding agent 消化，可以来自环境 reward、testcase、日志、视频、回放、人类反馈；它的更新不走反向传播；coding agent 直接修改 policy、状态检测器、测试、配置或者 memory；HL 是学习和更新的过程；被 HL 长期维护的对象称之为 Heuristic System（HS）；HS 超过一个孤立的 policy.py：它至少包含程序策略、状态表示、反馈入口、实验记录、回放或测试、memory，以及由 coding agent 执行的更新机制。单条 rule 不够，规则、反馈、历史和下一轮更新全部接起来，才称之为 HS。

列一个表就是：

Heuristic Learning 相比 Deep RL 有很多良好的性质：

可解释性（Explainability）：神经网络很难解释，HL 的代码策略可以翻译成人话；样本效率（Sample Efficiency）：一次有效代码更新可以直接跳到新策略，不用调学习率慢慢爬；可回归 / 可验证（Regression-testable）：旧能力可以变成 test、replay、golden case；可约束过拟合：代码 heuristic 也会过拟合到 seed、环境细节或测试漏洞，但简化、回归和多 seed 检查可以形成一种工程正则化；可以避免一部分灾难性遗忘（Catastrophic Forgetting）：旧能力不用全靠模型自己记住，可以被写进 rule set 和测试里。

重点在于，有一类原来因为维护成本太高而不值得写的 heuristic，现在突然可能值得长期拥有了。

为什么 Heuristic Learning 以前没发展起来

如果说 HL 的前身是专家系统、规则系统，那么在 coding agent 没发展起来之前，这玩意的维护成本十分高昂。

人类手工维护 heuristic 很容易变成这样：

今天加一条规则修 case A。明天发现 case B 被修坏了。后天再加一个 if。大后天没人敢删了。

问题不在 heuristic 没用，在没人力能养得起。之前人力维护专家系统，有点像工业革命前手工纺纱：规模一大，稳定性和维护成本就压死人。纺织机改变的是产能曲线；coding agent 改变的是 heuristic 的维护曲线。它像一条可以输送智力的营养管道，可以持续浇灌一个 HS，让它自己迭代进化。

目前常见的 agentic 反馈闭环主要是：

feature request -> agent 写代码 -> 过 test -> 人类给一点反馈 -> 下一轮 patch

但随着大模型能力提升，人类介入次数会逐渐变少，这个反馈循环就有机会在某些边界明确的系统里自动闭合，从而能够实现自动化用 HL 批量生产 HS：

环境反馈 / 测试失败 / 日志异常-> coding agent 读 context-> 修改 policy /test/memory-> 重新运行-> 把结果写回 trials 和 summary-> 下一轮继续

Heuristic Learning 怎么做 Continual Learning

神经网络里的灾难性遗忘，是新数据把参数往新任务推，旧能力被覆盖掉。HL 也会忘，例如：

新规则修好了一个失败模式，同时破坏旧场景；新 memory 把 agent 反复带到错误方向；新测试太窄，导致策略学会钻空子；新 patch 改了公共接口，旧调用方悄悄坏掉；规则越堆越多，最后 agent 自己也维护不动。

所以 HL 不会自动解决 Continual Learning。它把 “防遗忘” 变成了更工程化的东西。

在 HL 里，旧能力可以被固化成：

回归测试；固定 seed 的 replay；golden trace；失败视频；版本 diff；明确写下来的失败方向。

与神经网络把经验压进权重完全不一样：HL 的历史是显式、可读、可删、可重构的。它负责 “记住”，也负责把一堆局部补丁压缩成更简单的表示。

（只增长不压缩的 HS，最后一定会变成屎山代码。它会 “记住” 很多东西，但记住的方式太差，导致谁也不敢动，从而腐化）

所以一个健康的 HS 至少需要两个操作维持：

吸收反馈：把新失败、新日志、新 reward 写回系统。压缩历史：把一堆局部补丁折回更简单、更可维护的表示。

这就把 Continual Learning 从 “怎么更新参数” 变成了 “怎么维护一个持续吸收反馈的软件系统”。

Heuristic System 的复杂度

此处定义 耦合复杂度 为 coding agent 能维护多复杂的策略来支持 HL。展开说，就是一次更新必须同时照顾多少相互牵连的状态、规则、测试、反馈和历史。

这个量不能按代码行数算。一个 500 行策略，如果模块边界清楚、测试完整、状态可复现，可能很好维护；一个 80 行策略，如果每行都互相牵制、没有日志、没有回放，也可能是个定时炸弹，一碰就崩。

朝代码一侧看，耦合复杂度受模块边界、接口稳定性、测试覆盖、日志观测性、回滚成本和状态可复现性限制。好的模块化会把全局耦合切成局部耦合，从而降低耦合复杂度；好的测试能让 coding agent 不必每次在脑子里模拟整个系统。

朝 coding agent 一侧看，能接受多少耦合复杂度，取决于模型能力、上下文长度、memory 质量、工具质量、整体迭代速度。更强的模型能够同时处理更多相互作用；更长的上下文能让它少丢线索；memory 可以把跨轮次迭代经验留下；搜索、定位、运行、回放这些工具能够把一部分认知负担搬到外部。

把这两侧放一起，可以得到一组判断：

反馈越清楚，单位 agent 智力能维护的耦合复杂度越高；同等工具和反馈下，模型能力越强，能处理的耦合复杂度越高；模块化、测试、回放会把一部分耦合复杂度转移到环境里；memory 和工具会提高 agent 的有效上下文；只增长不压缩的 HS 会让耦合复杂度持续上升，直到超过维护能力。

Breakout 策略能走到 864 的满分，有规则简单的一面，也有失败可以视频回放、局部复现、回归验证的一面。Ant 复杂得多，但它可以拆成节律、姿态、接触、residual MPC 这些模块。

Montezuma 是一个很好的反例。Atari57 里有一条无人值守的记录到了 400 分，但那条路线由 86 个宏动作组成，基本是开环执行。这个例子说明，有些环境需要更强的程序形态，比如可组合宏动作、可恢复搜索状态、长期 memory。普通 if else 不能解决所有问题。

下一个范式？

目前的范式转移是从最开始的 pretrain，到 RLHF，再变成 large-scale RL / RLVR。凡是可以验证的，都开始能被解决。

Online Learning 和 Continual Learning 可以被当前 RLVR 生产出来的 agentic coding，通过 Heuristic Learning 的方式部分解决。从这个愿景出发，我愿称其为下一个范式：凡是可以被持续迭代的，都开始能被解决。

为什么说是部分解决？因为 Heuristic Learning 并不能做所有神经网络能做的事情。它受制于代码的表达能力，比如复杂感知和长程泛化。比如在我目前认知范围内，我想不出有个 agent 能搓出一个纯 Python code、不用神经网络去解决 ImageNet。

于是问题在于如何结合神经网络和 HL，同时解决 Online Learning 和 Continual Learning。最有希望的方向是：用 HL 处理在线数据快速生成在线经验，把在线经验内化成可训练、可回归、可筛选的数据，再周期性更新神经网络。

以机器人为例，如果套用 System 1/2 的术语，一个可能的分工形态如下：

专用、浅层 NN：当作 System 1 的一部分，快、便宜，负责感知、分类、物体状态估计；HL：也可以当作 System 1 的一部分，负责最新数据处理、规则、测试、回放、memory、安全边界、局部恢复；LLM agent：作为 System 2，负责给 HL 提供反馈、改进数据，并周期性提取 HL 生成的数据来更新自身

这套东西可以继续拆成层级结构：

关节级 HL -> 肢体级 HL -> 全身平衡 HL -> 任务级 HL

低层负责安全和低延迟控制，中层负责步态和接触，高层负责任务、恢复和长期记忆。coding agent 不一定直接 “懂得走路”，它更像插进系统里的更新管线：持续把失败视频、传感器流、仿真结果、测试结果喂进系统，再把反馈改写成代码、参数、保护规则和 memory。

LLM agent 可以共享，也可以相互隔离在机器人体内自行学习。这里的问题是：HL 提供的特定数据分布如何才能不让 LLM 的周期性更新崩溃。这是一个经典的 post-training 问题，已经有很多成熟经验，由于某些原因在这里就不展开了。

Agentic coding 改变了写代码速度，也改写了哪些代码值得被长期拥有。

过去很多 heuristic 看起来没有前途，原因常常落在维护成本上；它们本身未必太弱。coding agent 改变的是这条维护成本曲线。规则、测试、日志、memory 和补丁原来只是散落的工程材料，现在开始可以组成一个会持续更新的 Heuristic System，能够真正解决 Online Learning 和 Continual Learning 所未能解决的问题。

欢迎来到下一个范式！

附录：实验过程和复现入口

完整 artifact repo 在https://github.com/Trinkle23897/learning-beyond-gradients。下面命令默认你已经 clone 了这个 repo，并在仓库根目录运行；GitHub Pages 只展示文章和必要静态文件，完整脚本、CSV、视频和实验材料都在 repo 里。

以下实验中 codex 模型版本均为 gpt-5.4，最新版本模型尚未测试。以下实验报告均由 codex 自行攥写。

A.1 实验过程简述

一开始我直接问 Codex：“写一个能解决 Breakout 的策略。” 效果一般。低分没有解释力：它不知道是动作语义错了、状态检测错了、评测设置错了，还是策略结构本身不行。后来我把任务改成另一种形式：别只交一个 policy.py，要维护完整闭环。

闭环大概长这样：

探测动作和观测-> 写状态检测器-> 写策略-> 跑完整回合-> 记录 trials.jsonl 和 summary.csv-> 生成视频或曲线-> 看失败模式-> 改策略-> 简化代码并做回归

到这里，任务的形状已经变了。最后产出的东西从一个策略文件，变成了一套还能继续改的实验系统。它有探测器，有记录，有回放，有失败模式，也有下一轮该怎么改的线索。

相关 artifact：heuristic_breakout.py、heuristic_breakout_trials.jsonl、heuristic_breakout_trials_summary.csv。

Breakout 表面上是几何问题：球在哪里，挡板在哪里，球撞墙以后会落到哪里。麻烦在后半段。策略可以一直接到球，却不再打到新砖，分数卡在一个稳定循环里。

Codex 第一轮先确认动作空间和观测形状，再从 RGB 画面里找挡板、球、砖块颜色，然后用这些图像标签去扫 128 个 RAM 字节。早期实验记录大概是这样：

trial_name score cumulative_env_steps noteshape_action_probe - 32 inspect obs/info/actionram_byte_corr_probe_v1 - 5,032 correlate RAM bytesram_fit_action_probe_v2 - 9,532 action 2=right, 3=leftbaseline_v0 99 16,303 initial RAM intercepttunnel0_v1 387 43,303 no tunnel offset

387 是第一个很容易骗过人的局部高分。策略已经能稳定接球，但它把球送进了一个周期：不会死，也不会继续清砖。人手写到这里，很容易继续调 “接球精度”。Codex 看了视频和最后几十步轨迹后，把问题定位到球路缺少扰动。

视频 artifact：heuristic_breakout_score387_tunnel0_render210x160.mp4。

第一个有效机制是打破循环：如果连续很久没有奖励，就在预测落点上周期性加偏移，把球从局部循环里打出去。这一改把分数从 387 推到 507。

后来又遇到另一个失败模式：高速低位球如果按普通截距追，挡板会被过度前视带偏。Codex 加了 fast_low_ball_lead_steps=3，分数从 507 跳到 839。

从 839 到 864，更像是在照料一个已经变复杂的系统。Codex 试了死区、发球偏移、卡住偏移、砖块平衡偏置、前视步数，很多方向都没用。最后起作用的是一个后期条件：分数超过第一面墙以后，卡住偏移只在离挡板还远的时候生效；快接球时把偏移逐步收掉，不然最后几块砖阶段会把挡板带偏。同时它加了一个很小的挡板漂移补偿，用来补动作和挡板位置之间的一步延迟。

视频 artifact：heuristic_breakout_ci3985ae2_score864_render210x160.mp4。

最终 RAM 默认配置三局验证是 864 / 864 / 864。后面 Codex 又把同一套几何控制迁移回纯图像输入：不用 RAM，只用 RGB 分割找挡板、球和砖块平衡。纯图像版本先是 310，然后 428，最后把后期 “卡住偏移逐步收掉” 的阈值放低到全程生效，7 个策略本地回合后第一次到 864，对应 14,504 个策略本地环境步。

这里不能写成 “纯图像从零 14.5K 步到满分”。真实过程是：Codex 先在 RAM 版本里摸出了几何控制、打破循环、后期收偏移这些结构；等结构稳定以后，再把状态读取层从 RAM 换成 RGB 检测器。纯图像的 14.5K 是迁移预算。

Ant 和 HalfCheetah

相关 artifact：heuristic_ant.py、ant_envpool.xml、heuristic_ant_trials.jsonl、heuristic_ant_trials_summary.csv、heuristic_halfcheetah_v5.py、heuristic_halfcheetah_v5_log.md。

Ant 的信号和 Breakout 不一样。Breakout 的几何结构很直观；Ant 是连续控制，动作是 8 个关节，失败模式也从 “球没接到” 变成了身体动力学问题。

我没有一开始就指定 “用 CPG” 或 “用 MPC”。要求只有几条：别训练神经网络，能本地复现，每轮实验留下记录，继续把分数往上推。Codex 先读 EnvPool/Gymnasium 的 Ant 观测和回报，确认动作顺序、根部速度、躯干朝向、关节位置和关节速度，然后自己提出第一版节律步态。

第一版是四腿相位振荡器：左右腿反相，髋关节和踝关节跟踪正弦目标角，动作由 PD 控制器给出。它不优雅，但一上来就比随机强很多，5 个随机种子的平均分是 2291。

后面的早期迭代很像调一个真实控制器：先加偏航反馈到 2718，再调相位速度、髋 / 踝幅度、偏航角速度增益到 3025，然后加二阶 / 三阶谐波到 3162。Codex 也试过大范围参数搜索，但结果没有稳定超过当前节律策略，于是停止扩大搜索预算，转向另一种表示。

跃迁来自 residual MPC。粗略讲，MPC 是 “边走边想一小段未来”：保留节律步态作为基础反射，每个真实环境步在本地 MuJoCo 模型里采样几十条小的残差动作序列，打分后只执行第一个残差动作；下一步重新看状态、重新规划，并把上一轮没执行完的计划作为热启动。

这样每一步都不用从零规划 8 个关节怎么动。策略先有一个稳定步态，再用短视窗模型规划去修正它。

trial_name score_mean cumulative_env_steps noteant_lr_cpgpd_v1 2291.9 5,000 左右腿反相 CPG + PDant_yawaxis_grid_v2 2857.9 20,000 偏航反馈 + 重调参数ant_h3_428_v1 3162.0 50,000 二阶/三阶谐波ant_mpc_residual_v1_ep1 3635.5 62,000 视窗=6，候选=32ant_mpc_residual_cfg4_eval5 3964.7 67,000 视窗=8，候选=48ant_mpc_residual_cand07_eval5 4647.1 73,000 围绕 MPC 配置做局部搜索ant_mpc_residual_narrow04_eval5 4871.3 79,000 降低 z 目标，增大 kp/候选数ant_mpc_residual_warm02_eval5 5165.2 85,000 热启动残差计划ant_mpc_fast065x060_sigma008_clip012 5759.4 95,000 更快步态 + 更大残差ant_mpc_term001_ep1 6054.5 100,000 终端速度代价ant_mpc_default_adaptive_ep1 6146.2 106,300 速度自适应相位 + 支撑期

到最后，策略里有振荡器相位、支撑期比例、速度自适应、滚转 / 俯仰 / 偏航反馈、脚部接触、短视窗模型内展开、残差平滑、终端速度代价、热启动计划衰减。人类当然能写其中一两个模块，但要在短时间内同时照顾实验记录、代码、视频和失败方向，难度完全不同。

视频 artifact：heuristic_ant_mpc_default_6146_render480.mp4。

HalfCheetah 是同一类证据的另一个点。我重新跑了mpc-staged-tree-asym-pd-cpg 的 5 局复测，seeds 100..104 的结果是均值 11836.7、最小值 11735.0、最大值 12041.2。策略靠的是可解释的步态 / 姿态规则和在线 staged-tree MPC：先用 CPG/PD 形成高分步态，再用短视窗模型评分和 staged swing-amplitude schedule 修正动作。

相关 artifact：atari57_prompt_template.txt、atari57_aggregate_curve_steps.csv、atari57_env_mode_summary.csv、openrl_atari57_per_game_hns_comparison.csv、atari57_hns_normalization_inferred.csv。

Breakout 和 Ant 都是单点故事。Atari57 想看的，是这套工作流离开单个漂亮案例以后还剩多少。做法很直接：把同一套 Codex 流程扔到整套 Atari57 上，每个环境同时跑 ram 和 native_obs 两种输入，每种输入跑 3 个独立重复。总共是：

57 个游戏 x 2 种输入 x 3 次运行 = 342 条 coding-agent 搜索轨迹

这组实验没有人在旁边一点点提示。每个 agent 拿到同一个模板和不同的 ENV_ID / OBS_MODE / REPEAT_INDEX，然后自己执行到停止。每个 run 都要写 policy.py、trials.jsonl、summary.csv、sample_efficiency.png 和 README.md。

主要约束是：

- 不训练神经网络。- 不读环境源码、测试、ROM 细节或隐藏状态。- native_obs 模式只能用 reset/step 返回的原生 obs。- ram 模式可以用 info ["ram"]。- Atari 初始化参数固定，包括 frame_skip=1、reward_clip=False、sticky action=0。- 所有实际 step 过环境的 probe/debug/trial 都必须计入 cumulative_env_steps。

先看环境步曲线。HNS 是 human-normalized score，也就是把每个游戏分数按人类基线归一化以后再比较。在完全无人工介入的批量运行里，native_obs 到 1M 步附近的 Atari median HNS 已经到 0.32，ram 是 0.26，明显高于图里 PPO2 / CleanRL EnvPool PPO 的早期曲线；到 9.7M 步附近，native_obs 是 0.81，ram 是 0.59。同一张对比里，OpenRL Benchmark 保存的 PPO2 / CleanRL EnvPool PPO median HNS 曲线到 10M 步大约是 0.88 / 0.92。

这里比较的是环境交互效率；coding agent 读日志、写代码和看视频的开销没有折算进总计算成本。它给出的信号很具体：一个还很粗糙的 coding agent 批量流程，在完全不看中途结果的情况下，已经能把 Atari57 的中位数推进到接近这些 baseline 的区间。

如果换成每个游戏最终取 best input 的汇总口径，Codex median HNS 是 0.83，OpenAI Baselines PPO2 是 0.80，CleanRL EnvPool PPO 是 0.98；如果再放宽到 best single run，Codex median HNS 是 1.18。这个口径不能替代严格训练曲线比较，但能更直接地说明这批无人值守搜索最后覆盖到了什么水平。

聚合曲线会把差异压到一个中位数里，所以我又看了每个游戏自己的 HNS。Breakout、Krull、DoubleDunk、Boxing、DemonAttack 这些游戏里，heuristic 和 Deep RL baseline 都能拿到明显高于人类基线的分数；Asterix、Jamesbond、Centipede、Bowling、Skiing、Tennis 这类游戏里 heuristic 相对突出；Atlantis、VideoPinball、UpNDown、Assault、RoadRunner、StarGunner 上 PPO 明显强很多。

Atari57 最有意思的地方，是样本效率的来源变了。传统神经网络 Atari 学习要在每个环境里从高维输入重新学表示、信用分配和动作含义；Codex 做的是把环境拆成可维护的小程序系统：射击游戏的瞄准 / 躲避，接球游戏的反弹，躲避游戏的位置规则，环境包装器细节，以及每个环境自己的失败实验记录。

相关 artifact：heuristic_montezuma.py、heuristic_montezuma_state_graph_search.py、heuristic_montezuma_400_policy.py、heuristic_montezuma_400_macros.json、heuristic_montezuma_400_metadata.json。

有些环境不适合普通反应式启发式策略。Montezuma's Revenge 是典型例子。

之前那轮单独搜 Montezuma 的状态图搜索能把钥匙距离从 72 推到 28，但奖励仍然是 0。后面 Atari57 的纯图像批量实验里，有一条无人值守 Codex run 到了 400.0 分：修复后的最佳回放是 repair_replay_r1_t19734，seed 是 10001，用了 1769 个环境步，本质是一条 86 个宏动作组成的开环路线。

Montezuma 暴露的是表达力问题。普通 policy.py 状态机很难装下这类路线：动作必须对齐时机，失败后要能恢复，中间状态还要能重新进入计划。有些环境需要可组合宏动作、可恢复搜索状态，甚至需要一种比普通 if else 更适合长期规划的程序结构。

这类失败对 HL 很有价值。它告诉华体汇(中国)边界在哪里，也提示下一层抽象大概该长什么样。有些反馈需要新的表示和新的程序形态，才进得了系统。Montezuma 指向的下一层接口，大概会包括宏动作、可恢复状态、搜索和长期记忆。

A.2 复现入口

下面这些命令默认在本文所在目录运行，依赖已经按 requirements.txt 装好，用来检查前面提到的几个代表性结果。

复现入口：heuristic_pong.py。

python heuristic_pong.py \ --policy ram \ --episodes 1 \ --seed 0

期望输出里应该包含 episode=0 score=21.0 和 mean=21.000。

Breakout 864

复现入口：heuristic_breakout.py。

rm -f /tmp/repro_breakout_864.jsonl /tmp/repro_breakout_864.csvpython heuristic_breakout.py \ --policy ram \ --episodes 1 \ --seed 0 \ --max-steps 108000 \ --deadband 3 \ --chase-lead-steps 6 \ --tunnel-offset 0 \ --launch-offset 24 \ --fast-ball-min-vy 3 \ --fast-low-ball-lead-steps 3 \ --stuck-trigger-steps 1024 \ --stuck-switch-steps 256 \ --stuck-offset 12 \ --stuck-release-horizon-steps 8 \ --brick-balance-deadzone 0.01 \ --brick-balance-bias-min-score 432 \ --late-game-paddle-lag-px 2 \ --late-game-lag-ball-y 170 \ --trial-name repro_breakout_864 \ --log-path /tmp/repro_breakout_864.jsonl \ --summary-path /tmp/repro_breakout_864.csv

期望输出里应该包含 score=864.0 和 mean=864.000。

Ant 默认 MPC 策略

复现入口：heuristic_ant.py、ant_envpool.xml。

rm -f /tmp/repro_ant_6146_eval5.jsonl /tmp/repro_ant_6146_eval5.csvpython heuristic_ant.py \ --policy mpc \ --episodes 5 \ --seed 0 \ --max-steps 1000 \ --mujoco-xml-path ant_envpool.xml \ --trial-name repro_ant_6146_eval5 \ --log-path /tmp/repro_ant_6146_eval5.jsonl \ --summary-path /tmp/repro_ant_6146_eval5.csv

我本地重跑时是 mean=6005.521、min=5776.805、max=6146.208。

HalfCheetah staged-tree MPC

复现入口：heuristic_halfcheetah_v5.py。

python heuristic_halfcheetah_v5.py \ --policy mpc-staged-tree-asym-pd-cpg \ --eval-episodes 5 \ --eval-seed 100

我本地重跑时 5 局均值是 11836.693。

Montezuma 400 分回放

复现入口：heuristic_montezuma_400_policy.py。

python heuristic_montezuma_400_policy.py \ --metadata-out /tmp/repro_montezuma_400.json

期望输出里应该包含 "score": 400.0 和 "env_steps": 1769。这条是边界案例，不要把它理解成通用 Montezuma 策略。

文中视频链接：https://mp.weixin.qq.com/s/LIhogqKOvyDir04Ket7G0w

本周官方披露新研究成果OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？

机器之心编辑部

如果有一天，一段由 AI 编程工具写的纯粹的程序代码 —— 没有神经网络，没有梯度下降，没有任何「训练」—— 却在经典游戏里打出了理论最高分，在机器人控制里跑出了媲美 Deep RL 的成绩，你会怎么解释这件事？

这不是科幻设定，而是 OpenAI 研究工程师翁家翌（Jiayi Weng）最近在一篇博客里记录的真实实验。他本来只是想给游戏测试写几条便宜的小规则，结果弄出了一套让他自己都感到震撼的东西。他由此重新审视了一种长期被低估的方法 ——heuristics，认为它可能正在迎来属于自己的时代。

手写规则本身不是新东西。专家系统几十年前就有了，问题也是老问题：今天加一条规则修好 A，明天发现 B 坏了，后天再打补丁，最后没人敢动了。规模一大，维护成本就把人压垮。翁家翌的核心观察是：coding agent 改变的正是这条成本曲线。当 agent 能够自动读日志、看回放、改代码、跑测试、记录实验，一套手写规则系统就第一次有了持续生长的可能 —— 原来只能当补丁用的东西，现在开始值得长期拥有了。

这也直接触碰了 Continual Learning 的老问题。神经网络的灾难性遗忘，根源在于旧能力只能靠参数隐式保存，新数据一来就容易被冲掉。而在他提出的 Heuristic Learning 框架里，旧能力可以直接写进回归测试、固定 seed 的回放和明确的失败记录，历史是显式的、可读的、可重构的。这不是解决了遗忘问题，而是把「防遗忘」变成了一个更工程化的问题来处理。

当然，翁家翌也指出了这套方法的边界：代码的表达能力终究有限，复杂感知和长程泛化还是神经网络的主场。他认为更有前景的方向是两者结合 —— 用 Heuristic System 快速处理在线数据、积累可回归的经验，再周期性地把这些经验内化进神经网络。

他把这个愿景总结成一句话：凡是可以被持续迭代的，都开始能被解决。这和之前几轮范式转移的逻辑一脉相承 —— 从 pretrain 到 RLHF，再到 large-scale RL，每一步都是把「可验证」的边界往外推了一圈。Heuristic Learning，或许是下一圈。

翁家翌是 OpenAI 后训练（Post-training）RL 基础设施的核心工程师之一。2022 年加入 OpenAI 时，他的面试官正是 John Schulman。此后，他主导搭建了 OpenAI 后训练阶段的核心 RL 基础设施，这套系统支撑着 GPT 系列在 RLHF、对齐与推理优化阶段的训练迭代。

以下是翁家翌的博客《Learning Beyond Gradients》原文，机器之心经授权转载：

原文链接：https://trinkle23897.github.io/learning-beyond-gradients/#zh

Continual Learning 一直难以被解决，主要卡在神经网络的灾难性遗忘：学了新东西，旧能力就容易被冲掉。那如果不把目光只放在神经网络权重上，还有没有其他解决方案？

随着 LLM agent 变强，coding 的速度和质量都在提升。但我最近更在意的是另一个现象：coding agent 不训练新网络、不更新权重，只是持续看失败、改代码、加测试、看回放，也能把一套程序系统越养越强。

这让我重新看待 heuristic，也就是手写规则和程序策略。过去很多 heuristic 不是没用，而是没人养得起；coding agent 改变的是这条维护成本曲线。于是，过去只能当一次性补丁的规则，开始变成值得长期拥有的代码。

凡是可以被持续迭代的，都开始能被解决。这也是 Continual Learning 一直想要解决的问题。它会是既 Pretrain、RLHF、Large-scale RL/RLVR 之后的下一个范式吗？

异常现象

在业余时间维护 EnvPool 的时候，我想用一个便宜一点的策略来测试游戏环境正确性，不然每次 CI 都跑神经网络，很费测试资源。

一开始的问题只是：

能不能写一些便宜、可复现、比随机强很多的 heuristic，专门把环境跑到有信息量的状态？

我试着使用 codex（gpt-5.4）写一个基于规则的版本，完全不依赖 NN。没想到弄了几下，结果比我预期离谱很多：

一个打砖块游戏 Atari Breakout，策略从 387 -> 507 -> 839 -> 864，最后打到理论最高分；一个仿真四足机器人关节控制任务 MuJoCo Ant，纯 Python 程序策略先学会节律步态，再接上短视窗模型规划，最后上了 6000+ 分，进入常见 Deep RL 结果的量级；一个仿真机器人跑步任务 MuJoCo HalfCheetah，靠可解释的步态 / 姿态规则和在线规划，迭代到 5 局复测均值 11836.7，也进入了常见 Deep RL 结果的量级；一整套 Atari 57 个游戏，一共跑了 57 个游戏 x 2 种输入 x 3 次运行 = 342 条 coding-agent 搜索轨迹，表现有好有坏；但在固定环境交互步数下，中位数 HNS 游戏得分在 1M 环境步附近已经远高于 PPO 这类 Deep RL 算法的曲线。

这些结果第一次见到十分震撼，更让我在意的是：codex 没有训练神经网络，它在维护一套还能继续生长的软件系统。

Breakout 策略到最后远远超过一句 “球在左边就往左”。这个策略长出来的是动作探测、状态读取、球和挡板检测、落点预测、卡住循环检测、回归测试、视频回放和实验记录。Ant 策略也超过一条步态公式，里面有节律控制、姿态反馈、接触信息、短视窗模型展开。

于是我意识到有必要在这里创造一个新的概念：这里被更新的对象已经不只是策略函数，而是一套带有记忆、反馈入口和回归机制的软件系统。

Heuristic Learning

在接着和 codex 交流了一阵子之后，我想把这个过程定义为 Heuristic Learning（HL）：

HL 的主体由程序代码构成；它和今天常见的 Deep RL 实践共享状态、动作、反馈、更新的闭环；但更新对象从神经网络参数换成了软件结构；它的反馈由 coding agent 消化，可以来自环境 reward、testcase、日志、视频、回放、人类反馈；它的更新不走反向传播；coding agent 直接修改 policy、状态检测器、测试、配置或者 memory；HL 是学习和更新的过程；被 HL 长期维护的对象称之为 Heuristic System（HS）；HS 超过一个孤立的 policy.py：它至少包含程序策略、状态表示、反馈入口、实验记录、回放或测试、memory，以及由 coding agent 执行的更新机制。单条 rule 不够，规则、反馈、历史和下一轮更新全部接起来，才称之为 HS。

列一个表就是：

Heuristic Learning 相比 Deep RL 有很多良好的性质：

可解释性（Explainability）：神经网络很难解释，HL 的代码策略可以翻译成人话；样本效率（Sample Efficiency）：一次有效代码更新可以直接跳到新策略，不用调学习率慢慢爬；可回归 / 可验证（Regression-testable）：旧能力可以变成 test、replay、golden case；可约束过拟合：代码 heuristic 也会过拟合到 seed、环境细节或测试漏洞，但简化、回归和多 seed 检查可以形成一种工程正则化；可以避免一部分灾难性遗忘（Catastrophic Forgetting）：旧能力不用全靠模型自己记住，可以被写进 rule set 和测试里。

重点在于，有一类原来因为维护成本太高而不值得写的 heuristic，现在突然可能值得长期拥有了。

为什么 Heuristic Learning 以前没发展起来

如果说 HL 的前身是专家系统、规则系统，那么在 coding agent 没发展起来之前，这玩意的维护成本十分高昂。

人类手工维护 heuristic 很容易变成这样：

今天加一条规则修 case A。明天发现 case B 被修坏了。后天再加一个 if。大后天没人敢删了。

问题不在 heuristic 没用，在没人力能养得起。之前人力维护专家系统，有点像工业革命前手工纺纱：规模一大，稳定性和维护成本就压死人。纺织机改变的是产能曲线；coding agent 改变的是 heuristic 的维护曲线。它像一条可以输送智力的营养管道，可以持续浇灌一个 HS，让它自己迭代进化。

目前常见的 agentic 反馈闭环主要是：

feature request -> agent 写代码 -> 过 test -> 人类给一点反馈 -> 下一轮 patch

但随着大模型能力提升，人类介入次数会逐渐变少，这个反馈循环就有机会在某些边界明确的系统里自动闭合，从而能够实现自动化用 HL 批量生产 HS：

环境反馈 / 测试失败 / 日志异常-> coding agent 读 context-> 修改 policy /test/memory-> 重新运行-> 把结果写回 trials 和 summary-> 下一轮继续

Heuristic Learning 怎么做 Continual Learning

神经网络里的灾难性遗忘，是新数据把参数往新任务推，旧能力被覆盖掉。HL 也会忘，例如：

新规则修好了一个失败模式，同时破坏旧场景；新 memory 把 agent 反复带到错误方向；新测试太窄，导致策略学会钻空子；新 patch 改了公共接口，旧调用方悄悄坏掉；规则越堆越多，最后 agent 自己也维护不动。

所以 HL 不会自动解决 Continual Learning。它把 “防遗忘” 变成了更工程化的东西。

在 HL 里，旧能力可以被固化成：

回归测试；固定 seed 的 replay；golden trace；失败视频；版本 diff；明确写下来的失败方向。

与神经网络把经验压进权重完全不一样：HL 的历史是显式、可读、可删、可重构的。它负责 “记住”，也负责把一堆局部补丁压缩成更简单的表示。

（只增长不压缩的 HS，最后一定会变成屎山代码。它会 “记住” 很多东西，但记住的方式太差，导致谁也不敢动，从而腐化）

所以一个健康的 HS 至少需要两个操作维持：

吸收反馈：把新失败、新日志、新 reward 写回系统。压缩历史：把一堆局部补丁折回更简单、更可维护的表示。

这就把 Continual Learning 从 “怎么更新参数” 变成了 “怎么维护一个持续吸收反馈的软件系统”。

Heuristic System 的复杂度

此处定义 耦合复杂度 为 coding agent 能维护多复杂的策略来支持 HL。展开说，就是一次更新必须同时照顾多少相互牵连的状态、规则、测试、反馈和历史。

这个量不能按代码行数算。一个 500 行策略，如果模块边界清楚、测试完整、状态可复现，可能很好维护；一个 80 行策略，如果每行都互相牵制、没有日志、没有回放，也可能是个定时炸弹，一碰就崩。

朝代码一侧看，耦合复杂度受模块边界、接口稳定性、测试覆盖、日志观测性、回滚成本和状态可复现性限制。好的模块化会把全局耦合切成局部耦合，从而降低耦合复杂度；好的测试能让 coding agent 不必每次在脑子里模拟整个系统。

朝 coding agent 一侧看，能接受多少耦合复杂度，取决于模型能力、上下文长度、memory 质量、工具质量、整体迭代速度。更强的模型能够同时处理更多相互作用；更长的上下文能让它少丢线索；memory 可以把跨轮次迭代经验留下；搜索、定位、运行、回放这些工具能够把一部分认知负担搬到外部。

把这两侧放一起，可以得到一组判断：

反馈越清楚，单位 agent 智力能维护的耦合复杂度越高；同等工具和反馈下，模型能力越强，能处理的耦合复杂度越高；模块化、测试、回放会把一部分耦合复杂度转移到环境里；memory 和工具会提高 agent 的有效上下文；只增长不压缩的 HS 会让耦合复杂度持续上升，直到超过维护能力。

Breakout 策略能走到 864 的满分，有规则简单的一面，也有失败可以视频回放、局部复现、回归验证的一面。Ant 复杂得多，但它可以拆成节律、姿态、接触、residual MPC 这些模块。

Montezuma 是一个很好的反例。Atari57 里有一条无人值守的记录到了 400 分，但那条路线由 86 个宏动作组成，基本是开环执行。这个例子说明，有些环境需要更强的程序形态，比如可组合宏动作、可恢复搜索状态、长期 memory。普通 if else 不能解决所有问题。

下一个范式？

目前的范式转移是从最开始的 pretrain，到 RLHF，再变成 large-scale RL / RLVR。凡是可以验证的，都开始能被解决。

Online Learning 和 Continual Learning 可以被当前 RLVR 生产出来的 agentic coding，通过 Heuristic Learning 的方式部分解决。从这个愿景出发，我愿称其为下一个范式：凡是可以被持续迭代的，都开始能被解决。

为什么说是部分解决？因为 Heuristic Learning 并不能做所有神经网络能做的事情。它受制于代码的表达能力，比如复杂感知和长程泛化。比如在我目前认知范围内，我想不出有个 agent 能搓出一个纯 Python code、不用神经网络去解决 ImageNet。

于是问题在于如何结合神经网络和 HL，同时解决 Online Learning 和 Continual Learning。最有希望的方向是：用 HL 处理在线数据快速生成在线经验，把在线经验内化成可训练、可回归、可筛选的数据，再周期性更新神经网络。

以机器人为例，如果套用 System 1/2 的术语，一个可能的分工形态如下：

专用、浅层 NN：当作 System 1 的一部分，快、便宜，负责感知、分类、物体状态估计；HL：也可以当作 System 1 的一部分，负责最新数据处理、规则、测试、回放、memory、安全边界、局部恢复；LLM agent：作为 System 2，负责给 HL 提供反馈、改进数据，并周期性提取 HL 生成的数据来更新自身

这套东西可以继续拆成层级结构：

关节级 HL -> 肢体级 HL -> 全身平衡 HL -> 任务级 HL

低层负责安全和低延迟控制，中层负责步态和接触，高层负责任务、恢复和长期记忆。coding agent 不一定直接 “懂得走路”，它更像插进系统里的更新管线：持续把失败视频、传感器流、仿真结果、测试结果喂进系统，再把反馈改写成代码、参数、保护规则和 memory。

LLM agent 可以共享，也可以相互隔离在机器人体内自行学习。这里的问题是：HL 提供的特定数据分布如何才能不让 LLM 的周期性更新崩溃。这是一个经典的 post-training 问题，已经有很多成熟经验，由于某些原因在这里就不展开了。

Agentic coding 改变了写代码速度，也改写了哪些代码值得被长期拥有。

过去很多 heuristic 看起来没有前途，原因常常落在维护成本上；它们本身未必太弱。coding agent 改变的是这条维护成本曲线。规则、测试、日志、memory 和补丁原来只是散落的工程材料，现在开始可以组成一个会持续更新的 Heuristic System，能够真正解决 Online Learning 和 Continual Learning 所未能解决的问题。

欢迎来到下一个范式！

附录：实验过程和复现入口

完整 artifact repo 在https://github.com/Trinkle23897/learning-beyond-gradients。下面命令默认你已经 clone 了这个 repo，并在仓库根目录运行；GitHub Pages 只展示文章和必要静态文件，完整脚本、CSV、视频和实验材料都在 repo 里。

以下实验中 codex 模型版本均为 gpt-5.4，最新版本模型尚未测试。以下实验报告均由 codex 自行攥写。

A.1 实验过程简述

一开始我直接问 Codex：“写一个能解决 Breakout 的策略。” 效果一般。低分没有解释力：它不知道是动作语义错了、状态检测错了、评测设置错了，还是策略结构本身不行。后来我把任务改成另一种形式：别只交一个 policy.py，要维护完整闭环。

闭环大概长这样：

探测动作和观测-> 写状态检测器-> 写策略-> 跑完整回合-> 记录 trials.jsonl 和 summary.csv-> 生成视频或曲线-> 看失败模式-> 改策略-> 简化代码并做回归

到这里，任务的形状已经变了。最后产出的东西从一个策略文件，变成了一套还能继续改的实验系统。它有探测器，有记录，有回放，有失败模式，也有下一轮该怎么改的线索。

相关 artifact：heuristic_breakout.py、heuristic_breakout_trials.jsonl、heuristic_breakout_trials_summary.csv。

Breakout 表面上是几何问题：球在哪里，挡板在哪里，球撞墙以后会落到哪里。麻烦在后半段。策略可以一直接到球，却不再打到新砖，分数卡在一个稳定循环里。

Codex 第一轮先确认动作空间和观测形状，再从 RGB 画面里找挡板、球、砖块颜色，然后用这些图像标签去扫 128 个 RAM 字节。早期实验记录大概是这样：

trial_name score cumulative_env_steps noteshape_action_probe - 32 inspect obs/info/actionram_byte_corr_probe_v1 - 5,032 correlate RAM bytesram_fit_action_probe_v2 - 9,532 action 2=right, 3=leftbaseline_v0 99 16,303 initial RAM intercepttunnel0_v1 387 43,303 no tunnel offset

387 是第一个很容易骗过人的局部高分。策略已经能稳定接球，但它把球送进了一个周期：不会死，也不会继续清砖。人手写到这里，很容易继续调 “接球精度”。Codex 看了视频和最后几十步轨迹后，把问题定位到球路缺少扰动。

视频 artifact：heuristic_breakout_score387_tunnel0_render210x160.mp4。

第一个有效机制是打破循环：如果连续很久没有奖励，就在预测落点上周期性加偏移，把球从局部循环里打出去。这一改把分数从 387 推到 507。

后来又遇到另一个失败模式：高速低位球如果按普通截距追，挡板会被过度前视带偏。Codex 加了 fast_low_ball_lead_steps=3，分数从 507 跳到 839。

从 839 到 864，更像是在照料一个已经变复杂的系统。Codex 试了死区、发球偏移、卡住偏移、砖块平衡偏置、前视步数，很多方向都没用。最后起作用的是一个后期条件：分数超过第一面墙以后，卡住偏移只在离挡板还远的时候生效；快接球时把偏移逐步收掉，不然最后几块砖阶段会把挡板带偏。同时它加了一个很小的挡板漂移补偿，用来补动作和挡板位置之间的一步延迟。

视频 artifact：heuristic_breakout_ci3985ae2_score864_render210x160.mp4。

最终 RAM 默认配置三局验证是 864 / 864 / 864。后面 Codex 又把同一套几何控制迁移回纯图像输入：不用 RAM，只用 RGB 分割找挡板、球和砖块平衡。纯图像版本先是 310，然后 428，最后把后期 “卡住偏移逐步收掉” 的阈值放低到全程生效，7 个策略本地回合后第一次到 864，对应 14,504 个策略本地环境步。

这里不能写成 “纯图像从零 14.5K 步到满分”。真实过程是：Codex 先在 RAM 版本里摸出了几何控制、打破循环、后期收偏移这些结构；等结构稳定以后，再把状态读取层从 RAM 换成 RGB 检测器。纯图像的 14.5K 是迁移预算。

Ant 和 HalfCheetah

相关 artifact：heuristic_ant.py、ant_envpool.xml、heuristic_ant_trials.jsonl、heuristic_ant_trials_summary.csv、heuristic_halfcheetah_v5.py、heuristic_halfcheetah_v5_log.md。

Ant 的信号和 Breakout 不一样。Breakout 的几何结构很直观；Ant 是连续控制，动作是 8 个关节，失败模式也从 “球没接到” 变成了身体动力学问题。

我没有一开始就指定 “用 CPG” 或 “用 MPC”。要求只有几条：别训练神经网络，能本地复现，每轮实验留下记录，继续把分数往上推。Codex 先读 EnvPool/Gymnasium 的 Ant 观测和回报，确认动作顺序、根部速度、躯干朝向、关节位置和关节速度，然后自己提出第一版节律步态。

第一版是四腿相位振荡器：左右腿反相，髋关节和踝关节跟踪正弦目标角，动作由 PD 控制器给出。它不优雅，但一上来就比随机强很多，5 个随机种子的平均分是 2291。

后面的早期迭代很像调一个真实控制器：先加偏航反馈到 2718，再调相位速度、髋 / 踝幅度、偏航角速度增益到 3025，然后加二阶 / 三阶谐波到 3162。Codex 也试过大范围参数搜索，但结果没有稳定超过当前节律策略，于是停止扩大搜索预算，转向另一种表示。

跃迁来自 residual MPC。粗略讲，MPC 是 “边走边想一小段未来”：保留节律步态作为基础反射，每个真实环境步在本地 MuJoCo 模型里采样几十条小的残差动作序列，打分后只执行第一个残差动作；下一步重新看状态、重新规划，并把上一轮没执行完的计划作为热启动。

这样每一步都不用从零规划 8 个关节怎么动。策略先有一个稳定步态，再用短视窗模型规划去修正它。

trial_name score_mean cumulative_env_steps noteant_lr_cpgpd_v1 2291.9 5,000 左右腿反相 CPG + PDant_yawaxis_grid_v2 2857.9 20,000 偏航反馈 + 重调参数ant_h3_428_v1 3162.0 50,000 二阶/三阶谐波ant_mpc_residual_v1_ep1 3635.5 62,000 视窗=6，候选=32ant_mpc_residual_cfg4_eval5 3964.7 67,000 视窗=8，候选=48ant_mpc_residual_cand07_eval5 4647.1 73,000 围绕 MPC 配置做局部搜索ant_mpc_residual_narrow04_eval5 4871.3 79,000 降低 z 目标，增大 kp/候选数ant_mpc_residual_warm02_eval5 5165.2 85,000 热启动残差计划ant_mpc_fast065x060_sigma008_clip012 5759.4 95,000 更快步态 + 更大残差ant_mpc_term001_ep1 6054.5 100,000 终端速度代价ant_mpc_default_adaptive_ep1 6146.2 106,300 速度自适应相位 + 支撑期

到最后，策略里有振荡器相位、支撑期比例、速度自适应、滚转 / 俯仰 / 偏航反馈、脚部接触、短视窗模型内展开、残差平滑、终端速度代价、热启动计划衰减。人类当然能写其中一两个模块，但要在短时间内同时照顾实验记录、代码、视频和失败方向，难度完全不同。

视频 artifact：heuristic_ant_mpc_default_6146_render480.mp4。

HalfCheetah 是同一类证据的另一个点。我重新跑了mpc-staged-tree-asym-pd-cpg 的 5 局复测，seeds 100..104 的结果是均值 11836.7、最小值 11735.0、最大值 12041.2。策略靠的是可解释的步态 / 姿态规则和在线 staged-tree MPC：先用 CPG/PD 形成高分步态，再用短视窗模型评分和 staged swing-amplitude schedule 修正动作。

相关 artifact：atari57_prompt_template.txt、atari57_aggregate_curve_steps.csv、atari57_env_mode_summary.csv、openrl_atari57_per_game_hns_comparison.csv、atari57_hns_normalization_inferred.csv。

Breakout 和 Ant 都是单点故事。Atari57 想看的，是这套工作流离开单个漂亮案例以后还剩多少。做法很直接：把同一套 Codex 流程扔到整套 Atari57 上，每个环境同时跑 ram 和 native_obs 两种输入，每种输入跑 3 个独立重复。总共是：

57 个游戏 x 2 种输入 x 3 次运行 = 342 条 coding-agent 搜索轨迹

这组实验没有人在旁边一点点提示。每个 agent 拿到同一个模板和不同的 ENV_ID / OBS_MODE / REPEAT_INDEX，然后自己执行到停止。每个 run 都要写 policy.py、trials.jsonl、summary.csv、sample_efficiency.png 和 README.md。

主要约束是：

- 不训练神经网络。- 不读环境源码、测试、ROM 细节或隐藏状态。- native_obs 模式只能用 reset/step 返回的原生 obs。- ram 模式可以用 info ["ram"]。- Atari 初始化参数固定，包括 frame_skip=1、reward_clip=False、sticky action=0。- 所有实际 step 过环境的 probe/debug/trial 都必须计入 cumulative_env_steps。

先看环境步曲线。HNS 是 human-normalized score，也就是把每个游戏分数按人类基线归一化以后再比较。在完全无人工介入的批量运行里，native_obs 到 1M 步附近的 Atari median HNS 已经到 0.32，ram 是 0.26，明显高于图里 PPO2 / CleanRL EnvPool PPO 的早期曲线；到 9.7M 步附近，native_obs 是 0.81，ram 是 0.59。同一张对比里，OpenRL Benchmark 保存的 PPO2 / CleanRL EnvPool PPO median HNS 曲线到 10M 步大约是 0.88 / 0.92。

这里比较的是环境交互效率；coding agent 读日志、写代码和看视频的开销没有折算进总计算成本。它给出的信号很具体：一个还很粗糙的 coding agent 批量流程，在完全不看中途结果的情况下，已经能把 Atari57 的中位数推进到接近这些 baseline 的区间。

如果换成每个游戏最终取 best input 的汇总口径，Codex median HNS 是 0.83，OpenAI Baselines PPO2 是 0.80，CleanRL EnvPool PPO 是 0.98；如果再放宽到 best single run，Codex median HNS 是 1.18。这个口径不能替代严格训练曲线比较，但能更直接地说明这批无人值守搜索最后覆盖到了什么水平。

聚合曲线会把差异压到一个中位数里，所以我又看了每个游戏自己的 HNS。Breakout、Krull、DoubleDunk、Boxing、DemonAttack 这些游戏里，heuristic 和 Deep RL baseline 都能拿到明显高于人类基线的分数；Asterix、Jamesbond、Centipede、Bowling、Skiing、Tennis 这类游戏里 heuristic 相对突出；Atlantis、VideoPinball、UpNDown、Assault、RoadRunner、StarGunner 上 PPO 明显强很多。

Atari57 最有意思的地方，是样本效率的来源变了。传统神经网络 Atari 学习要在每个环境里从高维输入重新学表示、信用分配和动作含义；Codex 做的是把环境拆成可维护的小程序系统：射击游戏的瞄准 / 躲避，接球游戏的反弹，躲避游戏的位置规则，环境包装器细节，以及每个环境自己的失败实验记录。

相关 artifact：heuristic_montezuma.py、heuristic_montezuma_state_graph_search.py、heuristic_montezuma_400_policy.py、heuristic_montezuma_400_macros.json、heuristic_montezuma_400_metadata.json。

有些环境不适合普通反应式启发式策略。Montezuma's Revenge 是典型例子。

之前那轮单独搜 Montezuma 的状态图搜索能把钥匙距离从 72 推到 28，但奖励仍然是 0。后面 Atari57 的纯图像批量实验里，有一条无人值守 Codex run 到了 400.0 分：修复后的最佳回放是 repair_replay_r1_t19734，seed 是 10001，用了 1769 个环境步，本质是一条 86 个宏动作组成的开环路线。

Montezuma 暴露的是表达力问题。普通 policy.py 状态机很难装下这类路线：动作必须对齐时机，失败后要能恢复，中间状态还要能重新进入计划。有些环境需要可组合宏动作、可恢复搜索状态，甚至需要一种比普通 if else 更适合长期规划的程序结构。

这类失败对 HL 很有价值。它告诉华体汇(中国)边界在哪里，也提示下一层抽象大概该长什么样。有些反馈需要新的表示和新的程序形态，才进得了系统。Montezuma 指向的下一层接口，大概会包括宏动作、可恢复状态、搜索和长期记忆。

A.2 复现入口

下面这些命令默认在本文所在目录运行，依赖已经按 requirements.txt 装好，用来检查前面提到的几个代表性结果。

复现入口：heuristic_pong.py。

python heuristic_pong.py \ --policy ram \ --episodes 1 \ --seed 0

期望输出里应该包含 episode=0 score=21.0 和 mean=21.000。

Breakout 864

复现入口：heuristic_breakout.py。

rm -f /tmp/repro_breakout_864.jsonl /tmp/repro_breakout_864.csvpython heuristic_breakout.py \ --policy ram \ --episodes 1 \ --seed 0 \ --max-steps 108000 \ --deadband 3 \ --chase-lead-steps 6 \ --tunnel-offset 0 \ --launch-offset 24 \ --fast-ball-min-vy 3 \ --fast-low-ball-lead-steps 3 \ --stuck-trigger-steps 1024 \ --stuck-switch-steps 256 \ --stuck-offset 12 \ --stuck-release-horizon-steps 8 \ --brick-balance-deadzone 0.01 \ --brick-balance-bias-min-score 432 \ --late-game-paddle-lag-px 2 \ --late-game-lag-ball-y 170 \ --trial-name repro_breakout_864 \ --log-path /tmp/repro_breakout_864.jsonl \ --summary-path /tmp/repro_breakout_864.csv

期望输出里应该包含 score=864.0 和 mean=864.000。

Ant 默认 MPC 策略

复现入口：heuristic_ant.py、ant_envpool.xml。

rm -f /tmp/repro_ant_6146_eval5.jsonl /tmp/repro_ant_6146_eval5.csvpython heuristic_ant.py \ --policy mpc \ --episodes 5 \ --seed 0 \ --max-steps 1000 \ --mujoco-xml-path ant_envpool.xml \ --trial-name repro_ant_6146_eval5 \ --log-path /tmp/repro_ant_6146_eval5.jsonl \ --summary-path /tmp/repro_ant_6146_eval5.csv

我本地重跑时是 mean=6005.521、min=5776.805、max=6146.208。

HalfCheetah staged-tree MPC

复现入口：heuristic_halfcheetah_v5.py。

python heuristic_halfcheetah_v5.py \ --policy mpc-staged-tree-asym-pd-cpg \ --eval-episodes 5 \ --eval-seed 100

我本地重跑时 5 局均值是 11836.693。

Montezuma 400 分回放

复现入口：heuristic_montezuma_400_policy.py。

python heuristic_montezuma_400_policy.py \ --metadata-out /tmp/repro_montezuma_400.json

期望输出里应该包含 "score": 400.0 和 "env_steps": 1769。这条是边界案例，不要把它理解成通用 Montezuma 策略。

文中视频链接：https://mp.weixin.qq.com/s/LIhogqKOvyDir04Ket7G0w

全国已有13个省份全省实施中小学春秋假

华体汇电竞-华体汇(中国)

“格斗女中医”石铭斩获UFC生涯首胜

“格斗女中医”石铭斩获UFC生涯首胜

百万最新免费软件游戏

下载

首页>>柳州地震一名91岁老人被救出

华体汇电竞-华体汇(中国):“格斗女中医”石铭斩获UFC生涯首胜

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

58.42MB

版本{版本}

下载APK高速下载

下载再OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？安装你想要的应用 更方便 更快捷 发现更多

94%好评(58人)

41

详细信息

• 软件大小:24.52MB
• 最后更新:2026-06-14 12:20:38
• 最新版本:{版本}
• 文件格式:apk
• 应用分类:ios-AndroidOpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？
• 使用语言:中文
• :需要联网
• 系统要求:2.86以上

应用介绍

?第一步：访问《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》官网?首先,打开您的浏览器,输入《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步：点击注册按钮?一旦进入《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》网站官网，您会在页面上找到一个醒目的注册按钮。点击该按钮，您将被引导至注册页面。??
?第三步：填写注册信息 ?在注册页面上，您需要填写一些必要的个人信息来创建《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息，以确保顺利完成注册。?
?第四步：验证账户?填写完个人信息后，您可能需要进行账户验证。《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。?
?第五步：设置安全选项?《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。?
?第六步：阅读并同意条款?在注册过程中，《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。??
?第七步：完成注册?一旦您完成了所有必要的步骤，并同意了《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》网站的条款，恭喜您！您已经成功注册了《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》网站账户。现在，您可以畅享《OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!?
【联系华体汇(中国)】
客服热线

加载更多

版本更新

{版本}

OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？

• 机器人登上车厢 黑龙江“插秧专列”赋能科技兴农再出发
• 伊朗正制定霍尔木兹海峡相关法律草案
• 人生不过几届世界杯
• 哈尔滨为何遭遇沙尘暴突袭
• 22名医生给特朗普做年度体检：用药状况公布，当总统后增重
• 张忠军任湖北恩施州委书记
• 百万网红卖假牛肉卷 曾承诺假一赔万
• 长江口南槽航道治理二期工程今天开工 将进一步提升通航能力
• 深耕中外文体交流 渝籍华侨献策三峡体育产业国际化发展
• 儿时记忆中的弹弓何以走入国际赛场？
• 中国轴向磁通电机研究取得新突破 赋能具身智能等新兴产业
• 工信部：到2029年形成一批自主创新的6G技术方案
• 数智赋能东海管理 自然资源部东海局“东溟智驭”智联体正式发布

• 

  个人成长四大关键阶段如何修心养性？《人生四养》丛书开卷助益

  华体汇电竞-华体汇(中国):美日英债市同时崩了

  详情

查看更多

加载中，请稍等...

华体汇电竞-华体汇(中国): OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？类似软件

• 美国要向宁德时代下手了

  全球石油市场或将进入“危险区域”

• 市值蒸发近70亿，投资者发起索赔，巨力索具怎么了？

  菲律宾：南部强震已致47人死亡 逾34万人受灾

• 2026文化强国建设高峰论坛在深圳开幕 李书磊出席并发表主旨演讲

  豪车变善款 张雪这笔账到底赚了什么

• 广西（重庆）产业合作中心揭牌成立

  实习先交钱？大学生求职季警惕遭遇陷阱

• 孙平：真人短剧仍然是当前最具生命力的内容形态之一

  走好建设科技强国的必由之路——新时代我国基础研究实现新飞跃

• 第28届上影节红毯盛典：世界影人共赴光影之约

  亚洲首座专业货运机场智慧公共国际货站通过验收

• 日媒：日本防卫省正以冲绳为前沿强化“战时医疗”体制

  柬埔寨鲜榴莲开通广州港南沙海运进口新通道

• “青春华章·‘两弹一星’铸丰碑”网络主题宣传活动走进“中国原子城”

  王楚钦：抱着必胜信念迎战日本队

• 行走美丽画卷｜黑龙江伊春：在红松林海，丈量人与自然的距离

  豹8豹5闪充版首搭首发比亚迪云辇-P Ultra

• 中国驻马来西亚使馆举办中马建交52周年主题使馆开放日活动

  中国私募基金规模达23万亿元

• 赵乐际就日本前众议长河野洋平逝世向遗属致唁电

  徽菜馆招牌故意将徽写微已挂几年了

• 媒体：孙俪就像一颗新鲜的非洲橘

  中国盾构机向世界输出中国方案

• 东西问｜李海勇：漳州月港督饷馆为何被视为中国现代海关制度的缘起？

  2026年美加墨世界杯开幕：揭幕战三张红牌　墨西哥2：0击败南非

• 结婚22年，俩儿子都不是亲生的！法院怎么判？孩子怎么办？

  第16个中国旅游日启动后全国首趟银发旅游专列启程

• 32支顶尖高校机甲战队长沙同台竞技

  全球海洋现象智能预报大模型“琅琊”2.0在山东青岛发布

• 盛和资源：稀土供需有望持续改善

  滞留波斯湾两个半月 “湘江口”轮平安归国重启新航程

• 哈铁推出定制化服务 便利“东北超”球迷观赛

  视频丨《习近平的文化情缘》等纪录片在老挝启播

• 从枝头到舌尖 广西完善产销链条助荔枝“鲜”行海内外

  女子遭家暴扔下悬崖致死 哥哥发声

• 新一代理想L6申报图公布

  防灾减灾宣传周来了 一图读懂家庭应急物资该备什么

• 13只机器人主题ETF总规模达574亿元

  多名日本学者向南京大屠杀死难者鞠躬献花，有人现场落泪：承认罪行并诚恳道歉是日本唯一出路

• 助残日走进青海“共富工坊”：巧手造物 自立自强迎新生

  全球股债汇商集体走强

• 山西万荣黄河滩涂麦浪飘香迎丰收

  第二届世界人形机器人运动会50个赛项全部确定

• 夏日炎炎，带你一睹武警官兵的高燃训练瞬间！

  河南现有博物馆已达411家 年接待观众超9700万人次

• 天天吃鸡蛋vs很少吃鸡蛋 谁更健康

  光大期货：5月12日软商品日报

• 海伦哲：取得发明专利证书

  （滇藏公路50年）“伊”江情深，一对中缅夫妻的峡谷生活

• 告别盲目进补！甲状腺与营养的正确打开方式

  吉林东辽河源头梨花漫谷 百年古梨风姿依旧

• 文脉华章|华体汇(中国)为什么需要博物馆

  中欧班列开行突破13万列，发送货值超5200亿美元

• “软黄金”冬虫夏草新鲜上市：线下交易与线上直播带货并行

  亚太工商界伙伴关系对话会暨2026苏州全球招商大会举行

• 邮轮爆发汉坦病毒或出现人传人

  青海面向全国游客倡议“零塑出行”

• “中国黑木耳之乡”东宁：今年黑木耳产值将突破39亿元

  外交部：“台独”势力妄图分裂国家注定是绝路死路

• 长春街头已出现大量飞絮

  财经聚焦｜5月物价数据释放哪些信息

• 重庆集中发布文化遗产保护传承成果

  柳南区地震区域搜救出2名被困人员 已无生命体征

• 西藏墨脱果果塘大拐弯引客来 公路通途铺就文旅致富路

  应急管理部针对重庆、广西启动国家地质灾害四级应急响应

• 中国驻伦敦旅游办持续深化苏格兰市场推广合作

  浙江宁波：甬台青年共话“红帮”文化 在交流中寻找新机遇

• “小苹果”培育“大产业” 陕西延安加速打造千亿级苹果产业集群

  南海东北部未来24小时内有热带低压生成

• 中国快递协会发布“以竹代塑、向绿而行”倡议书

  全球首例重引入雪豹繁殖出 “豹二代”

相关攻略

• 俄罗斯举行胜利日红场阅兵
  2026-06-14 12:20:38

包含 饿了么 的应用集

• 
  美国总统特朗普将对中国进行国事访问

  民营造船新突破 我国10万立方米超大型乙烷运输船出江试航

  270973642026-06-14 12:20:38
• 
  三杯清茶慰乡愁 潮人茶文化摄影展在京开幕

  中美将在韩国举行经贸磋商

  9897412026-06-14 12:20:38
• 
  绿意“缝合”伤疤，若尔盖的“人、草、畜”新故事

  学而时习之丨建设生态文明 功在当代 利在千秋

  183659742026-06-14 12:20:38
• 
  （乡村行·看振兴）年轻业态促共富 浙江景宁山村“产业操盘手”玩转变废为宝

  A股科技创新50强出炉

  64534262026-06-14 12:20:38
• 
  第三届雄安未来之城场景汇“雄安国际绿色能源技术应用大赛”决赛启动

  甘浙特高压受端配套工程首条送出线路贯通

  156957832026-06-14 12:20:38
• 
  为高考保驾护航 双胞胎小姐妹连续三年参加志愿活动

  一季度全国结婚登记169.7万对

  9921502026-06-14 12:20:38
• 
  福建武夷山迎来制茶繁忙季

  @在城镇打拼的你 这份文件事关住房、就医、子女入学

  6202092026-06-14 12:20:38
• 
  乌鲁木齐市人大常委会副主任曹斌被查

  首届MRO及航材供应链展在北京开幕

  995842592026-06-14 12:20:38
• 
  冈比亚副总统贾洛：发展是为了人的幸福 华体汇(中国)与中国有着共同看法

  广东将布局一批超算、智算和边缘计算节点 加快发展词元经济

  2595032026-06-14 12:20:38
• 
  首尔举行午睡比赛 八旬老人夺冠

  今年将迎史上最热夏天？气象专家回应

  10453112026-06-14 12:20:38
• 
  全球利率震荡 LPR以静制动

  完善广告监管制度体系 市场监管总局出台《广告引证内容执法指南》

  5553314952026-06-14 12:20:38
• 
  美防长“香会”回应中方提问：希与中国防务部门开展更多对话

  多家A股上市华体汇电竞-华体汇(中国)集中“补税”

  93654912026-06-14 12:20:38
• 
  2026年中国公路自行车联赛（北京·昌平）落幕

  中国海警位台岛以东海域执法巡查 发言人指明针对日菲侵权

  493737262026-06-14 12:20:38
• 
  甘肃临夏：多民族小小双语讲解员讲述家乡地质亿年故事

  惊险抢修！电工暴雨中爬上电线杆作业恢复供电

  335684322026-06-14 12:20:38
• 
  全球瞭望｜阿尔及利亚议员：阿中多领域合作前景广阔

  文班亚马当选NBA西决MVP

  92485002026-06-14 12:20:38
• 
  “灾难性故障” 悉尼灯光节近90架无人机表演时坠落

  美国五角大楼发生“危险品事件” 部分区域被封锁

  876029682026-06-14 12:20:38
• 
  国家发改委：预计异常气候不会对夏粮产量产生较大影响

  美媒：特朗普中期选举策略引争议

  361896832026-06-14 12:20:38
• 
  金正恩向普京致贺电

  演员拿赛车事故当“梗”？脱口秀表演岂能拿生死灾难博噱头

  84633592026-06-14 12:20:38
• 
  为什么夺冠的 偏偏是一支“草台班子”？

  今年职工基本医保个人账户实现跨省共济

  545295332026-06-14 12:20:38
• 
  涉疫邮轮已有94名乘客分批回国 世卫组织建议隔离42天

  中国机器人在美“出差”买票坐飞机

  72946702026-06-14 12:20:38
• 
  广西北海海上风电单桩基础设备出运越南

  中国四大名锦江苏南京同台“合璧”

  9992522026-06-14 12:20:38
• 
  “五一”假期“科技游”热 科技特产成新兴伴手礼

  2026年全球贸易投资促进峰会北京倡议发布

  286480442026-06-14 12:20:38
• 
  饭店石锅上有密集小虫 顾客拒绝私了

  塞尔维亚总统夫人在北京写毛笔字 学念中文

  61170412026-06-14 12:20:38

友情链接

• 广西柳州发生5.2级地震 武警官兵奔赴震区搜救
  2026-06-14 12:20:38
• 德国中国商会就欧委会依据《外国补贴条例》排除中企发表声明
  2026-06-14 12:20:38
• “天下奶娘回祖庙”活动福建古田举行 海内外陈靖姑信众虔诚拜谒
  2026-06-14 12:20:38

安卓手机网上最贴心的Android软件应用平台!版权所有：OpenAI翁家翌：梯度之外，下一个AI训练范式有着落了？有限华体汇电竞-华体汇(中国)备案号：京ICP备17065190号-1

华体汇电竞-华体汇(中国)

<small id='4qBRvK'></small><noframes id='uHYqx7'>

<tbody id='lIfFw3'></tbody>

<tfoot id='dTs0'></tfoot>

<legend id='bAItp3B8'><style id='t4zu'><dir id='KTFoc'><q id='psp57'></q></dir></style></legend>

<i id='5ciH'><tr id='t4qrY'><dt id='FFSln'><q id='1js4'><span id='FJi0A'><b id='ppiEHa'><form id='BBOprE'><ins id='Mvd9'></ins><ul id='DKjFi'></ul><sub id='bg2FH'></sub></form><legend id='yNSZ4'></legend><bdo id='3YZ9ilXC'><pre id='OVBuk'><center id='HL9ffw'></center></pre></bdo></b><th id='N5BXY'></th></span></q></dt></tr></i><div id='e0efu'><tfoot id='xU8UaX'></tfoot><dl id='Yqgd2'><fieldset id='UVpaD8'></fieldset></dl></div>

<bdo id='i7LQ'></bdo><ul id='LQUU7'></ul>

<li id='1Gl2v'><abbr id='O6evm'></abbr></li>