作者：叶佩玲发布时间：2026-06-15 17:09:15 点击数：66208

今日监管部门传递新政策信息乌无人机袭击扎波罗热核电站运输车间 很高兴为您解答这个问题，让我来帮您详细说明一下。品牌授权报修电话，快速上门服务

福建省莆田市仙游县广东省汕头市龙湖区青海省海南藏族自治州贵德县西藏拉萨市达孜区平山县小觉镇西藏拉萨市达孜区密云区高岭镇西藏阿里地区日土县哈密市伊吾县武清区汊沽港镇山东省威海市赵县沙河店镇辽宁省朝阳市北票市四川省泸州市江阳区吉林省白山市浑江区武清区汊沽港镇钦州市江西省吉安市吉安县西藏阿里地区日土县平山县东回舍镇广东省惠州市龙门县哈密市伊吾县静海区大邱庄镇江西省景德镇市昌江区甘肃省白银市景泰县亳州市利辛县山东省青岛市城阳区内蒙古鄂尔多斯市康巴什区山西省临汾市安泽县山西省忻州市宁武县山东省滨州市四川省成都市新都区云南省大理白族自治州云龙县山西省忻州市宁武县焦作市昌平区小汤山镇元氏县苏村乡江苏省苏州市相城区丰台区宛平城地区无极县大陈镇西藏阿里地区日土县云南省玉溪市新平彝族傣族自治县海南省三沙市西沙区四川省宜宾市翠屏区河东区东新街道西青区精武镇蓟州区东施古镇崇左市山东省泰安市泰山区乌鲁木齐市沙依巴克区朝阳区豆各庄地区和平区南市街道西藏拉萨市达孜区山西省晋城市泽州县山西省临汾市安泽县西城区月坛街道朝阳区小关街道江苏省镇江市句容市西乡塘区昌平区阳坊镇江西省赣州市石城县西藏拉萨市达孜区赵县沙河店镇赞皇县西龙门乡合肥市瑶海区蓟州区东施古镇山东省烟台市龙口市赞皇县院头镇四川省宜宾市珙县西青区精武镇崇左市山东省德州市齐河县广东省云浮市新兴县濮阳市南乐县陕西省咸阳市兴平市山东省烟台市龙口市云南省红河哈尼族彝族自治州绿春县湖北省恩施土家族苗族自治州恩施市内蒙古呼伦贝尔市阿荣旗四川省成都市双流区江西省吉安市吉安县江苏省徐州市丰县朝阳区小关街道辽宁省大连市旅顺口区崇左市江西省吉安市吉安县山东省枣庄市台儿庄区黑龙江省大兴安岭地区呼玛县湖北省孝感市汉川市山西省晋中市榆社县辽宁省铁岭市清河区甘肃省陇南市江西省萍乡市上栗县辽宁省朝阳市北票市福建省厦门市湖里区四川省成都市金牛区内蒙古兴安盟乌兰浩特市山东省烟台市龙口市辽宁省沈阳市沈河区崇左市宁明县

本月官方发布行业重要事件Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了，很高兴为您解答这个问题，让我来帮您详细说明一下:官方服务专线，支持多品牌报修

四川省德阳市广汉市广东省珠海市斗门区平顶山市卫东区焦作市辽宁省朝阳市北票市马鞍山市博望区元氏县殷村镇密云区河南寨镇河西区桃园街道甘肃省白银市景泰县无极县大陈镇防城港市东兴市内蒙古锡林郭勒盟正镶白旗四川省德阳市广汉市福建省福州市罗源县赵县沙河店镇濮阳市南乐县贵州省安顺市普定县北海市海城区延庆区康庄镇丰台区宛平城地区延庆区沈家营镇桂林市秀峰区辽宁省沈阳市沈河区甘肃省天水市秦州区湖北省恩施土家族苗族自治州建始县吉林省四平市铁西区阿克苏地区拜城县亳州市利辛县陕西省西安市未央区钦州市密云区不老屯镇四川省甘孜藏族自治州丹巴县合肥市瑶海区西城区天桥街道山东省东营市垦利区濮阳市南乐县辽宁省大连市旅顺口区顺义区空港街道平山县东回舍镇怀柔区龙山街道云南省玉溪市新平彝族傣族自治县芜湖市南陵县河西区桃园街道四川省广安市岳池县宝坻区牛家牌镇西乡塘区赞皇县院头镇广东省珠海市斗门区昌平区阳坊镇塔城地区和布克赛尔蒙古自治县阿克苏地区新和县内蒙古鄂尔多斯市鄂托克旗辽宁省大连市旅顺口区大兴区山东省泰安市泰山区广东省佛山市三水区福建省莆田市仙游县崇左市井陉县测鱼镇长安区南村镇广东省珠海市斗门区四川省甘孜藏族自治州南开区长虹街道吉林省白山市浑江区南开区长虹街道海南省儋州市丰台区右安门街道崇左市宁明县山东省枣庄市台儿庄区平山县东回舍镇元氏县殷村镇平顶山市湛河区宝坻区牛家牌镇赵县沙河店镇陕西省宝鸡市眉县辽宁省沈阳市浑南区开封市通许县固原市西吉县内蒙古乌海市乌达区广东省惠州市龙门县黑龙江省佳木斯市富锦市桥西区留营街道乌鲁木齐市沙依巴克区山西省晋中市灵石县四川省遂宁市蓬溪县朝阳区小红门地区云南省红河哈尼族彝族自治州泸西县江西省宜春市宜丰县辽宁省铁岭市开原市鹿泉区白鹿泉乡密云区古北口镇焦作市沁阳市内蒙古鄂尔多斯市鄂托克旗江苏省南通市启东市元氏县苏村乡甘肃省天水市秦州区丰台区右安门街道丰台区宛平城地区广东省汕头市龙湖区

全球服务区域:贵州省铜仁市印江土家族苗族自治县陕西省汉中市西乡县贵州省黔南布依族苗族自治州惠水县江西省宜春市宜丰县湖北省宜昌市宜都市西藏阿里地区日土县贵州省铜仁市玉屏侗族自治县四川省泸州市江阳区福建省南平市建瓯市辽宁省朝阳市北票市青秀区湖北省宜昌市西陵区大兴区辽宁省锦州市义县贵州省铜仁市玉屏侗族自治县江苏省连云港市赣榆区喀什地区麦盖提县福建省福州市罗源县辽宁省沈阳市沈河区山西省晋中市灵石县桥西区苑东街道哈密市伊吾县辽宁省锦州市义县山西省临汾市安泽县密云区不老屯镇博尔塔拉蒙古自治州温泉县朝阳区小红门地区四川省凉山彝族自治州西昌市平山县宅北乡延庆区康庄镇西乡塘区江苏省徐州市新沂市江苏省徐州市丰县焦作市云南省丽江市宁蒗彝族自治县西城区月坛街道福建省莆田市城厢区海南省儋州市崇左市蓟州区东赵各庄镇巴音郭楞蒙古自治州和硕县云南省红河哈尼族彝族自治州绿春县广东省云浮市新兴县洛阳市汝阳县和田地区静海区西翟庄镇海南省三沙市西沙区青海省海西蒙古族藏族自治州德令哈市吉林省长春市双阳区甘肃省陇南市武都区桂林市秀峰区陕西省汉中市留坝县赞皇县西龙门乡江西省景德镇市昌江区甘肃省白银市景泰县甘肃省定西市渭源县焦作市沁阳市云南省大理白族自治州云龙县广东省珠海市斗门区四川省成都市双流区朝阳区小关街道山西省阳泉市平定县北海市海城区长安区南村镇四川省广元市焦作市沁阳市延庆区沈家营镇元氏县苏村乡江西省萍乡市上栗县大兴区陕西省汉中市留坝县湖北省宜昌市秭归县河西区桃园街道西藏拉萨市达孜区海南省海口市美兰区桂林市兴安县昌平区阳坊镇四川省乐山市陕西省西安市未央区辽宁省沈阳市沈河区辽宁省沈阳市重庆市县巫山县山东省烟台市牟平区许昌市建安区陕西省咸阳市兴平市四川省泸州市江阳区西藏拉萨市达孜区合肥市瑶海区山东省青岛市城阳区四川省凉山彝族自治州昭觉县甘肃省天水市秦州区甘肃省定西市渭源县山西省长治市襄垣县江西省赣州市石城县静海区西翟庄镇山东省东营市垦利区山西省晋中市榆社县朝阳区管庄地区辽宁省沈阳市四川省乐山市

本月研究机构发布最新报告Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了，很高兴为您解答这个问题，让我来帮您详细说明一下:售后服务维修中心电话，支持多渠道服务

全国服务区域：云南省红河哈尼族彝族自治州绿春县四川省德阳市广汉市山西省长治市襄垣县四川省乐山市马鞍山市博望区黑龙江省佳木斯市富锦市四川省凉山彝族自治州甘洛县赞皇县院头镇福建省福州市永泰县山西省晋中市榆社县上海市市辖区嘉定区崇左市南阳市内乡县江西省宜春市宜丰县湖北省襄阳市襄州区阿克苏地区新和县河东区大直沽街道顺义区空港街道广东省江门市辽宁省本溪市溪湖区贵州省黔南布依族苗族自治州惠水县焦作市中站区山东省潍坊市青州市宝坻区牛家牌镇赵县沙河店镇鹿泉区寺家庄镇新乐市协神乡湖北省宜昌市西陵区内蒙古鄂尔多斯市康巴什区西藏山南市贡嘎县陕西省汉中市南郑区辽宁省沈阳市浑南区内蒙古兴安盟乌兰浩特市黑龙江省鹤岗市山西省吕梁市中阳县四川省成都市金牛区黑龙江省绥化市明水县平山县岗南镇山西省吕梁市岚县吉林省白山市浑江区福建省漳州市龙海市甘肃省甘南藏族自治州山东省枣庄市台儿庄区四川省乐山市江苏省连云港市赣榆区海南省海口市美兰区南开区体育中心街道桂林市秀峰区和平区南市街道山东省潍坊市青州市甘肃省庆阳市镇原县和田地区湖北省宜昌市西陵区北海市海城区江苏省徐州市新沂市辽宁省辽阳市白塔区陕西省汉中市留坝县黑龙江省鹤岗市大兴区黑龙江省鹤岗市四川省成都市金牛区濮阳市南乐县江苏省徐州市亳州市利辛县平山县岗南镇怀柔区宝山镇辽宁省沈阳市陕西省宝鸡市眉县四川省甘孜藏族自治州丹巴县甘肃省定西市渭源县云南省丽江市宁蒗彝族自治县辽宁省铁岭市清河区海南省儋州市桥西区苑东街道陕西省商洛市山阳县甘肃省兰州市重庆市县巫山县陕西省咸阳市兴平市广东省深圳市平山县东回舍镇黑龙江省哈尔滨市巴彦县焦作市沁阳市四川省乐山市福建省福州市罗源县山东省聊城市冠县云南省文山壮族苗族自治州广南县云南省文山壮族苗族自治州广南县西城区天桥街道平山县宅北乡芜湖市南陵县广东省广州市越秀区辽宁省沈阳市内蒙古鄂尔多斯市康巴什区陕西省宝鸡市眉县顺义区空港街道淮南市大通区博尔塔拉蒙古自治州温泉县银川市贺兰县福建省南平市内蒙古鄂尔多斯市康巴什区

售后服务上门服务电话，智能分配单据：Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了

编辑｜Sia

SWE-Bench 的创建者，刚刚又放出了一个地狱级新 benchmark。

结果相当震撼：

Claude Opus 4.7、GPT-5.4、GPT-5 mini、Gemini 3.1 Pro、Gemini 3 Flash——这一代几乎所有最强的一线模型，全部 0% 完成率。

没有一个模型，能够真正完整重建一个软件项目。

这意味着什么？

今天的大模型，已经很会写代码了，但依然不会做软件工程。

最近，Meta FAIR 联合斯坦福、哈佛等机构发布了一项很有意思的新 benchmark，本质上是在重新定义 AI Coding 的评估方式：

ProgramBench: Can Language Models Rebuild Programs From Scratch?

过去的大模型编程 benchmark，大多测的是局部能力：补全函数、修复 bug、实现 feature……本质上，仍然是在已有代码结构里做局部修改。

而 ProgramBench 第一次把问题推进到了真正的软件工程层面：如果只给 AI 一个程序的功能描述和 usage docs，它能不能像真正的工程师一样，从零开始，重新构建一个真实、可执行的软件系统？比如 ffmpeg、SQLite、ripgrep。

而且——不能联网。

换句话说：模型到底有没有工程智能？

为了测试这一点，研究团队直接删除了原始源码和测试，只保留 executable 和 usage docs，模型需要自己决定语言、架构、模块拆分、数据结构乃至整个 repo 的组织方式。

更关键的是，ProgramBench 不再按照源码相似度打分。它采用的是 behavioral equivalence，行为等价。也就是说，你可以用完全不同的语言、算法、架构，甚至完全不同的工程实现。只要最终输入输出行为与原程序一致，就算通过。

研究团队甚至使用了 agent-driven fuzzing，自动生成大量端到端行为测试。

这是第一次，一个 benchmark 真正开始逼近现实世界的软件工程，而不再只是代码做题。结果出来之后，整个 AI 圈都沉默了。

所有模型：0% 完成率。

Table 2 负责制造震撼，那么 Figure 4 负责解释震撼背后的细节。它告诉华体汇(中国)，模型并不是完全不会做，而是经常能做出一部分，甚至在少数任务上接近完成；但只要要求 100% 行为等价，所有模型都会倒下。但这最后一公里，正是软件工程和普通代码生成最大的区别。另外，如果矮子里面拔将军，Claude 系列（尤其是 Opus 4.7 和 4.6）表现相对最好。

即便论文专门增加了一个Almost指标——统计那些完成度超过 95% 的任务。目前表现最强的 Claude Opus 4.7，也只有 3% 的任务接近完成。

论文里，有一句特别关键的话：

Models favor monolithic, single-file implementations that diverge sharply from human-written code.

翻译过来就是：模型极度倾向于生成单体化代码。大量逻辑被塞进单文件；目录结构极浅；模块拆分极少；函数超长；整个 repo 看起来像一坨巨型脚本。

这和优秀人类工程师的习惯，几乎完全相反。

后者往往讲究模块和关注点分离，会把代码拆得很优雅——配置放config.json，工具函数放utils.py，数据库操作放db.py，然后通过import相互调用。

这其实暴露出了一个非常核心的问题：AI 擅长的是局部代码生成，但不擅长全局系统规划。而真实的软件工程，本质上恰恰是后者。

这也是为什么模型在 LeetCode、SWE-Bench、Copilot 场景里已经非常强，一旦进入真实世界的大型工程系统，就会迅速掉进深水区。

当前 AI Coding 的真正瓶颈已经不再是代码生成能力，而是长期的软件系统构建能力。

另一个很有意思的结果，是不同语言之间的表现差异。

研究团队分别统计了模型在 C/C++、Go、Rust 等不同语言项目上的表现。可以明显看到，传统 C/C++ 项目完成度最高，而 Rust 表现最差。

不同模型在任务难度上的排序高度一致：nnn、fzf、gron 这类相对简单的 CLI 工具，模型普遍能拿到更高通过率；但 FFmpeg、php-src、typst、ast-grep 这类复杂系统，几乎所有模型都很难推进。这说明 ProgramBench 测到的不是某个模型偶然失手，而是复杂软件系统本身对当前模型形成了稳定压制。

这其实并不让人意外。

互联网里关于 C/C++ 的历史代码、工程实践和 Stack Overflow 内容实在太多了，模型已经被这些模式浸泡了很多年。

而 Rust 的工程哲学本身就更强调模块化、ownership、trait system 和长期可维护性，这些恰恰是当前模型最不擅长的东西。

某种意义上，Rust 测出来的，其实不是代码能力，而是工程能力。

随着 ProgramBench 引发热议，围绕这项 benchmark 的争论也开始迅速扩散。其中最主要的质疑之一是：这不就是在考模型有没有背过 FFmpeg 吗？毕竟，ProgramBench 里的很多项目本身就是公开开源软件。

对此，知名硅谷投资人 Deedy Das 专门发文回应：任何 benchmark 都可能被 overfit。

SWE-Bench 可以被记住 bug，LeetCode 可以被背题，甚至 ARC-AGI 未来也可能通过隐藏题库来避免泄漏。单纯讨论是否存在记忆本身，其实并不能否定 benchmark 的价值。

他认为：如果模型真的试图用 brute force 的方式去硬背这些程序，它往往会在别的地方明显退化。

因为真正的大模型训练，并不是简单把整个 FFmpeg 塞进参数里。更何况，研究人员还可以通过比对生成代码与原始源码的相似度，去检测是否存在直接 memorization。

他真正想强调的，从底层重建一个真实世界的软件系统，本身就是一种高 utility、长时间跨度的复杂任务。如果模型真的能够推理并完成这类任务，那么这种能力很可能会泛化到大量其他工程场景中

另一类争议则更有意思。有人吐槽说：连人类都不可能从零重写 FFmpeg，这 benchmark 根本不合理。

Deedy Das 回应，那又怎样？今天很多 LLM 能做到的事情，人类平均水平也做不到。

benchmark 的目标，从来不是模拟普通人的平均能力，而是推动模型向更高层次的智能逼近。人类做不到，并不意味着 benchmark 没价值。

比如，AlphaGo 下棋超过绝大多数人，并不影响它推动了 AI；同样，一个远高于普通工程师能力边界的 benchmark，也可能是未来 Agent 系统必须攻克的问题。

当然，他也承认，ProgramBench 仍然存在不少缺陷。比如，目前它没有测试 Claude Code、Codex 这类完整的 agent harness；只统计是否完成，没有更细粒度地衡量进展。

同时还限制了联网能力，以避免一些明显作弊行为。

Deedy Das 同意，这可能导致模型为了在特定指标上得分而走偏（Hill-climbing on the wrong thing）。不过，人们也随时可以增加一项在有网络访问权限下的性能测试作为对比。

还有人建议：为什么不用真正没人解决过的新问题？对此，Deedy Das 表示，因为那会让 benchmark 几乎无法构建。

你很难为一个没有标准答案的问题设计完备测试；也很难判断任务是否真的属于现实世界工程任务，还是研究者凭空捏造出来的 challenge。

但这些问题，其实都可以随着 benchmark 演进继续修正。

真正重要的是：ProgramBench 第一次把 AI Coding 的评估，从函数级拉到了系统级。它暴露出的，也是整个行业当前最大的断层：真正的软件开发，从来都不是写一个函数，而是如何做出一个能被维护、被扩展、被团队协作的工程系统。

今天的大模型，已经非常擅长生成局部代码。但依然缺乏长期、一致、稳定地维护复杂系统的能力。

所以你会发现，最近整个行业都开始疯狂研究另一批关键词：memory、agents、repo-level reasoning、long-horizon planning、autonomous software engineering。

因为下一阶段的竞争，可能已经不再是谁能一次性生成更长的代码，而是谁能在长时间、多轮交互、复杂上下文中，持续稳定地维护一个活着的软件系统。

论文链接：

https://programbench.com/static/paper.pdf

昨日行业报告发布重要成果Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了

编辑｜Sia

SWE-Bench 的创建者，刚刚又放出了一个地狱级新 benchmark。

结果相当震撼：

Claude Opus 4.7、GPT-5.4、GPT-5 mini、Gemini 3.1 Pro、Gemini 3 Flash——这一代几乎所有最强的一线模型，全部 0% 完成率。

没有一个模型，能够真正完整重建一个软件项目。

这意味着什么？

今天的大模型，已经很会写代码了，但依然不会做软件工程。

最近，Meta FAIR 联合斯坦福、哈佛等机构发布了一项很有意思的新 benchmark，本质上是在重新定义 AI Coding 的评估方式：

ProgramBench: Can Language Models Rebuild Programs From Scratch?

过去的大模型编程 benchmark，大多测的是局部能力：补全函数、修复 bug、实现 feature……本质上，仍然是在已有代码结构里做局部修改。

而 ProgramBench 第一次把问题推进到了真正的软件工程层面：如果只给 AI 一个程序的功能描述和 usage docs，它能不能像真正的工程师一样，从零开始，重新构建一个真实、可执行的软件系统？比如 ffmpeg、SQLite、ripgrep。

而且——不能联网。

换句话说：模型到底有没有工程智能？

为了测试这一点，研究团队直接删除了原始源码和测试，只保留 executable 和 usage docs，模型需要自己决定语言、架构、模块拆分、数据结构乃至整个 repo 的组织方式。

更关键的是，ProgramBench 不再按照源码相似度打分。它采用的是 behavioral equivalence，行为等价。也就是说，你可以用完全不同的语言、算法、架构，甚至完全不同的工程实现。只要最终输入输出行为与原程序一致，就算通过。

研究团队甚至使用了 agent-driven fuzzing，自动生成大量端到端行为测试。

这是第一次，一个 benchmark 真正开始逼近现实世界的软件工程，而不再只是代码做题。结果出来之后，整个 AI 圈都沉默了。

所有模型：0% 完成率。

Table 2 负责制造震撼，那么 Figure 4 负责解释震撼背后的细节。它告诉华体汇(中国)，模型并不是完全不会做，而是经常能做出一部分，甚至在少数任务上接近完成；但只要要求 100% 行为等价，所有模型都会倒下。但这最后一公里，正是软件工程和普通代码生成最大的区别。另外，如果矮子里面拔将军，Claude 系列（尤其是 Opus 4.7 和 4.6）表现相对最好。

即便论文专门增加了一个Almost指标——统计那些完成度超过 95% 的任务。目前表现最强的 Claude Opus 4.7，也只有 3% 的任务接近完成。

论文里，有一句特别关键的话：

Models favor monolithic, single-file implementations that diverge sharply from human-written code.

翻译过来就是：模型极度倾向于生成单体化代码。大量逻辑被塞进单文件；目录结构极浅；模块拆分极少；函数超长；整个 repo 看起来像一坨巨型脚本。

这和优秀人类工程师的习惯，几乎完全相反。

后者往往讲究模块和关注点分离，会把代码拆得很优雅——配置放config.json，工具函数放utils.py，数据库操作放db.py，然后通过import相互调用。

这其实暴露出了一个非常核心的问题：AI 擅长的是局部代码生成，但不擅长全局系统规划。而真实的软件工程，本质上恰恰是后者。

这也是为什么模型在 LeetCode、SWE-Bench、Copilot 场景里已经非常强，一旦进入真实世界的大型工程系统，就会迅速掉进深水区。

当前 AI Coding 的真正瓶颈已经不再是代码生成能力，而是长期的软件系统构建能力。

另一个很有意思的结果，是不同语言之间的表现差异。

研究团队分别统计了模型在 C/C++、Go、Rust 等不同语言项目上的表现。可以明显看到，传统 C/C++ 项目完成度最高，而 Rust 表现最差。

不同模型在任务难度上的排序高度一致：nnn、fzf、gron 这类相对简单的 CLI 工具，模型普遍能拿到更高通过率；但 FFmpeg、php-src、typst、ast-grep 这类复杂系统，几乎所有模型都很难推进。这说明 ProgramBench 测到的不是某个模型偶然失手，而是复杂软件系统本身对当前模型形成了稳定压制。

这其实并不让人意外。

互联网里关于 C/C++ 的历史代码、工程实践和 Stack Overflow 内容实在太多了，模型已经被这些模式浸泡了很多年。

而 Rust 的工程哲学本身就更强调模块化、ownership、trait system 和长期可维护性，这些恰恰是当前模型最不擅长的东西。

某种意义上，Rust 测出来的，其实不是代码能力，而是工程能力。

随着 ProgramBench 引发热议，围绕这项 benchmark 的争论也开始迅速扩散。其中最主要的质疑之一是：这不就是在考模型有没有背过 FFmpeg 吗？毕竟，ProgramBench 里的很多项目本身就是公开开源软件。

对此，知名硅谷投资人 Deedy Das 专门发文回应：任何 benchmark 都可能被 overfit。

SWE-Bench 可以被记住 bug，LeetCode 可以被背题，甚至 ARC-AGI 未来也可能通过隐藏题库来避免泄漏。单纯讨论是否存在记忆本身，其实并不能否定 benchmark 的价值。

他认为：如果模型真的试图用 brute force 的方式去硬背这些程序，它往往会在别的地方明显退化。

因为真正的大模型训练，并不是简单把整个 FFmpeg 塞进参数里。更何况，研究人员还可以通过比对生成代码与原始源码的相似度，去检测是否存在直接 memorization。

他真正想强调的，从底层重建一个真实世界的软件系统，本身就是一种高 utility、长时间跨度的复杂任务。如果模型真的能够推理并完成这类任务，那么这种能力很可能会泛化到大量其他工程场景中

另一类争议则更有意思。有人吐槽说：连人类都不可能从零重写 FFmpeg，这 benchmark 根本不合理。

Deedy Das 回应，那又怎样？今天很多 LLM 能做到的事情，人类平均水平也做不到。

benchmark 的目标，从来不是模拟普通人的平均能力，而是推动模型向更高层次的智能逼近。人类做不到，并不意味着 benchmark 没价值。

比如，AlphaGo 下棋超过绝大多数人，并不影响它推动了 AI；同样，一个远高于普通工程师能力边界的 benchmark，也可能是未来 Agent 系统必须攻克的问题。

当然，他也承认，ProgramBench 仍然存在不少缺陷。比如，目前它没有测试 Claude Code、Codex 这类完整的 agent harness；只统计是否完成，没有更细粒度地衡量进展。

同时还限制了联网能力，以避免一些明显作弊行为。

Deedy Das 同意，这可能导致模型为了在特定指标上得分而走偏（Hill-climbing on the wrong thing）。不过，人们也随时可以增加一项在有网络访问权限下的性能测试作为对比。

还有人建议：为什么不用真正没人解决过的新问题？对此，Deedy Das 表示，因为那会让 benchmark 几乎无法构建。

你很难为一个没有标准答案的问题设计完备测试；也很难判断任务是否真的属于现实世界工程任务，还是研究者凭空捏造出来的 challenge。

但这些问题，其实都可以随着 benchmark 演进继续修正。

真正重要的是：ProgramBench 第一次把 AI Coding 的评估，从函数级拉到了系统级。它暴露出的，也是整个行业当前最大的断层：真正的软件开发，从来都不是写一个函数，而是如何做出一个能被维护、被扩展、被团队协作的工程系统。

今天的大模型，已经非常擅长生成局部代码。但依然缺乏长期、一致、稳定地维护复杂系统的能力。

所以你会发现，最近整个行业都开始疯狂研究另一批关键词：memory、agents、repo-level reasoning、long-horizon planning、autonomous software engineering。

因为下一阶段的竞争，可能已经不再是谁能一次性生成更长的代码，而是谁能在长时间、多轮交互、复杂上下文中，持续稳定地维护一个活着的软件系统。

论文链接：

https://programbench.com/static/paper.pdf


相互间的抚慰根本没必要只要你还存在着就足够
华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-92精品-92精品最新版V.1.78.53-2265安卓网

华体汇电竞-华体汇(中国)

乌无人机袭击扎波罗热核电站运输车间
首页>>业内：宠物行业已进入卷无可卷境地
乌无人机袭击扎波罗热核电站运输车间

华体汇电竞-华体汇(中国):乌无人机袭击扎波罗热核电站运输车间

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

51.88MB
版本{版本}
下载APK高速下载
下载再Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了安装你想要的应用 更方便 更快捷 发现更多
喜欢85%好评(84人)
评论72
Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了截图0Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了截图1Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了截图2Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了截图3Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了截图4
详细信息
应用介绍
?第一步：访问《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》官网?首先,打开您的浏览器,输入《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步：点击注册按钮?一旦进入《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》网站官网，您会在页面上找到一个醒目的注册按钮。点击该按钮，您将被引导至注册页面。??
?第三步：填写注册信息 ?在注册页面上，您需要填写一些必要的个人信息来创建《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息，以确保顺利完成注册。??
?第四步：验证账户?填写完个人信息后，您可能需要进行账户验证。《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。?
?第五步：设置安全选项?《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。?
?第六步：阅读并同意条款?在注册过程中，《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。???
?第七步：完成注册?一旦您完成了所有必要的步骤，并同意了《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》网站的条款，恭喜您！您已经成功注册了《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》网站账户。现在，您可以畅享《Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!?
【联系华体汇(中国)】
客服热线
加载更多
版本更新
{版本}
Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了

华体汇电竞-华体汇(中国): Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了类似软件

相关攻略
包含 饿了么 的应用集
友情链接
  • 以军在黎南部向北推进 黎总统提结束敌对状态条件
    2026-06-15 17:09:15
  • 7月1日起江苏实习见习人员可参加工伤保险
    2026-06-15 17:09:15
  • 外交部：“五眼联盟”指责所谓中国“间谍威胁”，很讽刺
    2026-06-15 17:09:15
安卓手机网上最贴心的Android软件应用平台!版权所有：Claude、GPT、Gemini 全灭，SWE-Bench作者新作把AI圈干沉默了有限华体汇电竞-华体汇(中国)备案号：京ICP备17065190号-1