作者：吴冠中发布时间：2026-06-14 00:59:40 点击数：65913

本周行业报告披露政策新动向国台办驳斥大陆公务船闯太平岛言论 很高兴为您解答这个问题，让我来帮您详细说明一下。品牌授权报修电话，快速上门服务

井陉县吴家窑乡黑龙江省佳木斯市富锦市山东省潍坊市青州市吉林省白山市浑江区西藏山南市贡嘎县陕西省商洛市山阳县广东省江门市蓟州区东赵各庄镇武清区上马台镇甘肃省甘南藏族自治州广东省汕头市龙湖区蓟州区东赵各庄镇朝阳区小关街道江西省宜春市宜丰县朝阳区小关街道青海省玉树藏族自治州治多县青秀区陕西省咸阳市兴平市上海市市辖区嘉定区山东省泰安市东平县赞皇县院头镇桂林市兴安县山东省泰安市泰山区井陉县测鱼镇云南省大理白族自治州云龙县云南省玉溪市新平彝族傣族自治县贵州省铜仁市印江土家族苗族自治县平顶山市卫东区广东省惠州市龙门县四川省凉山彝族自治州昭觉县四川省泸州市江阳区福建省福州市罗源县海南省三沙市西沙区青海省海西蒙古族藏族自治州德令哈市昌平区延寿镇山东省淄博市临淄区山东省聊城市茌平区四川省广安市岳池县山东省泰安市泰山区朝阳区管庄地区元氏县殷村镇黑龙江省哈尔滨市巴彦县桂林市秀峰区江苏省徐州市新沂市辽宁省沈阳市密云区古北口镇辽宁省本溪市溪湖区山西省运城市夏县广东省云浮市新兴县延庆区沈家营镇黑龙江省大兴安岭地区呼玛县塔城地区和布克赛尔蒙古自治县四川省广安市岳池县北海市海城区海南省海口市美兰区陕西省西安市未央区山东省枣庄市台儿庄区陕西省汉中市留坝县朝阳区小红门地区青海省海西蒙古族藏族自治州德令哈市朝阳区双井街道甘肃省白银市景泰县四川省甘孜藏族自治州丹巴县青海省海西蒙古族藏族自治州德令哈市四川省甘孜藏族自治州泸定县江西省景德镇市昌江区青海省果洛藏族自治州信阳市平桥区四川省乐山市朝阳区管庄地区江西省宜春市奉新县甘肃省甘南藏族自治州山西省晋中市灵石县湖北省宜昌市宜都市蓟州区东二营镇广东省汕头市南澳县山西省长治市襄垣县鹿泉区白鹿泉乡四川省德阳市广汉市四川省凉山彝族自治州西昌市贵州省黔东南苗族侗族自治州天柱县福建省莆田市仙游县西藏拉萨市达孜区和田地区朝阳区小红门地区重庆市县巫山县江西省九江市武宁县云南省怒江傈僳族自治州福贡县平山县东回舍镇蚌埠市蚌山区广东省深圳市山西省忻州市定襄县湖北省宜昌市夷陵区密云区河南寨镇山西省晋城市泽州县黑龙江省绥化市明水县江西省宜春市宜丰县山西省吕梁市岚县河东区大直沽街道山东省泰安市泰山区

今日行业报告披露研究成果DeepSeek V4最大的遗憾，很高兴为您解答这个问题，让我来帮您详细说明一下:官方服务专线，支持多品牌报修

朝阳区双井街道阿克苏地区拜城县博尔塔拉蒙古自治州温泉县陕西省汉中市南郑区云南省玉溪市新平彝族傣族自治县密云区古北口镇云南省文山壮族苗族自治州广南县青海省玉树藏族自治州治多县黑龙江省伊春市金林区黑龙江省佳木斯市富锦市西城区月坛街道许昌市建安区崇左市宁明县云南省普洱市景东彝族自治县海南省三沙市西沙区山东省潍坊市青州市内蒙古鄂尔多斯市康巴什区丰台区宛平城地区辽宁省沈阳市浑南区山西省朔州市山阴县陕西省宝鸡市眉县江苏省徐州市丰县山东省聊城市茌平区山西省阳泉市平定县四川省凉山彝族自治州甘洛县重庆市市辖区北碚区喀什地区麦盖提县江苏省徐州市新沂市哈密市伊吾县赞皇县西龙门乡黑龙江省七台河市桃山区四川省凉山彝族自治州甘洛县四川省甘孜藏族自治州九龙县固原市西吉县四川省宜宾市江安县辽宁省沈阳市浑南区上海市市辖区嘉定区平山县东回舍镇西乡塘区四川省甘孜藏族自治州九龙县辽宁省铁岭市清河区芜湖市南陵县山西省晋城市高平市四川省乐山市江苏省苏州市相城区湖北省襄阳市襄州区内蒙古鄂尔多斯市鄂托克旗山西省临汾市安泽县云南省西双版纳傣族自治州勐腊县昌平区延寿镇武清区上马台镇湖北省宜昌市宜都市辽宁省朝阳市北票市黑龙江省大兴安岭地区呼玛县黑龙江省哈尔滨市巴彦县武清区汊沽港镇青海省海南藏族自治州贵德县大兴区静海区西翟庄镇焦作市内蒙古锡林郭勒盟镶黄旗云南省玉溪市新平彝族傣族自治县巴音郭楞蒙古自治州和硕县云南省红河哈尼族彝族自治州泸西县四川省成都市金牛区福建省莆田市城厢区辽宁省本溪市溪湖区四川省成都市新都区赵县沙河店镇丰台区宛平城地区吉林省白山市浑江区广东省珠海市斗门区甘肃省陇南市武都区鹿泉区寺家庄镇昌平区延寿镇四川省泸州市江阳区山东省滨州市蚌埠市蚌山区北辰区吉林省白山市浑江区内蒙古锡林郭勒盟镶黄旗贵州省铜仁市印江土家族苗族自治县百色市田林县黑龙江省佳木斯市汤原县江西省宜春市奉新县甘肃省兰州市福建省南平市平山县东回舍镇朝阳区双井街道黑龙江省鹤岗市海南省海口市美兰区江苏省镇江市句容市阿克苏地区新和县顺义区空港街道四川省宜宾市珙县江苏省连云港市赣榆区山东省聊城市茌平区南开区长虹街道江苏省徐州市新沂市甘肃省陇南市武都区

全球服务区域:福建省莆田市城厢区山西省晋中市榆社县江苏省徐州市许昌市建安区元氏县苏村乡广东省汕头市龙湖区海南省儋州市甘肃省白银市景泰县山东省聊城市冠县山西省吕梁市岚县南阳市内乡县河东区东新街道江苏省南通市启东市丰台区宛平城地区防城港市东兴市江西省赣州市石城县赵县沙河店镇江苏省镇江市句容市哈密市伊吾县广东省江门市内蒙古锡林郭勒盟正镶白旗许昌市建安区江西省鹰潭市余江区西青区精武镇广东省云浮市新兴县湖北省宜昌市西陵区蓟州区东二营镇云南省大理白族自治州云龙县江苏省南通市启东市四川省甘孜藏族自治州九龙县辽宁省沈阳市浑南区山东省东营市垦利区云南省丽江市宁蒗彝族自治县广东省广州市越秀区西藏阿里地区日土县福建省南平市怀柔区雁栖地区朝阳区管庄地区江苏省连云港市赣榆区北海市海城区蓟州区官庄镇辽宁省辽阳市白塔区陕西省宝鸡市千阳县钦州市陕西省宝鸡市眉县南阳市内乡县银川市贺兰县吉林省白山市浑江区芜湖市南陵县吉林省四平市铁西区广东省佛山市三水区焦作市内蒙古乌海市乌达区云南省西双版纳傣族自治州勐腊县云南省玉溪市新平彝族傣族自治县山西省晋中市灵石县山西省运城市夏县江西省九江市武宁县山西省吕梁市岚县朝阳区小红门地区山东省德州市齐河县重庆市县巫山县蚌埠市龙子湖区许昌市建安区行唐县龙州镇平山县小觉镇山东省烟台市龙口市江西省吉安市吉安县山西省阳泉市平定县和田地区黑龙江省伊春市金林区四川省甘孜藏族自治州丹巴县青海省海北藏族自治州门源回族自治县无极县大陈镇武清区上马台镇内蒙古兴安盟乌兰浩特市井陉县测鱼镇四川省德阳市广汉市固原市西吉县重庆市市辖区北碚区山西省临汾市安泽县蓟州区东二营镇陕西省商洛市山阳县山东省青岛市城阳区陕西省商洛市山阳县赞皇县院头镇西藏拉萨市达孜区河东区东新街道黑龙江省绥化市明水县密云区古北口镇云南省文山壮族苗族自治州广南县甘肃省白银市景泰县吉林省四平市铁西区四川省成都市金牛区广东省惠州市龙门县大兴区西藏阿里地区日土县青海省海西蒙古族藏族自治州德令哈市蚌埠市龙子湖区山西省长治市襄垣县

今日国家机构披露行业新动向DeepSeek V4最大的遗憾，很高兴为您解答这个问题，让我来帮您详细说明一下:售后服务维修中心电话，支持多渠道服务

全国服务区域：四川省宜宾市翠屏区昌平区延寿镇广东省惠州市龙门县鹿泉区寺家庄镇陕西省汉中市西乡县合肥市瑶海区江西省吉安市永新县贵州省黔东南苗族侗族自治州天柱县行唐县龙州镇平山县上观音堂乡山西省长治市襄垣县昌平区延寿镇焦作市沁阳市丰台区宛平城地区福建省南平市平山县小觉镇海南省儋州市赵县沙河店镇山东省烟台市牟平区福建省南平市建瓯市蓟州区官庄镇云南省西双版纳傣族自治州勐腊县焦作市中站区辽宁省沈阳市沈河区无极县大陈镇辽宁省铁岭市清河区四川省广元市陕西省汉中市西乡县蓟州区官庄镇朝阳区豆各庄地区内蒙古乌海市乌达区静海区大邱庄镇丰台区长辛店镇蓟州区东赵各庄镇江西省鹰潭市余江区南开区体育中心街道博尔塔拉蒙古自治州温泉县贵州省铜仁市玉屏侗族自治县开封市通许县山西省晋中市榆社县江西省萍乡市上栗县四川省泸州市江阳区濮阳市南乐县吉林省长春市双阳区云南省丽江市宁蒗彝族自治县北辰区平山县小觉镇江西省吉安市吉安县吉林省四平市铁西区四川省宜宾市翠屏区陕西省商洛市山阳县元氏县殷村镇四川省成都市新都区福建省福州市罗源县云南省玉溪市新平彝族傣族自治县云南省红河哈尼族彝族自治州泸西县蓟州区官庄镇崇左市宁明县河西区桃园街道云南省文山壮族苗族自治州广南县广东省汕头市龙湖区内蒙古锡林郭勒盟正镶白旗长安区广安街道山西省晋中市榆社县密云区高岭镇福建省莆田市城厢区丰台区长辛店镇鹿泉区寺家庄镇湖北省恩施土家族苗族自治州恩施市湖北省恩施土家族苗族自治州建始县北海市海城区江西省吉安市吉安县蚌埠市龙子湖区百色市靖西市山东省泰安市东平县山西省吕梁市岚县和田地区四川省成都市金牛区朝阳区管庄地区平山县东回舍镇密云区河南寨镇山东省烟台市牟平区广东省汕头市龙湖区福建省漳州市龙海市丰台区长辛店镇福建省厦门市湖里区福建省福州市永泰县四川省乐山市黑龙江省七台河市桃山区广东省珠海市斗门区青海省玉树藏族自治州治多县湖北省恩施土家族苗族自治州恩施市新乐市协神乡广东省汕头市龙湖区吉林省四平市铁西区许昌市建安区甘肃省天水市秦州区福建省南平市焦作市沁阳市平顶山市卫东区

售后服务上门服务电话，智能分配单据：DeepSeek V4最大的遗憾

henry 发自 凹非寺量子位 | 公众号 QbitAI

DeepSeekV4的技术报告里有mHC，有CSA，有HCA，有Muon，有FP4……

唯独没有Engram。

Engram去哪了？

这个话题一度成为网友们讨论的热点。

Engram在今年1月由DeepSeek和北大联合开源，主要研究大模型的记忆与效率问题。

自挂上arXiv的那一刻起，圈子里围绕它的探讨就没有停止过…

不仅仅因为它是V4的前奏，而是有了Engram，「伦敦是英国首都」这种事实，模型不用动用整个深层网络去重新推一遍，直接查就行。

不仅省显存，还能释放深层网络容量，用于更高阶的推理。

正因如此，自1月初论文发表以来，所有人都觉得，Engram就是V4的架构地基，所有人都在盼。

以至于V4发表后，大家第一时间就是command+f去论文里找Engram，可惜并没有。

以至于不少网友甚至觉得，没有Engram，V4就是不完整的。

没有Engram，可能是DeepSeekV4最大的遗憾。

不过，Engram并没有消失。随后三篇值得注意的论文接力出现：

CXL内存池化版本：把Engram放进多机共享的CXL内存池，解决大模型多机部署的存储问题。无冲突热层实验：对Engram的多头哈希优化进行了实证检验，证伪了一些直觉式改进方案。视觉Tiny Engram：AutoArk团队把文本Engram搬到视觉模态，扩展了它的应用边界。

所以，虽然V4没有Engram，但它的理念、探索和后续应用已经悄然铺开，为下一代模型打下基础。

Engram到底是什么

把时间倒回2026年1月12日。

那一天，DeepSeek联合北大放出了一篇33页的论文《ConditionalMemoryviaScalableLookup》。第一作者ChengXin，北大博士生，曾经署名过V3。最后一位作者，梁文锋。

先来一句话速通版，Engram是给Transformer加的一个原生知识查表模块。能查的别算，先查一下。

团队的核心观察是，语言建模其实包含两种性质完全不同的任务，一种是需要深度动态计算的组合推理，另一种是检索静态知识。

之前的问题在于，Transformer把这两件事混在一起做。模型识别一个实体时，得消耗好几层注意力和前馈网络逐层拼凑特征。

论文里举了个例子，「Diana，Princess of Wales」。模型要走6层才能把这个识别完。

前几层还在纠结「Wales是英国的一个地区」、「Princess of Wales是某种头衔」这些中间状态，最后一层才反应过来这是戴安娜王妃。

这种「用昂贵的运行时计算重建一个静态查找表」的活，本来可以让深层网络去干更高阶的推理。

对此，Engram的思路相当直接，既然经典的N-gram模型就能用O(1)的时间复杂度捕获这些局部依赖，那干脆把这能力直接嵌进Transformer。

打个比方，就像你做数学题，该用的公式不必每次从头推一遍，翻表代进去就行。Transformer之前没这张表，只能每道题都从公理走起。Engram等于把这张表交到模型手里。

具体做法是，在Transformer的第2层和第15层之间各插入一个Engram模块。

每个位置的输入会触发一次哈希查找，把当前token和前面几个token组成的N-gram映射到一个巨大的嵌入表里，直接取出对应的向量。

门控机制保证查到的内容跟当前上下文不匹配时自动屏蔽。比如「张」是个常见姓氏，但「张仲景」三个字凑一起就是固定历史人物实体了，门控就负责认出这种区别。

Engram的定位是MoE之外的另一条稀疏轴。MoE是把计算稀疏化，只激活一部分专家。Engram是把存储稀疏化，只查一部分条目。两者互补，不冲突。

论文最核心的一段实验，是固定总参数和每token激活参数，然后让MoE专家和Engram记忆抢预算，得到一条U形曲线。

纯MoE不是最优解。把大约20%-25%的稀疏参数分给Engram，模型loss达到最低点。

按这个曲线指导，团队把Engram扩到27B验证。激活参数3.8B，训练262B tokens，严格跟MoE-27B基线对齐。

结果知识密集型任务的提升符合预期(MMLU +3.4，CMMLU +4.0)，但通用推理和代码数学的提升超出预期(BBH +5.0，ARC-Challenge +3.7，HumanEval +3.0，MATH +2.4)，长上下文场景更夸张，Multi-Query NIAH从84.2%跃升到97.0%。

那么，为什么记忆模块还能反过来提升推理?

LogitLens和CKA给出了答案，Engram-27B第5层的表征，跟MoE基线第12层的表征最相似。

Engram把模型的早期层从「重建静态知识」这种苦力活里解放出来，这部分网络深度被腾出来做更复杂的推理。Engram不是新增了一块记忆，它还变相把网络加深了。

工程上。论文把一个1000亿参数的Engram表整个甩到host DRAM，在H800上跑推理，8B-Dense的吞吐损失只有2.8%。

靠的是Engram索引的确定性，只取决于输入token序列，完全可以提前算，CPU异步预取跟GPU计算重叠。

可以说，这个模块天生就不靠HBM，只可惜如今V4来了，Engram没来。

没在v4，但在其他地方

发明者把它放在那里没动，但路上还是有人。三个月里，至少出现了三个值得说一下的工作。

把Engram塞进CXL内存池

3月10日，北大、阿里云、山东英信、人大、港大联合发了一篇系统论文，《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改Engram本身，而是回答了一个更工程的问题，如果Engram真的成了下一代标配，内存放哪。

答案是CXL内存池化。GPU HBM放计算权重，本地DRAM做二级缓存，CXL池做三级。8台服务器共享4TB内存池，XConn XC50256交换芯片做拓扑，512GB/s带宽。

整套集成进SGLang，做了预取-计算重叠，跑下来端到端吞吐损失小于5%。Engram论文里那句「1000亿嵌入表卸载DRAM」的轻描淡写，被他们做成了27B和40B两个规模的真实测试。

结论很清楚，Engram这种确定性寻址、可预取的负载，几乎是为CXL量身定做的。

一个反直觉的实验

Engram论文上线第十一天，1月23日，一个叫TaoLin的研究者，单作者，放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化，Engram用多头哈希查表会有冲突，如果把高频N-gram用Minimal Perfect Hash Function完全消除冲突，模型会不会更好。

他设计了Engram-Nine，把记忆分成无冲突的「热层」和保留多头哈希的「冷层」。

结果反直觉。在严格iso-parameter控制下，无冲突设计没有稳定提升验证loss。

route-stratified评估还发现，训练初期热路径(高频)loss更低，但训练后期冷路径反过来超过热路径。

一个看上去显然的优化方向，被一个真做实验的人证伪了。

把Engram推到视觉(AutoArk/TinyEngram)

GitHub上一个叫AutoArk的团队搞了Tiny Engram。

基于Qwen-3完整复现文本Engram之后，他们做了一件论文里没做的事，把Engram搬到Stable Diffusion上。

视觉patch经过分层编码，底层抓纹理，中层抓部件，高层抓风格，然后整套丢进哈希查表。

跟LoRA比下来，达到同等效果，Engram需要的额外参数只有LoRA的15%到30%。连续注入多个新概念时，LoRA会出现明显的概念退化，Engram不会。

Engram原本是为文本设计的。AutoArk等于把这扇门撞开了，凡是能离散化、能哈希的模态，Engram都能搬。

三个月里，Engram这条路上，发明者最沉默，跟进者各自走了一步。

一个团队替它解决多机内存层级，一个独立研究者证伪了它一个看似显然的优化方向，一个开源团队把它推到了视觉。

而deepseek-ai/Engram这个仓库，最后一次提交还停在1月14日。

One more thing

Engram论文的摘要结尾有一句话：

华体汇(中国)认为条件记忆将是下一代稀疏模型不可或缺的建模原语。

看来，这个下一代得是V5了，难不成会是V4.1?

[1]https://arxiv.org/pdf/2601.07372

[2]https://arxiv.org/pdf/2603.10087

[3]https://arxiv.org/pdf/2601.16531

今日监管部门披露行业新变化DeepSeek V4最大的遗憾

henry 发自 凹非寺量子位 | 公众号 QbitAI

DeepSeekV4的技术报告里有mHC，有CSA，有HCA，有Muon，有FP4……

唯独没有Engram。

Engram去哪了？

这个话题一度成为网友们讨论的热点。

Engram在今年1月由DeepSeek和北大联合开源，主要研究大模型的记忆与效率问题。

自挂上arXiv的那一刻起，圈子里围绕它的探讨就没有停止过…

不仅仅因为它是V4的前奏，而是有了Engram，「伦敦是英国首都」这种事实，模型不用动用整个深层网络去重新推一遍，直接查就行。

不仅省显存，还能释放深层网络容量，用于更高阶的推理。

正因如此，自1月初论文发表以来，所有人都觉得，Engram就是V4的架构地基，所有人都在盼。

以至于V4发表后，大家第一时间就是command+f去论文里找Engram，可惜并没有。

以至于不少网友甚至觉得，没有Engram，V4就是不完整的。

没有Engram，可能是DeepSeekV4最大的遗憾。

不过，Engram并没有消失。随后三篇值得注意的论文接力出现：

CXL内存池化版本：把Engram放进多机共享的CXL内存池，解决大模型多机部署的存储问题。无冲突热层实验：对Engram的多头哈希优化进行了实证检验，证伪了一些直觉式改进方案。视觉Tiny Engram：AutoArk团队把文本Engram搬到视觉模态，扩展了它的应用边界。

所以，虽然V4没有Engram，但它的理念、探索和后续应用已经悄然铺开，为下一代模型打下基础。

Engram到底是什么

把时间倒回2026年1月12日。

那一天，DeepSeek联合北大放出了一篇33页的论文《ConditionalMemoryviaScalableLookup》。第一作者ChengXin，北大博士生，曾经署名过V3。最后一位作者，梁文锋。

先来一句话速通版，Engram是给Transformer加的一个原生知识查表模块。能查的别算，先查一下。

团队的核心观察是，语言建模其实包含两种性质完全不同的任务，一种是需要深度动态计算的组合推理，另一种是检索静态知识。

之前的问题在于，Transformer把这两件事混在一起做。模型识别一个实体时，得消耗好几层注意力和前馈网络逐层拼凑特征。

论文里举了个例子，「Diana，Princess of Wales」。模型要走6层才能把这个识别完。

前几层还在纠结「Wales是英国的一个地区」、「Princess of Wales是某种头衔」这些中间状态，最后一层才反应过来这是戴安娜王妃。

这种「用昂贵的运行时计算重建一个静态查找表」的活，本来可以让深层网络去干更高阶的推理。

对此，Engram的思路相当直接，既然经典的N-gram模型就能用O(1)的时间复杂度捕获这些局部依赖，那干脆把这能力直接嵌进Transformer。

打个比方，就像你做数学题，该用的公式不必每次从头推一遍，翻表代进去就行。Transformer之前没这张表，只能每道题都从公理走起。Engram等于把这张表交到模型手里。

具体做法是，在Transformer的第2层和第15层之间各插入一个Engram模块。

每个位置的输入会触发一次哈希查找，把当前token和前面几个token组成的N-gram映射到一个巨大的嵌入表里，直接取出对应的向量。

门控机制保证查到的内容跟当前上下文不匹配时自动屏蔽。比如「张」是个常见姓氏，但「张仲景」三个字凑一起就是固定历史人物实体了，门控就负责认出这种区别。

Engram的定位是MoE之外的另一条稀疏轴。MoE是把计算稀疏化，只激活一部分专家。Engram是把存储稀疏化，只查一部分条目。两者互补，不冲突。

论文最核心的一段实验，是固定总参数和每token激活参数，然后让MoE专家和Engram记忆抢预算，得到一条U形曲线。

纯MoE不是最优解。把大约20%-25%的稀疏参数分给Engram，模型loss达到最低点。

按这个曲线指导，团队把Engram扩到27B验证。激活参数3.8B，训练262B tokens，严格跟MoE-27B基线对齐。

结果知识密集型任务的提升符合预期(MMLU +3.4，CMMLU +4.0)，但通用推理和代码数学的提升超出预期(BBH +5.0，ARC-Challenge +3.7，HumanEval +3.0，MATH +2.4)，长上下文场景更夸张，Multi-Query NIAH从84.2%跃升到97.0%。

那么，为什么记忆模块还能反过来提升推理?

LogitLens和CKA给出了答案，Engram-27B第5层的表征，跟MoE基线第12层的表征最相似。

Engram把模型的早期层从「重建静态知识」这种苦力活里解放出来，这部分网络深度被腾出来做更复杂的推理。Engram不是新增了一块记忆，它还变相把网络加深了。

工程上。论文把一个1000亿参数的Engram表整个甩到host DRAM，在H800上跑推理，8B-Dense的吞吐损失只有2.8%。

靠的是Engram索引的确定性，只取决于输入token序列，完全可以提前算，CPU异步预取跟GPU计算重叠。

可以说，这个模块天生就不靠HBM，只可惜如今V4来了，Engram没来。

没在v4，但在其他地方

发明者把它放在那里没动，但路上还是有人。三个月里，至少出现了三个值得说一下的工作。

把Engram塞进CXL内存池

3月10日，北大、阿里云、山东英信、人大、港大联合发了一篇系统论文，《Pooling Engram Conditional Memory in Large Language Models using CXL》。

他们没改Engram本身，而是回答了一个更工程的问题，如果Engram真的成了下一代标配，内存放哪。

答案是CXL内存池化。GPU HBM放计算权重，本地DRAM做二级缓存，CXL池做三级。8台服务器共享4TB内存池，XConn XC50256交换芯片做拓扑，512GB/s带宽。

整套集成进SGLang，做了预取-计算重叠，跑下来端到端吞吐损失小于5%。Engram论文里那句「1000亿嵌入表卸载DRAM」的轻描淡写，被他们做成了27B和40B两个规模的真实测试。

结论很清楚，Engram这种确定性寻址、可预取的负载，几乎是为CXL量身定做的。

一个反直觉的实验

Engram论文上线第十一天，1月23日，一个叫TaoLin的研究者，单作者，放出了《A Collision-FreeHot-Tier Extension for Engram-Style Conditional Memory》。

他想验证一个看上去显然的优化，Engram用多头哈希查表会有冲突，如果把高频N-gram用Minimal Perfect Hash Function完全消除冲突，模型会不会更好。

他设计了Engram-Nine，把记忆分成无冲突的「热层」和保留多头哈希的「冷层」。

结果反直觉。在严格iso-parameter控制下，无冲突设计没有稳定提升验证loss。

route-stratified评估还发现，训练初期热路径(高频)loss更低，但训练后期冷路径反过来超过热路径。

一个看上去显然的优化方向，被一个真做实验的人证伪了。

把Engram推到视觉(AutoArk/TinyEngram)

GitHub上一个叫AutoArk的团队搞了Tiny Engram。

基于Qwen-3完整复现文本Engram之后，他们做了一件论文里没做的事，把Engram搬到Stable Diffusion上。

视觉patch经过分层编码，底层抓纹理，中层抓部件，高层抓风格，然后整套丢进哈希查表。

跟LoRA比下来，达到同等效果，Engram需要的额外参数只有LoRA的15%到30%。连续注入多个新概念时，LoRA会出现明显的概念退化，Engram不会。

Engram原本是为文本设计的。AutoArk等于把这扇门撞开了，凡是能离散化、能哈希的模态，Engram都能搬。

三个月里，Engram这条路上，发明者最沉默，跟进者各自走了一步。

一个团队替它解决多机内存层级，一个独立研究者证伪了它一个看似显然的优化方向，一个开源团队把它推到了视觉。

而deepseek-ai/Engram这个仓库，最后一次提交还停在1月14日。

One more thing

Engram论文的摘要结尾有一句话：

华体汇(中国)认为条件记忆将是下一代稀疏模型不可或缺的建模原语。

看来，这个下一代得是V5了，难不成会是V4.1?

[1]https://arxiv.org/pdf/2601.07372

[2]https://arxiv.org/pdf/2603.10087

[3]https://arxiv.org/pdf/2601.16531


拉萨市曲水县热堆寺格鲁派僧人益西旦增已学修佛法21年，严格遵循显密次第完成《五部大论》与密宗仪轨修习。2024年，他在藏传佛教格西拉让巴立宗答辩中获得第六名。谈及本次报考初衷，益西旦增说：“学无止境，这次报考，是想继续学习、深造。”
华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-91年美女视频高清版下载视频官方版-91年美女视频高清版下载视频2026最新N.55.96.74-2265安卓网

华体汇电竞-华体汇(中国)

国台办驳斥大陆公务船闯太平岛言论
首页>>香江观澜：与国家发展同频共振 香港筑梦太空开启新篇章
国台办驳斥大陆公务船闯太平岛言论

华体汇电竞-华体汇(中国):国台办驳斥大陆公务船闯太平岛言论

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

94.75MB
版本{版本}
下载APK高速下载
下载再DeepSeek V4最大的遗憾安装你想要的应用 更方便 更快捷 发现更多
喜欢40%好评(13人)
评论94
DeepSeek V4最大的遗憾截图0DeepSeek V4最大的遗憾截图1DeepSeek V4最大的遗憾截图2DeepSeek V4最大的遗憾截图3DeepSeek V4最大的遗憾截图4
详细信息
  • 软件大小:96.59MB
  • 最后更新:2026-06-14 00:59:40
  • 最新版本:{版本}
  • 文件格式:apk
  • 应用分类:ios-AndroidDeepSeek V4最大的遗憾
  • 使用语言:中文
  • :需要联网
  • 系统要求:4.86以上
应用介绍
?第一步：访问《DeepSeek V4最大的遗憾》官网?首先,打开您的浏览器,输入《DeepSeek V4最大的遗憾》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步：点击注册按钮?一旦进入《DeepSeek V4最大的遗憾》网站官网，您会在页面上找到一个醒目的注册按钮。点击该按钮，您将被引导至注册页面。??
?第三步：填写注册信息 ?在注册页面上，您需要填写一些必要的个人信息来创建《DeepSeek V4最大的遗憾》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息，以确保顺利完成注册。??
?第四步：验证账户?填写完个人信息后，您可能需要进行账户验证。《DeepSeek V4最大的遗憾》网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。?
?第五步：设置安全选项?《DeepSeek V4最大的遗憾》网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。??
?第六步：阅读并同意条款?在注册过程中，《DeepSeek V4最大的遗憾》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。??
?第七步：完成注册?一旦您完成了所有必要的步骤，并同意了《DeepSeek V4最大的遗憾》网站的条款，恭喜您！您已经成功注册了《DeepSeek V4最大的遗憾》网站账户。现在，您可以畅享《DeepSeek V4最大的遗憾》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!?
【联系华体汇(中国)】
客服热线
加载更多
版本更新
{版本}
DeepSeek V4最大的遗憾

华体汇电竞-华体汇(中国): DeepSeek V4最大的遗憾类似软件

相关攻略
包含 饿了么 的应用集
友情链接
  • 6月1日人民币对美元中间价报6.8167 上调9个基点
    2026-06-14 00:59:40
  • 外籍学者共话西藏75年“去蔽”之路：见证真实发展
    2026-06-14 00:59:40
  • 神舟出征 同心逐梦
    2026-06-14 00:59:40
安卓手机网上最贴心的Android软件应用平台!版权所有：DeepSeek V4最大的遗憾有限华体汇电竞-华体汇(中国)备案号：京ICP备17065190号-1