作者：陈淑季发布时间：2026-06-14 00:09:48 点击数：24086

本周官方披露新研究成果火车站客运员一把按倒疑轻生女子很高兴为您解答这个问题，让我来帮您详细说明一下。品牌授权报修电话，快速上门服务

钦州市湖北省宜昌市宜都市北辰区广源街道昌平区小汤山镇朝阳区小红门地区平山县东回舍镇福建省莆田市城厢区乌鲁木齐市沙依巴克区丰台区宛平城地区云南省文山壮族苗族自治州广南县内蒙古锡林郭勒盟正镶白旗昌平区阳坊镇甘肃省定西市渭源县江苏省徐州市新沂市朝阳区小关街道陕西省西安市未央区湖北省宜昌市秭归县山西省晋城市高平市喀什地区叶城县上海市市辖区嘉定区西城区月坛街道平山县宅北乡江西省宜春市宜丰县行唐县龙州镇江西省九江市武宁县长安区广安街道贵州省六盘水市水城县河西区桃园街道云南省西双版纳傣族自治州勐腊县云南省红河哈尼族彝族自治州绿春县海淀区青龙桥街道广东省云浮市新兴县平山县上观音堂乡辽宁省铁岭市开原市喀什地区麦盖提县贵州省铜仁市印江土家族苗族自治县西城区月坛街道井陉县吴家窑乡山东省聊城市冠县河西区桃园街道南阳市内乡县阿克苏地区拜城县陕西省汉中市西乡县元氏县殷村镇哈密市伊吾县辽宁省沈阳市浑南区湖北省恩施土家族苗族自治州恩施市内蒙古锡林郭勒盟镶黄旗山东省德州市齐河县四川省凉山彝族自治州西昌市广东省汕头市龙湖区四川省广元市青海省果洛藏族自治州芜湖市南陵县丰台区和义街道河西区桃园街道四川省凉山彝族自治州昭觉县云南省红河哈尼族彝族自治州泸西县蓟州区东赵各庄镇陕西省汉中市留坝县北辰区陕西省汉中市西乡县怀柔区龙山街道黑龙江省绥化市明水县平顶山市湛河区行唐县龙州镇喀什地区叶城县百色市田林县平山县小觉镇山西省吕梁市岚县吉林省四平市铁西区固原市西吉县江西省吉安市吉安县陕西省咸阳市兴平市井陉县测鱼镇四川省甘孜藏族自治州泸定县江西省鹰潭市余江区内蒙古鄂尔多斯市康巴什区丰台区右安门街道内蒙古锡林郭勒盟镶黄旗密云区河南寨镇南开区长虹街道贵州省铜仁市玉屏侗族自治县吉林省白山市浑江区四川省凉山彝族自治州甘洛县山东省聊城市冠县信阳市平桥区南开区长虹街道许昌市建安区黑龙江省鸡西市鸡冠区辽宁省铁岭市清河区陕西省宝鸡市千阳县陕西省宝鸡市千阳县井陉县测鱼镇四川省乐山市洛阳市汝阳县北辰区广源街道四川省宜宾市翠屏区百色市田林县崇左市宁明县

本月官方披露行业研究成果DeepSeek V4报告太详尽了！484天换代之路全公开，很高兴为您解答这个问题，让我来帮您详细说明一下:官方服务专线，支持多品牌报修

海南省儋州市固原市西吉县山东省滨州市青秀区武清区汊沽港镇河西区桃园街道四川省凉山彝族自治州昭觉县云南省西双版纳傣族自治州勐腊县青秀区福建省莆田市仙游县辽宁省铁岭市清河区昌平区阳坊镇内蒙古锡林郭勒盟正镶白旗湖北省宜昌市宜都市山东省威海市塔城地区和布克赛尔蒙古自治县崇左市喀什地区麦盖提县西藏阿里地区日土县河西区桃园街道云南省文山壮族苗族自治州广南县朝阳区小红门地区甘肃省天水市秦州区银川市贺兰县朝阳区双井街道山西省晋中市太谷区陕西省咸阳市兴平市甘肃省定西市渭源县上海市市辖区嘉定区丰台区右安门街道南开区长虹街道塔城地区和布克赛尔蒙古自治县江苏省南京市浦口区洛阳市汝阳县马鞍山市博望区山西省忻州市宁武县青海省海南藏族自治州贵德县南开区长虹街道朝阳区小红门地区黑龙江省鸡西市鸡冠区河东区东新街道四川省乐山市福建省厦门市海沧区井陉县吴家窑乡井陉县测鱼镇福建省南平市四川省凉山彝族自治州西昌市昌平区延寿镇云南省西双版纳傣族自治州勐腊县喀什地区麦盖提县黑龙江省大兴安岭地区呼玛县四川省成都市双流区井陉县测鱼镇江西省九江市武宁县黑龙江省七台河市桃山区江西省吉安市吉安县朝阳区双井街道西藏拉萨市达孜区内蒙古鄂尔多斯市鄂托克旗重庆市县巫山县喀什地区叶城县辽宁省沈阳市福建省厦门市海沧区辽宁省铁岭市清河区湖北省恩施土家族苗族自治州恩施市静海区西翟庄镇西藏山南市贡嘎县四川省成都市新都区云南省红河哈尼族彝族自治州泸西县河东区大直沽街道福建省莆田市城厢区密云区不老屯镇贵州省铜仁市印江土家族苗族自治县湖北省恩施土家族苗族自治州建始县银川市贺兰县陕西省宝鸡市千阳县海淀区青龙桥街道赞皇县西龙门乡四川省德阳市广汉市青海省海南藏族自治州贵德县山西省晋中市榆社县喀什地区麦盖提县鹿泉区白鹿泉乡信阳市平桥区海南省儋州市福建省福州市罗源县朝阳区酒仙桥街道福建省福州市罗源县辽宁省沈阳市沈河区崇左市宁明县鹿泉区寺家庄镇静海区西翟庄镇山东省东营市垦利区桥西区东华街道行唐县龙州镇崇左市四川省凉山彝族自治州西昌市内蒙古兴安盟乌兰浩特市广东省深圳市贵州省六盘水市水城县

全球服务区域:和田地区四川省广元市四川省甘孜藏族自治州泸定县百色市靖西市内蒙古乌海市乌达区山西省晋中市榆社县山东省滨州市怀柔区宝山镇山东省潍坊市青州市密云区高岭镇福建省莆田市城厢区焦作市青海省海南藏族自治州贵德县辽宁省锦州市义县甘肃省陇南市武都区云南省文山壮族苗族自治州广南县桥西区东华街道江西省宜春市宜丰县青海省海北藏族自治州门源回族自治县江苏省徐州市丰县西青区精武镇山西省晋中市榆社县延庆区沈家营镇吉林省白山市浑江区江西省宜春市宜丰县四川省成都市金牛区河东区东新街道内蒙古锡林郭勒盟镶黄旗四川省宜宾市翠屏区朝阳区酒仙桥街道塔城地区和布克赛尔蒙古自治县山东省滨州市乌鲁木齐市沙依巴克区大兴区云南省红河哈尼族彝族自治州泸西县江苏省徐州市新沂市井陉县吴家窑乡陕西省宝鸡市千阳县云南省红河哈尼族彝族自治州泸西县密云区不老屯镇广东省汕头市龙湖区元氏县南开区长虹街道合肥市庐阳区平山县上观音堂乡喀什地区麦盖提县山西省晋中市榆社县江苏省镇江市句容市武清区汊沽港镇青海省果洛藏族自治州桂林市兴安县青海省海西蒙古族藏族自治州德令哈市云南省西双版纳傣族自治州勐腊县江苏省连云港市赣榆区江西省九江市武宁县山东省聊城市茌平区广东省珠海市斗门区贵州省六盘水市水城县宝坻区牛家牌镇新乐市协神乡合肥市瑶海区江西省吉安市吉安县山东省青岛市城阳区重庆市县巫山县巴音郭楞蒙古自治州和硕县四川省甘孜藏族自治州桂林市秀峰区陕西省咸阳市兴平市四川省宜宾市江安县新乐市协神乡江苏省南京市浦口区福建省莆田市城厢区福建省福州市罗源县朝阳区豆各庄地区河西区桃园街道湖北省孝感市汉川市陕西省商洛市山阳县北辰区广东省汕头市南澳县江苏省南通市启东市合肥市瑶海区信阳市平桥区蓟州区官庄镇江苏省南京市浦口区福建省漳州市龙海市百色市靖西市广东省汕头市南澳县焦作市沁阳市阿克苏地区拜城县江苏省南通市启东市湖北省宜昌市宜都市河东区东新街道平顶山市卫东区黑龙江省佳木斯市富锦市黑龙江省伊春市金林区四川省甘孜藏族自治州泸定县四川省凉山彝族自治州昭觉县湖北省宜昌市夷陵区江西省景德镇市昌江区福建省漳州市龙海市

本月官方渠道更新行业信息DeepSeek V4报告太详尽了！484天换代之路全公开，很高兴为您解答这个问题，让我来帮您详细说明一下:售后服务维修中心电话，支持多渠道服务

全国服务区域：江西省萍乡市上栗县黑龙江省七台河市桃山区黑龙江省大兴安岭地区呼玛县山东省烟台市牟平区黑龙江省绥化市明水县四川省甘孜藏族自治州丹巴县四川省凉山彝族自治州甘洛县山西省晋城市高平市门头沟区大峪街道巴音郭楞蒙古自治州和硕县山东省德州市齐河县塔城地区和布克赛尔蒙古自治县马鞍山市博望区辽宁省沈阳市浑南区甘肃省陇南市贵州省六盘水市水城县元氏县苏村乡江西省赣州市石城县江西省吉安市吉安县南开区体育中心街道乌鲁木齐市沙依巴克区辽宁省沈阳市沈河区湖北省恩施土家族苗族自治州建始县北辰区江西省萍乡市上栗县伊犁哈萨克自治州昭苏县青海省玉树藏族自治州治多县银川市贺兰县青海省海北藏族自治州门源回族自治县南开区体育中心街道南阳市内乡县山东省聊城市冠县内蒙古锡林郭勒盟镶黄旗黑龙江省鸡西市鸡冠区焦作市中站区洛阳市汝阳县赵县沙河店镇延庆区康庄镇山东省聊城市茌平区黑龙江省哈尔滨市巴彦县昌平区小汤山镇山西省晋城市泽州县西藏阿里地区日土县青海省海西蒙古族藏族自治州德令哈市广东省江门市四川省甘孜藏族自治州丹巴县山东省烟台市龙口市焦作市沁阳市海南省三沙市西沙区亳州市利辛县朝阳区小红门地区福建省漳州市龙海市重庆市县巫山县平顶山市卫东区山西省忻州市定襄县合肥市瑶海区湖北省孝感市汉川市云南省丽江市宁蒗彝族自治县西藏山南市贡嘎县新乐市协神乡山东省淄博市临淄区山东省东营市垦利区湖北省宜昌市秭归县江西省景德镇市昌江区青海省海南藏族自治州贵德县青海省玉树藏族自治州治多县江苏省徐州市蓟州区东二营镇黑龙江省哈尔滨市巴彦县四川省凉山彝族自治州西昌市四川省凉山彝族自治州昭觉县福建省莆田市仙游县平山县宅北乡钦州市丰台区长辛店镇平顶山市卫东区四川省宜宾市江安县山西省晋中市榆社县赵县沙河店镇贵州省安顺市普定县陕西省商洛市山阳县昌平区阳坊镇赞皇县西龙门乡海淀区青龙桥街道黑龙江省佳木斯市富锦市山西省临汾市安泽县四川省泸州市江阳区合肥市瑶海区吉林省长春市双阳区上海市市辖区嘉定区南开区体育中心街道重庆市市辖区北碚区山西省朔州市山阴县静海区西翟庄镇山东省滨州市西藏拉萨市达孜区广东省深圳市湖北省宜昌市秭归县巴音郭楞蒙古自治州和硕县江西省景德镇市昌江区

售后服务上门服务电话，智能分配单据：DeepSeek V4报告太详尽了！484天换代之路全公开

henry 发自凹非寺量子位 | 公众号 QbitAI

DeepSeek V4“迟到”半年，但发布后的好评如潮还在如潮。

中外热搜上了一整圈，科技媒体的版面今天都让给了它，OpenAI也成了它的陪衬。

大家惊叹于DeepSeek在有限条件下作出重大突破的创造力，也佩服其在2026年，还能坚定选择开源路线的决心。

可以说，一时间信息多的有些超载，但多归多，主线就两条。

第一条，百万token上下文全面开源，KVcache大幅缩减。

V4-Pro和V4-Flash，1.6万亿参数/2840亿参数上下文都是1M。1M场景下，V4-Pro的单token FLOPs只有V3.2的27%，KV cache只有10%。

亚马逊硬件师GPD表示，这意味着DeepSeek可能解决当前的HBM短缺问题。

第二条，国产芯片适配，已经支持华为算力，预计下半年昇腾950超节点批量上市。

此外，大家最关心的，还莫过于在过去四个月中，DeepSeek陆续放出了几篇「可能进V4」的论文，今天技术报告开源了，可以对一下账。

mHC（流形约束超连接）：2025年12月31日上传arXiv，梁文锋挂名。进了V4。Engram（条件记忆模块）：1月DeepSeek联合北大发布。没进V4，但在未来方向里被点名，留给V5。DualPipe：V3老伙计。继续用，针对mHC做了调整。Muon优化器：从Kimi那边借的。V4把AdamW替了，接管绝大多数参数的训练。

四个预期，三个落地，一个给下一代。

整体架构

V4这一代，是DeepSeek系列里动刀最多的一版。相比V3，V4在三个地方做了升级。

第一，引入mHC（Manifold-Constrained Hyper-Connections）强化残差连接。

第二，设计hybrid attention架构，CSA和HCA交替叠加，解决长文效率问题。

第三，采用Muon作为主优化器。

MoE部分仍然用DeepSeekMoE，MTP（Multi-Token Prediction）模块跟V3保持一致。

一些细节微调包括，affinity score的激活函数从Sigmoid换成了Sqrt(Softplus(·))，去掉了routing target nodes的数量约束，前几层dense FFN换成了用Hash routing的MoE层。

接下来，华体汇(中国)一个个看。

mHC，给残差连接加一层约束

残差连接是何恺明2016年在ResNet里提出来的，十年没怎么变过。模型一层一层堆，梯度沿着残差往回传，这是深度学习能work的前提。

但模型越来越深、参数越来越多之后，传统残差开始露怯，信号传递不稳，训练容易崩。

先说Hyper-Connections（HC），这是Kimi团队之前提出的想法。核心是把残差流从一维变成n_hc条并行通道，每层之间通过一个矩阵B来混合。

A、B、C是三个线性映射。想法很优雅，相当于给残差流增加了一个新的scaling维度。但DeepSeek在堆多层时发现，HC经常出现数值不稳定，训练说崩就崩。

V4的做法叫mHC，把矩阵B约束到「双随机矩阵」的流形上（数学上叫Birkhoff polytope），行和列都归一化为1。这个约束带来两个好处。

矩阵的谱范数天然不超过1，残差传播套上硬上限，爆不起来。这种矩阵在乘法下是封闭的，堆很多层也稳。

输入映射A和输出映射C则通过Sigmoid函数保证非负且有界，避免信号互相抵消。

实现上用Sinkhorn-Knopp迭代，交替做行归一化和列归一化，迭代20次收敛。整个过程对每一层都跑一遍。

听起来贵，但DeepSeek做了fused kernel，再配合选择性recomputation，实测mHC带来的wall-time开销控制在overlapped pipeline的6.7%。

技术判断上，mHC不是那种让人眼前一亮的架构创新，更像是一个「稳得住大模型」的工程补丁。但随着模型深度和参数量继续往上推，这种补丁会变成刚需。

混合注意力机制

这是全篇论文最厚的一块，也是「百万token效率」的核心魔法所在。

V4的注意力层不是一种，是两种交替使用的结构，CSA（Compressed Sparse Attention）和HCA（Heavily Compressed Attention）。

CSA做两件事，先压缩，再稀疏选择

第一步，KV压缩。每m个token的KV entries，通过一个带学习权重的attention-like机制压成一个。

第二步，lightning indexer + top-k选择。这部分继承自V3.2的DSA。对每个query token，用一个轻量的indexer计算它和每个压缩KV块的相关性分数。

第三步，core attention。在选中的这top-k压缩KV块上做Multi-Query Attention，得到注意力输出。

第四步，grouped output projection。因为V4把head dimension c设成了512（比V3.2的128大得多），如果直接把所有head的输出投影回d维会很贵，所以做了分组投影，把n_h个head分成g组，每组先投影到一个中间维度d_g，最后再合并投影回d。

整个CSA等于做了两层压缩。第一层是序列长度压缩，n变成n/m。第二层是稀疏选择，n/m变成top-k。对1M token的序列，原本需要attend 1M个token，现在只需要attend 1024个压缩块。

HCA的思路更简单粗暴，压得更狠，但不做稀疏。

压缩率m’=128，每128个token压成一个。压缩过程也没有CSA那样的overlap，直接每m’个一组压。然后对所有压缩后的KV做dense attention。

论文里没有长篇大论地解释CSA和HCA为什么要配对使用，但读完整个architecture章节，能看出它们的分工。

CSA的压缩温和、靠稀疏把关，适合做token-level的精细检索。HCA的压缩凶猛、保持dense，适合做长距离的全局信号汇总。

V4把两者层层交替。Pro有61层，Flash有43层，CSA和HCA一层一层往上叠。既不漏细节，也不被细节拖住。

此外，论文还透露了几个trick。

Q/KV normalization。CSA和HCA在core attention之前，都对query和KV entries做一次RMSNorm，防止attention logits爆炸。

Partial RoPE。只对query和KV entries的最后64维施加旋转位置编码，其余维度不动。

因为KV entries既做key又做value，naive的RoPE会让输出带上绝对位置信息，所以在output端也对应施加一个位置为-i的RoPE来抵消，只保留相对位置信息。这是个巧妙的工程处理。

Sliding window attention作为辅助分支。

因为压缩注意力保证严格因果性，一个query token看不到自己压缩块内其他token的信息。为了补偿近距离依赖，V4额外加了一个sliding window分支，每个query除了看压缩KV之外，还能看最近128个token的uncompressed KV。

Attention sink。借鉴OpenAI和StreamingLLM的trick，在attention分母上加一个learnable sink logit，允许attention score总和不等于1。

这在长序列里尤其有用，能避免模型被迫把注意力均摊。

Muon优化器

V4训练中绝大多数参数优化用的不是AdamW，是Muon。

Muon是前几年Keller Jordan那批人（他现在在OpenAI）在小模型上验证过的优化器，基于矩阵正交化。

它只优化2D参数矩阵，其他参数（embedding、prediction head、RMSNorm权重、mHC的静态偏置等）还是走AdamW。

Muon在LLM规模上的第一次大规模验证是Kimi K2。 2025年，Moonshot用Muon（加上他们自己的QK-Clip变种，合称MuonClip）训了一个1T参数的MoE，15.5T token，全程零崩溃。

现在DeepSeek也用上了。不过他们做了自己的版本，hybrid Newton-Schulz迭代，10步分两段。

前8步用激进系数，快速把奇异值推向1附近。后2步用温和系数，精确地把奇异值稳定在1。

这里有个细节值得注意。Kimi用Muon需要QK-Clip来防止attention logits爆炸，DeepSeek没用这招。他们的理由是，V4的注意力架构允许直接对query和KV做RMSNorm，从源头把爆炸的可能压住了。

两家华体汇电竞-华体汇(中国)，同一个优化器，解决同一个问题，走的是两条路。这种跨团队的技术共享和各自演化，是2026年开源社区最有意思的一面。

模型训练

DeepSeek-V4系列在预训练数据量上实现了翻倍。

对比V3仅用14.8T Token训练，V4-Flash 与 V4-Pro 的数据消耗量分别达到了32T和33T。训练数据量整整翻了一倍多（增长约 1.2 倍）

数据构成上，长文档数据单独curate，优先收录科学论文和技术报告这类有学术价值的长材料。tokenizer仍用V3的128K词表。

在模型架构上，V4-Flash，43层，隐藏维度4096。

MoE用1个shared expert + 256个routed experts，每token激活6个。总参数284B，激活13B。

V4-Pro，61层，隐藏维度7168。MoE用1个shared expert + 384个routed experts，每token激活6个。总参数1.6T，激活49B。

训练调度上，序列长度走四段，4K → 16K → 64K → 1M。sparse attention不是从头打开，前1T token用dense attention做warmup，扩到64K时才introduce sparsity。

论文表示，训练中间出过一次严重的loss spike，DeepSeek摸到两个土办法，Anticipatory Routing和SwiGLU Clamping。论文原话非常诚实，这两个trick work，但底层机理仍是open question。

一个训练了两个万亿参数MoE的团队公开承认「华体汇(中国)不知道为什么这两个trick管用」，在2026年已经是一件挺稀罕的事。

在后训练阶段，V4这一代做了一次方法论替换，传统的mixed RL阶段被On-Policy Distillation（OPD）完全替代。

流程分两步。

第一步，训domain specialist。

数学、代码、agent、指令跟随四个领域，各自独立训一个expert。先SFT打底，再用GRPO做domain-specific RL。V4还引入了三档reasoning effort mode，Non-think、Think High、Think Max，每档输出长度不同。

第二步，OPD合并。

十几个expert通过on-policy distillation合进一个统一的student。student自己rollout，最小化reverse KL向对应领域的expert对齐。数学任务向数学expert靠，编程任务向编程expert靠。

方法论听起来很优雅。但工程上装不下，十几个teacher每个都是万亿级，vocab size超过10万。

V4的做法是teacher权重offload到分布式存储按需加载，只缓存hidden states不materialize logits，按teacher排序样本保证每个mini-batch只加载一个teacher head。

一套看似优雅的后训练方法论，背后是一堆「不这样做就装不下」的工程妥协。

实验结论

在实验部分，有三件最值得说的事。

开源领先。

SimpleQA-Verified上V4-Pro-Max拿到57.9，K2.6是36.9，GLM-5.1是38.1。领先所有开源模型20个百分点。

匹敌闭源。

Codeforces rating 3206，超过了GPT-5.4的3168和Gemini-3.1-Pro的3052，在人类选手榜单上排名第23。开源模型匹敌闭源头部，这次是真的匹敌了。

差距仍在。

HLE上V4-Pro-Max 37.7，Gemini-3.1-Pro 44.4，Claude-Opus-4.6-Max 40.0。1M MRCR上V4优于Gemini但明显不如Claude。知识类和最前沿的推理任务仍有3-6个月的gap。

论文中，DeepSeek表示：

DeepSeek-V4-Pro-Max在标准推理benchmark上优于GPT-5.2和Gemini-3.0-Pro，但略落后于GPT-5.4和Gemini-3.1-Pro。这表明其发展轨迹大约落后最前沿闭源模型3到6个月。

Flash-Max可能是这篇论文最被低估的一部分。

V4-Flash-Max只激活13B参数，推理任务上能打平GPT-5.2和Gemini-3.0-Pro，代码和数学甚至超过K2.6-Thinking。

如果只看激活参数量，这是目前效率最极致的推理模型之一。

现实任务里最值得提的是内部R&D代码benchmark，V4-Pro-Max 67%，接近Claude Opus 4.5的70%。

85人的内部开发者调研里，91%表示V4-Pro可以作为主力coding模型。

在官方的推文中，也侧面印证了这个说法：

目前DeepSeek-V4已成为华体汇电竞-华体汇(中国)内部员工使用的Agentic Coding模型，据评测反馈使用体验优于Sonnet 4.5，交付质量接近Opus 4.6非思考模式，但仍与Opus 4.6思考模式存在一定差距。

在论文的最后，DeepSeek也表示：

为了追求极致的长文效率，V4系列采取了一个相对激进的架构设计。为了降低风险，华体汇(中国)保留了许多已经验证过的组件和trick，这让架构变得相对复杂。在未来的迭代中，华体汇(中国)将进行更全面、更有原则的研究，把架构精简到最本质的部分。

未来方向几条，探索新维度的sparsity（点名了Engram那条线）、低延迟架构、长时程多轮agentic任务、多模态、更好的数据curation。

有个蛮有意思的小细节，在形式化数学评测中，DeepSeek也皮了一下友商：

华体汇(中国)在K2.6和GLM-5.1的部分条目留空了，因为它们的API太忙，没法及时返回华体汇(中国)查询的结果。

太火了，就是说。

把V4放回DeepSeek的完整路径里看，它不是在追赶frontier。

过去三年的趋势非常清晰。闭源大厂追求的是能力上限，谁家的模型能在HLE上拿更高分。DeepSeek追求的一直是另一条线，同样能力下的成本下限。

V4把这件事推到了百万token。一个1M的上下文，在V3.2的成本结构下是不可持续的，KV cache会把显存吃光。V4把它压到V3.2的10%，成本曲线突然打直了。

那结果会怎样呢。一个很长的agent会话，一份反复回读的技术文档，一次跨多仓库的重构，这些过去要切窗口、要加retrieval、要精心管理上下文的场景，在V4这里变成了「全塞进去看看再说」。

DeepSeek这几年做的事，底层动作很清晰，一直在删。从V2的MLA开始，每一代都在删KV cache、删激活参数、删注意力计算量。

删到V4，单token推理FLOPs砍到四分之一，KV cache砍到十分之一。

百万token不是一个新的能力，是同一个上下文窗口被压到可以承担的成本。

One more thing

论文的结尾有一份长长的贡献者名单。

梁文锋在其中。

其中有不少带星号的名字，是已经离开团队、但仍然对V4做出过重要贡献的研究者。

过去这一年，关于DeepSeek人才流失的消息传过好几轮。但这份名单把他们的名字和V4这个大家等了整整一年多的模型，绑在了同一张纸上。

每一个人都算数，每一天也都算数。

V4发布当天，DeepSeek研究员陈德里在x上转发并写道：

DeepSeek-V3：2024年12月26日。

DeepSeek-V4：2026年4月24日。

484天后，华体汇(中国)谦卑地分享这份爱心的劳动。

一如既往，华体汇(中国)始终坚持长期主义和全民开源。

AGI属于每个人。

[1]https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

[2]https://arxiv.org/pdf/2512.24880

今日行业报告披露研究成果DeepSeek V4报告太详尽了！484天换代之路全公开

henry 发自凹非寺量子位 | 公众号 QbitAI

DeepSeek V4“迟到”半年，但发布后的好评如潮还在如潮。

中外热搜上了一整圈，科技媒体的版面今天都让给了它，OpenAI也成了它的陪衬。

大家惊叹于DeepSeek在有限条件下作出重大突破的创造力，也佩服其在2026年，还能坚定选择开源路线的决心。

可以说，一时间信息多的有些超载，但多归多，主线就两条。

第一条，百万token上下文全面开源，KVcache大幅缩减。

V4-Pro和V4-Flash，1.6万亿参数/2840亿参数上下文都是1M。1M场景下，V4-Pro的单token FLOPs只有V3.2的27%，KV cache只有10%。

亚马逊硬件师GPD表示，这意味着DeepSeek可能解决当前的HBM短缺问题。

第二条，国产芯片适配，已经支持华为算力，预计下半年昇腾950超节点批量上市。

此外，大家最关心的，还莫过于在过去四个月中，DeepSeek陆续放出了几篇「可能进V4」的论文，今天技术报告开源了，可以对一下账。

四个预期，三个落地，一个给下一代。

整体架构

V4这一代，是DeepSeek系列里动刀最多的一版。相比V3，V4在三个地方做了升级。

第一，引入mHC（Manifold-Constrained Hyper-Connections）强化残差连接。

第二，设计hybrid attention架构，CSA和HCA交替叠加，解决长文效率问题。

第三，采用Muon作为主优化器。

MoE部分仍然用DeepSeekMoE，MTP（Multi-Token Prediction）模块跟V3保持一致。

一些细节微调包括，affinity score的激活函数从Sigmoid换成了Sqrt(Softplus(·))，去掉了routing target nodes的数量约束，前几层dense FFN换成了用Hash routing的MoE层。

接下来，华体汇(中国)一个个看。

mHC，给残差连接加一层约束

残差连接是何恺明2016年在ResNet里提出来的，十年没怎么变过。模型一层一层堆，梯度沿着残差往回传，这是深度学习能work的前提。

但模型越来越深、参数越来越多之后，传统残差开始露怯，信号传递不稳，训练容易崩。

先说Hyper-Connections（HC），这是Kimi团队之前提出的想法。核心是把残差流从一维变成n_hc条并行通道，每层之间通过一个矩阵B来混合。

A、B、C是三个线性映射。想法很优雅，相当于给残差流增加了一个新的scaling维度。但DeepSeek在堆多层时发现，HC经常出现数值不稳定，训练说崩就崩。

V4的做法叫mHC，把矩阵B约束到「双随机矩阵」的流形上（数学上叫Birkhoff polytope），行和列都归一化为1。这个约束带来两个好处。

矩阵的谱范数天然不超过1，残差传播套上硬上限，爆不起来。这种矩阵在乘法下是封闭的，堆很多层也稳。

输入映射A和输出映射C则通过Sigmoid函数保证非负且有界，避免信号互相抵消。

实现上用Sinkhorn-Knopp迭代，交替做行归一化和列归一化，迭代20次收敛。整个过程对每一层都跑一遍。

听起来贵，但DeepSeek做了fused kernel，再配合选择性recomputation，实测mHC带来的wall-time开销控制在overlapped pipeline的6.7%。

混合注意力机制

这是全篇论文最厚的一块，也是「百万token效率」的核心魔法所在。

V4的注意力层不是一种，是两种交替使用的结构，CSA（Compressed Sparse Attention）和HCA（Heavily Compressed Attention）。

CSA做两件事，先压缩，再稀疏选择

第一步，KV压缩。每m个token的KV entries，通过一个带学习权重的attention-like机制压成一个。

第二步，lightning indexer + top-k选择。这部分继承自V3.2的DSA。对每个query token，用一个轻量的indexer计算它和每个压缩KV块的相关性分数。

第三步，core attention。在选中的这top-k压缩KV块上做Multi-Query Attention，得到注意力输出。

HCA的思路更简单粗暴，压得更狠，但不做稀疏。

压缩率m’=128，每128个token压成一个。压缩过程也没有CSA那样的overlap，直接每m’个一组压。然后对所有压缩后的KV做dense attention。

论文里没有长篇大论地解释CSA和HCA为什么要配对使用，但读完整个architecture章节，能看出它们的分工。

CSA的压缩温和、靠稀疏把关，适合做token-level的精细检索。HCA的压缩凶猛、保持dense，适合做长距离的全局信号汇总。

V4把两者层层交替。Pro有61层，Flash有43层，CSA和HCA一层一层往上叠。既不漏细节，也不被细节拖住。

此外，论文还透露了几个trick。

Q/KV normalization。CSA和HCA在core attention之前，都对query和KV entries做一次RMSNorm，防止attention logits爆炸。

Partial RoPE。只对query和KV entries的最后64维施加旋转位置编码，其余维度不动。

Sliding window attention作为辅助分支。

Attention sink。借鉴OpenAI和StreamingLLM的trick，在attention分母上加一个learnable sink logit，允许attention score总和不等于1。

这在长序列里尤其有用，能避免模型被迫把注意力均摊。

Muon优化器

V4训练中绝大多数参数优化用的不是AdamW，是Muon。

Muon是前几年Keller Jordan那批人（他现在在OpenAI）在小模型上验证过的优化器，基于矩阵正交化。

它只优化2D参数矩阵，其他参数（embedding、prediction head、RMSNorm权重、mHC的静态偏置等）还是走AdamW。

现在DeepSeek也用上了。不过他们做了自己的版本，hybrid Newton-Schulz迭代，10步分两段。

前8步用激进系数，快速把奇异值推向1附近。后2步用温和系数，精确地把奇异值稳定在1。

模型训练

DeepSeek-V4系列在预训练数据量上实现了翻倍。

对比V3仅用14.8T Token训练，V4-Flash 与 V4-Pro 的数据消耗量分别达到了32T和33T。训练数据量整整翻了一倍多（增长约 1.2 倍）

数据构成上，长文档数据单独curate，优先收录科学论文和技术报告这类有学术价值的长材料。tokenizer仍用V3的128K词表。

在模型架构上，V4-Flash，43层，隐藏维度4096。

MoE用1个shared expert + 256个routed experts，每token激活6个。总参数284B，激活13B。

V4-Pro，61层，隐藏维度7168。MoE用1个shared expert + 384个routed experts，每token激活6个。总参数1.6T，激活49B。

训练调度上，序列长度走四段，4K → 16K → 64K → 1M。sparse attention不是从头打开，前1T token用dense attention做warmup，扩到64K时才introduce sparsity。

一个训练了两个万亿参数MoE的团队公开承认「华体汇(中国)不知道为什么这两个trick管用」，在2026年已经是一件挺稀罕的事。

在后训练阶段，V4这一代做了一次方法论替换，传统的mixed RL阶段被On-Policy Distillation（OPD）完全替代。

流程分两步。

第一步，训domain specialist。

第二步，OPD合并。

方法论听起来很优雅。但工程上装不下，十几个teacher每个都是万亿级，vocab size超过10万。

V4的做法是teacher权重offload到分布式存储按需加载，只缓存hidden states不materialize logits，按teacher排序样本保证每个mini-batch只加载一个teacher head。

一套看似优雅的后训练方法论，背后是一堆「不这样做就装不下」的工程妥协。

实验结论

在实验部分，有三件最值得说的事。

开源领先。

SimpleQA-Verified上V4-Pro-Max拿到57.9，K2.6是36.9，GLM-5.1是38.1。领先所有开源模型20个百分点。

匹敌闭源。

Codeforces rating 3206，超过了GPT-5.4的3168和Gemini-3.1-Pro的3052，在人类选手榜单上排名第23。开源模型匹敌闭源头部，这次是真的匹敌了。

差距仍在。

HLE上V4-Pro-Max 37.7，Gemini-3.1-Pro 44.4，Claude-Opus-4.6-Max 40.0。1M MRCR上V4优于Gemini但明显不如Claude。知识类和最前沿的推理任务仍有3-6个月的gap。

论文中，DeepSeek表示：

DeepSeek-V4-Pro-Max在标准推理benchmark上优于GPT-5.2和Gemini-3.0-Pro，但略落后于GPT-5.4和Gemini-3.1-Pro。这表明其发展轨迹大约落后最前沿闭源模型3到6个月。

Flash-Max可能是这篇论文最被低估的一部分。

V4-Flash-Max只激活13B参数，推理任务上能打平GPT-5.2和Gemini-3.0-Pro，代码和数学甚至超过K2.6-Thinking。

如果只看激活参数量，这是目前效率最极致的推理模型之一。

现实任务里最值得提的是内部R&D代码benchmark，V4-Pro-Max 67%，接近Claude Opus 4.5的70%。

85人的内部开发者调研里，91%表示V4-Pro可以作为主力coding模型。

在官方的推文中，也侧面印证了这个说法：

在论文的最后，DeepSeek也表示：

未来方向几条，探索新维度的sparsity（点名了Engram那条线）、低延迟架构、长时程多轮agentic任务、多模态、更好的数据curation。

有个蛮有意思的小细节，在形式化数学评测中，DeepSeek也皮了一下友商：

华体汇(中国)在K2.6和GLM-5.1的部分条目留空了，因为它们的API太忙，没法及时返回华体汇(中国)查询的结果。

太火了，就是说。

把V4放回DeepSeek的完整路径里看，它不是在追赶frontier。

过去三年的趋势非常清晰。闭源大厂追求的是能力上限，谁家的模型能在HLE上拿更高分。DeepSeek追求的一直是另一条线，同样能力下的成本下限。

V4把这件事推到了百万token。一个1M的上下文，在V3.2的成本结构下是不可持续的，KV cache会把显存吃光。V4把它压到V3.2的10%，成本曲线突然打直了。

DeepSeek这几年做的事，底层动作很清晰，一直在删。从V2的MLA开始，每一代都在删KV cache、删激活参数、删注意力计算量。

删到V4，单token推理FLOPs砍到四分之一，KV cache砍到十分之一。

百万token不是一个新的能力，是同一个上下文窗口被压到可以承担的成本。

One more thing

论文的结尾有一份长长的贡献者名单。

梁文锋在其中。

其中有不少带星号的名字，是已经离开团队、但仍然对V4做出过重要贡献的研究者。

过去这一年，关于DeepSeek人才流失的消息传过好几轮。但这份名单把他们的名字和V4这个大家等了整整一年多的模型，绑在了同一张纸上。

每一个人都算数，每一天也都算数。

V4发布当天，DeepSeek研究员陈德里在x上转发并写道：

DeepSeek-V3：2024年12月26日。

DeepSeek-V4：2026年4月24日。

484天后，华体汇(中国)谦卑地分享这份爱心的劳动。

一如既往，华体汇(中国)始终坚持长期主义和全民开源。

AGI属于每个人。

[1]https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

[2]https://arxiv.org/pdf/2512.24880

张溟鲲则凭借8.26米刷新个人最好成绩，斩获银牌。石雨豪在最后一跳刷新了个人赛季最好成绩，以8.14米的成绩拿下本场比赛季军。

华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-得吃.top官网最新版本更新内容app-得吃.top官网最新版本更新内容最新版V.1.70.79-软件学堂

华体汇电竞-华体汇(中国)

火车站客运员一把按倒疑轻生女子

华体汇电竞-华体汇(中国):火车站客运员一把按倒疑轻生女子

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

13.29MB

版本{版本}

下载APK 高速下载

下载再DeepSeek V4报告太详尽了！484天换代之路全公开安装你想要的应用更方便更快捷发现更多

79%好评(18人)

详细信息

软件大小:28.36MB
最后更新:2026-06-14 00:09:48
最新版本:{版本}
文件格式:apk
应用分类:ios-AndroidDeepSeek V4报告太详尽了！484天换代之路全公开
使用语言:中文
:需要联网
系统要求:2.44以上

应用介绍

?第一步：访问《DeepSeek V4报告太详尽了！484天换代之路全公开》官网?首先,打开您的浏览器,输入《DeepSeek V4报告太详尽了！484天换代之路全公开》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步：点击注册按钮?一旦进入《DeepSeek V4报告太详尽了！484天换代之路全公开》网站官网，您会在页面上找到一个醒目的注册按钮。点击该按钮，您将被引导至注册页面。??
?第三步：填写注册信息 ?在注册页面上，您需要填写一些必要的个人信息来创建《DeepSeek V4报告太详尽了！484天换代之路全公开》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息，以确保顺利完成注册。??
?第四步：验证账户?填写完个人信息后，您可能需要进行账户验证。《DeepSeek V4报告太详尽了！484天换代之路全公开》网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。?
?第五步：设置安全选项?《DeepSeek V4报告太详尽了！484天换代之路全公开》网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。?
?第六步：阅读并同意条款?在注册过程中，《DeepSeek V4报告太详尽了！484天换代之路全公开》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。??
?第七步：完成注册?一旦您完成了所有必要的步骤，并同意了《DeepSeek V4报告太详尽了！484天换代之路全公开》网站的条款，恭喜您！您已经成功注册了《DeepSeek V4报告太详尽了！484天换代之路全公开》网站账户。现在，您可以畅享《DeepSeek V4报告太详尽了！484天换代之路全公开》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!?
【联系华体汇(中国)】
客服热线

加载更多

版本更新

{版本}

DeepSeek V4报告太详尽了！484天换代之路全公开