作者：张怡奇发布时间：2026-06-17 01:51:51 点击数：68611

昨日官方更新行业政策动态广东2条蛇在市区绿化带“跳舞” 很高兴为您解答这个问题，让我来帮您详细说明一下。品牌授权报修电话，快速上门服务

平山县东回舍镇江苏省南通市启东市山东省滨州市焦作市中站区云南省玉溪市新平彝族傣族自治县陕西省咸阳市兴平市山西省运城市夏县南开区长虹街道黑龙江省鸡西市鸡冠区蚌埠市蚌山区黑龙江省佳木斯市富锦市崇左市宁明县辽宁省沈阳市浑南区赵县沙河店镇山西省吕梁市中阳县信阳市平桥区黑龙江省鹤岗市云南省红河哈尼族彝族自治州泸西县云南省普洱市景东彝族自治县阿克苏地区新和县丰台区右安门街道开封市通许县江苏省南京市浦口区甘肃省兰州市焦作市中站区黑龙江省鸡西市鸡冠区长安区广安街道贵州省黔东南苗族侗族自治州天柱县朝阳区豆各庄地区武清区汊沽港镇西藏拉萨市达孜区山西省晋中市榆社县四川省泸州市江阳区朝阳区小关街道重庆市市辖区北碚区甘肃省陇南市福建省福州市罗源县海南省三沙市西沙区青海省海南藏族自治州贵德县贵州省安顺市普定县山东省威海市怀柔区宝山镇江西省宜春市宜丰县乌鲁木齐市沙依巴克区山东省淄博市临淄区云南省红河哈尼族彝族自治州泸西县山东省聊城市冠县吉林省四平市铁西区福建省莆田市仙游县四川省宜宾市江安县元氏县湖北省宜昌市西陵区防城港市东兴市元氏县苏村乡云南省普洱市景东彝族自治县赞皇县院头镇广东省深圳市辽宁省铁岭市清河区甘肃省天水市秦州区广东省惠州市龙门县四川省广安市岳池县黑龙江省大兴安岭地区呼玛县贵州省铜仁市印江土家族苗族自治县河东区大直沽街道北辰区山西省忻州市宁武县福建省福州市罗源县江西省九江市武宁县内蒙古兴安盟乌兰浩特市喀什地区叶城县甘肃省陇南市江西省吉安市永新县门头沟区大峪街道辽宁省沈阳市沈河区昌平区小汤山镇湖北省襄阳市襄州区青海省果洛藏族自治州赞皇县西龙门乡蓟州区东赵各庄镇黑龙江省绥化市明水县朝阳区双井街道吉林省四平市铁西区河东区东新街道广东省佛山市三水区江西省赣州市石城县江西省宜春市宜丰县江西省宜春市奉新县山东省泰安市东平县甘肃省陇南市山东省威海市四川省甘孜藏族自治州喀什地区叶城县合肥市庐阳区怀柔区雁栖地区朝阳区小关街道井陉县测鱼镇焦作市中站区喀什地区叶城县广东省云浮市新兴县西青区精武镇

今日官方传达行业研究成果SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”，很高兴为您解答这个问题，让我来帮您详细说明一下:官方服务专线，支持多品牌报修

山西省忻州市宁武县桂林市兴安县四川省凉山彝族自治州甘洛县广东省云浮市新兴县湖北省襄阳市襄州区昌平区阳坊镇延庆区康庄镇密云区高岭镇辽宁省沈阳市防城港市东兴市山西省忻州市定襄县山东省淄博市临淄区山西省晋中市太谷区内蒙古乌海市乌达区密云区高岭镇福建省厦门市海沧区蓟州区东赵各庄镇鹿泉区寺家庄镇四川省甘孜藏族自治州泸定县怀柔区宝山镇黑龙江省绥化市明水县西城区月坛街道福建省三明市梅列区贵州省铜仁市印江土家族苗族自治县平山县岗南镇和田地区上海市市辖区嘉定区四川省德阳市广汉市甘肃省陇南市山西省朔州市山阴县重庆市县巫山县江苏省南通市启东市四川省宜宾市珙县陕西省咸阳市兴平市内蒙古乌海市乌达区西藏山南市广东省佛山市三水区朝阳区酒仙桥街道蓟州区东赵各庄镇福建省莆田市城厢区湖北省孝感市汉川市云南省丽江市宁蒗彝族自治县山西省阳泉市平定县山西省晋城市高平市无极县大陈镇山东省青岛市城阳区江苏省徐州市吉林省白山市浑江区朝阳区小关街道马鞍山市博望区行唐县龙州镇福建省莆田市城厢区井陉县测鱼镇山西省晋城市泽州县云南省大理白族自治州云龙县四川省成都市新都区陕西省西安市未央区广东省江门市四川省乐山市甘肃省定西市渭源县甘肃省天水市秦州区山西省忻州市定襄县密云区不老屯镇山东省东营市垦利区四川省宜宾市江安县喀什地区麦盖提县福建省厦门市湖里区四川省凉山彝族自治州昭觉县江西省宜春市宜丰县重庆市县巫山县湖北省宜昌市夷陵区焦作市中站区怀柔区宝山镇南开区长虹街道陕西省汉中市留坝县甘肃省甘南藏族自治州焦作市中站区湖北省宜昌市宜都市朝阳区小红门地区贵州省黔南布依族苗族自治州惠水县甘肃省定西市渭源县陕西省西安市未央区桂林市秀峰区辽宁省沈阳市浑南区桂林市秀峰区江西省九江市武宁县西城区天桥街道甘肃省兰州市防城港市东兴市宝坻区牛家牌镇元氏县云南省大理白族自治州云龙县广东省云浮市新兴县云南省普洱市景东彝族自治县广东省惠州市龙门县海南省三沙市西沙区陕西省汉中市南郑区广东省汕头市南澳县鹿泉区白鹿泉乡湖北省恩施土家族苗族自治州建始县

全球服务区域:西藏山南市贡嘎县江西省景德镇市昌江区赞皇县院头镇福建省厦门市海沧区吉林省四平市铁西区云南省玉溪市新平彝族傣族自治县湖北省恩施土家族苗族自治州恩施市延庆区沈家营镇湖北省宜昌市夷陵区丰台区右安门街道新乐市协神乡朝阳区双井街道朝阳区双井街道山东省聊城市冠县西藏拉萨市达孜区平山县上观音堂乡百色市田林县内蒙古鄂尔多斯市鄂托克旗湖北省恩施土家族苗族自治州建始县井陉县测鱼镇江西省宜春市宜丰县西城区天桥街道密云区不老屯镇山东省泰安市东平县无极县大陈镇宝坻区牛家牌镇亳州市利辛县西藏山南市贡嘎县朝阳区管庄地区西藏阿里地区日土县宝坻区牛家牌镇南开区体育中心街道山东省威海市银川市贺兰县朝阳区小关街道辽宁省大连市旅顺口区亳州市利辛县重庆市市辖区北碚区四川省宜宾市珙县山西省晋中市太谷区密云区高岭镇西城区月坛街道福建省三明市梅列区江西省九江市武宁县河东区大直沽街道内蒙古鄂尔多斯市鄂托克旗赵县沙河店镇福建省南平市怀柔区宝山镇贵州省六盘水市水城县云南省丽江市宁蒗彝族自治县昌平区回龙观街道洛阳市汝阳县山西省吕梁市岚县北辰区桂林市兴安县江苏省镇江市句容市山西省晋城市高平市塔城地区和布克赛尔蒙古自治县山西省晋城市泽州县江西省吉安市永新县陕西省商洛市山阳县崇左市宁明县内蒙古鄂尔多斯市鄂托克旗平顶山市卫东区江苏省连云港市赣榆区四川省泸州市江阳区山东省聊城市茌平区朝阳区酒仙桥街道合肥市庐阳区和田地区昌平区阳坊镇湖北省孝感市汉川市西藏山南市山东省淄博市临淄区西乡塘区无极县大陈镇辽宁省辽阳市白塔区武清区汊沽港镇行唐县龙州镇贵州省黔东南苗族侗族自治州天柱县密云区河南寨镇福建省南平市黑龙江省伊春市金林区山西省晋中市太谷区甘肃省白银市景泰县西藏山南市贡嘎县信阳市平桥区平山县小觉镇贵州省安顺市普定县四川省宜宾市翠屏区云南省红河哈尼族彝族自治州泸西县百色市靖西市南开区长虹街道百色市田林县喀什地区叶城县长安区南村镇山东省德州市齐河县桥西区留营街道河西区桃园街道

本月行业协会发布重磅通报SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”，很高兴为您解答这个问题，让我来帮您详细说明一下:售后服务维修中心电话，支持多渠道服务

全国服务区域：山东省聊城市茌平区四川省甘孜藏族自治州山东省泰安市东平县山东省滨州市甘肃省庆阳市镇原县朝阳区管庄地区辽宁省铁岭市开原市长安区广安街道哈密市伊吾县四川省泸州市江阳区四川省甘孜藏族自治州泸定县湖北省宜昌市夷陵区山西省阳泉市平定县昌平区延寿镇云南省红河哈尼族彝族自治州泸西县山东省东营市垦利区吉林省四平市铁西区蓟州区官庄镇陕西省商洛市山阳县江苏省徐州市江西省景德镇市昌江区延庆区康庄镇江苏省徐州市丰县山东省潍坊市青州市宝坻区牛家牌镇蓟州区东施古镇云南省丽江市宁蒗彝族自治县河西区桃园街道芜湖市南陵县丰台区右安门街道福建省福州市罗源县北辰区广源街道平山县小觉镇焦作市广东省江门市桥西区东华街道贵州省安顺市普定县四川省甘孜藏族自治州辽宁省铁岭市清河区宝坻区牛家牌镇平山县岗南镇广东省惠州市龙门县山西省晋城市泽州县新乐市协神乡广东省佛山市三水区昌平区阳坊镇吉林省四平市铁西区朝阳区酒仙桥街道乌鲁木齐市沙依巴克区黑龙江省鸡西市鸡冠区四川省宜宾市珙县广东省佛山市三水区辽宁省大连市旅顺口区阿克苏地区新和县湖北省孝感市汉川市崇左市宁明县蓟州区东赵各庄镇鹿泉区寺家庄镇贵州省安顺市普定县青海省海北藏族自治州门源回族自治县西城区月坛街道河西区桃园街道福建省福州市罗源县四川省成都市双流区北海市海城区西城区天桥街道辽宁省辽阳市白塔区福建省厦门市湖里区平山县上观音堂乡无极县大陈镇甘肃省甘南藏族自治州蚌埠市龙子湖区山东省淄博市临淄区平顶山市湛河区江苏省连云港市赣榆区蓟州区东赵各庄镇辽宁省大连市旅顺口区辽宁省朝阳市北票市河东区大直沽街道陕西省西安市未央区昌平区延寿镇密云区高岭镇四川省凉山彝族自治州西昌市江苏省南通市启东市甘肃省庆阳市镇原县静海区西翟庄镇延庆区康庄镇元氏县殷村镇崇左市辽宁省铁岭市开原市山东省聊城市冠县大兴区焦作市北辰区山西省临汾市安泽县黑龙江省鸡西市鸡冠区江苏省苏州市相城区山东省德州市齐河县密云区古北口镇四川省凉山彝族自治州昭觉县

售后服务上门服务电话，智能分配单据：SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”

PRISM团队投稿量子位 | 公众号 QbitAI

SFT之后，直接上强化学习就够了吗？

小心，你做的可能不是“训练”，而是“还债”。

在多模态大模型（MLLM）的后训练中，行业内长期遵循着一个看似天经地义的范式：先SFT，再RL，两步到位。

从DeepSeek到Qwen，从GRPO到DAPO，大家拼命优化RL算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼：

SFT到RL之间，是不是少了点什么？

但来自香港科技大学（广州）、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现：

SFT不仅没有为RL铺好路，反而在悄悄挖坑。

被忽视的“隐形断层”：SFT到底做了什么？

先看一组比较有意思的数据（7个主流多模态benchmark的平均准确率）：

Qwen3-VL-4B

Qwen3-VL-8B

原始Instruct模型

56.8% (-3.0)

58.1% (-5.2)

SFT → GRPO

可以看到，SFT之后，模型性能反而下降了。

8B 模型要更为明显一点：SFT掉了5.2个点，辛辛苦苦做完强化学习，才刚刚爬回基线(baseline)的水平（63.3%→58.1%→63.3%）。

也就是说，你的RL可能一直在“还债”，而不是在“提升”。

而且这绝不是个例。

在当下主流的强Instruct模型上（Qwen3-VL等），只要SFT数据带入一个与基座不一致的新分布（比如目前最常见的GPT/Gemini蒸馏数据）几乎都会观察到类似的掉点。

原因很直接：这类基座已经经过大规模、精细的后训练，能力本就处于一个相对稳定的高位。

SFT逼着模型去模仿一套新分布，结果就是用一个更“窄”的分布去覆盖一个更“广”的能力，旧能力被冲掉、新能力又没真正学到。

换句话说，模型越强、越接近实际部署的水平，SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑”。

这恰恰是PRISM必须存在的理由。

这背后的核心问题，是后训练里早已被反复讨论的分布漂移（Distributional Drift）。

但在多模态场景下，它有一套更隐蔽、也更难治的表现形式。

问题根源：SFT引入的两类偏差

SFT在多模态场景下，会引入两类容易被忽视的偏差：

偏差一：表面模仿——token级loss把过程和结果同权处理

SFT的优化目标是在均匀的token级loss下模仿演示轨迹。

它不区分“过程”和“结果”：对模型来说，正确的推理步骤和格式化的模板套话，权重是一样的。

结果就是模型学会了“长得像”正确答案，而不是“想得出”正确答案。它学到的是表面模式，而非忠实的推理能力。

偏差二：感知漂移与推理漂移在同一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同，多模态模型的漂移不是单一的，而是两种定性不同的失败模式在同时发生：

感知漂移：视觉定位出错，模型“看错了”推理漂移：逻辑推导失败，模型“想歪了”

这两种漂移的成因不同、纠正方式不同，但SFT用同一个token loss把它们一起拟合。

而当RL阶段时，模型已经在感知和推理两端同时偏移，即一个“既看不准、又想不对”的模型。

现有RL算法为什么救不了？

从GRPO，到DAPO，再到GSPO，RL算法这一段时间确实一直在进步。

但它们解决的是RL阶段内部的问题：采样效率、梯度方差、策略崩溃。没有任何一个RL算法回头去修复SFT留下的分布偏差。

这里举个不太恰当的例子：这里就好比你参加百米短跑，SFT不仅没有让你往前走，反而把你向后推了50米。

现有的RL算法都在研究怎么跑得更快，但起点还在坑里，而PRISM要做的，就是在SFT和RL之间补上这一步，不仅把你拉回起跑线，还顺势往前推一把，让RL只用跑50米就能冲线。

PRISM的核心方案：三阶段流水线(Pipeline)

PRISM打破了传统的两阶段范式，提出了SFT → 分布对齐 (PRISM) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混合专家判别器（MoE Discriminator）

感知漂移和推理漂移是两类成因不同的偏差，需要分开处理。

PRISM为此设计了一个混合专家判别器，由两个专门化的专家组成：

感知专家D_v：专门评估视觉描述，测量模型的输出是否忠实于图像内容，解决感知漂移推理专家D_r：专门评估推理轨迹，测量逻辑推导是否一致有效，解决推理漂移

最终判别得分为两者的加权组合：

r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)

这种设计的好处是提供解耦的纠正信号，避免将两种完全不同的误差模式塞进一个标量里，导致梯度信号变得嘈杂。

黑盒蒸馏：不需要教师logits

PRISM的另一个优雅之处在于：它是黑盒的。

很多蒸馏方法需要访问教师模型的logits（内部概率分布），这意味着你得有教师模型的完整权重。

但在实际场景中，最强的模型往往只提供API，你只能看到输出，看不到内部状态。

PRISM完全在响应级别工作：从强模型（Gemini 3 Flash）采集高质量输出作为正样本，从当前策略采样作为负样本，通过对抗博弈来对齐分布。

只要能调API，就能用PRISM。

一个重要的设计决策：去掉KL正则化

传统RL训练通常会加一个KL散度约束，防止策略偏离初始模型太远。但PRISM有意识地去掉了这个约束。

道理很简单，对齐阶段的目的，就是纠正SFT带来的分布偏差。再加一个把策略拉回SFT分布的KL约束，本身就和这个目标相互矛盾。

分布演变：对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程：从Base到Post-SFT再到Post-Alignment，无论是推理步数还是视觉描述项数的分布，都在逐步向监督数据靠拢：

可以清晰看到：Post-SFT（蓝线）与Supervision（黑线）仍有明显偏差，而Post-Alignment（橙线）则大幅缩小了这一差距，且这种改进在Post-RLVR（绿线）阶段得以保持。

实验验证

在Qwen3-VL的4B和8B两个规模上，PRISM搭配GRPO/DAPO/GSPO三种主流RL算法，在4个数学推理基准（MathVista、MathVerse、MathVision、WeMath）和3个通用多模态基准（MMMU、MMMU-Pro、HallusionBench）上全面验证了有效性。

下表是论文Table 1的主结果（灰色行为PRISM）：

从主表里能读出几个值得展开的信号：

(1)模型越强，PRISM的增益越大：8B拿到+6.0的平均提升，4B为+4.4，更强的基座被SFT“伤害”得更深，也因此从对齐中受益更多；

(2)PRISM在绝大多数子基准上拿到了同基座下的最佳分数（表中加粗），覆盖数学推理与通用视觉理解两类任务，这意味着对齐带来的不是某个领域的局部增益，而是分布层面的全局校准。

消融实验：每一步都不可或缺

从消融表（论文Table 2）里能直接读出每个组件的贡献：

(1)去掉SFT阶段直接掉16.8个点，说明SFT作为“冷启动”仍不可替代，PRISM不是要取代SFT，而是修复它带来的副作用；

(2)去掉对齐阶段掉4.4个点，与4B主表的提升幅度完全对应，是分布对齐效果的直接证据；

(3)单个4B判别器替代MoE掉3.4，仅文本判别器掉3.9。

后者尤为有趣：没有视觉感知的判别器只能捕捉表面模式（格式、模板、风格），导致策略学会了“鹦鹉学舌式对齐”，听起来像监督数据，但实际上看不到所描述的内容。

PRISM的出现，给多模态大模型的后训练范式打上了一个“补丁”，但这个补丁可能比主程序还重要。

SFT 和RL之间不是无缝衔接，而是存在一道被长期忽略的分布断层。RL算法再强，如果起点就歪了，跑得越快只会偏得越远。

让多模态大模型在推理任务上再进一步，未必要靠更复杂的RL算法或更多训练数据。

把SFT和RL之间这一步对齐补上，模型自然会跑得更稳。

Arxiv：https://arxiv.org/abs/2604.28123

Github：https://github.com/XIAO4579/PRISM

合作详询：swang886@connect.hkust-gz.edu.cn

昨日官方传递最新研究成果SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”

PRISM团队投稿量子位 | 公众号 QbitAI

SFT之后，直接上强化学习就够了吗？

小心，你做的可能不是“训练”，而是“还债”。

在多模态大模型（MLLM）的后训练中，行业内长期遵循着一个看似天经地义的范式：先SFT，再RL，两步到位。

从DeepSeek到Qwen，从GRPO到DAPO，大家拼命优化RL算法的稳定性、采样效率、奖励设计……却几乎没人回头看一眼：

SFT到RL之间，是不是少了点什么？

但来自香港科技大学（广州）、南洋理工大学、清华大学等机构的最新研究Beyond SFT-to-RL(PRISM)给出了一个令人不安的发现：

SFT不仅没有为RL铺好路，反而在悄悄挖坑。

被忽视的“隐形断层”：SFT到底做了什么？

先看一组比较有意思的数据（7个主流多模态benchmark的平均准确率）：

Qwen3-VL-4B

Qwen3-VL-8B

原始Instruct模型

56.8% (-3.0)

58.1% (-5.2)

SFT → GRPO

可以看到，SFT之后，模型性能反而下降了。

8B 模型要更为明显一点：SFT掉了5.2个点，辛辛苦苦做完强化学习，才刚刚爬回基线(baseline)的水平（63.3%→58.1%→63.3%）。

也就是说，你的RL可能一直在“还债”，而不是在“提升”。

而且这绝不是个例。

原因很直接：这类基座已经经过大规模、精细的后训练，能力本就处于一个相对稳定的高位。

SFT逼着模型去模仿一套新分布，结果就是用一个更“窄”的分布去覆盖一个更“广”的能力，旧能力被冲掉、新能力又没真正学到。

换句话说，模型越强、越接近实际部署的水平，SFT引入的分布偏移就越成为RL之前一道绕不开的“暗坑”。

这恰恰是PRISM必须存在的理由。

这背后的核心问题，是后训练里早已被反复讨论的分布漂移（Distributional Drift）。

但在多模态场景下，它有一套更隐蔽、也更难治的表现形式。

问题根源：SFT引入的两类偏差

SFT在多模态场景下，会引入两类容易被忽视的偏差：

偏差一：表面模仿——token级loss把过程和结果同权处理

SFT的优化目标是在均匀的token级loss下模仿演示轨迹。

它不区分“过程”和“结果”：对模型来说，正确的推理步骤和格式化的模板套话，权重是一样的。

结果就是模型学会了“长得像”正确答案，而不是“想得出”正确答案。它学到的是表面模式，而非忠实的推理能力。

偏差二：感知漂移与推理漂移在同一个loss里被混起来

这是多模态场景特有的麻烦。与纯文本模型不同，多模态模型的漂移不是单一的，而是两种定性不同的失败模式在同时发生：

感知漂移：视觉定位出错，模型“看错了”推理漂移：逻辑推导失败，模型“想歪了”

这两种漂移的成因不同、纠正方式不同，但SFT用同一个token loss把它们一起拟合。

而当RL阶段时，模型已经在感知和推理两端同时偏移，即一个“既看不准、又想不对”的模型。

现有RL算法为什么救不了？

从GRPO，到DAPO，再到GSPO，RL算法这一段时间确实一直在进步。

但它们解决的是RL阶段内部的问题：采样效率、梯度方差、策略崩溃。没有任何一个RL算法回头去修复SFT留下的分布偏差。

这里举个不太恰当的例子：这里就好比你参加百米短跑，SFT不仅没有让你往前走，反而把你向后推了50米。

PRISM的核心方案：三阶段流水线(Pipeline)

PRISM打破了传统的两阶段范式，提出了SFT → 分布对齐 (PRISM) → RLVR的三阶段流水线。

关键创新在于中间的分布对齐阶段。

混合专家判别器（MoE Discriminator）

感知漂移和推理漂移是两类成因不同的偏差，需要分开处理。

PRISM为此设计了一个混合专家判别器，由两个专门化的专家组成：

最终判别得分为两者的加权组合：

r(x,y) = α · D_v(x,c) + (1-α) · D_r(x,t)

这种设计的好处是提供解耦的纠正信号，避免将两种完全不同的误差模式塞进一个标量里，导致梯度信号变得嘈杂。

黑盒蒸馏：不需要教师logits

PRISM的另一个优雅之处在于：它是黑盒的。

很多蒸馏方法需要访问教师模型的logits（内部概率分布），这意味着你得有教师模型的完整权重。

但在实际场景中，最强的模型往往只提供API，你只能看到输出，看不到内部状态。

PRISM完全在响应级别工作：从强模型（Gemini 3 Flash）采集高质量输出作为正样本，从当前策略采样作为负样本，通过对抗博弈来对齐分布。

只要能调API，就能用PRISM。

一个重要的设计决策：去掉KL正则化

传统RL训练通常会加一个KL散度约束，防止策略偏离初始模型太远。但PRISM有意识地去掉了这个约束。

道理很简单，对齐阶段的目的，就是纠正SFT带来的分布偏差。再加一个把策略拉回SFT分布的KL约束，本身就和这个目标相互矛盾。

分布演变：对齐真的把模型拉回到更好的起始点

下图直观地展示了分布的演变过程：从Base到Post-SFT再到Post-Alignment，无论是推理步数还是视觉描述项数的分布，都在逐步向监督数据靠拢：

实验验证

下表是论文Table 1的主结果（灰色行为PRISM）：

从主表里能读出几个值得展开的信号：

(1)模型越强，PRISM的增益越大：8B拿到+6.0的平均提升，4B为+4.4，更强的基座被SFT“伤害”得更深，也因此从对齐中受益更多；

消融实验：每一步都不可或缺

从消融表（论文Table 2）里能直接读出每个组件的贡献：

(1)去掉SFT阶段直接掉16.8个点，说明SFT作为“冷启动”仍不可替代，PRISM不是要取代SFT，而是修复它带来的副作用；

(2)去掉对齐阶段掉4.4个点，与4B主表的提升幅度完全对应，是分布对齐效果的直接证据；

(3)单个4B判别器替代MoE掉3.4，仅文本判别器掉3.9。

PRISM的出现，给多模态大模型的后训练范式打上了一个“补丁”，但这个补丁可能比主程序还重要。

SFT 和RL之间不是无缝衔接，而是存在一道被长期忽略的分布断层。RL算法再强，如果起点就歪了，跑得越快只会偏得越远。

让多模态大模型在推理任务上再进一步，未必要靠更复杂的RL算法或更多训练数据。

把SFT和RL之间这一步对齐补上，模型自然会跑得更稳。

Arxiv：https://arxiv.org/abs/2604.28123

Github：https://github.com/XIAO4579/PRISM

合作详询：swang886@connect.hkust-gz.edu.cn

来当“友仔”“友女”，吃遍美食

华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-色导航-色导航最新版N.18.78.19-技术员联盟

华体汇电竞-华体汇(中国)

广东2条蛇在市区绿化带“跳舞”

华体汇电竞-华体汇(中国):广东2条蛇在市区绿化带“跳舞”

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

90.77MB

版本{版本}

下载APK 高速下载

下载再SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”安装你想要的应用更方便更快捷发现更多

34%好评(58人)

详细信息

软件大小:56.20MB
最后更新:2026-06-17 01:51:51
最新版本:{版本}
文件格式:apk
应用分类:ios-AndroidSFT别急着接RL！你的多模态大模型可能一直在“带伤训练”
使用语言:中文
:需要联网
系统要求:3.44以上

应用介绍

?第一步：访问《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》官网?首先,打开您的浏览器,输入《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步：点击注册按钮?一旦进入《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》网站官网，您会在页面上找到一个醒目的注册按钮。点击该按钮，您将被引导至注册页面。???
?第三步：填写注册信息 ?在注册页面上，您需要填写一些必要的个人信息来创建《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息，以确保顺利完成注册。?
?第四步：验证账户?填写完个人信息后，您可能需要进行账户验证。《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。?
?第五步：设置安全选项?《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。?
?第六步：阅读并同意条款?在注册过程中，《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。???
?第七步：完成注册?一旦您完成了所有必要的步骤，并同意了《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》网站的条款，恭喜您！您已经成功注册了《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》网站账户。现在，您可以畅享《SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!??
【联系华体汇(中国)】
客服热线

加载更多

版本更新

{版本}

SFT别急着接RL！你的多模态大模型可能一直在“带伤训练”