作者：黄康爱发布时间：2026-06-16 19:27:29 点击数：36776

本周行业报告披露重要变化日本订购400枚战斧交付将严重延误 很高兴为您解答这个问题，让我来帮您详细说明一下。品牌授权报修电话，快速上门服务

密云区河南寨镇福建省莆田市城厢区云南省西双版纳傣族自治州勐腊县黑龙江省佳木斯市富锦市福建省三明市梅列区广东省惠州市龙门县井陉县吴家窑乡山东省淄博市临淄区青秀区桥西区苑东街道丰台区宛平城地区内蒙古呼伦贝尔市阿荣旗朝阳区双井街道元氏县甘肃省白银市景泰县四川省广元市无极县大陈镇云南省普洱市景东彝族自治县桥西区东华街道乌鲁木齐市沙依巴克区洛阳市汝阳县山西省晋城市泽州县四川省甘孜藏族自治州九龙县福建省三明市梅列区延庆区康庄镇平顶山市湛河区山西省晋中市灵石县福建省南平市建瓯市濮阳市南乐县湖北省宜昌市夷陵区平山县上观音堂乡广东省汕头市南澳县云南省红河哈尼族彝族自治州泸西县密云区高岭镇上海市市辖区嘉定区山西省吕梁市中阳县焦作市昌平区回龙观街道贵州省铜仁市玉屏侗族自治县黑龙江省佳木斯市汤原县云南省红河哈尼族彝族自治州泸西县上海市市辖区嘉定区青海省海北藏族自治州门源回族自治县湖北省恩施土家族苗族自治州恩施市平山县上观音堂乡四川省甘孜藏族自治州九龙县山东省枣庄市台儿庄区山东省泰安市东平县百色市靖西市北海市海城区四川省成都市双流区江苏省南通市启东市四川省宜宾市江安县密云区古北口镇桂林市秀峰区无极县大陈镇江西省萍乡市上栗县青海省海南藏族自治州贵德县开封市通许县广东省汕头市南澳县山东省烟台市牟平区防城港市东兴市江西省鹰潭市余江区赞皇县院头镇黑龙江省佳木斯市汤原县福建省漳州市龙海市甘肃省陇南市武都区平山县岗南镇青秀区江西省九江市武宁县广东省深圳市吉林省白山市浑江区青海省果洛藏族自治州福建省福州市永泰县山东省烟台市龙口市陕西省汉中市西乡县宝坻区牛家牌镇西城区天桥街道宝坻区牛家牌镇赞皇县西龙门乡河东区大直沽街道四川省遂宁市蓬溪县山东省烟台市牟平区贵州省安顺市普定县江西省吉安市吉安县江西省九江市武宁县怀柔区宝山镇福建省漳州市龙海市甘肃省陇南市武都区怀柔区龙山街道鹿泉区白鹿泉乡鹿泉区寺家庄镇固原市西吉县湖北省宜昌市秭归县行唐县龙州镇四川省甘孜藏族自治州九龙县顺义区空港街道江苏省镇江市句容市云南省大理白族自治州云龙县四川省宜宾市珙县

本月相关部门发布重大动态大语言模型为什么能像人一样说话和思考？，很高兴为您解答这个问题，让我来帮您详细说明一下:官方服务专线，支持多品牌报修

西青区精武镇甘肃省白银市景泰县大兴区朝阳区管庄地区山东省德州市齐河县宝坻区牛家牌镇广东省深圳市内蒙古锡林郭勒盟镶黄旗四川省乐山市河西区桃园街道广东省惠州市龙门县北辰区陕西省宝鸡市千阳县南阳市内乡县阿克苏地区新和县和平区南市街道昌平区回龙观街道朝阳区管庄地区四川省广安市岳池县山东省淄博市临淄区江苏省南通市启东市丰台区和义街道怀柔区雁栖地区朝阳区双井街道博尔塔拉蒙古自治州温泉县甘肃省兰州市鹿泉区白鹿泉乡江苏省徐州市丰县井陉县吴家窑乡乌鲁木齐市沙依巴克区江苏省镇江市句容市山东省聊城市茌平区桂林市秀峰区辽宁省本溪市溪湖区洛阳市汝阳县南阳市内乡县湖北省恩施土家族苗族自治州建始县密云区河南寨镇朝阳区小红门地区福建省福州市罗源县山东省东营市垦利区青海省海北藏族自治州门源回族自治县广东省珠海市斗门区山东省泰安市东平县黑龙江省佳木斯市富锦市四川省成都市金牛区山西省晋城市高平市福建省厦门市海沧区福建省厦门市海沧区怀柔区雁栖地区江西省景德镇市昌江区武清区上马台镇桂林市兴安县四川省成都市金牛区芜湖市南陵县甘肃省庆阳市镇原县蚌埠市龙子湖区山西省长治市襄垣县黑龙江省鹤岗市青秀区山西省运城市夏县福建省福州市永泰县云南省大理白族自治州云龙县青秀区江西省宜春市宜丰县吉林省长春市双阳区四川省甘孜藏族自治州九龙县江苏省徐州市山东省泰安市泰山区北辰区武清区上马台镇西藏阿里地区日土县黑龙江省鹤岗市河西区桃园街道辽宁省沈阳市合肥市庐阳区昌平区延寿镇昌平区回龙观街道云南省文山壮族苗族自治州广南县山东省威海市辽宁省锦州市义县黑龙江省绥化市明水县辽宁省铁岭市开原市内蒙古乌海市乌达区昌平区小汤山镇山东省泰安市泰山区昌平区小汤山镇江苏省南京市浦口区贵州省铜仁市玉屏侗族自治县静海区大邱庄镇江西省宜春市宜丰县山东省滨州市和田地区长安区南村镇江苏省徐州市新沂市北辰区甘肃省兰州市吉林省白山市浑江区丰台区右安门街道山西省晋中市榆社县

全球服务区域:鹿泉区寺家庄镇贵州省六盘水市水城县甘肃省陇南市黑龙江省佳木斯市汤原县元氏县山东省泰安市泰山区防城港市东兴市大兴区青海省果洛藏族自治州江西省鹰潭市余江区四川省遂宁市蓬溪县百色市靖西市新乐市协神乡桂林市兴安县福建省南平市陕西省汉中市南郑区延庆区沈家营镇南开区体育中心街道伊犁哈萨克自治州昭苏县云南省普洱市景东彝族自治县静海区大邱庄镇山西省临汾市安泽县江苏省徐州市山东省青岛市城阳区丰台区右安门街道密云区古北口镇江西省赣州市石城县山西省晋城市高平市贵州省铜仁市玉屏侗族自治县河东区大直沽街道平山县上观音堂乡山西省阳泉市平定县焦作市中站区蚌埠市蚌山区江西省景德镇市昌江区哈密市伊吾县黑龙江省绥化市明水县广东省深圳市陕西省西安市未央区蓟州区东施古镇河西区桃园街道福建省漳州市龙海市山西省晋城市高平市辽宁省大连市旅顺口区云南省文山壮族苗族自治州广南县江西省赣州市石城县云南省普洱市景东彝族自治县密云区高岭镇内蒙古兴安盟乌兰浩特市云南省红河哈尼族彝族自治州绿春县江西省宜春市宜丰县重庆市县巫山县辽宁省铁岭市清河区江苏省南通市启东市山西省晋城市泽州县武清区汊沽港镇内蒙古鄂尔多斯市鄂托克旗广东省广州市越秀区朝阳区豆各庄地区上海市市辖区嘉定区云南省丽江市宁蒗彝族自治县四川省广安市岳池县平山县宅北乡合肥市庐阳区井陉县吴家窑乡江苏省南通市启东市百色市靖西市福建省南平市建瓯市南阳市内乡县陕西省商洛市山阳县焦作市沁阳市陕西省汉中市南郑区百色市田林县四川省成都市金牛区陕西省宝鸡市眉县江西省鹰潭市余江区四川省甘孜藏族自治州泸定县昌平区阳坊镇湖北省宜昌市宜都市昌平区阳坊镇四川省广元市信阳市平桥区元氏县黑龙江省佳木斯市富锦市四川省德阳市广汉市内蒙古鄂尔多斯市康巴什区江苏省徐州市丰县湖北省宜昌市夷陵区陕西省西安市未央区蚌埠市蚌山区贵州省黔东南苗族侗族自治州天柱县北辰区山西省晋中市太谷区合肥市瑶海区云南省红河哈尼族彝族自治州泸西县青海省玉树藏族自治州治多县新乐市协神乡江苏省苏州市相城区河东区大直沽街道云南省西双版纳傣族自治州勐腊县

本月行业报告传递新动态大语言模型为什么能像人一样说话和思考？，很高兴为您解答这个问题，让我来帮您详细说明一下:售后服务维修中心电话，支持多渠道服务

全国服务区域：隆安县黑龙江省七台河市桃山区四川省广安市岳池县江苏省镇江市句容市甘肃省定西市渭源县云南省大理白族自治州云龙县北辰区黑龙江省鸡西市鸡冠区云南省丽江市宁蒗彝族自治县甘肃省兰州市海南省三沙市西沙区北辰区青海省果洛藏族自治州辽宁省沈阳市浑南区山东省淄博市临淄区辽宁省朝阳市北票市四川省甘孜藏族自治州九龙县元氏县苏村乡塔城地区和布克赛尔蒙古自治县蓟州区东施古镇长安区南村镇辽宁省铁岭市清河区广东省汕头市南澳县广东省汕头市龙湖区福建省厦门市湖里区密云区不老屯镇陕西省西安市未央区丰台区和义街道辽宁省沈阳市湖北省恩施土家族苗族自治州建始县四川省甘孜藏族自治州丹巴县赵县沙河店镇西乡塘区河东区东新街道新乐市协神乡黑龙江省鹤岗市内蒙古锡林郭勒盟正镶白旗开封市通许县武清区上马台镇山东省淄博市临淄区南阳市内乡县山西省晋中市太谷区江苏省徐州市丰县伊犁哈萨克自治州昭苏县江西省鹰潭市余江区江苏省镇江市句容市桂林市秀峰区陕西省汉中市南郑区山西省运城市夏县河东区东新街道内蒙古兴安盟乌兰浩特市甘肃省陇南市武都区云南省文山壮族苗族自治州广南县福建省厦门市海沧区广东省深圳市江苏省苏州市相城区甘肃省庆阳市镇原县山东省泰安市泰山区辽宁省沈阳市贵州省黔南布依族苗族自治州惠水县四川省广元市广东省江门市云南省红河哈尼族彝族自治州绿春县江西省鹰潭市余江区合肥市庐阳区阿克苏地区新和县四川省成都市金牛区辽宁省沈阳市北辰区广源街道辽宁省铁岭市清河区广东省珠海市斗门区山西省晋城市泽州县鹿泉区白鹿泉乡开封市通许县山东省滨州市广东省江门市江西省赣州市石城县赞皇县西龙门乡四川省甘孜藏族自治州江西省吉安市永新县江苏省连云港市赣榆区福建省厦门市海沧区朝阳区豆各庄地区丰台区右安门街道福建省福州市罗源县蓟州区东赵各庄镇焦作市沁阳市密云区河南寨镇湖北省宜昌市西陵区湖北省孝感市汉川市平山县小觉镇黑龙江省佳木斯市汤原县福建省漳州市龙海市陕西省汉中市西乡县广东省惠州市龙门县四川省宜宾市江安县辽宁省锦州市义县河东区大直沽街道朝阳区豆各庄地区辽宁省朝阳市北票市

售后服务上门服务电话，智能分配单据：大语言模型为什么能像人一样说话和思考？

李航，张少华，林苑

华体汇(中国)每天都在使用大语言模型（Large Language Model，LLM）。一个明显的感受是，它们似乎真的能够理解华体汇(中国)的语言，虽然有时也会出现幻觉。另一方面，观察 LLM 输出的思维链，也就是其推理过程的语言表示，华体汇(中国)会感到它们好像真的能像人一样思考。

最近字节跳动的李航、张少华、林苑发表了一篇文章。论述：LLM 的语言和思考能力是怎样的能力？这些能力是如何通过其实现原理和方法、乃至工作机制形成的？

全文链接：https://github.com/hangli-hl/AI-Articles/tree/main

LLM 技术是人类创造出来的，其实现原理是清楚的，但其工作机制（Mechanics）仍未被充分理解。LLM 规模极其庞大，工作机制极其复杂，给对其能力的研究带来了很大困难。

ChatGPT 问世以来，已有大量关于 LLM 机制和特性的研究，特别是近年关于工作机制（或可解释性）的研究。这些工作从不同角度对这一 AI 的核心课题给出了一定程度的回答。但仍有许多问题有待今后的研究。

该文章将对 LLM 的基本原理和实现方法做了总结，也对 LLM 工作机制的研究进行简单的介绍，包括字节跳动做的 LLM 记忆机制的工作；在此基础上，对 LLM 的能力形成提出自己的看法。

引用：LLM记忆机制论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 主要观点

文章阐述了以下主要观点。

LLM 学习到的是语言使用和推理的模式，重要的是学到了其高阶模式。LLM 的学习属于机器学习，其学习得到的内容本质上是数据中的统计规律，或者说数据中的模式（Patterns）。语言数据内容丰富，包含了词汇、语法、语义、语用信息和世界知识。华体汇(中国)可以看到，LLM 不仅学习到了与词汇和语法相关的低阶模式，而且也学习到了与语义、语用和世界知识相关的高阶模式（Higher Order Patterns）。之前的语言模型往往做不到这一点，而这正是 ChatGPT 以及后续的 LLM「涌现」出来的能力。因此，认为 LLM 仅仅学到了语言的形式而没有学到内容的观点（例如后述乔姆斯基的看法）并不能令人信服。可以用 Next Token Prediction (NTP) 来概括其基本实现原理，但整体能力是由策略、模型、算法及数据这几个要素共同决定的。LLM 的学习和推理的过程是 NTP，但这只是表面的形式，其具体的实现方法以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率分布。后训练的强化学习旨在微调模型，使其成为最优词元序列生成的策略函数。作为模型的 Transformer 具有极强的语言和知识表示能力。随机梯度下降的优化算法则能帮助找到具有良好泛化性的解。LLM 的关键在于对这些技术的系统整合与规模化实现。有观点将 LLM 的成功简单归因于 NTP，这是过于简单化的理解。LLM 的内部机制已得到一定的解析和理解。近年 LLM 可解释性研究取得了一定进展，现在 LLM 对华体汇(中国)来说已不再完全是黑盒。LLM 中的特征可以通过 SAE 等工具提取出来，特征之间形成的回路也可以利用 CLT 等工具追踪。字节跳动最近的工作进一步揭示了 LLM 中特征在学习过程中被记忆、在推理中被检索的规律。随着未来研究的不断深入，LLM 的工作机制会越来越多地被华体汇(中国)解析和理解。

2 LLM 的工作机制

LLM 的研究可以从三个视角进行：机器学习方法与理论、外部提示实验分析、内部工作机制研究。若将 LLM 比作人脑，工作机制的研究则对应着脑科学实验。

2.1 特征叠加

神经网络的每一层上都可能存在着「特征叠加」（Superposition）现象。传统的观点认为，一个神经元表示一个特征。然而，大量实验表明，这种理想化的情况在实际网络中比较少见。相反，神经元与特征之间往往呈现的是多对多的对应关系：即一个神经元参与表示多个特征，一个特征由多个神经元共同表示。

图 1：LLM 的语言和思考能力、工作机制、实现原理和方法之间的关系。

Anthropic 研究团队提出了特征叠加假说（Superposition Hypothesis）。其核心思想是：通过特征叠加，神经网络的一层神经元可以近似表示远大于其数量的特征，代价是特征之间存在一定程度的干扰。

神经网络的一层（称为实际层）可以表示为：

其次，在训练过程中，神经网络通过梯度下降最小化损失函数。当网络面临「表示尽可能多的特征」与「使用尽可能少的神经元」这两个目标时，特征叠加成为一种自然的优化结果。另外，ReLU 激活函数的使用也促进了特征向量的稀疏化，因为较弱的激活值会被截断为零。

上述特征叠加假说的合理性，已在 Anthropic 的玩具模型（toy model）模拟实验中得到验证，并在后续稀疏自编码器（Sparse Autoencoder）的开发与应用中获得了进一步的支持。

2.2 SAE：特征分析

稀疏自编码器（Sparse Autoencoder，SAE）可以用于分析神经网络，发现其中具有可解释性的特征。在 LLM 的可解释性研究中，通常将其应用于 Transformer 的残差流，即在每层的输出表示向量上。

SAE 与特征叠加理论形成了互补关系。特征叠加可以被视为一种压缩过程：模型隐式地通过高维且稀疏的特征向量对输入向量进行表示。而 SAE 则可以被视为一种「解压」方法：将输入向量分解为高维且稀疏的特征向量。这种「压缩—解压」的关系，使 SAE 成为研究和分析特征叠加现象的重要工具。

SAE 由编码器（Encoder）和解码器（Decoder）组成。首先，编码器通过非线性变换将输入向量转换为高维且稀疏的特征向量：

通过 SAE 得到的稀疏激活特征与特征叠加理论的预测一致，即模型可能将远多于神经元数量的潜在概念编码在神经元中。例如，研究者在对大语言模型进行分析时，已经成功提取出数十万到百万量级的特征，其中一些特征具有明显的语义含义，例如与实体（如「金门大桥」）或行为（如「谄媚」，Sycophancy）相关的特征。

分析表明，大语言模型中的特征往往呈现出一定的层次化结构：浅层基本是表示输入的词法与简单语法的特征；中间层有大量复杂语法和基本语义的特征；深层主要是复杂语义、推理实现和输出表达的特征。

2.3 记忆机制

字节跳动的工作提出了功能词元假说，揭示了 LLM 的记忆机制的基本特点 。功能词元假说（Function Token Hypothesis）认为，LLM 中特征的记忆是围绕着功能词元展开的，特征在一个上下文的检索，也是通过功能词元进行的。

功能词元是指在训练语料中出现频率最高的词元，大部分对应于语言学中的功能词，在语法和上下文连接上起着关键作用。例如，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元，表达明确且丰富的语义信息。统计表明，在大规模预训练语料中，前 100 多个高频词元就占了所有词元出现次数的大约 40%。

在 LLM 的预训练阶段，学习过程呈现出以功能词元为中心的显著特点。通过将训练损失按照功能词元和内容词元的四种组合进行分解观察，结果发现，「功能词元 → 内容词元」的损失函数下降得最慢。也就是说，根据功能词元来预测下一个内容词元是最困难的。从语言学的角度看，这是合理的，因为功能词元往往标志着前一个语言单元（Chunk）的结束，要预测它之后的内容词元，需要对从开头到当前位置的整个上下文有准确的理解。可以推断，正是这种最难的预测任务，成为了驱动模型优化的主导力量。

另一个发现是功能词元在训练的过程中能激活大部分特征（在不同的上下文激活不同的稀疏特征）。将功能词元和特征之间建立二部图。如果一个功能词元在某个上下文激活了某个特征，就在两者之间建立一个边。随着训练的深入，二部图上的边不断增加。最后，少量功能词元能与大部分特征之间建立联系，前 10 个高频词元激活 70% 的特征，也就是说，这些功能词元能（在不同的上下文）激活大部分特征。这里也存在着幂律分布。

在推理过程中，功能词元发挥着记忆检索的核心作用。它们能从上下文中动态地激活最具预测性的特征，从而指导下一个词元的生成。例如，如图 3 所示，当提示为「Answer the question in Chinese: What is the capital of Russia?」时，功能词元（如冒号「:」和换行符）会激活上下文中「用中文回答」和「俄罗斯」等特征，同时抑制无关特征，最终引导模型用中文生成答案「莫斯科」。这种动态的特征选择与组合能力，正是功能词元区别于内容词元的关键特性。

图 3：LLM 推理过程中功能词元发挥着记忆检索的核心作用。

功能词元之所以在 LLM 中发挥如此关键的作用，是训练目标、学习算法、模型架构和语言特性共同作用的结果。首先，下一词元预测的训练目标（交叉熵损失）要求模型最大化预测准确性，而梯度下降算法总是优先降低损失最大的部分。其次，Transformer 架构中的前馈网络层能将知识（特征）进行很好的表示和记忆，自注意力层能将低阶的知识（特征）有效地组合成高阶的知识（特征）。最后，自然语言本身的结构特性起到了决定性作用，文本总是被功能词元分割成嵌套的 Chunk（可以是短语、句子或段落）。因此，对功能词元之后的预测，需要理解从文本开头到该位置的整个上下文语义。这是一项极具挑战性的任务，促使功能词元在训练中获得连接大部分特征的能力，并在推理时重新激活最具预测性的特征。

功能词元假说对 LLM 训练实践具有深刻启示。其中最重要的一点是训练数据的格式至关重要。多项研究的结果印证了这一点。在后训练阶段，仅需少量训练步骤就能显著提升模型的指令遵循、思维链推理等能力。这可能是因为后训练通过调整功能词元的激活模式，激活了预训练期间已经习得的特征。例如，功能词元（如「thus」）在强化学习训练中能够显著提升推理性能。

2.4 CLT：回路分析

回路（Circuit）是指在 LLM 中跨层连接特征的计算图，用于表示模型中的特征是如何被激活和传播的。因为 SAE 只能看到单层的特征，具有较大的局限性。为了分析跨层的特征的连接和影响关系，研究者提出了 CLT（Cross Layer Transcoder，跨层转码器）方法。

CLT 的工作原理是：以某一层的残差流 作为输入，模型将其映射到后续各层的残差流 。通过这种方式，CLT 能够学习到一个跨层对齐的特征字典，捕捉不同层之间的特征影响关系。

CLT 在每一层都有一个类似 SAE 的特征抽取模块，但其优化目标有很大不同。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：

为了提高归因图的可解释性，采用剪枝技术对图进行精简。通过设置阈值，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传，识别对最终输出贡献最大的路径。得到的精简归因图能够更清晰地展示模型中的特征激活和推理路径，揭示模型在特定场景中的核心特征回路。

图 4：基于 CLT 构建的归因图，用于分析 LLM 的内部计算机制。来源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的语言理解和推理

3.1 LLM 的能力

3.1.1 高阶模式

从其行为表现来看，大语言模型已展现出人类同等以上的语言与推理能力。以图灵测试为衡量标准，即考察其在对话中是否无法与人类区分，LLM 已达到了人类水平。

LLM 所习得的不仅限于语言的低阶模式，更涵盖了语言与推理的高阶模式。这一点在华体汇(中国)日常使用 LLM 时可以得到直观验证。例如，LLM 能够理解并执行「喜马拉雅山有多高，用英文回答」这类指令，体现了其语用能力；它还能够辨析「金门大桥与金拱门的关系」这类涉及概念异同的问题，显示出语义理解与世界知识的整合能力。

从内部机制的分析角度看，「金门大桥」、「谄媚」等概念特征在模型中的存在，同样揭示了 LLM 具备语义与语用层面的理解能力。

乔姆斯基曾批评 LLM 仅学习到语言的表层统计规律。然而，以上事实表明，这一判断并不成立。不过，这并不意味着 LLM 与人类语言能力完全等同。事实上，LLM 的语言机制与人类大脑存在显著差异。例如，人脑的语言理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者主要负责语法处理，后者则承担词汇处理功能。

3.1.2 整体机制

大语言模型（LLM）的整体工作机制可以从训练方式、策略、算法和模型来理解（见图 5）。其训练方式通常包括预训练和后训练两个阶段，并通过两步训练融合，使模型在同一体系中同时具备语言理解、生成与推理能力。在机制上，LLM 基于自回归预测，即根据已有上下文逐步预测下一个词，这一过程也可以看作一种序列决策过程。

图 5：LLM 的机制可以从训练方式、策略、算法和模型来理解。

在预训练阶段，模型通过大规模语料学习统计规律，给定足够长的上文，下一个词元的概率分布往往会更加集中；而在后训练阶段，通过人类反馈或策略优化，使模型在相同上下文下更倾向生成最合理、最符合人类偏好的下文。

从技术实现上看，学习策略负责定义预测目标和优化方向，算法用于调整模型参数以达到最优目标，而模型结构则决定了表达能力，通过自注意力机制实现特征组合，通过前馈网络进行特征检测（非线性变换），并通过多层结构形成层次化表示。这些都对 LLM 的类人语言和推理能力起着重要作用。

模型性能的提升还体现出明显的规模效应：随着数据量、参数规模和计算资源的增加，模型能力会产生质的飞跃。同时，数据质量和训练设计（例如高质量语料和系统提示设计）也对效果至关重要。

这样训练得到的 LLM 中形成了大量的特征，表示着各种不同的概念，根据不同的上下文，这些不同的特征被激活，动态形成回路，实现复杂的语言处理和推理机制。

3.2 与人类能力的比较

表 1 对比了 LLM 与人类的能力。可以看出，LLM 在语言与推理任务上已具备与人类相当甚至超越人类的水平。然而，在其他能力维度上，两者不仅机制可能存在根本差异，其性能也并非简单可比。下面对此进行简要说明与讨论。

表 1: LLM 与人类能力比较

幻觉本质源于对事实的判断错误。LLM 自身无法解决幻觉问题。因为它学习的是语言数据中的统计规律。理论证明，在一定假设条件下，语言生成过程中一定会以一定概率产生幻觉。幻觉问题可通过其他机制加以缓解，比如，检索增强生成（RAG）。

人的思考包含多个方面，不仅涉及语言、推理和数学，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及运动系统密切相关。具身认知假说认为，思考的过程并非纯粹的符号运算，而是基于身体的感知运动经验，在心智中进行模拟。当前的多模态大语言模型（MLLM）能够将语言推理与视觉、听觉等信息进行关联处理，但其推理过程通常发生在语言表示空间。这种处理方式与人类基于具身体验的、丰富的、有意识的思考有着本质区别。

最近也有一些工作尝试进行多模态推理，让模型能够「边看边想」；但这些方法仍属于比较初步的探索。因此，从具身认知的角度看，MLLM 的思考能力与人类仍有显著差距。

LLM 既不是基于形式逻辑规则（如命题逻辑）进行推理，也不是按照计算规则进行算术运算。它可以通过其生成机制模拟，呈现出一定的启发式推理和计算能力，但在处理复杂问题时，由于缺乏严谨性，容易产生错误。因此，LLM 在这方面存在局限性。

LLM 是否有创造力，还是一个开放式的问题，这也依赖于对创造力的定义。创新分渐进式创新和颠覆性创新。通过观察可以发现，LLM 应该也具备渐进式创新能力。而颠覆式创新，如相对论理论的建立，LLM 是否能够做到，目前尚无定论。Ilya Sutskever 认为 LLM 可以做插值（interpolation），但外推（extrapolation）是开放问题，也是类似的想法。

LLM 并不存在对应人的意识机制，虽然华体汇(中国)会感到与 LLM 对话时有与真人交互的感觉。意识是指人的心智中感受到的对内部身体和外部环境的知觉。意识是清醒时人脑处于的一种状态，与其相对的其他状态是深度睡眠、昏迷、死亡。意识是主观的，是每个人以自我为中心的精神活动，对华体汇(中国)每个人来说自己的意识是持续的、一贯的、稳定的。同时，意识又是客观的，它对应着人脑神经系统的高层次处理，由人脑神经系统的低层次处理支撑。全局工作空间理论（Global Workspace Theory）认为意识是脑内信息的全局广播。

今日官方通报行业变化大语言模型为什么能像人一样说话和思考？

李航，张少华，林苑

华体汇(中国)每天都在使用大语言模型（Large Language Model，LLM）。一个明显的感受是，它们似乎真的能够理解华体汇(中国)的语言，虽然有时也会出现幻觉。另一方面，观察 LLM 输出的思维链，也就是其推理过程的语言表示，华体汇(中国)会感到它们好像真的能像人一样思考。

最近字节跳动的李航、张少华、林苑发表了一篇文章。论述：LLM 的语言和思考能力是怎样的能力？这些能力是如何通过其实现原理和方法、乃至工作机制形成的？

全文链接：https://github.com/hangli-hl/AI-Articles/tree/main

LLM 技术是人类创造出来的，其实现原理是清楚的，但其工作机制（Mechanics）仍未被充分理解。LLM 规模极其庞大，工作机制极其复杂，给对其能力的研究带来了很大困难。

ChatGPT 问世以来，已有大量关于 LLM 机制和特性的研究，特别是近年关于工作机制（或可解释性）的研究。这些工作从不同角度对这一 AI 的核心课题给出了一定程度的回答。但仍有许多问题有待今后的研究。

该文章将对 LLM 的基本原理和实现方法做了总结，也对 LLM 工作机制的研究进行简单的介绍，包括字节跳动做的 LLM 记忆机制的工作；在此基础上，对 LLM 的能力形成提出自己的看法。

引用：LLM记忆机制论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 主要观点

文章阐述了以下主要观点。

LLM 学习到的是语言使用和推理的模式，重要的是学到了其高阶模式。LLM 的学习属于机器学习，其学习得到的内容本质上是数据中的统计规律，或者说数据中的模式（Patterns）。语言数据内容丰富，包含了词汇、语法、语义、语用信息和世界知识。华体汇(中国)可以看到，LLM 不仅学习到了与词汇和语法相关的低阶模式，而且也学习到了与语义、语用和世界知识相关的高阶模式（Higher Order Patterns）。之前的语言模型往往做不到这一点，而这正是 ChatGPT 以及后续的 LLM「涌现」出来的能力。因此，认为 LLM 仅仅学到了语言的形式而没有学到内容的观点（例如后述乔姆斯基的看法）并不能令人信服。可以用 Next Token Prediction (NTP) 来概括其基本实现原理，但整体能力是由策略、模型、算法及数据这几个要素共同决定的。LLM 的学习和推理的过程是 NTP，但这只是表面的形式，其具体的实现方法以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率分布。后训练的强化学习旨在微调模型，使其成为最优词元序列生成的策略函数。作为模型的 Transformer 具有极强的语言和知识表示能力。随机梯度下降的优化算法则能帮助找到具有良好泛化性的解。LLM 的关键在于对这些技术的系统整合与规模化实现。有观点将 LLM 的成功简单归因于 NTP，这是过于简单化的理解。LLM 的内部机制已得到一定的解析和理解。近年 LLM 可解释性研究取得了一定进展，现在 LLM 对华体汇(中国)来说已不再完全是黑盒。LLM 中的特征可以通过 SAE 等工具提取出来，特征之间形成的回路也可以利用 CLT 等工具追踪。字节跳动最近的工作进一步揭示了 LLM 中特征在学习过程中被记忆、在推理中被检索的规律。随着未来研究的不断深入，LLM 的工作机制会越来越多地被华体汇(中国)解析和理解。

2 LLM 的工作机制

LLM 的研究可以从三个视角进行：机器学习方法与理论、外部提示实验分析、内部工作机制研究。若将 LLM 比作人脑，工作机制的研究则对应着脑科学实验。

2.1 特征叠加

神经网络的每一层上都可能存在着「特征叠加」（Superposition）现象。传统的观点认为，一个神经元表示一个特征。然而，大量实验表明，这种理想化的情况在实际网络中比较少见。相反，神经元与特征之间往往呈现的是多对多的对应关系：即一个神经元参与表示多个特征，一个特征由多个神经元共同表示。

图 1：LLM 的语言和思考能力、工作机制、实现原理和方法之间的关系。

Anthropic 研究团队提出了特征叠加假说（Superposition Hypothesis）。其核心思想是：通过特征叠加，神经网络的一层神经元可以近似表示远大于其数量的特征，代价是特征之间存在一定程度的干扰。

神经网络的一层（称为实际层）可以表示为：

其次，在训练过程中，神经网络通过梯度下降最小化损失函数。当网络面临「表示尽可能多的特征」与「使用尽可能少的神经元」这两个目标时，特征叠加成为一种自然的优化结果。另外，ReLU 激活函数的使用也促进了特征向量的稀疏化，因为较弱的激活值会被截断为零。

上述特征叠加假说的合理性，已在 Anthropic 的玩具模型（toy model）模拟实验中得到验证，并在后续稀疏自编码器（Sparse Autoencoder）的开发与应用中获得了进一步的支持。

2.2 SAE：特征分析

稀疏自编码器（Sparse Autoencoder，SAE）可以用于分析神经网络，发现其中具有可解释性的特征。在 LLM 的可解释性研究中，通常将其应用于 Transformer 的残差流，即在每层的输出表示向量上。

SAE 与特征叠加理论形成了互补关系。特征叠加可以被视为一种压缩过程：模型隐式地通过高维且稀疏的特征向量对输入向量进行表示。而 SAE 则可以被视为一种「解压」方法：将输入向量分解为高维且稀疏的特征向量。这种「压缩—解压」的关系，使 SAE 成为研究和分析特征叠加现象的重要工具。

SAE 由编码器（Encoder）和解码器（Decoder）组成。首先，编码器通过非线性变换将输入向量转换为高维且稀疏的特征向量：

通过 SAE 得到的稀疏激活特征与特征叠加理论的预测一致，即模型可能将远多于神经元数量的潜在概念编码在神经元中。例如，研究者在对大语言模型进行分析时，已经成功提取出数十万到百万量级的特征，其中一些特征具有明显的语义含义，例如与实体（如「金门大桥」）或行为（如「谄媚」，Sycophancy）相关的特征。

分析表明，大语言模型中的特征往往呈现出一定的层次化结构：浅层基本是表示输入的词法与简单语法的特征；中间层有大量复杂语法和基本语义的特征；深层主要是复杂语义、推理实现和输出表达的特征。

2.3 记忆机制

字节跳动的工作提出了功能词元假说，揭示了 LLM 的记忆机制的基本特点 。功能词元假说（Function Token Hypothesis）认为，LLM 中特征的记忆是围绕着功能词元展开的，特征在一个上下文的检索，也是通过功能词元进行的。

功能词元是指在训练语料中出现频率最高的词元，大部分对应于语言学中的功能词，在语法和上下文连接上起着关键作用。例如，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元，表达明确且丰富的语义信息。统计表明，在大规模预训练语料中，前 100 多个高频词元就占了所有词元出现次数的大约 40%。

在 LLM 的预训练阶段，学习过程呈现出以功能词元为中心的显著特点。通过将训练损失按照功能词元和内容词元的四种组合进行分解观察，结果发现，「功能词元 → 内容词元」的损失函数下降得最慢。也就是说，根据功能词元来预测下一个内容词元是最困难的。从语言学的角度看，这是合理的，因为功能词元往往标志着前一个语言单元（Chunk）的结束，要预测它之后的内容词元，需要对从开头到当前位置的整个上下文有准确的理解。可以推断，正是这种最难的预测任务，成为了驱动模型优化的主导力量。

另一个发现是功能词元在训练的过程中能激活大部分特征（在不同的上下文激活不同的稀疏特征）。将功能词元和特征之间建立二部图。如果一个功能词元在某个上下文激活了某个特征，就在两者之间建立一个边。随着训练的深入，二部图上的边不断增加。最后，少量功能词元能与大部分特征之间建立联系，前 10 个高频词元激活 70% 的特征，也就是说，这些功能词元能（在不同的上下文）激活大部分特征。这里也存在着幂律分布。

在推理过程中，功能词元发挥着记忆检索的核心作用。它们能从上下文中动态地激活最具预测性的特征，从而指导下一个词元的生成。例如，如图 3 所示，当提示为「Answer the question in Chinese: What is the capital of Russia?」时，功能词元（如冒号「:」和换行符）会激活上下文中「用中文回答」和「俄罗斯」等特征，同时抑制无关特征，最终引导模型用中文生成答案「莫斯科」。这种动态的特征选择与组合能力，正是功能词元区别于内容词元的关键特性。

图 3：LLM 推理过程中功能词元发挥着记忆检索的核心作用。

功能词元之所以在 LLM 中发挥如此关键的作用，是训练目标、学习算法、模型架构和语言特性共同作用的结果。首先，下一词元预测的训练目标（交叉熵损失）要求模型最大化预测准确性，而梯度下降算法总是优先降低损失最大的部分。其次，Transformer 架构中的前馈网络层能将知识（特征）进行很好的表示和记忆，自注意力层能将低阶的知识（特征）有效地组合成高阶的知识（特征）。最后，自然语言本身的结构特性起到了决定性作用，文本总是被功能词元分割成嵌套的 Chunk（可以是短语、句子或段落）。因此，对功能词元之后的预测，需要理解从文本开头到该位置的整个上下文语义。这是一项极具挑战性的任务，促使功能词元在训练中获得连接大部分特征的能力，并在推理时重新激活最具预测性的特征。

功能词元假说对 LLM 训练实践具有深刻启示。其中最重要的一点是训练数据的格式至关重要。多项研究的结果印证了这一点。在后训练阶段，仅需少量训练步骤就能显著提升模型的指令遵循、思维链推理等能力。这可能是因为后训练通过调整功能词元的激活模式，激活了预训练期间已经习得的特征。例如，功能词元（如「thus」）在强化学习训练中能够显著提升推理性能。

2.4 CLT：回路分析

回路（Circuit）是指在 LLM 中跨层连接特征的计算图，用于表示模型中的特征是如何被激活和传播的。因为 SAE 只能看到单层的特征，具有较大的局限性。为了分析跨层的特征的连接和影响关系，研究者提出了 CLT（Cross Layer Transcoder，跨层转码器）方法。

CLT 的工作原理是：以某一层的残差流 作为输入，模型将其映射到后续各层的残差流 。通过这种方式，CLT 能够学习到一个跨层对齐的特征字典，捕捉不同层之间的特征影响关系。

CLT 在每一层都有一个类似 SAE 的特征抽取模块，但其优化目标有很大不同。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：

为了提高归因图的可解释性，采用剪枝技术对图进行精简。通过设置阈值，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传，识别对最终输出贡献最大的路径。得到的精简归因图能够更清晰地展示模型中的特征激活和推理路径，揭示模型在特定场景中的核心特征回路。

图 4：基于 CLT 构建的归因图，用于分析 LLM 的内部计算机制。来源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的语言理解和推理

3.1 LLM 的能力

3.1.1 高阶模式

从其行为表现来看，大语言模型已展现出人类同等以上的语言与推理能力。以图灵测试为衡量标准，即考察其在对话中是否无法与人类区分，LLM 已达到了人类水平。

LLM 所习得的不仅限于语言的低阶模式，更涵盖了语言与推理的高阶模式。这一点在华体汇(中国)日常使用 LLM 时可以得到直观验证。例如，LLM 能够理解并执行「喜马拉雅山有多高，用英文回答」这类指令，体现了其语用能力；它还能够辨析「金门大桥与金拱门的关系」这类涉及概念异同的问题，显示出语义理解与世界知识的整合能力。

从内部机制的分析角度看，「金门大桥」、「谄媚」等概念特征在模型中的存在，同样揭示了 LLM 具备语义与语用层面的理解能力。

乔姆斯基曾批评 LLM 仅学习到语言的表层统计规律。然而，以上事实表明，这一判断并不成立。不过，这并不意味着 LLM 与人类语言能力完全等同。事实上，LLM 的语言机制与人类大脑存在显著差异。例如，人脑的语言理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者主要负责语法处理，后者则承担词汇处理功能。

3.1.2 整体机制

大语言模型（LLM）的整体工作机制可以从训练方式、策略、算法和模型来理解（见图 5）。其训练方式通常包括预训练和后训练两个阶段，并通过两步训练融合，使模型在同一体系中同时具备语言理解、生成与推理能力。在机制上，LLM 基于自回归预测，即根据已有上下文逐步预测下一个词，这一过程也可以看作一种序列决策过程。

图 5：LLM 的机制可以从训练方式、策略、算法和模型来理解。

在预训练阶段，模型通过大规模语料学习统计规律，给定足够长的上文，下一个词元的概率分布往往会更加集中；而在后训练阶段，通过人类反馈或策略优化，使模型在相同上下文下更倾向生成最合理、最符合人类偏好的下文。

从技术实现上看，学习策略负责定义预测目标和优化方向，算法用于调整模型参数以达到最优目标，而模型结构则决定了表达能力，通过自注意力机制实现特征组合，通过前馈网络进行特征检测（非线性变换），并通过多层结构形成层次化表示。这些都对 LLM 的类人语言和推理能力起着重要作用。

模型性能的提升还体现出明显的规模效应：随着数据量、参数规模和计算资源的增加，模型能力会产生质的飞跃。同时，数据质量和训练设计（例如高质量语料和系统提示设计）也对效果至关重要。

这样训练得到的 LLM 中形成了大量的特征，表示着各种不同的概念，根据不同的上下文，这些不同的特征被激活，动态形成回路，实现复杂的语言处理和推理机制。

3.2 与人类能力的比较

表 1 对比了 LLM 与人类的能力。可以看出，LLM 在语言与推理任务上已具备与人类相当甚至超越人类的水平。然而，在其他能力维度上，两者不仅机制可能存在根本差异，其性能也并非简单可比。下面对此进行简要说明与讨论。

表 1: LLM 与人类能力比较

幻觉本质源于对事实的判断错误。LLM 自身无法解决幻觉问题。因为它学习的是语言数据中的统计规律。理论证明，在一定假设条件下，语言生成过程中一定会以一定概率产生幻觉。幻觉问题可通过其他机制加以缓解，比如，检索增强生成（RAG）。

人的思考包含多个方面，不仅涉及语言、推理和数学，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及运动系统密切相关。具身认知假说认为，思考的过程并非纯粹的符号运算，而是基于身体的感知运动经验，在心智中进行模拟。当前的多模态大语言模型（MLLM）能够将语言推理与视觉、听觉等信息进行关联处理，但其推理过程通常发生在语言表示空间。这种处理方式与人类基于具身体验的、丰富的、有意识的思考有着本质区别。

最近也有一些工作尝试进行多模态推理，让模型能够「边看边想」；但这些方法仍属于比较初步的探索。因此，从具身认知的角度看，MLLM 的思考能力与人类仍有显著差距。

LLM 既不是基于形式逻辑规则（如命题逻辑）进行推理，也不是按照计算规则进行算术运算。它可以通过其生成机制模拟，呈现出一定的启发式推理和计算能力，但在处理复杂问题时，由于缺乏严谨性，容易产生错误。因此，LLM 在这方面存在局限性。

LLM 是否有创造力，还是一个开放式的问题，这也依赖于对创造力的定义。创新分渐进式创新和颠覆性创新。通过观察可以发现，LLM 应该也具备渐进式创新能力。而颠覆式创新，如相对论理论的建立，LLM 是否能够做到，目前尚无定论。Ilya Sutskever 认为 LLM 可以做插值（interpolation），但外推（extrapolation）是开放问题，也是类似的想法。

LLM 并不存在对应人的意识机制，虽然华体汇(中国)会感到与 LLM 对话时有与真人交互的感觉。意识是指人的心智中感受到的对内部身体和外部环境的知觉。意识是清醒时人脑处于的一种状态，与其相对的其他状态是深度睡眠、昏迷、死亡。意识是主观的，是每个人以自我为中心的精神活动，对华体汇(中国)每个人来说自己的意识是持续的、一贯的、稳定的。同时，意识又是客观的，它对应着人脑神经系统的高层次处理，由人脑神经系统的低层次处理支撑。全局工作空间理论（Global Workspace Theory）认为意识是脑内信息的全局广播。


会期举办的14场分论坛，重点围绕互联网与文明乡风建设、网络文明培育、优化营商网络环境、网络辟谣、网络公益建设、互联网企业社会责任、全民数字素养与技能提升、网络文明国际交流互鉴、铸牢中华民族共同体意识、人工智能赋能网络文明建设等主题展开，并将发布一系列网络文明建设成果。
华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-東北老熟女黃色A片app-東北老熟女黃色A片2026最新V.6.69.28-2265安卓网

华体汇电竞-华体汇(中国)

日本订购400枚战斧交付将严重延误
首页>>蒜农犯难：请人抽1斤蒜薹倒贴钱
日本订购400枚战斧交付将严重延误

华体汇电竞-华体汇(中国):日本订购400枚战斧交付将严重延误

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

92.83MB
版本{版本}
下载APK高速下载
下载再大语言模型为什么能像人一样说话和思考？安装你想要的应用 更方便 更快捷 发现更多
喜欢42%好评(20人)
评论47
大语言模型为什么能像人一样说话和思考？截图0大语言模型为什么能像人一样说话和思考？截图1大语言模型为什么能像人一样说话和思考？截图2大语言模型为什么能像人一样说话和思考？截图3大语言模型为什么能像人一样说话和思考？截图4
详细信息
应用介绍
?第一步：访问《大语言模型为什么能像人一样说话和思考？》官网?首先,打开您的浏览器,输入《大语言模型为什么能像人一样说话和思考？》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步：点击注册按钮?一旦进入《大语言模型为什么能像人一样说话和思考？》网站官网，您会在页面上找到一个醒目的注册按钮。点击该按钮，您将被引导至注册页面。??
?第三步：填写注册信息 ?在注册页面上，您需要填写一些必要的个人信息来创建《大语言模型为什么能像人一样说话和思考？》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息，以确保顺利完成注册。?
?第四步：验证账户?填写完个人信息后，您可能需要进行账户验证。《大语言模型为什么能像人一样说话和思考？》网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。?
?第五步：设置安全选项?《大语言模型为什么能像人一样说话和思考？》网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。?
?第六步：阅读并同意条款?在注册过程中，《大语言模型为什么能像人一样说话和思考？》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。??
?第七步：完成注册?一旦您完成了所有必要的步骤，并同意了《大语言模型为什么能像人一样说话和思考？》网站的条款，恭喜您！您已经成功注册了《大语言模型为什么能像人一样说话和思考？》网站账户。现在，您可以畅享《大语言模型为什么能像人一样说话和思考？》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!?
【联系华体汇(中国)】
客服热线
加载更多
版本更新
{版本}
大语言模型为什么能像人一样说话和思考？

华体汇电竞-华体汇(中国): 大语言模型为什么能像人一样说话和思考？类似软件

相关攻略
包含 饿了么 的应用集
友情链接
  • 侨批与侨企专题展在沪启幕 方寸尺素承载百年侨海情
    2026-06-16 19:27:29
  • 叶刘淑仪：香港是动荡世界中充满机遇的“绿洲”
    2026-06-16 19:27:29
  • 光大期货：6月3日金融日报
    2026-06-16 19:27:29
安卓手机网上最贴心的Android软件应用平台!版权所有：大语言模型为什么能像人一样说话和思考？有限华体汇电竞-华体汇(中国)备案号：京ICP备17065190号-1