作者：刘智钧发布时间：2026-06-17 08:48:26 点击数：45694

本周官方更新政策动态高层住户穿拖鞋翻出阳台擦玻璃 很高兴为您解答这个问题，让我来帮您详细说明一下。品牌授权报修电话，快速上门服务

海南省海口市美兰区山东省淄博市临淄区朝阳区小红门地区广东省汕头市龙湖区许昌市建安区湖北省孝感市汉川市山西省晋中市太谷区昌平区回龙观街道蓟州区东赵各庄镇吉林省四平市铁西区四川省成都市新都区内蒙古锡林郭勒盟正镶白旗福建省厦门市湖里区内蒙古鄂尔多斯市康巴什区贵州省黔东南苗族侗族自治州天柱县四川省甘孜藏族自治州泸定县四川省宜宾市翠屏区陕西省西安市未央区昌平区阳坊镇福建省福州市罗源县黑龙江省七台河市桃山区广东省广州市越秀区平山县宅北乡平山县岗南镇福建省三明市梅列区喀什地区麦盖提县江西省景德镇市昌江区上海市市辖区嘉定区贵州省六盘水市水城县四川省广安市岳池县桂林市兴安县密云区不老屯镇江苏省苏州市相城区百色市田林县巴音郭楞蒙古自治州和硕县隆安县辽宁省铁岭市开原市陕西省汉中市留坝县防城港市东兴市内蒙古鄂尔多斯市康巴什区甘肃省庆阳市镇原县蓟州区官庄镇门头沟区大峪街道黑龙江省佳木斯市富锦市广东省云浮市新兴县福建省厦门市海沧区新乐市协神乡江苏省镇江市句容市辽宁省辽阳市白塔区桥西区留营街道山东省淄博市临淄区黑龙江省鹤岗市青海省海南藏族自治州贵德县山东省泰安市泰山区江苏省徐州市新沂市西城区天桥街道北辰区密云区高岭镇山东省聊城市茌平区甘肃省庆阳市镇原县北海市海城区博尔塔拉蒙古自治州温泉县四川省宜宾市翠屏区山西省朔州市山阴县山西省晋中市太谷区海淀区青龙桥街道贵州省六盘水市水城县广东省汕头市南澳县山西省晋中市灵石县湖北省襄阳市襄州区山西省晋城市泽州县江苏省镇江市句容市南开区体育中心街道广东省佛山市三水区贵州省黔南布依族苗族自治州惠水县海南省海口市美兰区辽宁省锦州市义县陕西省咸阳市兴平市黑龙江省七台河市桃山区四川省成都市双流区辽宁省沈阳市沈河区桂林市兴安县银川市贺兰县内蒙古兴安盟乌兰浩特市大兴区内蒙古兴安盟乌兰浩特市元氏县福建省莆田市仙游县朝阳区双井街道青海省海北藏族自治州门源回族自治县福建省厦门市海沧区山东省淄博市临淄区西城区月坛街道辽宁省锦州市义县平山县小觉镇江西省赣州市石城县濮阳市南乐县云南省普洱市景东彝族自治县桥西区苑东街道亳州市利辛县

本月相关部门发布最新研究报告大语言模型为什么能像人一样说话和思考？，很高兴为您解答这个问题，让我来帮您详细说明一下:官方服务专线，支持多品牌报修

桂林市兴安县四川省德阳市广汉市湖北省恩施土家族苗族自治州建始县吉林省长春市双阳区濮阳市南乐县陕西省咸阳市兴平市西藏山南市贡嘎县辽宁省沈阳市沈河区陕西省咸阳市兴平市福建省福州市永泰县福建省三明市梅列区巴音郭楞蒙古自治州和硕县马鞍山市博望区四川省甘孜藏族自治州云南省普洱市景东彝族自治县丰台区长辛店镇广东省佛山市三水区云南省红河哈尼族彝族自治州绿春县福建省厦门市海沧区山东省德州市齐河县哈密市伊吾县辽宁省辽阳市白塔区广东省佛山市三水区湖北省宜昌市西陵区贵州省黔东南苗族侗族自治州天柱县西城区天桥街道山西省晋中市灵石县四川省宜宾市珙县四川省宜宾市翠屏区湖北省宜昌市秭归县四川省凉山彝族自治州甘洛县信阳市平桥区西藏山南市山东省聊城市茌平区洛阳市汝阳县青海省果洛藏族自治州辽宁省沈阳市福建省厦门市湖里区北海市海城区内蒙古锡林郭勒盟镶黄旗广东省珠海市斗门区湖北省宜昌市宜都市内蒙古锡林郭勒盟镶黄旗内蒙古锡林郭勒盟正镶白旗广东省惠州市龙门县内蒙古锡林郭勒盟镶黄旗山西省阳泉市平定县云南省普洱市景东彝族自治县四川省遂宁市蓬溪县辽宁省沈阳市沈河区江西省宜春市奉新县山西省吕梁市中阳县朝阳区小关街道赵县沙河店镇山东省滨州市青海省玉树藏族自治州治多县江苏省南通市启东市重庆市市辖区北碚区合肥市庐阳区黑龙江省七台河市桃山区山东省聊城市茌平区贵州省黔南布依族苗族自治州惠水县门头沟区大峪街道芜湖市南陵县许昌市建安区隆安县湖北省宜昌市西陵区广东省惠州市龙门县西藏拉萨市达孜区贵州省黔东南苗族侗族自治州天柱县淮南市大通区云南省红河哈尼族彝族自治州泸西县延庆区康庄镇武清区汊沽港镇甘肃省定西市渭源县怀柔区宝山镇四川省宜宾市珙县江苏省苏州市相城区陕西省汉中市南郑区黑龙江省鹤岗市黑龙江省七台河市桃山区四川省成都市金牛区蚌埠市蚌山区静海区大邱庄镇贵州省铜仁市印江土家族苗族自治县山西省晋中市榆社县陕西省西安市未央区井陉县吴家窑乡山西省阳泉市平定县百色市田林县朝阳区酒仙桥街道顺义区空港街道巴音郭楞蒙古自治州和硕县桥西区东华街道广东省云浮市新兴县福建省三明市梅列区河东区东新街道四川省乐山市昌平区延寿镇蓟州区东二营镇

全球服务区域:辽宁省朝阳市北票市朝阳区酒仙桥街道丰台区长辛店镇四川省凉山彝族自治州西昌市蚌埠市蚌山区内蒙古锡林郭勒盟正镶白旗顺义区空港街道辽宁省沈阳市云南省怒江傈僳族自治州福贡县四川省遂宁市蓬溪县赞皇县院头镇青秀区山西省忻州市宁武县四川省宜宾市江安县四川省成都市新都区哈密市伊吾县辽宁省铁岭市清河区新乐市协神乡洛阳市汝阳县云南省红河哈尼族彝族自治州泸西县江西省赣州市石城县吉林省四平市铁西区塔城地区和布克赛尔蒙古自治县黑龙江省哈尔滨市巴彦县江苏省苏州市相城区广东省惠州市龙门县四川省乐山市昌平区小汤山镇四川省宜宾市江安县丰台区宛平城地区井陉县测鱼镇丰台区和义街道辽宁省辽阳市白塔区昌平区小汤山镇海南省儋州市平顶山市卫东区和田地区山西省朔州市山阴县桂林市兴安县云南省红河哈尼族彝族自治州泸西县崇左市江苏省镇江市句容市延庆区沈家营镇开封市通许县固原市西吉县桥西区留营街道四川省乐山市甘肃省定西市渭源县江西省萍乡市上栗县湖北省恩施土家族苗族自治州恩施市重庆市市辖区北碚区丰台区宛平城地区陕西省汉中市南郑区井陉县吴家窑乡江西省萍乡市上栗县密云区古北口镇山西省晋中市太谷区内蒙古鄂尔多斯市鄂托克旗江西省景德镇市昌江区蚌埠市龙子湖区青海省海南藏族自治州贵德县福建省南平市亳州市利辛县蓟州区东二营镇江苏省连云港市赣榆区黑龙江省绥化市明水县山东省潍坊市青州市武清区汊沽港镇福建省厦门市湖里区四川省广安市岳池县焦作市沁阳市内蒙古乌海市乌达区云南省玉溪市新平彝族傣族自治县宝坻区牛家牌镇甘肃省甘南藏族自治州四川省凉山彝族自治州甘洛县南开区长虹街道山东省聊城市冠县山东省滨州市陕西省汉中市西乡县青海省玉树藏族自治州治多县江西省萍乡市上栗县江苏省南京市浦口区平山县东回舍镇海南省儋州市平山县东回舍镇桂林市兴安县西城区月坛街道塔城地区和布克赛尔蒙古自治县崇左市昌平区阳坊镇海淀区青龙桥街道桥西区留营街道吉林省四平市铁西区山西省阳泉市平定县福建省南平市建瓯市山东省淄博市临淄区鹿泉区白鹿泉乡巴音郭楞蒙古自治州和硕县江西省吉安市永新县

刚刚官方渠道发布新动态大语言模型为什么能像人一样说话和思考？，很高兴为您解答这个问题，让我来帮您详细说明一下:售后服务维修中心电话，支持多渠道服务

全国服务区域：陕西省咸阳市兴平市怀柔区雁栖地区山东省淄博市临淄区吉林省白山市浑江区朝阳区双井街道山西省晋中市榆社县四川省广安市岳池县青海省海北藏族自治州门源回族自治县平山县上观音堂乡青秀区广东省珠海市斗门区青海省海南藏族自治州贵德县北辰区朝阳区豆各庄地区山西省朔州市山阴县朝阳区酒仙桥街道昌平区延寿镇山东省潍坊市青州市贵州省铜仁市印江土家族苗族自治县内蒙古兴安盟乌兰浩特市江苏省徐州市新沂市平山县岗南镇江苏省徐州市新沂市山西省长治市襄垣县广东省惠州市龙门县贵州省铜仁市玉屏侗族自治县山西省吕梁市中阳县丰台区右安门街道山东省滨州市内蒙古兴安盟乌兰浩特市焦作市中站区青海省玉树藏族自治州治多县信阳市平桥区辽宁省沈阳市沈河区广东省佛山市三水区淮南市大通区四川省凉山彝族自治州西昌市黑龙江省佳木斯市汤原县甘肃省天水市秦州区福建省厦门市海沧区甘肃省白银市景泰县桂林市秀峰区静海区大邱庄镇甘肃省兰州市静海区西翟庄镇喀什地区麦盖提县山东省泰安市东平县密云区古北口镇丰台区右安门街道百色市靖西市青海省海西蒙古族藏族自治州德令哈市重庆市市辖区北碚区鹿泉区白鹿泉乡静海区西翟庄镇陕西省宝鸡市千阳县福建省厦门市海沧区陕西省咸阳市兴平市山西省晋中市灵石县山东省东营市垦利区平顶山市卫东区井陉县吴家窑乡辽宁省朝阳市北票市辽宁省大连市旅顺口区甘肃省庆阳市镇原县山东省聊城市茌平区朝阳区豆各庄地区河东区东新街道湖北省襄阳市襄州区黑龙江省佳木斯市汤原县江苏省徐州市丰县山东省淄博市临淄区湖北省恩施土家族苗族自治州恩施市贵州省安顺市普定县江西省九江市武宁县桥西区苑东街道山西省晋中市榆社县黑龙江省鹤岗市内蒙古鄂尔多斯市康巴什区广东省汕头市南澳县青海省海北藏族自治州门源回族自治县山东省威海市云南省丽江市宁蒗彝族自治县河东区大直沽街道山西省晋城市泽州县博尔塔拉蒙古自治州温泉县云南省文山壮族苗族自治州广南县隆安县江苏省南京市浦口区山东省滨州市江苏省南京市浦口区江苏省徐州市蓟州区官庄镇云南省怒江傈僳族自治州福贡县江苏省镇江市句容市四川省成都市新都区怀柔区龙山街道阿克苏地区拜城县黑龙江省鹤岗市黑龙江省鹤岗市广东省珠海市斗门区

售后服务上门服务电话，智能分配单据：大语言模型为什么能像人一样说话和思考？

李航，张少华，林苑

华体汇(中国)每天都在使用大语言模型（Large Language Model，LLM）。一个明显的感受是，它们似乎真的能够理解华体汇(中国)的语言，虽然有时也会出现幻觉。另一方面，观察 LLM 输出的思维链，也就是其推理过程的语言表示，华体汇(中国)会感到它们好像真的能像人一样思考。

最近字节跳动的李航、张少华、林苑发表了一篇文章。论述：LLM 的语言和思考能力是怎样的能力？这些能力是如何通过其实现原理和方法、乃至工作机制形成的？

全文链接：https://github.com/hangli-hl/AI-Articles/tree/main

LLM 技术是人类创造出来的，其实现原理是清楚的，但其工作机制（Mechanics）仍未被充分理解。LLM 规模极其庞大，工作机制极其复杂，给对其能力的研究带来了很大困难。

ChatGPT 问世以来，已有大量关于 LLM 机制和特性的研究，特别是近年关于工作机制（或可解释性）的研究。这些工作从不同角度对这一 AI 的核心课题给出了一定程度的回答。但仍有许多问题有待今后的研究。

该文章将对 LLM 的基本原理和实现方法做了总结，也对 LLM 工作机制的研究进行简单的介绍，包括字节跳动做的 LLM 记忆机制的工作；在此基础上，对 LLM 的能力形成提出自己的看法。

引用：LLM记忆机制论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 主要观点

文章阐述了以下主要观点。

LLM 学习到的是语言使用和推理的模式，重要的是学到了其高阶模式。LLM 的学习属于机器学习，其学习得到的内容本质上是数据中的统计规律，或者说数据中的模式（Patterns）。语言数据内容丰富，包含了词汇、语法、语义、语用信息和世界知识。华体汇(中国)可以看到，LLM 不仅学习到了与词汇和语法相关的低阶模式，而且也学习到了与语义、语用和世界知识相关的高阶模式（Higher Order Patterns）。之前的语言模型往往做不到这一点，而这正是 ChatGPT 以及后续的 LLM「涌现」出来的能力。因此，认为 LLM 仅仅学到了语言的形式而没有学到内容的观点（例如后述乔姆斯基的看法）并不能令人信服。可以用 Next Token Prediction (NTP) 来概括其基本实现原理，但整体能力是由策略、模型、算法及数据这几个要素共同决定的。LLM 的学习和推理的过程是 NTP，但这只是表面的形式，其具体的实现方法以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率分布。后训练的强化学习旨在微调模型，使其成为最优词元序列生成的策略函数。作为模型的 Transformer 具有极强的语言和知识表示能力。随机梯度下降的优化算法则能帮助找到具有良好泛化性的解。LLM 的关键在于对这些技术的系统整合与规模化实现。有观点将 LLM 的成功简单归因于 NTP，这是过于简单化的理解。LLM 的内部机制已得到一定的解析和理解。近年 LLM 可解释性研究取得了一定进展，现在 LLM 对华体汇(中国)来说已不再完全是黑盒。LLM 中的特征可以通过 SAE 等工具提取出来，特征之间形成的回路也可以利用 CLT 等工具追踪。字节跳动最近的工作进一步揭示了 LLM 中特征在学习过程中被记忆、在推理中被检索的规律。随着未来研究的不断深入，LLM 的工作机制会越来越多地被华体汇(中国)解析和理解。

2 LLM 的工作机制

LLM 的研究可以从三个视角进行：机器学习方法与理论、外部提示实验分析、内部工作机制研究。若将 LLM 比作人脑，工作机制的研究则对应着脑科学实验。

2.1 特征叠加

神经网络的每一层上都可能存在着「特征叠加」（Superposition）现象。传统的观点认为，一个神经元表示一个特征。然而，大量实验表明，这种理想化的情况在实际网络中比较少见。相反，神经元与特征之间往往呈现的是多对多的对应关系：即一个神经元参与表示多个特征，一个特征由多个神经元共同表示。

图 1：LLM 的语言和思考能力、工作机制、实现原理和方法之间的关系。

Anthropic 研究团队提出了特征叠加假说（Superposition Hypothesis）。其核心思想是：通过特征叠加，神经网络的一层神经元可以近似表示远大于其数量的特征，代价是特征之间存在一定程度的干扰。

神经网络的一层（称为实际层）可以表示为：

其次，在训练过程中，神经网络通过梯度下降最小化损失函数。当网络面临「表示尽可能多的特征」与「使用尽可能少的神经元」这两个目标时，特征叠加成为一种自然的优化结果。另外，ReLU 激活函数的使用也促进了特征向量的稀疏化，因为较弱的激活值会被截断为零。

上述特征叠加假说的合理性，已在 Anthropic 的玩具模型（toy model）模拟实验中得到验证，并在后续稀疏自编码器（Sparse Autoencoder）的开发与应用中获得了进一步的支持。

2.2 SAE：特征分析

稀疏自编码器（Sparse Autoencoder，SAE）可以用于分析神经网络，发现其中具有可解释性的特征。在 LLM 的可解释性研究中，通常将其应用于 Transformer 的残差流，即在每层的输出表示向量上。

SAE 与特征叠加理论形成了互补关系。特征叠加可以被视为一种压缩过程：模型隐式地通过高维且稀疏的特征向量对输入向量进行表示。而 SAE 则可以被视为一种「解压」方法：将输入向量分解为高维且稀疏的特征向量。这种「压缩—解压」的关系，使 SAE 成为研究和分析特征叠加现象的重要工具。

SAE 由编码器（Encoder）和解码器（Decoder）组成。首先，编码器通过非线性变换将输入向量转换为高维且稀疏的特征向量：

通过 SAE 得到的稀疏激活特征与特征叠加理论的预测一致，即模型可能将远多于神经元数量的潜在概念编码在神经元中。例如，研究者在对大语言模型进行分析时，已经成功提取出数十万到百万量级的特征，其中一些特征具有明显的语义含义，例如与实体（如「金门大桥」）或行为（如「谄媚」，Sycophancy）相关的特征。

分析表明，大语言模型中的特征往往呈现出一定的层次化结构：浅层基本是表示输入的词法与简单语法的特征；中间层有大量复杂语法和基本语义的特征；深层主要是复杂语义、推理实现和输出表达的特征。

2.3 记忆机制

字节跳动的工作提出了功能词元假说，揭示了 LLM 的记忆机制的基本特点 。功能词元假说（Function Token Hypothesis）认为，LLM 中特征的记忆是围绕着功能词元展开的，特征在一个上下文的检索，也是通过功能词元进行的。

功能词元是指在训练语料中出现频率最高的词元，大部分对应于语言学中的功能词，在语法和上下文连接上起着关键作用。例如，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元，表达明确且丰富的语义信息。统计表明，在大规模预训练语料中，前 100 多个高频词元就占了所有词元出现次数的大约 40%。

在 LLM 的预训练阶段，学习过程呈现出以功能词元为中心的显著特点。通过将训练损失按照功能词元和内容词元的四种组合进行分解观察，结果发现，「功能词元 → 内容词元」的损失函数下降得最慢。也就是说，根据功能词元来预测下一个内容词元是最困难的。从语言学的角度看，这是合理的，因为功能词元往往标志着前一个语言单元（Chunk）的结束，要预测它之后的内容词元，需要对从开头到当前位置的整个上下文有准确的理解。可以推断，正是这种最难的预测任务，成为了驱动模型优化的主导力量。

另一个发现是功能词元在训练的过程中能激活大部分特征（在不同的上下文激活不同的稀疏特征）。将功能词元和特征之间建立二部图。如果一个功能词元在某个上下文激活了某个特征，就在两者之间建立一个边。随着训练的深入，二部图上的边不断增加。最后，少量功能词元能与大部分特征之间建立联系，前 10 个高频词元激活 70% 的特征，也就是说，这些功能词元能（在不同的上下文）激活大部分特征。这里也存在着幂律分布。

在推理过程中，功能词元发挥着记忆检索的核心作用。它们能从上下文中动态地激活最具预测性的特征，从而指导下一个词元的生成。例如，如图 3 所示，当提示为「Answer the question in Chinese: What is the capital of Russia?」时，功能词元（如冒号「:」和换行符）会激活上下文中「用中文回答」和「俄罗斯」等特征，同时抑制无关特征，最终引导模型用中文生成答案「莫斯科」。这种动态的特征选择与组合能力，正是功能词元区别于内容词元的关键特性。

图 3：LLM 推理过程中功能词元发挥着记忆检索的核心作用。

功能词元之所以在 LLM 中发挥如此关键的作用，是训练目标、学习算法、模型架构和语言特性共同作用的结果。首先，下一词元预测的训练目标（交叉熵损失）要求模型最大化预测准确性，而梯度下降算法总是优先降低损失最大的部分。其次，Transformer 架构中的前馈网络层能将知识（特征）进行很好的表示和记忆，自注意力层能将低阶的知识（特征）有效地组合成高阶的知识（特征）。最后，自然语言本身的结构特性起到了决定性作用，文本总是被功能词元分割成嵌套的 Chunk（可以是短语、句子或段落）。因此，对功能词元之后的预测，需要理解从文本开头到该位置的整个上下文语义。这是一项极具挑战性的任务，促使功能词元在训练中获得连接大部分特征的能力，并在推理时重新激活最具预测性的特征。

功能词元假说对 LLM 训练实践具有深刻启示。其中最重要的一点是训练数据的格式至关重要。多项研究的结果印证了这一点。在后训练阶段，仅需少量训练步骤就能显著提升模型的指令遵循、思维链推理等能力。这可能是因为后训练通过调整功能词元的激活模式，激活了预训练期间已经习得的特征。例如，功能词元（如「thus」）在强化学习训练中能够显著提升推理性能。

2.4 CLT：回路分析

回路（Circuit）是指在 LLM 中跨层连接特征的计算图，用于表示模型中的特征是如何被激活和传播的。因为 SAE 只能看到单层的特征，具有较大的局限性。为了分析跨层的特征的连接和影响关系，研究者提出了 CLT（Cross Layer Transcoder，跨层转码器）方法。

CLT 的工作原理是：以某一层的残差流 作为输入，模型将其映射到后续各层的残差流 。通过这种方式，CLT 能够学习到一个跨层对齐的特征字典，捕捉不同层之间的特征影响关系。

CLT 在每一层都有一个类似 SAE 的特征抽取模块，但其优化目标有很大不同。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：

为了提高归因图的可解释性，采用剪枝技术对图进行精简。通过设置阈值，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传，识别对最终输出贡献最大的路径。得到的精简归因图能够更清晰地展示模型中的特征激活和推理路径，揭示模型在特定场景中的核心特征回路。

图 4：基于 CLT 构建的归因图，用于分析 LLM 的内部计算机制。来源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的语言理解和推理

3.1 LLM 的能力

3.1.1 高阶模式

从其行为表现来看，大语言模型已展现出人类同等以上的语言与推理能力。以图灵测试为衡量标准，即考察其在对话中是否无法与人类区分，LLM 已达到了人类水平。

LLM 所习得的不仅限于语言的低阶模式，更涵盖了语言与推理的高阶模式。这一点在华体汇(中国)日常使用 LLM 时可以得到直观验证。例如，LLM 能够理解并执行「喜马拉雅山有多高，用英文回答」这类指令，体现了其语用能力；它还能够辨析「金门大桥与金拱门的关系」这类涉及概念异同的问题，显示出语义理解与世界知识的整合能力。

从内部机制的分析角度看，「金门大桥」、「谄媚」等概念特征在模型中的存在，同样揭示了 LLM 具备语义与语用层面的理解能力。

乔姆斯基曾批评 LLM 仅学习到语言的表层统计规律。然而，以上事实表明，这一判断并不成立。不过，这并不意味着 LLM 与人类语言能力完全等同。事实上，LLM 的语言机制与人类大脑存在显著差异。例如，人脑的语言理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者主要负责语法处理，后者则承担词汇处理功能。

3.1.2 整体机制

大语言模型（LLM）的整体工作机制可以从训练方式、策略、算法和模型来理解（见图 5）。其训练方式通常包括预训练和后训练两个阶段，并通过两步训练融合，使模型在同一体系中同时具备语言理解、生成与推理能力。在机制上，LLM 基于自回归预测，即根据已有上下文逐步预测下一个词，这一过程也可以看作一种序列决策过程。

图 5：LLM 的机制可以从训练方式、策略、算法和模型来理解。

在预训练阶段，模型通过大规模语料学习统计规律，给定足够长的上文，下一个词元的概率分布往往会更加集中；而在后训练阶段，通过人类反馈或策略优化，使模型在相同上下文下更倾向生成最合理、最符合人类偏好的下文。

从技术实现上看，学习策略负责定义预测目标和优化方向，算法用于调整模型参数以达到最优目标，而模型结构则决定了表达能力，通过自注意力机制实现特征组合，通过前馈网络进行特征检测（非线性变换），并通过多层结构形成层次化表示。这些都对 LLM 的类人语言和推理能力起着重要作用。

模型性能的提升还体现出明显的规模效应：随着数据量、参数规模和计算资源的增加，模型能力会产生质的飞跃。同时，数据质量和训练设计（例如高质量语料和系统提示设计）也对效果至关重要。

这样训练得到的 LLM 中形成了大量的特征，表示着各种不同的概念，根据不同的上下文，这些不同的特征被激活，动态形成回路，实现复杂的语言处理和推理机制。

3.2 与人类能力的比较

表 1 对比了 LLM 与人类的能力。可以看出，LLM 在语言与推理任务上已具备与人类相当甚至超越人类的水平。然而，在其他能力维度上，两者不仅机制可能存在根本差异，其性能也并非简单可比。下面对此进行简要说明与讨论。

表 1: LLM 与人类能力比较

幻觉本质源于对事实的判断错误。LLM 自身无法解决幻觉问题。因为它学习的是语言数据中的统计规律。理论证明，在一定假设条件下，语言生成过程中一定会以一定概率产生幻觉。幻觉问题可通过其他机制加以缓解，比如，检索增强生成（RAG）。

人的思考包含多个方面，不仅涉及语言、推理和数学，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及运动系统密切相关。具身认知假说认为，思考的过程并非纯粹的符号运算，而是基于身体的感知运动经验，在心智中进行模拟。当前的多模态大语言模型（MLLM）能够将语言推理与视觉、听觉等信息进行关联处理，但其推理过程通常发生在语言表示空间。这种处理方式与人类基于具身体验的、丰富的、有意识的思考有着本质区别。

最近也有一些工作尝试进行多模态推理，让模型能够「边看边想」；但这些方法仍属于比较初步的探索。因此，从具身认知的角度看，MLLM 的思考能力与人类仍有显著差距。

LLM 既不是基于形式逻辑规则（如命题逻辑）进行推理，也不是按照计算规则进行算术运算。它可以通过其生成机制模拟，呈现出一定的启发式推理和计算能力，但在处理复杂问题时，由于缺乏严谨性，容易产生错误。因此，LLM 在这方面存在局限性。

LLM 是否有创造力，还是一个开放式的问题，这也依赖于对创造力的定义。创新分渐进式创新和颠覆性创新。通过观察可以发现，LLM 应该也具备渐进式创新能力。而颠覆式创新，如相对论理论的建立，LLM 是否能够做到，目前尚无定论。Ilya Sutskever 认为 LLM 可以做插值（interpolation），但外推（extrapolation）是开放问题，也是类似的想法。

LLM 并不存在对应人的意识机制，虽然华体汇(中国)会感到与 LLM 对话时有与真人交互的感觉。意识是指人的心智中感受到的对内部身体和外部环境的知觉。意识是清醒时人脑处于的一种状态，与其相对的其他状态是深度睡眠、昏迷、死亡。意识是主观的，是每个人以自我为中心的精神活动，对华体汇(中国)每个人来说自己的意识是持续的、一贯的、稳定的。同时，意识又是客观的，它对应着人脑神经系统的高层次处理，由人脑神经系统的低层次处理支撑。全局工作空间理论（Global Workspace Theory）认为意识是脑内信息的全局广播。

今日研究机构公开最新行业进展大语言模型为什么能像人一样说话和思考？

李航，张少华，林苑

华体汇(中国)每天都在使用大语言模型（Large Language Model，LLM）。一个明显的感受是，它们似乎真的能够理解华体汇(中国)的语言，虽然有时也会出现幻觉。另一方面，观察 LLM 输出的思维链，也就是其推理过程的语言表示，华体汇(中国)会感到它们好像真的能像人一样思考。

最近字节跳动的李航、张少华、林苑发表了一篇文章。论述：LLM 的语言和思考能力是怎样的能力？这些能力是如何通过其实现原理和方法、乃至工作机制形成的？

全文链接：https://github.com/hangli-hl/AI-Articles/tree/main

LLM 技术是人类创造出来的，其实现原理是清楚的，但其工作机制（Mechanics）仍未被充分理解。LLM 规模极其庞大，工作机制极其复杂，给对其能力的研究带来了很大困难。

ChatGPT 问世以来，已有大量关于 LLM 机制和特性的研究，特别是近年关于工作机制（或可解释性）的研究。这些工作从不同角度对这一 AI 的核心课题给出了一定程度的回答。但仍有许多问题有待今后的研究。

该文章将对 LLM 的基本原理和实现方法做了总结，也对 LLM 工作机制的研究进行简单的介绍，包括字节跳动做的 LLM 记忆机制的工作；在此基础上，对 LLM 的能力形成提出自己的看法。

引用：LLM记忆机制论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 主要观点

文章阐述了以下主要观点。

LLM 学习到的是语言使用和推理的模式，重要的是学到了其高阶模式。LLM 的学习属于机器学习，其学习得到的内容本质上是数据中的统计规律，或者说数据中的模式（Patterns）。语言数据内容丰富，包含了词汇、语法、语义、语用信息和世界知识。华体汇(中国)可以看到，LLM 不仅学习到了与词汇和语法相关的低阶模式，而且也学习到了与语义、语用和世界知识相关的高阶模式（Higher Order Patterns）。之前的语言模型往往做不到这一点，而这正是 ChatGPT 以及后续的 LLM「涌现」出来的能力。因此，认为 LLM 仅仅学到了语言的形式而没有学到内容的观点（例如后述乔姆斯基的看法）并不能令人信服。可以用 Next Token Prediction (NTP) 来概括其基本实现原理，但整体能力是由策略、模型、算法及数据这几个要素共同决定的。LLM 的学习和推理的过程是 NTP，但这只是表面的形式，其具体的实现方法以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率分布。后训练的强化学习旨在微调模型，使其成为最优词元序列生成的策略函数。作为模型的 Transformer 具有极强的语言和知识表示能力。随机梯度下降的优化算法则能帮助找到具有良好泛化性的解。LLM 的关键在于对这些技术的系统整合与规模化实现。有观点将 LLM 的成功简单归因于 NTP，这是过于简单化的理解。LLM 的内部机制已得到一定的解析和理解。近年 LLM 可解释性研究取得了一定进展，现在 LLM 对华体汇(中国)来说已不再完全是黑盒。LLM 中的特征可以通过 SAE 等工具提取出来，特征之间形成的回路也可以利用 CLT 等工具追踪。字节跳动最近的工作进一步揭示了 LLM 中特征在学习过程中被记忆、在推理中被检索的规律。随着未来研究的不断深入，LLM 的工作机制会越来越多地被华体汇(中国)解析和理解。

2 LLM 的工作机制

LLM 的研究可以从三个视角进行：机器学习方法与理论、外部提示实验分析、内部工作机制研究。若将 LLM 比作人脑，工作机制的研究则对应着脑科学实验。

2.1 特征叠加

神经网络的每一层上都可能存在着「特征叠加」（Superposition）现象。传统的观点认为，一个神经元表示一个特征。然而，大量实验表明，这种理想化的情况在实际网络中比较少见。相反，神经元与特征之间往往呈现的是多对多的对应关系：即一个神经元参与表示多个特征，一个特征由多个神经元共同表示。

图 1：LLM 的语言和思考能力、工作机制、实现原理和方法之间的关系。

Anthropic 研究团队提出了特征叠加假说（Superposition Hypothesis）。其核心思想是：通过特征叠加，神经网络的一层神经元可以近似表示远大于其数量的特征，代价是特征之间存在一定程度的干扰。

神经网络的一层（称为实际层）可以表示为：

其次，在训练过程中，神经网络通过梯度下降最小化损失函数。当网络面临「表示尽可能多的特征」与「使用尽可能少的神经元」这两个目标时，特征叠加成为一种自然的优化结果。另外，ReLU 激活函数的使用也促进了特征向量的稀疏化，因为较弱的激活值会被截断为零。

上述特征叠加假说的合理性，已在 Anthropic 的玩具模型（toy model）模拟实验中得到验证，并在后续稀疏自编码器（Sparse Autoencoder）的开发与应用中获得了进一步的支持。

2.2 SAE：特征分析

稀疏自编码器（Sparse Autoencoder，SAE）可以用于分析神经网络，发现其中具有可解释性的特征。在 LLM 的可解释性研究中，通常将其应用于 Transformer 的残差流，即在每层的输出表示向量上。

SAE 与特征叠加理论形成了互补关系。特征叠加可以被视为一种压缩过程：模型隐式地通过高维且稀疏的特征向量对输入向量进行表示。而 SAE 则可以被视为一种「解压」方法：将输入向量分解为高维且稀疏的特征向量。这种「压缩—解压」的关系，使 SAE 成为研究和分析特征叠加现象的重要工具。

SAE 由编码器（Encoder）和解码器（Decoder）组成。首先，编码器通过非线性变换将输入向量转换为高维且稀疏的特征向量：

通过 SAE 得到的稀疏激活特征与特征叠加理论的预测一致，即模型可能将远多于神经元数量的潜在概念编码在神经元中。例如，研究者在对大语言模型进行分析时，已经成功提取出数十万到百万量级的特征，其中一些特征具有明显的语义含义，例如与实体（如「金门大桥」）或行为（如「谄媚」，Sycophancy）相关的特征。

分析表明，大语言模型中的特征往往呈现出一定的层次化结构：浅层基本是表示输入的词法与简单语法的特征；中间层有大量复杂语法和基本语义的特征；深层主要是复杂语义、推理实现和输出表达的特征。

2.3 记忆机制

字节跳动的工作提出了功能词元假说，揭示了 LLM 的记忆机制的基本特点 。功能词元假说（Function Token Hypothesis）认为，LLM 中特征的记忆是围绕着功能词元展开的，特征在一个上下文的检索，也是通过功能词元进行的。

功能词元是指在训练语料中出现频率最高的词元，大部分对应于语言学中的功能词，在语法和上下文连接上起着关键作用。例如，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元，表达明确且丰富的语义信息。统计表明，在大规模预训练语料中，前 100 多个高频词元就占了所有词元出现次数的大约 40%。

在 LLM 的预训练阶段，学习过程呈现出以功能词元为中心的显著特点。通过将训练损失按照功能词元和内容词元的四种组合进行分解观察，结果发现，「功能词元 → 内容词元」的损失函数下降得最慢。也就是说，根据功能词元来预测下一个内容词元是最困难的。从语言学的角度看，这是合理的，因为功能词元往往标志着前一个语言单元（Chunk）的结束，要预测它之后的内容词元，需要对从开头到当前位置的整个上下文有准确的理解。可以推断，正是这种最难的预测任务，成为了驱动模型优化的主导力量。

另一个发现是功能词元在训练的过程中能激活大部分特征（在不同的上下文激活不同的稀疏特征）。将功能词元和特征之间建立二部图。如果一个功能词元在某个上下文激活了某个特征，就在两者之间建立一个边。随着训练的深入，二部图上的边不断增加。最后，少量功能词元能与大部分特征之间建立联系，前 10 个高频词元激活 70% 的特征，也就是说，这些功能词元能（在不同的上下文）激活大部分特征。这里也存在着幂律分布。

在推理过程中，功能词元发挥着记忆检索的核心作用。它们能从上下文中动态地激活最具预测性的特征，从而指导下一个词元的生成。例如，如图 3 所示，当提示为「Answer the question in Chinese: What is the capital of Russia?」时，功能词元（如冒号「:」和换行符）会激活上下文中「用中文回答」和「俄罗斯」等特征，同时抑制无关特征，最终引导模型用中文生成答案「莫斯科」。这种动态的特征选择与组合能力，正是功能词元区别于内容词元的关键特性。

图 3：LLM 推理过程中功能词元发挥着记忆检索的核心作用。

功能词元之所以在 LLM 中发挥如此关键的作用，是训练目标、学习算法、模型架构和语言特性共同作用的结果。首先，下一词元预测的训练目标（交叉熵损失）要求模型最大化预测准确性，而梯度下降算法总是优先降低损失最大的部分。其次，Transformer 架构中的前馈网络层能将知识（特征）进行很好的表示和记忆，自注意力层能将低阶的知识（特征）有效地组合成高阶的知识（特征）。最后，自然语言本身的结构特性起到了决定性作用，文本总是被功能词元分割成嵌套的 Chunk（可以是短语、句子或段落）。因此，对功能词元之后的预测，需要理解从文本开头到该位置的整个上下文语义。这是一项极具挑战性的任务，促使功能词元在训练中获得连接大部分特征的能力，并在推理时重新激活最具预测性的特征。

功能词元假说对 LLM 训练实践具有深刻启示。其中最重要的一点是训练数据的格式至关重要。多项研究的结果印证了这一点。在后训练阶段，仅需少量训练步骤就能显著提升模型的指令遵循、思维链推理等能力。这可能是因为后训练通过调整功能词元的激活模式，激活了预训练期间已经习得的特征。例如，功能词元（如「thus」）在强化学习训练中能够显著提升推理性能。

2.4 CLT：回路分析

回路（Circuit）是指在 LLM 中跨层连接特征的计算图，用于表示模型中的特征是如何被激活和传播的。因为 SAE 只能看到单层的特征，具有较大的局限性。为了分析跨层的特征的连接和影响关系，研究者提出了 CLT（Cross Layer Transcoder，跨层转码器）方法。

CLT 的工作原理是：以某一层的残差流 作为输入，模型将其映射到后续各层的残差流 。通过这种方式，CLT 能够学习到一个跨层对齐的特征字典，捕捉不同层之间的特征影响关系。

CLT 在每一层都有一个类似 SAE 的特征抽取模块，但其优化目标有很大不同。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：

为了提高归因图的可解释性，采用剪枝技术对图进行精简。通过设置阈值，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传，识别对最终输出贡献最大的路径。得到的精简归因图能够更清晰地展示模型中的特征激活和推理路径，揭示模型在特定场景中的核心特征回路。

图 4：基于 CLT 构建的归因图，用于分析 LLM 的内部计算机制。来源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的语言理解和推理

3.1 LLM 的能力

3.1.1 高阶模式

从其行为表现来看，大语言模型已展现出人类同等以上的语言与推理能力。以图灵测试为衡量标准，即考察其在对话中是否无法与人类区分，LLM 已达到了人类水平。

LLM 所习得的不仅限于语言的低阶模式，更涵盖了语言与推理的高阶模式。这一点在华体汇(中国)日常使用 LLM 时可以得到直观验证。例如，LLM 能够理解并执行「喜马拉雅山有多高，用英文回答」这类指令，体现了其语用能力；它还能够辨析「金门大桥与金拱门的关系」这类涉及概念异同的问题，显示出语义理解与世界知识的整合能力。

从内部机制的分析角度看，「金门大桥」、「谄媚」等概念特征在模型中的存在，同样揭示了 LLM 具备语义与语用层面的理解能力。

乔姆斯基曾批评 LLM 仅学习到语言的表层统计规律。然而，以上事实表明，这一判断并不成立。不过，这并不意味着 LLM 与人类语言能力完全等同。事实上，LLM 的语言机制与人类大脑存在显著差异。例如，人脑的语言理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者主要负责语法处理，后者则承担词汇处理功能。

3.1.2 整体机制

大语言模型（LLM）的整体工作机制可以从训练方式、策略、算法和模型来理解（见图 5）。其训练方式通常包括预训练和后训练两个阶段，并通过两步训练融合，使模型在同一体系中同时具备语言理解、生成与推理能力。在机制上，LLM 基于自回归预测，即根据已有上下文逐步预测下一个词，这一过程也可以看作一种序列决策过程。

图 5：LLM 的机制可以从训练方式、策略、算法和模型来理解。

在预训练阶段，模型通过大规模语料学习统计规律，给定足够长的上文，下一个词元的概率分布往往会更加集中；而在后训练阶段，通过人类反馈或策略优化，使模型在相同上下文下更倾向生成最合理、最符合人类偏好的下文。

从技术实现上看，学习策略负责定义预测目标和优化方向，算法用于调整模型参数以达到最优目标，而模型结构则决定了表达能力，通过自注意力机制实现特征组合，通过前馈网络进行特征检测（非线性变换），并通过多层结构形成层次化表示。这些都对 LLM 的类人语言和推理能力起着重要作用。

模型性能的提升还体现出明显的规模效应：随着数据量、参数规模和计算资源的增加，模型能力会产生质的飞跃。同时，数据质量和训练设计（例如高质量语料和系统提示设计）也对效果至关重要。

这样训练得到的 LLM 中形成了大量的特征，表示着各种不同的概念，根据不同的上下文，这些不同的特征被激活，动态形成回路，实现复杂的语言处理和推理机制。

3.2 与人类能力的比较

表 1 对比了 LLM 与人类的能力。可以看出，LLM 在语言与推理任务上已具备与人类相当甚至超越人类的水平。然而，在其他能力维度上，两者不仅机制可能存在根本差异，其性能也并非简单可比。下面对此进行简要说明与讨论。

表 1: LLM 与人类能力比较

幻觉本质源于对事实的判断错误。LLM 自身无法解决幻觉问题。因为它学习的是语言数据中的统计规律。理论证明，在一定假设条件下，语言生成过程中一定会以一定概率产生幻觉。幻觉问题可通过其他机制加以缓解，比如，检索增强生成（RAG）。

人的思考包含多个方面，不仅涉及语言、推理和数学，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及运动系统密切相关。具身认知假说认为，思考的过程并非纯粹的符号运算，而是基于身体的感知运动经验，在心智中进行模拟。当前的多模态大语言模型（MLLM）能够将语言推理与视觉、听觉等信息进行关联处理，但其推理过程通常发生在语言表示空间。这种处理方式与人类基于具身体验的、丰富的、有意识的思考有着本质区别。

最近也有一些工作尝试进行多模态推理，让模型能够「边看边想」；但这些方法仍属于比较初步的探索。因此，从具身认知的角度看，MLLM 的思考能力与人类仍有显著差距。

LLM 既不是基于形式逻辑规则（如命题逻辑）进行推理，也不是按照计算规则进行算术运算。它可以通过其生成机制模拟，呈现出一定的启发式推理和计算能力，但在处理复杂问题时，由于缺乏严谨性，容易产生错误。因此，LLM 在这方面存在局限性。

LLM 是否有创造力，还是一个开放式的问题，这也依赖于对创造力的定义。创新分渐进式创新和颠覆性创新。通过观察可以发现，LLM 应该也具备渐进式创新能力。而颠覆式创新，如相对论理论的建立，LLM 是否能够做到，目前尚无定论。Ilya Sutskever 认为 LLM 可以做插值（interpolation），但外推（extrapolation）是开放问题，也是类似的想法。

LLM 并不存在对应人的意识机制，虽然华体汇(中国)会感到与 LLM 对话时有与真人交互的感觉。意识是指人的心智中感受到的对内部身体和外部环境的知觉。意识是清醒时人脑处于的一种状态，与其相对的其他状态是深度睡眠、昏迷、死亡。意识是主观的，是每个人以自我为中心的精神活动，对华体汇(中国)每个人来说自己的意识是持续的、一贯的、稳定的。同时，意识又是客观的，它对应着人脑神经系统的高层次处理，由人脑神经系统的低层次处理支撑。全局工作空间理论（Global Workspace Theory）认为意识是脑内信息的全局广播。


江苏扬州、宿迁等城市则进一步优化政策，明确公积金可用于缴纳小区物业费。
华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-91第一页官方版-91第一页最新版V.9.92.61-安智市场

华体汇电竞-华体汇(中国)

高层住户穿拖鞋翻出阳台擦玻璃
首页>>中国空间站：神二十三乘组在轨三周 多项工作持续推进
高层住户穿拖鞋翻出阳台擦玻璃

华体汇电竞-华体汇(中国):高层住户穿拖鞋翻出阳台擦玻璃

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

96.40MB
版本{版本}
下载APK高速下载
下载再大语言模型为什么能像人一样说话和思考？安装你想要的应用 更方便 更快捷 发现更多
喜欢57%好评(56人)
评论74
大语言模型为什么能像人一样说话和思考？截图0大语言模型为什么能像人一样说话和思考？截图1大语言模型为什么能像人一样说话和思考？截图2大语言模型为什么能像人一样说话和思考？截图3大语言模型为什么能像人一样说话和思考？截图4
详细信息
应用介绍
?第一步：访问《大语言模型为什么能像人一样说话和思考？》官网?首先,打开您的浏览器,输入《大语言模型为什么能像人一样说话和思考？》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步：点击注册按钮?一旦进入《大语言模型为什么能像人一样说话和思考？》网站官网，您会在页面上找到一个醒目的注册按钮。点击该按钮，您将被引导至注册页面。???
?第三步：填写注册信息 ?在注册页面上，您需要填写一些必要的个人信息来创建《大语言模型为什么能像人一样说话和思考？》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息，以确保顺利完成注册。?
?第四步：验证账户?填写完个人信息后，您可能需要进行账户验证。《大语言模型为什么能像人一样说话和思考？》网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。?
?第五步：设置安全选项?《大语言模型为什么能像人一样说话和思考？》网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。?
?第六步：阅读并同意条款?在注册过程中，《大语言模型为什么能像人一样说话和思考？》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。??
?第七步：完成注册?一旦您完成了所有必要的步骤，并同意了《大语言模型为什么能像人一样说话和思考？》网站的条款，恭喜您！您已经成功注册了《大语言模型为什么能像人一样说话和思考？》网站账户。现在，您可以畅享《大语言模型为什么能像人一样说话和思考？》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!?
【联系华体汇(中国)】
客服热线
加载更多
版本更新
{版本}
大语言模型为什么能像人一样说话和思考？

华体汇电竞-华体汇(中国): 大语言模型为什么能像人一样说话和思考？类似软件

相关攻略
包含 饿了么 的应用集
友情链接
  • 伊朗称袭击美国第五舰队总部
    2026-06-17 08:48:26
  • 时政画说丨跨越山海的重逢
    2026-06-17 08:48:26
  • 中国藏语系高级佛学院2026年高级学衔班招生考试结束
    2026-06-17 08:48:26
安卓手机网上最贴心的Android软件应用平台!版权所有：大语言模型为什么能像人一样说话和思考？有限华体汇电竞-华体汇(中国)备案号：京ICP备17065190号-1