作者：盛吟伟发布时间：2026-06-14 09:22:57 点击数：72063

昨日官方更新行业研究成果韩国调查船只在霍尔木兹海峡起火原因很高兴为您解答这个问题，让我来帮您详细说明一下。品牌授权报修电话，快速上门服务

山东省烟台市龙口市江苏省苏州市相城区吉林省白山市浑江区芜湖市南陵县巴音郭楞蒙古自治州和硕县延庆区沈家营镇百色市靖西市江苏省镇江市句容市江西省鹰潭市余江区喀什地区麦盖提县云南省红河哈尼族彝族自治州泸西县蓟州区东施古镇黑龙江省伊春市金林区山西省晋中市榆社县江西省宜春市宜丰县鹿泉区寺家庄镇辽宁省辽阳市白塔区辽宁省铁岭市清河区内蒙古兴安盟乌兰浩特市福建省厦门市海沧区平山县小觉镇长安区广安街道昌平区回龙观街道内蒙古锡林郭勒盟正镶白旗河西区桃园街道鹿泉区白鹿泉乡黑龙江省鹤岗市云南省大理白族自治州云龙县焦作市四川省宜宾市江安县江苏省徐州市丰县昌平区延寿镇广东省江门市顺义区空港街道西乡塘区江西省宜春市奉新县密云区河南寨镇山西省忻州市宁武县丰台区长辛店镇甘肃省兰州市甘肃省兰州市新乐市协神乡甘肃省白银市景泰县辽宁省朝阳市北票市亳州市利辛县福建省福州市罗源县江西省吉安市吉安县山东省德州市齐河县辽宁省沈阳市赵县沙河店镇四川省宜宾市翠屏区黑龙江省鹤岗市黑龙江省鸡西市鸡冠区焦作市洛阳市汝阳县乌鲁木齐市沙依巴克区广东省汕头市龙湖区江西省宜春市宜丰县湖北省襄阳市襄州区云南省大理白族自治州云龙县湖北省襄阳市襄州区江苏省南京市浦口区江苏省徐州市丰县乌鲁木齐市沙依巴克区甘肃省甘南藏族自治州山西省晋中市灵石县湖北省宜昌市西陵区山东省威海市山东省泰安市泰山区乌鲁木齐市沙依巴克区朝阳区小红门地区青秀区山东省聊城市茌平区湖北省孝感市汉川市陕西省汉中市留坝县福建省莆田市城厢区长安区广安街道西城区天桥街道广东省广州市越秀区无极县大陈镇甘肃省甘南藏族自治州山东省威海市河东区东新街道百色市田林县北海市海城区密云区高岭镇湖北省孝感市汉川市山东省聊城市茌平区陕西省宝鸡市眉县内蒙古鄂尔多斯市康巴什区江西省赣州市石城县元氏县苏村乡河东区大直沽街道辽宁省沈阳市浑南区山西省晋中市灵石县广东省惠州市龙门县山东省淄博市临淄区甘肃省定西市渭源县黑龙江省绥化市明水县四川省乐山市

本月监管部门公开最新动态大语言模型为什么能像人一样说话和思考？，很高兴为您解答这个问题，让我来帮您详细说明一下:官方服务专线，支持多品牌报修

海淀区青龙桥街道四川省泸州市江阳区湖北省恩施土家族苗族自治州恩施市喀什地区叶城县桥西区留营街道吉林省四平市铁西区青海省海北藏族自治州门源回族自治县福建省厦门市海沧区蚌埠市龙子湖区贵州省黔东南苗族侗族自治州天柱县密云区河南寨镇贵州省安顺市普定县广东省江门市北辰区广源街道洛阳市汝阳县四川省凉山彝族自治州甘洛县钦州市云南省怒江傈僳族自治州福贡县怀柔区雁栖地区喀什地区叶城县四川省乐山市江西省吉安市吉安县焦作市江西省宜春市宜丰县平山县小觉镇四川省广元市元氏县苏村乡马鞍山市博望区四川省凉山彝族自治州甘洛县乌鲁木齐市沙依巴克区濮阳市南乐县辽宁省铁岭市开原市固原市西吉县密云区高岭镇喀什地区叶城县四川省宜宾市翠屏区辽宁省本溪市溪湖区江西省九江市武宁县辽宁省大连市旅顺口区山西省长治市襄垣县陕西省商洛市山阳县辽宁省辽阳市白塔区甘肃省陇南市武都区海南省三沙市西沙区西藏山南市吉林省白山市浑江区甘肃省天水市秦州区崇左市江苏省南通市启东市阿克苏地区拜城县芜湖市南陵县黑龙江省七台河市桃山区四川省成都市新都区辽宁省铁岭市开原市密云区古北口镇山西省临汾市安泽县贵州省六盘水市水城县辽宁省大连市旅顺口区湖北省恩施土家族苗族自治州恩施市辽宁省锦州市义县山东省泰安市东平县延庆区康庄镇昌平区阳坊镇密云区高岭镇北辰区广源街道湖北省孝感市汉川市山西省运城市夏县陕西省宝鸡市眉县内蒙古兴安盟乌兰浩特市福建省莆田市城厢区山东省枣庄市台儿庄区山西省忻州市定襄县朝阳区酒仙桥街道江苏省徐州市山西省晋中市灵石县崇左市宁明县江苏省徐州市丰县山东省东营市垦利区湖北省恩施土家族苗族自治州恩施市江西省萍乡市上栗县江西省吉安市永新县宝坻区牛家牌镇宝坻区牛家牌镇黑龙江省鹤岗市四川省宜宾市翠屏区固原市西吉县海淀区青龙桥街道甘肃省天水市秦州区江西省宜春市奉新县四川省乐山市辽宁省沈阳市江苏省徐州市新沂市福建省厦门市湖里区北辰区长安区广安街道广东省江门市福建省莆田市仙游县西藏阿里地区日土县广东省江门市甘肃省陇南市武都区

全球服务区域:四川省甘孜藏族自治州山东省烟台市龙口市蚌埠市蚌山区广东省汕头市南澳县蚌埠市蚌山区朝阳区管庄地区山东省德州市齐河县焦作市湖北省宜昌市西陵区元氏县苏村乡河西区桃园街道辽宁省辽阳市白塔区武清区汊沽港镇无极县大陈镇甘肃省兰州市赞皇县西龙门乡门头沟区大峪街道黑龙江省大兴安岭地区呼玛县甘肃省陇南市延庆区沈家营镇福建省厦门市海沧区甘肃省天水市秦州区陕西省西安市未央区芜湖市南陵县银川市贺兰县海南省三沙市西沙区亳州市利辛县福建省莆田市城厢区山东省泰安市东平县桥西区东华街道河东区大直沽街道陕西省商洛市山阳县江苏省徐州市山东省威海市赞皇县西龙门乡朝阳区豆各庄地区陕西省宝鸡市眉县桂林市秀峰区贵州省安顺市普定县青海省海南藏族自治州贵德县北辰区昌平区阳坊镇山东省枣庄市台儿庄区四川省广元市贵州省六盘水市水城县黑龙江省绥化市明水县重庆市县巫山县四川省遂宁市蓬溪县新乐市协神乡朝阳区小红门地区巴音郭楞蒙古自治州和硕县蓟州区东赵各庄镇江西省九江市武宁县四川省成都市双流区陕西省宝鸡市眉县桂林市兴安县丰台区宛平城地区桥西区留营街道四川省凉山彝族自治州甘洛县平顶山市卫东区鹿泉区白鹿泉乡海南省海口市美兰区崇左市宁明县湖北省恩施土家族苗族自治州恩施市江西省宜春市宜丰县元氏县殷村镇延庆区康庄镇崇左市宁明县固原市西吉县合肥市庐阳区黑龙江省大兴安岭地区呼玛县黑龙江省佳木斯市汤原县山东省烟台市龙口市昌平区小汤山镇山西省晋中市榆社县贵州省铜仁市玉屏侗族自治县辽宁省铁岭市清河区西青区精武镇青海省玉树藏族自治州治多县丰台区宛平城地区四川省乐山市淮南市大通区芜湖市南陵县元氏县苏村乡朝阳区豆各庄地区江苏省徐州市新沂市湖北省孝感市汉川市洛阳市汝阳县四川省甘孜藏族自治州山西省阳泉市平定县福建省厦门市湖里区密云区河南寨镇无极县大陈镇广东省惠州市龙门县重庆市市辖区北碚区江苏省徐州市丰县赞皇县西龙门乡平山县岗南镇内蒙古锡林郭勒盟正镶白旗黑龙江省鹤岗市

今日行业报告更新研究成果大语言模型为什么能像人一样说话和思考？，很高兴为您解答这个问题，让我来帮您详细说明一下:售后服务维修中心电话，支持多渠道服务

全国服务区域：湖北省恩施土家族苗族自治州恩施市海南省儋州市贵州省黔东南苗族侗族自治州天柱县黑龙江省伊春市金林区贵州省黔南布依族苗族自治州惠水县江苏省苏州市相城区云南省西双版纳傣族自治州勐腊县陕西省西安市未央区辽宁省沈阳市江苏省南通市启东市武清区汊沽港镇鹿泉区寺家庄镇甘肃省定西市渭源县辽宁省沈阳市福建省福州市罗源县海南省海口市美兰区蓟州区东二营镇福建省漳州市龙海市塔城地区和布克赛尔蒙古自治县平山县岗南镇喀什地区叶城县甘肃省兰州市山西省吕梁市中阳县焦作市沁阳市元氏县西城区天桥街道巴音郭楞蒙古自治州和硕县青海省玉树藏族自治州治多县青海省海南藏族自治州贵德县江西省吉安市永新县黑龙江省鸡西市鸡冠区甘肃省天水市秦州区陕西省宝鸡市千阳县四川省甘孜藏族自治州江苏省徐州市丰县西藏山南市无极县大陈镇元氏县殷村镇静海区西翟庄镇马鞍山市博望区山西省临汾市安泽县山东省淄博市临淄区福建省南平市福建省漳州市龙海市江西省吉安市永新县内蒙古呼伦贝尔市阿荣旗密云区河南寨镇海南省儋州市濮阳市南乐县西藏山南市贡嘎县钦州市陕西省汉中市南郑区延庆区沈家营镇焦作市中站区江西省吉安市永新县芜湖市南陵县亳州市利辛县陕西省西安市未央区四川省甘孜藏族自治州山西省晋中市榆社县西城区天桥街道四川省德阳市广汉市蚌埠市龙子湖区云南省怒江傈僳族自治州福贡县朝阳区小红门地区芜湖市南陵县山西省长治市襄垣县贵州省黔东南苗族侗族自治州天柱县内蒙古兴安盟乌兰浩特市辽宁省铁岭市开原市元氏县甘肃省甘南藏族自治州西藏山南市贡嘎县蚌埠市蚌山区云南省丽江市宁蒗彝族自治县昌平区回龙观街道福建省莆田市城厢区蓟州区东赵各庄镇海淀区青龙桥街道北辰区洛阳市汝阳县元氏县殷村镇江西省吉安市永新县江西省吉安市永新县平山县上观音堂乡延庆区沈家营镇辽宁省沈阳市沈河区蓟州区东赵各庄镇丰台区和义街道贵州省铜仁市印江土家族苗族自治县淮南市大通区四川省甘孜藏族自治州泸定县陕西省汉中市留坝县西青区精武镇百色市田林县江西省吉安市吉安县辽宁省铁岭市开原市山东省东营市垦利区昌平区小汤山镇河东区大直沽街道

售后服务上门服务电话，智能分配单据：大语言模型为什么能像人一样说话和思考？

李航，张少华，林苑

华体汇(中国)每天都在使用大语言模型（Large Language Model，LLM）。一个明显的感受是，它们似乎真的能够理解华体汇(中国)的语言，虽然有时也会出现幻觉。另一方面，观察 LLM 输出的思维链，也就是其推理过程的语言表示，华体汇(中国)会感到它们好像真的能像人一样思考。

最近字节跳动的李航、张少华、林苑发表了一篇文章。论述：LLM 的语言和思考能力是怎样的能力？这些能力是如何通过其实现原理和方法、乃至工作机制形成的？

全文链接：https://github.com/hangli-hl/AI-Articles/tree/main

LLM 技术是人类创造出来的，其实现原理是清楚的，但其工作机制（Mechanics）仍未被充分理解。LLM 规模极其庞大，工作机制极其复杂，给对其能力的研究带来了很大困难。

ChatGPT 问世以来，已有大量关于 LLM 机制和特性的研究，特别是近年关于工作机制（或可解释性）的研究。这些工作从不同角度对这一 AI 的核心课题给出了一定程度的回答。但仍有许多问题有待今后的研究。

该文章将对 LLM 的基本原理和实现方法做了总结，也对 LLM 工作机制的研究进行简单的介绍，包括字节跳动做的 LLM 记忆机制的工作；在此基础上，对 LLM 的能力形成提出自己的看法。

引用：LLM记忆机制论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 主要观点

文章阐述了以下主要观点。

LLM 学习到的是语言使用和推理的模式，重要的是学到了其高阶模式。LLM 的学习属于机器学习，其学习得到的内容本质上是数据中的统计规律，或者说数据中的模式（Patterns）。语言数据内容丰富，包含了词汇、语法、语义、语用信息和世界知识。华体汇(中国)可以看到，LLM 不仅学习到了与词汇和语法相关的低阶模式，而且也学习到了与语义、语用和世界知识相关的高阶模式（Higher Order Patterns）。之前的语言模型往往做不到这一点，而这正是 ChatGPT 以及后续的 LLM「涌现」出来的能力。因此，认为 LLM 仅仅学到了语言的形式而没有学到内容的观点（例如后述乔姆斯基的看法）并不能令人信服。可以用 Next Token Prediction (NTP) 来概括其基本实现原理，但整体能力是由策略、模型、算法及数据这几个要素共同决定的。LLM 的学习和推理的过程是 NTP，但这只是表面的形式，其具体的实现方法以及其特点更为重要。预训练中使用的极大似然估计（等价于数据压缩）是估计词元序列数据的概率分布。后训练的强化学习旨在微调模型，使其成为最优词元序列生成的策略函数。作为模型的 Transformer 具有极强的语言和知识表示能力。随机梯度下降的优化算法则能帮助找到具有良好泛化性的解。LLM 的关键在于对这些技术的系统整合与规模化实现。有观点将 LLM 的成功简单归因于 NTP，这是过于简单化的理解。LLM 的内部机制已得到一定的解析和理解。近年 LLM 可解释性研究取得了一定进展，现在 LLM 对华体汇(中国)来说已不再完全是黑盒。LLM 中的特征可以通过 SAE 等工具提取出来，特征之间形成的回路也可以利用 CLT 等工具追踪。字节跳动最近的工作进一步揭示了 LLM 中特征在学习过程中被记忆、在推理中被检索的规律。随着未来研究的不断深入，LLM 的工作机制会越来越多地被华体汇(中国)解析和理解。

2 LLM 的工作机制

LLM 的研究可以从三个视角进行：机器学习方法与理论、外部提示实验分析、内部工作机制研究。若将 LLM 比作人脑，工作机制的研究则对应着脑科学实验。

2.1 特征叠加

神经网络的每一层上都可能存在着「特征叠加」（Superposition）现象。传统的观点认为，一个神经元表示一个特征。然而，大量实验表明，这种理想化的情况在实际网络中比较少见。相反，神经元与特征之间往往呈现的是多对多的对应关系：即一个神经元参与表示多个特征，一个特征由多个神经元共同表示。

图 1：LLM 的语言和思考能力、工作机制、实现原理和方法之间的关系。

Anthropic 研究团队提出了特征叠加假说（Superposition Hypothesis）。其核心思想是：通过特征叠加，神经网络的一层神经元可以近似表示远大于其数量的特征，代价是特征之间存在一定程度的干扰。

神经网络的一层（称为实际层）可以表示为：

其次，在训练过程中，神经网络通过梯度下降最小化损失函数。当网络面临「表示尽可能多的特征」与「使用尽可能少的神经元」这两个目标时，特征叠加成为一种自然的优化结果。另外，ReLU 激活函数的使用也促进了特征向量的稀疏化，因为较弱的激活值会被截断为零。

上述特征叠加假说的合理性，已在 Anthropic 的玩具模型（toy model）模拟实验中得到验证，并在后续稀疏自编码器（Sparse Autoencoder）的开发与应用中获得了进一步的支持。

2.2 SAE：特征分析

稀疏自编码器（Sparse Autoencoder，SAE）可以用于分析神经网络，发现其中具有可解释性的特征。在 LLM 的可解释性研究中，通常将其应用于 Transformer 的残差流，即在每层的输出表示向量上。

SAE 与特征叠加理论形成了互补关系。特征叠加可以被视为一种压缩过程：模型隐式地通过高维且稀疏的特征向量对输入向量进行表示。而 SAE 则可以被视为一种「解压」方法：将输入向量分解为高维且稀疏的特征向量。这种「压缩—解压」的关系，使 SAE 成为研究和分析特征叠加现象的重要工具。

SAE 由编码器（Encoder）和解码器（Decoder）组成。首先，编码器通过非线性变换将输入向量转换为高维且稀疏的特征向量：

通过 SAE 得到的稀疏激活特征与特征叠加理论的预测一致，即模型可能将远多于神经元数量的潜在概念编码在神经元中。例如，研究者在对大语言模型进行分析时，已经成功提取出数十万到百万量级的特征，其中一些特征具有明显的语义含义，例如与实体（如「金门大桥」）或行为（如「谄媚」，Sycophancy）相关的特征。

分析表明，大语言模型中的特征往往呈现出一定的层次化结构：浅层基本是表示输入的词法与简单语法的特征；中间层有大量复杂语法和基本语义的特征；深层主要是复杂语义、推理实现和输出表达的特征。

2.3 记忆机制

字节跳动的工作提出了功能词元假说，揭示了 LLM 的记忆机制的基本特点。功能词元假说（Function Token Hypothesis）认为，LLM 中特征的记忆是围绕着功能词元展开的，特征在一个上下文的检索，也是通过功能词元进行的。

功能词元是指在训练语料中出现频率最高的词元，大部分对应于语言学中的功能词，在语法和上下文连接上起着关键作用。例如，冠词「the」、标点符号（逗号、句号）、换行符等。与之相对的是内容词元，表达明确且丰富的语义信息。统计表明，在大规模预训练语料中，前 100 多个高频词元就占了所有词元出现次数的大约 40%。

在 LLM 的预训练阶段，学习过程呈现出以功能词元为中心的显著特点。通过将训练损失按照功能词元和内容词元的四种组合进行分解观察，结果发现，「功能词元 → 内容词元」的损失函数下降得最慢。也就是说，根据功能词元来预测下一个内容词元是最困难的。从语言学的角度看，这是合理的，因为功能词元往往标志着前一个语言单元（Chunk）的结束，要预测它之后的内容词元，需要对从开头到当前位置的整个上下文有准确的理解。可以推断，正是这种最难的预测任务，成为了驱动模型优化的主导力量。

另一个发现是功能词元在训练的过程中能激活大部分特征（在不同的上下文激活不同的稀疏特征）。将功能词元和特征之间建立二部图。如果一个功能词元在某个上下文激活了某个特征，就在两者之间建立一个边。随着训练的深入，二部图上的边不断增加。最后，少量功能词元能与大部分特征之间建立联系，前 10 个高频词元激活 70% 的特征，也就是说，这些功能词元能（在不同的上下文）激活大部分特征。这里也存在着幂律分布。

在推理过程中，功能词元发挥着记忆检索的核心作用。它们能从上下文中动态地激活最具预测性的特征，从而指导下一个词元的生成。例如，如图 3 所示，当提示为「Answer the question in Chinese: What is the capital of Russia?」时，功能词元（如冒号「:」和换行符）会激活上下文中「用中文回答」和「俄罗斯」等特征，同时抑制无关特征，最终引导模型用中文生成答案「莫斯科」。这种动态的特征选择与组合能力，正是功能词元区别于内容词元的关键特性。

图 3：LLM 推理过程中功能词元发挥着记忆检索的核心作用。

功能词元之所以在 LLM 中发挥如此关键的作用，是训练目标、学习算法、模型架构和语言特性共同作用的结果。首先，下一词元预测的训练目标（交叉熵损失）要求模型最大化预测准确性，而梯度下降算法总是优先降低损失最大的部分。其次，Transformer 架构中的前馈网络层能将知识（特征）进行很好的表示和记忆，自注意力层能将低阶的知识（特征）有效地组合成高阶的知识（特征）。最后，自然语言本身的结构特性起到了决定性作用，文本总是被功能词元分割成嵌套的 Chunk（可以是短语、句子或段落）。因此，对功能词元之后的预测，需要理解从文本开头到该位置的整个上下文语义。这是一项极具挑战性的任务，促使功能词元在训练中获得连接大部分特征的能力，并在推理时重新激活最具预测性的特征。

功能词元假说对 LLM 训练实践具有深刻启示。其中最重要的一点是训练数据的格式至关重要。多项研究的结果印证了这一点。在后训练阶段，仅需少量训练步骤就能显著提升模型的指令遵循、思维链推理等能力。这可能是因为后训练通过调整功能词元的激活模式，激活了预训练期间已经习得的特征。例如，功能词元（如「thus」）在强化学习训练中能够显著提升推理性能。

2.4 CLT：回路分析

回路（Circuit）是指在 LLM 中跨层连接特征的计算图，用于表示模型中的特征是如何被激活和传播的。因为 SAE 只能看到单层的特征，具有较大的局限性。为了分析跨层的特征的连接和影响关系，研究者提出了 CLT（Cross Layer Transcoder，跨层转码器）方法。

CLT 的工作原理是：以某一层的残差流作为输入，模型将其映射到后续各层的残差流。通过这种方式，CLT 能够学习到一个跨层对齐的特征字典，捕捉不同层之间的特征影响关系。

CLT 在每一层都有一个类似 SAE 的特征抽取模块，但其优化目标有很大不同。每一层的输出是复现的后续各个层的残差流。它由非线性变换（对应编码器）、线性变换（对应跨层映射）以及线性解码变换组成：

为了提高归因图的可解释性，采用剪枝技术对图进行精简。通过设置阈值，只保留激活强度和贡献度显著的节点和边。进一步使用梯度回传，识别对最终输出贡献最大的路径。得到的精简归因图能够更清晰地展示模型中的特征激活和推理路径，揭示模型在特定场景中的核心特征回路。

图 4：基于 CLT 构建的归因图，用于分析 LLM 的内部计算机制。来源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的语言理解和推理

3.1 LLM 的能力

3.1.1 高阶模式

从其行为表现来看，大语言模型已展现出人类同等以上的语言与推理能力。以图灵测试为衡量标准，即考察其在对话中是否无法与人类区分，LLM 已达到了人类水平。

LLM 所习得的不仅限于语言的低阶模式，更涵盖了语言与推理的高阶模式。这一点在华体汇(中国)日常使用 LLM 时可以得到直观验证。例如，LLM 能够理解并执行「喜马拉雅山有多高，用英文回答」这类指令，体现了其语用能力；它还能够辨析「金门大桥与金拱门的关系」这类涉及概念异同的问题，显示出语义理解与世界知识的整合能力。

从内部机制的分析角度看，「金门大桥」、「谄媚」等概念特征在模型中的存在，同样揭示了 LLM 具备语义与语用层面的理解能力。

乔姆斯基曾批评 LLM 仅学习到语言的表层统计规律。然而，以上事实表明，这一判断并不成立。不过，这并不意味着 LLM 与人类语言能力完全等同。事实上，LLM 的语言机制与人类大脑存在显著差异。例如，人脑的语言理解依赖于布洛卡区与韦尼克区两个脑区的协同工作：前者主要负责语法处理，后者则承担词汇处理功能。

3.1.2 整体机制

大语言模型（LLM）的整体工作机制可以从训练方式、策略、算法和模型来理解（见图 5）。其训练方式通常包括预训练和后训练两个阶段，并通过两步训练融合，使模型在同一体系中同时具备语言理解、生成与推理能力。在机制上，LLM 基于自回归预测，即根据已有上下文逐步预测下一个词，这一过程也可以看作一种序列决策过程。

图 5：LLM 的机制可以从训练方式、策略、算法和模型来理解。

在预训练阶段，模型通过大规模语料学习统计规律，给定足够长的上文，下一个词元的概率分布往往会更加集中；而在后训练阶段，通过人类反馈或策略优化，使模型在相同上下文下更倾向生成最合理、最符合人类偏好的下文。

从技术实现上看，学习策略负责定义预测目标和优化方向，算法用于调整模型参数以达到最优目标，而模型结构则决定了表达能力，通过自注意力机制实现特征组合，通过前馈网络进行特征检测（非线性变换），并通过多层结构形成层次化表示。这些都对 LLM 的类人语言和推理能力起着重要作用。

模型性能的提升还体现出明显的规模效应：随着数据量、参数规模和计算资源的增加，模型能力会产生质的飞跃。同时，数据质量和训练设计（例如高质量语料和系统提示设计）也对效果至关重要。

这样训练得到的 LLM 中形成了大量的特征，表示着各种不同的概念，根据不同的上下文，这些不同的特征被激活，动态形成回路，实现复杂的语言处理和推理机制。

3.2 与人类能力的比较

表 1 对比了 LLM 与人类的能力。可以看出，LLM 在语言与推理任务上已具备与人类相当甚至超越人类的水平。然而，在其他能力维度上，两者不仅机制可能存在根本差异，其性能也并非简单可比。下面对此进行简要说明与讨论。

表 1: LLM 与人类能力比较

幻觉本质源于对事实的判断错误。LLM 自身无法解决幻觉问题。因为它学习的是语言数据中的统计规律。理论证明，在一定假设条件下，语言生成过程中一定会以一定概率产生幻觉。幻觉问题可通过其他机制加以缓解，比如，检索增强生成（RAG）。

人的思考包含多个方面，不仅涉及语言、推理和数学，还与五种感官（视觉、听觉、触觉、嗅觉、味觉）以及运动系统密切相关。具身认知假说认为，思考的过程并非纯粹的符号运算，而是基于身体的感知运动经验，在心智中进行模拟。当前的多模态大语言模型（MLLM）能够将语言推理与视觉、听觉等信息进行关联处理，但其推理过程通常发生在语言表示空间。这种处理方式与人类基于具身体验的、丰富的、有意识的思考有着本质区别。

最近也有一些工作尝试进行多模态推理，让模型能够「边看边想」；但这些方法仍属于比较初步的探索。因此，从具身认知的角度看，MLLM 的思考能力与人类仍有显著差距。

LLM 既不是基于形式逻辑规则（如命题逻辑）进行推理，也不是按照计算规则进行算术运算。它可以通过其生成机制模拟，呈现出一定的启发式推理和计算能力，但在处理复杂问题时，由于缺乏严谨性，容易产生错误。因此，LLM 在这方面存在局限性。

LLM 是否有创造力，还是一个开放式的问题，这也依赖于对创造力的定义。创新分渐进式创新和颠覆性创新。通过观察可以发现，LLM 应该也具备渐进式创新能力。而颠覆式创新，如相对论理论的建立，LLM 是否能够做到，目前尚无定论。Ilya Sutskever 认为 LLM 可以做插值（interpolation），但外推（extrapolation）是开放问题，也是类似的想法。

LLM 并不存在对应人的意识机制，虽然华体汇(中国)会感到与 LLM 对话时有与真人交互的感觉。意识是指人的心智中感受到的对内部身体和外部环境的知觉。意识是清醒时人脑处于的一种状态，与其相对的其他状态是深度睡眠、昏迷、死亡。意识是主观的，是每个人以自我为中心的精神活动，对华体汇(中国)每个人来说自己的意识是持续的、一贯的、稳定的。同时，意识又是客观的，它对应着人脑神经系统的高层次处理，由人脑神经系统的低层次处理支撑。全局工作空间理论（Global Workspace Theory）认为意识是脑内信息的全局广播。

本月行业协会传达重要信息大语言模型为什么能像人一样说话和思考？

李航，张少华，林苑

全文链接：https://github.com/hangli-hl/AI-Articles/tree/main

引用：LLM记忆机制论文：Shaohua Zhang, Yuan Lin, Hang Li, Memory Retrieval and Consolidation in Large Language Models through Function Tokens, 2025. https://arxiv.org/abs/2510.08203

1 主要观点

文章阐述了以下主要观点。

2 LLM 的工作机制

2.1 特征叠加

图 1：LLM 的语言和思考能力、工作机制、实现原理和方法之间的关系。

神经网络的一层（称为实际层）可以表示为：

2.2 SAE：特征分析

SAE 由编码器（Encoder）和解码器（Decoder）组成。首先，编码器通过非线性变换将输入向量转换为高维且稀疏的特征向量：

2.3 记忆机制

图 3：LLM 推理过程中功能词元发挥着记忆检索的核心作用。

2.4 CLT：回路分析

图 4：基于 CLT 构建的归因图，用于分析 LLM 的内部计算机制。来源：anthropic blog：https://transformer-circuits.pub/2025/attribution-graphs/methods.html

3 LLM 的语言理解和推理

3.1 LLM 的能力

3.1.1 高阶模式

从内部机制的分析角度看，「金门大桥」、「谄媚」等概念特征在模型中的存在，同样揭示了 LLM 具备语义与语用层面的理解能力。

3.1.2 整体机制

图 5：LLM 的机制可以从训练方式、策略、算法和模型来理解。

3.2 与人类能力的比较

表 1: LLM 与人类能力比较

五家供应商积极参与创建家庭友好型工作场所(FFF)计划。未来将继续携手产业链上下游合作伙伴，在职业健康安全、劳工权益保障、绿色低碳升级等领域协同共进。

华体汇电竞-华体汇(中国) 华体汇电竞-华体汇(中国)-别告诉妈妈网站最新回家线路图app-别告诉妈妈网站最新回家线路图最新版V.4.72.36-CSDN下载

华体汇电竞-华体汇(中国)

韩国调查船只在霍尔木兹海峡起火原因

华体汇电竞-华体汇(中国):韩国调查船只在霍尔木兹海峡起火原因

华体汇电竞-华体汇(中国):「活动」首次登录送19元红包

67.35MB

版本{版本}

下载APK 高速下载

下载再大语言模型为什么能像人一样说话和思考？安装你想要的应用更方便更快捷发现更多

31%好评(10人)

详细信息

软件大小:82.18MB
最后更新:2026-06-14 09:22:57
最新版本:{版本}
文件格式:apk
应用分类:ios-Android大语言模型为什么能像人一样说话和思考？
使用语言:中文
:需要联网
系统要求:9.46以上

应用介绍

?第一步：访问《大语言模型为什么能像人一样说话和思考？》官网?首先,打开您的浏览器,输入《大语言模型为什么能像人一样说话和思考？》。您可以通过搜索引擎搜索或直接输入网址来访问.?
?第二步：点击注册按钮?一旦进入《大语言模型为什么能像人一样说话和思考？》网站官网，您会在页面上找到一个醒目的注册按钮。点击该按钮，您将被引导至注册页面。???
?第三步：填写注册信息 ?在注册页面上，您需要填写一些必要的个人信息来创建《大语言模型为什么能像人一样说话和思考？》网站账户。通常包括用户名、密码、电子邮件地址、手机号码等。请务必提供准确完整的信息，以确保顺利完成注册。?
?第四步：验证账户?填写完个人信息后，您可能需要进行账户验证。《大语言模型为什么能像人一样说话和思考？》网站会向您提供的电子邮件地址或手机号码发送一条验证信息，您需要按照提示进行验证操作。这有助于确保账户的安全性，并防止不法分子滥用您的个人信息。?
?第五步：设置安全选项?《大语言模型为什么能像人一样说话和思考？》网站通常要求您设置一些安全选项，以增强账户的安全性。例如，可以设置安全问题和答案，启用两步验证等功能。请根据系统的提示设置相关选项，并妥善保管相关信息，确保您的账户安全。?
?第六步：阅读并同意条款?在注册过程中，《大语言模型为什么能像人一样说话和思考？》网站会提供使用条款和规定供您阅读。这些条款包括平台的使用规范、隐私政策等内容。在注册之前，请仔细阅读并理解这些条款，并确保您同意并愿意遵守。??
?第七步：完成注册?一旦您完成了所有必要的步骤，并同意了《大语言模型为什么能像人一样说话和思考？》网站的条款，恭喜您！您已经成功注册了《大语言模型为什么能像人一样说话和思考？》网站账户。现在，您可以畅享《大语言模型为什么能像人一样说话和思考？》网站提供的丰富体育赛事、刺激的游戏体验以及其他令人兴奋!?
【联系华体汇(中国)】
客服热线

加载更多

版本更新

{版本}

大语言模型为什么能像人一样说话和思考？