2025年9月20日下午,四川大学文科讲席教授、南开大学哲学院教授博士生导师任晓明应邀于华南师范大学文科楼二楼会议室开展了题为“大语言模型与所罗门诺夫归纳法”的学术讲座。华南师范大学逻辑与分析哲学研究中心梁贤华副研究员担任主持人,华南师范大学逻辑与分析哲学研究中心黄震华教授担任与谈人,研究中心其他成员以及硕博研究生、哲学本科生参加了讲座。

任晓明教授报告中
任晓明教授首先回顾了大语言模型(LLM)的理论渊源——所罗门诺夫归纳法(Solomonoff Induction)的理论发展历程。1956年夏季,雷蒙德·所罗门诺夫(Raymond J. Solomonoff)参加了首次提出“人工智能(Artificial Intelligence)”概念的达特茅斯会议。作为主办人之一的麦卡锡(John McCarthy)在会上提出如何求图灵机逆函数的问题。经过与麦卡锡的深入讨论,所罗门诺夫将问题归结为“给定一个序列的初始段,求该序列的后续”。可以说,这正是如今大语言模型核心机制“next token prediction”的理论源头。
任晓明教授详细阐述了“学习即压缩”的观点,机器学习(尤其是大语言模型)的本质并非单纯地死记硬背训练数据,而是从海量数据中提炼出简洁且具有普适性的“规律”或“知识”,这一过程等同于高效的数据压缩过程。数据压缩方法原则上遵循奥卡姆剃刀原理,即在几个能够同样出色地解释训练数据的模型中,程序越短,置信度越高,最简单(参数最少、最为简洁)的模型往往最有可能是正确的。
任晓明教授介绍了算法信息学中的“柯尔莫哥洛夫复杂性”(即一段信息所蕴含的信息量,可通过生成这段信息的最短程序长度来衡量),以自然语言阐述了所罗门诺夫归纳法的一般步骤,探讨了其与“next token prediction”机制的关联,随后又对所罗门诺夫创立的算法信息学和大语言模型进行了对比。算法信息学为通用人工智能提供了理论框架,而大语言模型是目前最为成功的实证化路径。
最后,任教授对讲座内容进行了回顾,并展开了深入的哲学思考。他向在场的师生抛出了一个开放性问题——大语言模型生成的文本数据是否具备语义?此问题一经提出,立刻引发了大家的热烈讨论。

与会人员热烈讨论中
在与谈环节,黄震华教授指出,人类直接生活在经验世界中,而大语言模型对世界的理解仅基于由文本符号构成的训练数据。二者之间的形而上学差异,或许是导致语言模型产生“幻觉”的根本原因。黄教授向在场师生耐心阐释了大语言模型的部分工作原理和技术细节,同时也介绍了目前困扰学界的若干疑难问题。黄教授认为,就目前研究而言,大语言模型的生成和运作过程仍是一个“黑箱”,学界尚未能完全解释大语言模型取得成效(如涌现现象)的原因。
这场讲座不仅理清了 LLM 的理论源头,拆解了其“压缩-解压缩”的本质,更通过哲学追问与跨学科对谈,打开了理解人工智能的多重视角。
撰稿|刘烨童
编辑|卢莉丹
审核|廖彦霖



