冯·诺依曼的两部遗作:AI 基础技术仍在还的债
当今 AI 产业的公开叙事,几乎被「更大的模型、更多的算力、更长的上下文」占满。这套叙事有效,也确实对应着过去十年里唯一被工业化做透的那条技术路径。但若把时间轴拉回到 1950 年代末期,会发现另一件事更刺眼:产业今天仍在偿还的,是冯·诺依曼两部未竟遗作里已经点名、却远未清偿的基础技术议程。
这两部书不是怀旧读物。
第一部是 The Computer and the Brain(《电脑与人脑》),1958 年由耶鲁大学出版社出版。它源自冯·诺依曼受邀准备的 Silliman Memorial Lectures 讲稿;他因骨癌未能登台,手稿在病榻上写到一半,由遗孀 Klára Dán von Neumann 作序后出版。正文约八十页,分为「计算机」与「脑」两部分,写到脑的语言、感知与学习处戛然而止。
第二部是 Theory of Self-Reproducing Automata(《自复制自动机理论》),1966 年由 Arthur W. Burks 根据讲义与未完成手稿整理出版。它把问题从「装置如何计算」推进到「复杂系统如何构造自身、复制自身,并在不可靠元件上仍保持组织」。
若只用一句话概括今日 AI 基础技术的位置:
规模化数字预测机,主要兑现了第一部议程的一半;第二部议程——可验证的构造与复制——才刚被产业重新摸到边缘。
一、未完成的议程,不是思想史点缀
冯·诺依曼在世时已经同时站在三条线上:EDVAC 存储程序报告所代表的数字计算机组织、与神经科学/自动机理论交叉的「自然自动机」比较、以及晚期对自复制与概率逻辑的构造理论。两部遗作是这三条线在生命尽头的压缩版。
关键背景只需记住三点:
- 存储程序计算机把指令与数据放进统一存储器,使「改程序」不再等于「改布线」。这是后来一切通用数字机的组织前提。
- 1940–50 年代神经科学给出了粗糙但关键的对照材料:McCulloch–Pitts 的阈值逻辑神经元、Hodgkin–Huxley 对动作电位的定量描述、突触结构的电镜观察。脑开始被认真当作一种信息装置讨论。
- 冯·诺依曼本人清楚:当时对脑的测量极粗,任何比较都带数量级误差。他仍坚持比较,因为比较的目标不是「证明脑就是计算机」,而是找出两类自动机在组织原则上的不可交换差异。
产业传播里常见的误读是:把《电脑与人脑》读成「人脑=电脑」的早期宣传,或把自复制理论读成科幻。更准确的读法是:他在给后来整个信息产业留下可检验的基础问题清单。
二、遗作 A:《电脑与人脑》——装置如何组织
《电脑与人脑》的写法克制到几乎像工程备忘录。它先拆开当时数字计算机的部件与工作方式,再把神经系统放在同一套尺度下对照。真正有穿透力的不是比喻,而是几组可证伪的组织命题。
2.1 速度差:元件级,不是口号级
冯·诺依曼给出的数量级对比大致是:电子开关(真空管时代)的特征时间约 (10^{-6}) 秒量级,神经元约 (10^{-3}) 秒量级——差约三个数量级。脑若要在整体任务上不落后,就不能靠「把同样的串行逻辑再跑快一点」,而必须换组织方式。
这句话对 2026 年的含义很直接:GPU 集群把数字侧速度优势又拉大了几个数量级,但现场、边缘、传感器闭环里,时延、抖动与功耗约束重新逼近「慢元件必须换架构」的老问题。训练侧越快,越衬托部署侧组织原则的缺口。
2.2 并行与串行:效率落在不同侧
书中有一句被反复引用的判断,大意是:大型高效的自然自动机倾向于高度并行;大型高效的人工自动机则更倾向于串行。
这不是价值褒贬,而是资源与可靠性条件下的工程选择。串行精确机擅长:
- 深逻辑、可审计的指令流;
- 高精度算术;
- 以显式控制换确定性。
并行统计装置擅长:
- 海量弱相关局部运算;
- 在噪声下维持功能;
- 用冗余换鲁棒。
今天的深度网络训练,在硬件上仍是「硅上的大规模并行」,在算法组织上却高度依赖可微分的统计学习,而不是 1950 年代意义上的逻辑深度堆叠。产业已经用工程手段部分弥合了冯氏对比,但并未取消对比本身:一旦进入长程工具调用、多代理协作、真实世界反馈,串行控制流与并行统计表征之间的裂缝会再次露出来。
2.3 精度、逻辑深度与误差累积
冯·诺依曼强调:脑可以在相当低的精度上完成极复杂的工作;而数字机则把高精度当成默认前提。低精度装置若堆叠过深的逻辑层,误差会累积到不可用。因此自然系统更可能限制「逻辑深度」,改用别的编码与纠错策略。
对照今日:浮点训练、混合精度、量化推理,都是在数字机内部重新引入「可控的低精度」。但 agent 系统里更危险的误差往往不是 16-bit 与 8-bit 的差,而是语义误差与工具失败的级联——一步错误的 API 选择、一次幻觉的状态写入,会在后续步骤被当成事实放大。这正是「逻辑深度受限」在软件层的现代形态。
2.4 可靠性:冗余,还是显式纠错
计算机走显式纠错、校验、重试、确定地址;脑更像用大规模冗余与分布式编码维持功能。冯·诺依曼在更早的概率逻辑工作里已经追问:如何从不可靠元件合成可靠机体。
产业现状是分裂的:
- 训练栈有检查点、重算、数据清洗;
- 推理服务有重试与负载均衡;
- 但认知级可靠性——计划是否可恢复、记忆是否可验证、失败是否可定位——仍缺少与算力投资相称的基础抽象。
2.5 记忆与「语言」:不只是存储
《电脑与人脑》后半最锋利、也最未完成的部分,是关于脑是否使用某种不同于数字机指令系统的「短码」或统计语言。冯·诺依曼暗示:自然自动机的有效编码,可能根本不是人类为数字机设计的那类长而精确的程序文本。
分布式表征、向量记忆、检索增强、生成式先验,都可以被读作对这一猜想的工程逼近。但产业仍缺一个基础层答案:
什么是可检验的「机器内部语言」规范?
哪些状态必须可序列化、可回放、可追责?哪些可以保持统计与不可解释?
没有这层规范,规模化只会放大不透明性的表面积。
三、遗作 B:《自复制自动机》——智能如何被构造与复制
若说第一部遗作问的是「装置像不像」,第二部问的是「系统如何把自己变多」。
Burks 整理本把冯·诺依曼的工作大致收成两条相互支撑的线索:
- 复杂自动机的一般理论——人工自动机与自然自动机的比较,运动学式的自复制模型;
- 细胞自动机框架——在离散网格上讨论通用计算、通用构造与自复制。
对 AI 基础技术而言,真正关键的不是「机器人复制机器人」的科幻画面,而是下面三个可迁移概念。
3.1 通用构造(universal construction)
通用构造机不仅能算,还能按描述去建造其他机器(在足够丰富的部件宇宙里)。映射到软件产业:编译器、代码生成模型、能调用工具改环境的 agent,都在不同层次逼近「从描述到对象」的构造能力。
差别在于:冯氏构造要求描述与部件世界之间有清晰接口;今天的大模型构造常常是概率性拼接——能生成,却不保证可装配、可验证、可复现。
3.2 自复制的逻辑结构
自复制不是「再打印一份代码」那么简单。经典分析强调:复制过程必须同时处理蓝图的解释与蓝图的传递,否则会在代际间塌缩。对应到 AI 系统:
- 合成数据若只蒸馏表面行为,会丢失可迁移的「蓝图」;
- 自动评测若不能约束真实任务分布,复制的是刷榜策略而非能力;
- agent 写 agent 若缺少接口契约,得到的是复杂度膨胀,不是能力遗传。
3.3 不可靠元件上的可靠组织
这是贯穿两部遗作的总主题。元件会失败、信号有噪声、局部描述不完整——系统级问题是:组织原则能否把不可靠变成可服务。
2026 年的 AI 栈里,不可靠元件已经换成:
- 概率输出的模型;
- 超时与限流的外部工具;
- 漂移的数据分布;
- 不完整的世界状态。
产业若只有「更大的不可靠元件」,没有「更强的组织层」,规模带来的将是更昂贵的故障模式。
四、对表 1945–2026:做实了什么,绕开了什么
| 冯氏议题 | 产业已做实的部分 | 仍明显欠账的部分 |
|---|---|---|
| 存储程序与串行精确控制 | CPU/GPU 指令流、编译器、分布式训练运行时 | 认知过程的可中断、可恢复控制平面 |
| 速度与规模 | 训练/推理吞吐、集群调度 | 能效、边缘实时、全系统功耗墙 |
| 并行计算 | SIMD/SIMT、模型并行、数据并行 | 任务级并行中的一致性与归因 |
| 统计/分布式表征 | 表示学习、生成模型、向量检索 | 可审计的内部「语言」与状态规范 |
| 冗余与容错 | 数据增强、集成、MoE 的粗粒度冗余 | 长程 agent 的语义级容错与回滚 |
| 通用构造 | 代码生成、工具调用、自动构建流水线 | 构造结果的形式化接口与可证明装配 |
| 自复制与能力扩张 | 合成数据、自对弈、自动评测闭环 | 防塌缩的能力遗传与分布外稳健复制 |
| 不可靠元件组织 | 重试、熔断、缓存、人机兜底 | 一等公民的故障模型与可靠性度量 |
一张表读完,格局很清楚:
凡是能被硅工艺与并行数值计算吞掉的问题,产业都推进得很快;凡是要求「构造—验证—复制」闭环的问题,推进都慢,且容易被产品叙事掩盖。
这也解释了为何同一时期会出现两种并行现实:一边是基准测试与演示视频持续刷新;另一边是真实工作流里 agent 仍然脆、记忆仍然脏、自动化仍然需要大量隐式人工看护。
五、基础技术判读:缺口在接合部
把两部遗作叠在一起,可以得到一个对产业更有用的坐标系——不是「应用层 vs 模型层」的市场划分,而是基础技术的双轨:
轨道 A:计算组织(Computer)
存储器层次、并行执行、精度策略、调度、确定性与性能。
轨道 B:构造组织(Constructor)
描述如何变成系统、系统如何被检验、失败如何被隔离、成功如何被复制。
过去十年的主叙事几乎锁死在轨道 A 的加速上。大模型之所以成为基础设施,是因为它把「统计学习 + 大规模并行数值计算」推到了前所未有的通用性。这是真实突破。
但轨道 B 的缺失会在三个接合部爆发:
5.1 预测机与执行器的接合
模型给出 token 或动作分布;世界返回延迟、噪声、部分可观测结果。没有一等公民的执行语义(超时、幂等、补偿、权限、审计),预测再强也只是开环。
5.2 记忆与状态的接合
上下文窗口不是记忆理论。需要区分:工作状态、情景记忆、可验证事实库、策略记忆。冯氏关于「脑的语言」的未完成讨论,在工程上对应的是状态分层与一致性协议,不是更长的 prompt。
5.3 生成与遗传的接合
能生成下一个版本,不等于能力在代际间稳定遗传。合成数据飞轮、自动课程、自博弈,只有在「蓝图(目标、约束、评测、接口)」可传递时,才接近自复制自动机意义上的扩张;否则是熵增式的自我模仿。
因此,下一阶段真正的基础技术竞争,不太可能只是「另一家更大的稠密模型」。更可能出现在:
- Agent 运行时(把工具、记忆、权限、失败变成系统调用,而不是提示词技巧);
- 可验证构造层(规格、测试、形式约束、可回放轨迹);
- 可靠性度量(任务级可用性、恢复时间、语义一致性,而不只是 token 准确率);
- 近存/神经形态/专用并行(当能效与现场约束把轨道 A 的暴力加速顶到墙);
- 数据与评测的构造理论(防止自蒸馏塌缩的分布与课程设计)。
这些方向看起来分散,用冯氏双轨看则同构:都是在补 B 轨,或在重做 A/B 接合部。
六、还债清单:四条仍可被追责的技术债
为避免文章停在气氛上,下面四条写成可被反对、也可被追踪的断言。
债 1:认知控制平面缺失。
产业有集群控制平面,缺少与之对称的「任务控制平面」:计划、状态、工具、回滚、权限的统一抽象。
债 2:可靠性仍是产品补丁,不是基础层。
重试与人工兜底到处都是,但缺少跨模型、跨工具、跨会话的故障模型与 SLA 语义。
债 3:复制不等于遗传。
代码生成与合成数据让系统「看起来会自我扩展」,但缺乏防止能力塌缩与评测过拟合的构造理论。
债 4:内部语言不透明被误当成特性。
不可解释可以是阶段性事实;若连哪些状态必须可审计都没有规范,规模化只会提高系统性风险的杠杆。
谁先把这些债变成可复用的基础设施——而不是演示技巧——谁就更接近定义下一阶段 AI 基础技术的话语权。
七、结语:读遗作,是为了看清还没做完的一半
冯·诺依曼没有留下「如何训练万亿参数模型」的手册。他留下的是更冷、也更耐久的东西:在寿命最后几年,用两部未完成的书,把信息时代的基础问题拆成两半——
- 一半关于计算如何组织;
- 一半关于组织如何在噪声中构造并复制自身。
七十年后,产业把前一半里最适合硅与资本的部分推进到了令人眩晕的程度。后一半以及两半之间的接合部,仍大面积空着。空着并不丢人;丢人的是用应用层狂欢,假装基础层已经闭合。
重读这两部遗作,不是为了从故纸堆里寻找预言应验的快感,而是为了获得一个更硬的产业坐标系:
当所有人讨论模型时,先问它站在 A 轨还是 B 轨;当所有人展示自主时,先问它是否具备可验证的构造与复制。
AI 基础技术的下一章,大概率不是把预测机再加一个零,而是开始认真偿还冯·诺依曼没写完、却已经写清楚的那笔债。
主要参考文献
- John von Neumann, The Computer and the Brain, Yale University Press, 1958;第三版(2012)含 Ray Kurzweil 序。
- John von Neumann, Arthur W. Burks (ed.), Theory of Self-Reproducing Automata, University of Illinois Press, 1966.
- John von Neumann, “First Draft of a Report on the EDVAC,” 1945.
- Warren S. McCulloch & Walter Pitts, “A Logical Calculus of the Ideas Immanent in Nervous Activity,” 1943.
- A. L. Hodgkin & A. F. Huxley, 动作电位定量模型相关工作(1952 前后).
- Klára von Neumann, Preface to the Silliman lectures manuscript(见 MacTutor / 耶鲁版前言系统).