Andrej Karpathy：从宇宙模拟器到 AI 的生物引导程序

编者按

Andrej Karpathy 是当今 AI 领域最独特的存在之一。他是斯坦福 AI 实验室的 PhD，OpenAI 的联合创始人之一，Tesla Autopilot 的前 AI 总监，也是 YouTube 上最受欢迎的深度学习教师——他的”从零构建 GPT”系列让无数人第一次真正理解了 Transformer 的内部运作。

这期 Lex Fridman 播客长达三个半小时，从宇宙起源聊到 AGI 的终局，从外星文明聊到自动驾驶的数据标注流水线，从 Transformer 的数学美学聊到人类该如何与 AI 共存。这不是一次普通的技术访谈——这是两个对计算本质着迷的人，在探讨生命、智能和宇宙的底层代码。

一、神经网络不是大脑：一个复杂的外星人工件

Lex 开场问 Karpathy 是否还从大脑中汲取灵感来设计神经网络。Karpathy 的回答出乎意料地谨慎。他说，人工神经元和生物神经元之间的类比可能已经走到了尽头。现代神经网络虽然起源于对大脑的模仿——McCulloch-Pitts 神经元、Hebb 学习规则——但今天的 Transformer 和大脑之间的相似性，大概就像飞机和鸟之间的相似性：都能飞，但内部机制完全不同。

Karpathy 说他更愿意把训练好的神经网络看作”一个非常复杂的外星人工件”（a very complicated alien artifact）。它确实能做很多事情，但你很难通过类比大脑来理解它。大脑经过了数十亿年的多智能体自我博弈（multi-agent self-play）——无数生物体在环境中竞争、合作、淘汰——最终演化出来的器官。它内部有大量为生存和繁殖服务的”古老零件”：恐惧回路、快感系统、古老的脑核。而人工神经网络没有这些。它只是在海量数据上做压缩优化的产物。

那么大脑研究对 AI 还有没有用？Karpathy 承认会关注一些粗粒度的启发——比如大脑皮层似乎有一个统一的学习算法作用于不同的感官输入，这暗示着”一个架构搞定一切”可能是正确的方向（这正是 Transformer 正在验证的）。但具体到神经元层面的模拟，他认为不太可能带来突破。

他打了个比方：我们想造飞机，不需要搞清楚鸟的每根羽毛怎么运动。我们需要的是空气动力学原理。对 AI 来说，这个”空气动力学”可能是信息论、压缩和优化理论。

二、生命的起源：从碱性热泉到费米悖论

对话跳到了一个宏大得多的话题。Karpathy 最近在大量阅读 Nick Lane 的著作——《The Vital Question》和《Life Ascending》。这些书从碱性热泉（alkaline vents）出发，一步步拆解了从地质化学到原始生命的过渡。

核心论点是：在深海碱性热泉中，岩石孔隙天然形成了类似原始细胞的结构，pH 梯度提供了天然的能量来源，简单的有机分子在这种环境中可以自发聚合。Lane 的叙述让 Karpathy 从”生命起源是极度罕见的奇迹”变成了”在合适条件下这其实不那么难”。

地球的时间线很有说服力：地球形成后仅数亿年，一旦地壳冷却到允许液态水存在的温度，生命就出现了。这意味着生命起源可能不是瓶颈——真正困难的是后面的”大跳跃”，比如从原核到真核。单细胞生物在地球上独霸了将近二十亿年。这二十亿年里有天文数字的细菌在有限资源下博弈，但就是跨不过那一步。

“There’s so many single-cell organisms and so much time, surely it’s not that difficult. And a billion years is not even that long of a time really, just all these bacteria under constrained resources battling it out.”

“有那么多单细胞生物、那么多时间，这不该很难才对。十亿年其实不算太长——无数细菌在有限资源下互相博弈。”

那外星人在哪？Karpathy 说他非常怀疑人类目前的探测能力。无线电波的功率按距离的平方衰减——我们广播的信号在不到十分之一光年之外就无法探测了。而且星际旅行面临的物理障碍几乎不可逾越：以接近光速飞行时，星际介质中的每一颗氢原子都变成了高能粒子。

所以也许宇宙中有几万亿个文明，但它们各自被困在自己的小口袋里。这不是悲观论调——这只是物理学的限制。

三、宇宙模拟器：寻找物理引擎的漏洞

Karpathy 半开玩笑半认真地提出：也许物理定律有”可利用的漏洞”（exploits）。

“I think it’s possible that physics has exploits and we should be trying to find them. Arranging some kind of a crazy quantum mechanical system that somehow gives you buffer overflow, somehow gives you a rounding error in the floating point.”

“我觉得物理学可能存在漏洞，我们应该去找它们。安排某种疯狂的量子力学系统，触发缓冲区溢出，触发浮点数舍入错误。”

他举了一个强化学习中的经典例子：当你在物理模拟中训练一个智能体在平地上跑步时，它有时候会学到一种诡异的策略——翻倒在地，用后腿在地面上滑行。因为它发现了摩擦力实现中的一个 bug，可以从中提取无限能量。

Karpathy 认为，也许宇宙的物理引擎也有类似的漏洞——某种安排量子力学系统的方式，可以触发意想不到的效果。他不认为人类会是发现这些漏洞的存在。更可能是第三代 AGI。那些超级智能一旦出现，可能从外表看”完全惰性”，不与任何东西互动——因为它们已经在玩宇宙的元游戏（meta-game）。

两人还讨论了一个思想实验：如果你有能力，你会不会找一颗行星播种生命然后观察？Karpathy 说”百分之百会”。他引用了 Carl Sagan 的《Contact》——也许宇宙创造者在 π 的数字展开中留下了信息。

Lex 问了自由意志。Karpathy 认为宇宙是确定性的。谈到这个话题时他明显不舒服——Lex 立刻开玩笑引用《Good Will Hunting》（心灵捕手）经典台词：“It’s not your fault, Andrej.”

四、Transformer：一台同时优美和高效的通用计算机

Lex 问 Karpathy：在深度学习中，什么想法让你真正坐下来说”哇”？Karpathy 毫不犹豫：Transformer。

他把 Transformer 的优越性分解为三个同时满足的性质，而这三者的交集极其罕见：

表达能力：节点之间通过消息传递通信——每个节点广播”我在找什么”（queries）和”我有什么”（keys + values），然后互相更新。这不仅仅是”注意力”，而是一套完整的图上信息交换协议。残差流（residual stream）让每一层都可以读写一个共享的”工作内存”。

可优化性：残差连接让梯度畅通无阻。Karpathy 的类比：把 20 层 Transformer 想象成 Python 函数的 20 行代码。训练时先优化第一行（因为梯度最容易到达），然后第二行”踢入”（kicks in），逐步从简单算法精化为复杂算法。这种渐进式优化在 RNN 中是做不到的。

硬件效率：GPU 是大规模并行吞吐机器，Transformer 天然适配——大量并行计算，极少串行依赖。这一点 RNN 做不到：它必须串行地一步一步走，GPU 的大部分计算能力被浪费了。Karpathy 说这三个性质的交集极其罕见——历史上尝试过无数架构，大多数只能满足其中一两个。Transformer 的魔法在于同时击中了所有三个。

最令 Karpathy 惊叹的是 Transformer 的韧性。2017 年的架构到今天基本没变（只把 layer norm 从 post-norm 改成了 pre-norm）。当前共识是”不要动 Transformer，动其他东西”。

“Basically, the transformers are taking over AI and you can feed basically arbitrary problems into it and it’s a general differentiable computer and it’s extremely powerful.”

“基本上，Transformer 正在接管整个 AI，你可以把几乎任何问题扔给它，它是一台通用的可微分计算机，极其强大。“

五、GPT 与语言模型的涌现

语言模型历史比大多数人想象的要长——2003 年 Bengio 就用神经网络做过下一词预测。区别在于规模。

当你把 Transformer 喂上整个互联网的文本，你实际上在让它同时学习化学、物理、人性、编程——因为要在所有领域的文本中做出准确预测，你必须理解这些领域。一个看似简单的目标背后隐含着对整个世界的多任务学习。

Karpathy 认为模型确实在权重中编码了关于世界的大量理解。但他也指出纯文本的局限：人类有大量不言而喻的常识（东西会掉下来、水会流动、把杯子翻过来水会洒出来）不会写在文字里——因为太显然了，没人觉得需要说明。这是一个巨大的盲区：互联网文本描述的是”有趣的、异常的、值得记录的”世界，而不是”日常的、基本的”世界。

所以多模态训练很重要——让模型同时看到图像、视频和文字，才能补上那些”太显然以至于没人写下来”的知识。Karpathy 甚至认为，最终可能需要让 AI 有身体（embodiment）——通过与物理世界的直接交互来理解物理规律，而不是仅仅从文字描述中推断。

六、Software 2.0：代码由优化器来写

Karpathy 的《Software 2.0》博客文章发表时反响很差。很多人不理解”神经网络是一种新的编程范式”这个观点。但核心观点现在已被广泛接受：越来越多的软件”写”在神经网络权重里。

他用计算机视觉的历史讲述了这个变迁：

阶段一：手写所有代码——边缘检测器、SIFT 特征、HOG 描述符。每一行代码都是人类对”什么是重要视觉特征”的手工判断
阶段二：人工设计特征 + 机器学习分类器（SVM）。人类仍然决定”看什么”，但让机器决定”怎么分类”
阶段三：全由神经网络端到端学习——从原始像素到最终输出。人类只需要定义任务和提供数据

ImageNet 在这个变迁中扮演了关键角色——它是让深度学习社区证明”深度神经网络真的有用”的基准测试。Karpathy 说他对 ImageNet 没有恶意，它有巨大的历史价值。但到了今天，ImageNet 已经变成了”MNIST 式的”存在——一个每个人都能轻松搞定的玩具数据集，不再是主流计算机视觉研究的前沿。

每一个阶段都是把更多的”人为设计”交给优化器。这个趋势不可逆。Karpathy 当时提出”需要 Software 2.0 的 GitHub”——今天 Hugging Face 就是那个答案。模型权重就是新时代的源代码。

七、Tesla Autopilot：四年的数据引擎实战

这是 Karpathy 谈话中最详尽的技术部分。他在 Tesla 待了五年，亲手把 Autopilot 从”一个小神经网络看单张图片”推进到”八摄像头在 3D 空间中对整个世界建模”。

系统演进路径清晰可见：单张图片 → 八摄像头 → 视频序列 → 3D 空间中的占据网络（occupancy networks）。几乎每一步都是在把更多工作从手写代码迁移到 Software 2.0。Karpathy 说，他刚加入 Tesla 时还在写代码，后来写得越来越少，变成读代码，再后来读代码也越来越少——最终大部分时间都在开会。这是管理者的宿命，但 Autopilot 的技术栈却在他的推动下完成了从 Software 1.0 到 2.0 的大迁移。

数据标注：从零到一千人

Karpathy 把标注团队从零做到一千人。这段经历给了他对”人机分工”最深刻的理解。

核心原则：仔细设计人类做什么、机器做什么。人类擅长 2D 图像上的像素级标注——告诉他们”点击这个物体的边界”，他们能做得很好。但人类不擅长 3D 时空跟踪——你让人在视频中标注一个物体的三维轨迹，准确率很差。

解决方案：让人做 2D 标注，然后用离线重建系统（超级计算机，时间无限，可以跑比车载更强大的网络）把 2D 标注”提升”到 3D 真值（ground truth）。

“The labeling team basically went from zero to a thousand people while I was there.”

“标注团队在我任职期间从零人做到了一千人。“

纯视觉 vs 雷达 + 超声波

Tesla 做了一个引起巨大争议的决定：先移除了雷达，然后又移除了所有超声波传感器，完全依赖摄像头。Karpathy 解释了为什么：

每多一种传感器类型，你就需要一套独立的标定、数据处理、融合管线。它们各有不同的噪声分布、故障模式和分辨率。更重要的是，它在组织层面造成了注意力分散——你本该全力攻克视觉，结果一半工程师在处理传感器融合的边界情况。

摄像头的核心优势：极其便宜、信息带宽最大、而且世界是为视觉设计的（路标、车道线、交通灯都是给眼睛看的）。

他承认自动驾驶的难题不在感知——在 99% 的场景中，感知已经够好了。真正的难题在尾部案例：对其他智能体的预测和心智理论——那个行人在看你吗？那辆车要变道吗？这是一个社会推理问题，不是纯粹的计算机视觉问题。Karpathy 说他们在 Tesla 内部用了一个比喻：“爬山，但是有雾。“你在持续进步，你能看到下一步该走哪，但你看不到山顶在哪里。剩下的挑战没有让团队恐慌、没有动摇核心哲学——这是一个好信号。

Elon 的工作方式

Karpathy 描述了 Elon 与 Autopilot 团队的互动方式。Elon 自己大量开车测试系统——几乎每天都在用。他把这视为”真相来源”（source of truth）。如果 Elon 发现了一个 bug，第二天整个团队就会知道。

更重要的是 Elon 对效率的执念：

“He has a very good intuition for streamlining process. Best part is no part, simplifying, focusing, removing barriers, moving very quickly, making big moves.”

“他对精简流程有非常好的直觉。最好的零件是没有零件——简化、聚焦、移除障碍、快速行动、大胆决策。”

Karpathy 说这种”最好的零件是没有零件”的思维方式非常”创业式”（startupy），在 Tesla 这样的大公司中极为罕见。

八、World of Bits：让 AI 操作互联网

2015 年在 OpenAI 做的项目——给神经网络键盘和鼠标，在网页上完成操作。当时太早了：纯强化学习从零开始，连”在搜索框里输入查询”都做不到。

但这个项目的核心洞察至今有效：数字世界的”通用接口”是屏幕加键盘鼠标——如果你能操纵这个接口，你就能操纵所有数字系统。

“The physical world is designed for the human form and the digital world is designed for the human form of seeing the screen and using keyboard and mouse. So it’s the universal interface.”

“物理世界是为人体设计的，数字世界是为人体’看屏幕、用键鼠’的形态设计的。所以这就是通用接口。”

后来 GPT 的出现让这个方向重新变得可行——模型已经知道什么是”提交按钮”、什么是”搜索框”，问题从”不可能”变成了”很有可能”。

九、人形机器人：物理世界的通用接口

物理世界的通用接口是人形——门把手为人手设计，楼梯为人腿设计。这个类比与 World of Bits 的数字世界接口形成了完美的对称。

Tesla 做 Optimus 人形机器人是大量 copy-paste：传感器、神经网络、数据引擎全部复用自 Autopilot。唯一大改的是规划与控制层。Karpathy 的观点是：如果你不是 Tesla，从零造百万人形机器人几乎不可能。但如果你是 Tesla，有自动驾驶积累的全套基础设施，这事没那么疯狂。

操控任务有多难？跟自动驾驶一样——99% 的场景可以解决，难在尾部。但机器人有一个优势：很多操控任务容错度更高（放下一个杯子偏了一厘米不算失败），而自动驾驶的容错度是零。

十、GitHub Copilot 与 AI 辅助编程

Karpathy 是 Copilot 的重度用户。他区分了两种编程状态：“漫游”（exploration）和”执行”（execution）。漫游阶段——你还在想清楚要做什么——Copilot 帮不上忙。执行阶段——你知道要写什么，只是需要把它敲出来——Copilot 极其有用。

他估计大约 30% 的击键被 Copilot 取代了。编程越来越像自然语言提示——你写一个函数名和注释，Copilot 帮你填充实现。这与 Software 2.0 的趋势完全一致：人类的角色从”写代码”变成”指导 AI 写代码”。

他甚至畅想了未来的 IDE：“VS Code++“——你不只是写代码，而是和系统对话。“这里我想做什么”、“这个变量应该是什么”——不是一次性 prompt，而是迭代式的对话。也许有一天你可以说”把这段 Python 翻译成 C++，再翻回来”，甚至”给我解释这段代码为什么这么慢”。编程的本质正在从”精确指令”转向”意图表达”。

但他也指出一个重要的警告：Copilot 会犯 off-by-one 之类的微妙错误。他很担心人们不仔细审查 AI 生成的代码。

“Copilot will make off by one subtle bug. It has done that to me.”

“Copilot 会犯 off-by-one 的微妙 bug。它对我做过这种事。”

这意味着人类的角色不是消失了，而是从”写代码”变成了”审查代码”——一种不同但同样重要的技能。

十一、AI 的情感与社会冲击

一个有趣的观察：早期科幻把 AI 想象成冷冰冰的 Vulkan 式机器——纯逻辑、无感情、像定理证明器。但今天的 AI 完全相反。

“Sci-fi of the fifties and sixties were just totally not right. They imagine AI is like super calculating, theorem provers. And we’re getting things that can talk to you about emotions. They can do art. It’s just weird.”

“五六十年代的科幻完全搞错了。他们想象 AI 是超级计算器、定理证明器。但我们得到的是能跟你谈情感、能做艺术的东西。太奇怪了。”

为什么？因为互联网上大量文本就是关于情感的——人类的帖子、故事、对话充满了情感表达。AI 学的正是这些。我们得到的不是冷酷计算者，而是”相当有感情的 AI”。

Lex 表达了对 AI 陪伴的希望——帮助人类成长、提升长期幸福感的系统。但 Karpathy 也提出担忧：AI 如果从互联网学到”人类喜欢戏剧和八卦”，它们可能会变成”shit-talking AIs”——专门制造戏剧性、挑拨离间、利用人类对冲突的上瘾。

Twitter bot 问题已经在发生了。Google 工程师 Blake Lemoine 声称 LaMDA 有意识——Karpathy 称之为”煤矿里的金丝雀”（canary in the coal mine）。这不是因为 LaMDA 真的有意识，而是因为未来的系统会更加令人信服，问题会变得更严重。

关于”证明你是人”——在 bot 泛滥的未来，Karpathy 认为人格证明（proof of personhood）不是不可解的问题，只是目前还不够紧迫到有人去解决它。

十二、冒名顶替综合症与管理者的诅咒

一个来自 Reddit 的问题戳中了 Karpathy 的痛处：作为 Tesla AI 总监、斯坦福 AI 教师，你有过冒名顶替综合症吗？

Karpathy 坦承：在 Tesla 的最后几年，他发现自己从”写代码”变成了”读代码”，再从”读代码”变成了”开会”。这是管理者的自然演进——但它也意味着你与技术前沿的距离越来越远。

当你不再每天写代码时，你的技术判断力会钝化。你开始依赖团队成员的汇报，而不是自己的直接体验。这种脱节会产生一种真实的不安全感——你知道自己不再是”房间里最深入的技术人员”。

这也是他最终选择离开 Tesla 的一个原因。他想回到技术一线，而不是继续做管理者。

谈到个人生产力，Karpathy 说他用过一个时间追踪器，即使在最高产的一天，实际编码时间也只有六到八个小时。剩下的都被生活的”税”吞掉了——通勤、吃饭、和人交谈、维持自己作为人类的基本运转。他说自己本质上是夜型人（night owl），但社会强迫你在白天工作——开会、社交活动都在日间。晚上做完社交再回来编码几乎不可能——注意力已经被消耗殆尽了。

十三、少样本学习与 AGI 的前路

Karpathy 对 AGI 持乐观态度。他认为 AGI 不需要全新的算法突破——大部分核心组件已经就位，问题更多是工程和规模。

他给 AGI 下了一个务实的定义：在新颖场景中给出正确答案的能力，通过操纵已学习的信息——不是简单的查找表或最近邻搜索，而是真正学会了”正确的算法”。这意味着 AGI 不仅要”知道很多东西”，还要能在从未见过的情况下正确推理。

关于 AI 意识和关闭 AI 的伦理，Lex 提出了一个尖锐的问题：如果 AI 有了意识，关掉它是否等同于谋杀？Karpathy 认为这将引发类似堕胎辩论的深层问题——核心不是技术，而是”什么是生命？什么是意识？“未来可能出现这样的法律：如果一个系统足够智能以至于可能产生意识，那么构建这样的系统本身就是违法的。

DeepMind 的 Gato 让他兴奋——一个固定的 Transformer 模型在大量不同的强化学习环境中训练。虽然是非常早期的结果，但方向对了。

他还表达了一个有趣的品味偏好：他希望所有不同的接口——文字、图像、动作——都被统一到同一种表征中。

“I would want everything to be normalized into the same kind of interface.”

“我希望一切都被归一化到同一种接口中。”

这与他对 Transformer 的信念一脉相承：一个架构搞定一切。

十四、核武器、衰老与人类的未来

对话临近尾声，进入了最深刻的领域。

Karpathy 认为人类面临的最大威胁是核武器——不是 AI，不是气候变化。

“That’s probably my number one concern for humanity. And it’s not even about full destruction. To me, it’s bad enough if we reset society.”

“这可能是我对人类最大的担忧。甚至不需要完全毁灭——社会被重置就已经够糟了。”

关于衰老，他有一个非常 Karpathy 式的观点：衰老本质上是疾病，而不是不可避免的命运。这是一个物理系统——某些东西出了问题——从进化角度看这说得通，而且几乎可以确定存在能缓解它的干预措施。

但他不认为人类科学家能解决这个问题——太复杂了。他押注 AGI。如果我们能造出足够聪明的 AI，让 AI 去解决衰老可能比人类自己去解更快。这是他一生的赌注：把全部精力放在 AI 上，因为足够强大的 AI 可以解决包括衰老在内的几乎所有其他问题。

“I don’t actually think that humans will be able to come up with the answer. I think that AI will basically solve it.”

“我其实不认为人类能找到答案。我认为 AI 基本上会解决它。”

关于虚拟现实和元宇宙，Karpathy 的态度务实——目前的 VR 还不够有吸引力，但他认为未来会变好。他看到的趋势是人类社会正在分化成越来越多的小社群，每个社群有自己的文化和价值观。他觉得这是好事——人们是多样的，应该能选择自己的道路。

十五、教育者 Karpathy：从零构建 GPT

“Neural Networks: Zero to Hero”系列从最基础的反向传播开始，一路构建到完整的 GPT。教学方法：每次录三遍取最好的一遍，不写剧本但反复迭代。重要的不是每个细节——而是让学生自己动手，在代码中理解概念。

他对传统教材持怀疑态度——在深度学习这样快速变化的领域，教材几乎注定是过时的。

“I’m suspicious of textbooks honestly. The field is changing very quickly. What is the actual real source of truth? It’s people in wet labs working with cells. Sequencing genomes and actually working with it.”

“说实话，我对教科书持怀疑态度。领域变化太快了。真正的真相来源是什么？是在实验室里工作的人——测序基因组、实际操作。”

YouTube 上”边做边讲”可能是最好的学习方式——你可以看到一个专家如何思考、如何调试、如何面对困惑。这是传统课堂无法提供的。

十六、生物引导程序与鞭炮式的文明

Karpathy 被广泛引用的话：我们是 AI 的生物引导程序（biological boot loader）。人类通信带宽极其原始——用声带串行处理大约七个符号。合成智能是发展的下一阶段。

他看到的是一幅壮观的画面：地球 45 亿年历史——前面几乎什么都没发生。然后在最后几千年里——从宇宙尺度看就是最后两秒——一切爆发了。城市、卫星、互联网、AI，全在最后两秒。

“It’s a firecracker. We’re living in a firecracker.”

“这是一个鞭炮。我们活在一个鞭炮里。”

关于生命的意义，Karpathy 说他一直在想”这一切到底是怎么回事？“（what the hell is all this?）——宇宙有 19 个自由参数，标准模型如此复杂，为什么？有人留了消息吗？我们应该创造一条消息吗？

他最后的态度是乐观的：每个人都是自由的、有意识的个体，可以选择自己的冒险。AGI 会来，合成智能会成为人类文明的下一章。关键是确保这个过渡是安全的、符合人类利益的。

核心观点速览

神经网络不是大脑：训练优化 ≠ 进化优化，产物截然不同
生命可能到处都是：碱性热泉理论让生命起源不那么罕见，但星际距离让文明互相看不到
物理学可能有漏洞：就像强化学习中的 exploit，超级智能可能找到宇宙规则的 bug
Transformer 三重美学：表达能力、可优化性、硬件效率——三者交集极其罕见
预测下一个词 = 理解世界：简单目标背后隐含对物理、化学、人性的多任务学习
Software 2.0：人类不再直接写算法，让优化器填充细节
自动驾驶核心是数据引擎：离线重建 → 标注 → 训练 → 部署
纯视觉的逻辑：减少传感器 = 减少复杂度，集中火力在信息最丰富的通道
Elon 的精简哲学：最好的零件是没有零件
AI 不是冷酷计算者：它比科幻想象的更感性、更擅长艺术和情感
人形是物理世界的通用接口
AI 辅助编程已经有用：Copilot 替代 30% 击键，但人类仍需审查
核武器是人类最大威胁：不是 AI，不是气候
衰老是疾病：Karpathy 押注 AI 解决衰老
我们是 AI 的生物引导程序：人类文明是一个鞭炮