hello 大家好，我是小俊。今天我们的嘉宾是 Google DeepMind 的研究员姚顺雨。
硅谷有两位非常有名的姚顺雨：一位之前在 OpenAI，后来去了腾讯担任腾讯的首席科学家，他之前也来过我们节目。而今天我邀请的是另一位姚顺雨，他此前在 Anthropic，现在在 Google DeepMind。我们从近期一系列的模型变化开始聊起。
接下来就是我对顺雨的访谈。
对于一家公司来说，能够实现这种比较 TOP 的机制是一件很独特的事，这对其他模型公司来说很难吗？ 很难。比如 OpenAI 就做不到，就是我们也比较难。大公司和初创公司的打法本来就不一样，因为初创公司重要的是「make bet」，就是我得赌一件事。
嗯，我觉得大家现在就是每个人都是冲浪的人，本质上是在冲那个浪啊。AI 这件事本来也不太需要脑子——不太需要脑子，真的不太需要脑子。需要什么？我觉得这个行业最重要的特质就是「C」，就是做事，然后对自己做的事负责任。
硅谷不是有两个姚顺雨吗？你要不要先给大家介绍一下你自己，然后给大家科普一下两个姚顺雨的区别啊？ 可以。我叫姚顺雨，然后显然还有一个跟我几乎同名的朋友。我们俩的主要履历也有一些重叠，所以看起来可能非常难以区分。
我以前是学物理的，本科的时候在清华，那时候做态理论，后来去斯坦福做理论高能物理，然后和量子信息、黑洞相关的那些方面。离开斯坦福之后去伯克利短暂地待了两个星期的 postdoc 博后，然后就离职了，去了 Anthropic。在 Anthropic 待了一年，去年 9 月底、10 月初的时候加入了 Google DeepMind。
如果大家非要区分的话，我觉得最大的区别就是那位顺雨一开始就是一直在做 CS（计算机相关的），而我某种意义上来说是个半路出家的，之前是以理论物理为主的。
你们是不是好朋友？你们好像大学就认识，而且是同级的对吧？ 对对，我们本科就认识，因为我们本科是同级的，都在清华。但他一开始就是学计算机的嘛，所以他在姚班（计算机科学实验班），然后我在基科班。后来他去了普林斯顿，我去了斯坦福，这可能也是另一个有点令人费解的点——好像这个普世世界里觉得斯坦福应该是学计算机的人该去的地方，然后觉得普林斯顿是学物理的人该去的地方，但我们俩反过来了。所以说也可能产生了一些费解的事情。
我们俩其实也真的挺不一样的。我觉得他是一个比我有趣得多的人，我从他身上过去也能学习到一些很不一样的点。比如他可能花了很多时间去思考，比如在 AI 方面，他花了很多时间去思考人和 AI 的交互，然后包括一些产品上的事情。我觉得对我来说是一个很不一样的朋友，我也从他那学到了很多东西。
你们之前在硅谷的时候多久见一次面啊？你们现在是不是还频繁打电话？ 呃，我们在硅谷的时候见面确实挺频繁的，可能每几个星期吧。但是好像见面主要是为了凑一块玩玩啥？就是真的纯玩，可能出去散散步、车车（开车兜风）有的没的，然后可能有时候吃个饭、打个牌啊之类的。
他回去之后，我们也还是经常会打电话。最近一次电话聊了好像就是前一两个星期啊。
你怎么知道的？ 呃，可能就是会过几个月，然后就问一下大家最近的情况吧。
那是不是多次想把你拉过去？
呃，可能有这个意思吧。但是，但是我觉得这不是关键——不是关键你为什么不去？我觉得对我自己来说，我还没有想清楚。嗯，我觉得多半是我自己的原因。然后，呃，我也没有去任何，呃，中国的地方。然后我觉得主要原因是因为在去年的九月或者八、九月的时候，我觉得那时候我离开了 NSORFIC。离开之后决定要去哪的时候，最大的动机是我想学一些不一样的东西。对我来说，可能就没有去考虑，没有更着重地去考虑说能够——我去领导一个项目或者领导一个 project 之类的。我更多的是那个时候优先去学习一些东西，所以那个时候选择了离开。
我发现你们两个经常被放在一些比较和讨论中。对你来说是困扰更多，还是享受更多？我没什么感觉。然后因为我这个人也不太关注社交媒体，所以我其实真的没什么感受。嗯嗯。
因为那个，剩下的他在去年的时候说 AI 进入了 the second half，进入了下半场，这个成为了一个非常有名的观点。你觉得今天的 AI 处在一个什么样的时期？你能给它一个定义吗？
对我来说，我可能看得没有那么清楚什么叫做上半场，什么叫做下半场，或者说这个定义一直以来对我并不是特别清楚。对我来说，确实现在 AI 进入到了一个阶段，就是我觉得大家都已经开始不那么担心一件事——不是能不能做得到，而是担心这件事是否被良好定义。我觉得这是一个很大的区别。比如说，我觉得一年之前，就是可能去年年初的时候，那时候我在 SB，然后大家可能担心的事情还是 OpenAI 这个 reason 做得这么强，我们有没有机会能够追上，然后有多大的机会能够超越他。大家还很担心这个事。我觉得现在，就是在任何——至少在 JNOI 和这三家当中，我觉得没有哪一家会真的担心自己追不上。
嗯，然后我觉得可能现在对于这些大厂，大家更难的事情是想明白要去做什么。这个是一个——我觉得是一个 bet，但也是我觉得也是一个很需要人的 insight 的事情。对，那这也意味着模型的能力被拉平了，对不对？
它变得同质化，被商品化了。因此，模型之间并没有太大的差异，即在优劣上没有显著区别。但它需要分化——嗯，我认为从用户的实际体验来看，这三家的模型确实能感受到差异。不过，难点在于，过去这种差异在纸面上也能看出来。在纸面上（指的是一些公开的测量标准，比如像 Benchmark 这种评测规范），比如大家以前可以查看 SWE-bench、HumanEval，可能数学方面会简单一些的 GSM8K，难一些的像 MATH。那时候感觉就是，你从纸面上就能看出来：这个模型的推理能力似乎更强一些，那个模型的编程能力更强一些，另一个模型在某些方面更突出。
现在，现在在纸面上大家其实都比较接近。然后你看那些指标上的数据，比如看 SWE-bench，你会发现好的比不好的可能高出一个百分点或两个百分点，但实际上大家都在 80% 左右，数字高一点低一点主要是噪声（noise），而不是信号（signal）。但从另一方面来说，用户在实际使用中确实还是能体现出差异的。
根据我个人了解到的信息，Claude 目前在通用工具使用类场景（比如 agent 表现）上仍然是最好的；而在纯编程方面，最近 Codex 稍微追赶了一些，缩小了差距；Gemini 则可能在纯推理和一些日常使用场景下表现更佳。而在编程和 agent 能力上，它们仍处于一个比较接近的状态。
对于这些能力，他们是有意选择优先发展哪个方向，还是说好与坏的区别仅仅是能力问题还是意愿问题？
我觉得其实有意愿的成分在里面，尤其是在过去的情况下。主要是医院——就是当大家能从表面上就看出区别的时候，那时候医院肯定是占大多数的。因为可能像 Cloud 一直更看重这种使用工具的能力，嗯，然后包括 coding，那可能 OPI 有一段时间非常看重 coding，当然现在也开始看重 coding 了。那时候肯定是医院会占大多数，因为你花——你更有意愿的话，就意味着你能花更多的精力去构建合适的基础设施、合适的架构、合适的数据。然后尤其是数据，它在某种程度上来说是一件很花时间、很花精力的事情。所以说，那个时候肯定是一专注的。但是到了现在这个时候呢，我觉得两方面其实都有，因为其实表面上都看起来差不多，然后甚至你做一些更内部的测试来说，这个数字也都变得差别没有那么大了。这时候更难的事情就是，你该怎么去定义你的问题、定义你想要的行为，嗯嗯。然后在这个事情没有定义得那么清楚的时候，模型的很多差异其实来自于一些——其实是你想象不到的事。对，「想象不到的」指的是——呃，我觉得当然「想象不到的事」就是，你现在去问，其实我很难给你一个特别清楚的答案，可能过一段时间之后回过头来看，我才能给一个清楚的答案。但是我可以举一个——呃，想象不到的例子，就是比如说，比如说回溯到一两年、甚至三年的时候，那时候如果你比如说去网上获取这些预训练的数据的话，你可能宣称模型就会发现，模型在写代码的时候——当然没有这种 A（这个）的写代码，它都是写一段代码。那时候你会发现模型写代码写得很好，但是可能那时候大家不知道为什么。但是这里面意外的原因可能就是，你从网上随便去——如果不做任何的数据筛选的话，自然的这个 code data 的质量就会比别的高一点，因为你去看网页，你会发现 GitHub 的质量是显著比别的正常网页要高的。
在进入我们今天的主题之前，我想先聊聊我们最近模型的一系列静态文本。就是你看最近大家都在讨论 Open Cloud，嗯嗯。你作为一线的研究员，你对这个新的产品形态是怎么看的？你周围有哪些讨论？我觉得有趣的是，我感觉这个事情在业外的讨论好像比业内的讨论更激烈。哦，业内没有人讨论？呃，业内有人讨论，但是我觉得对内的人来说，它并不是一个——嗯，特别令人惊讶的事。我怎么说呢，就是可能在公司内部也有人已经做了类似的这种实验或者这种 demo，只是可能并没有作为一个产品去很认真地宣发，然后把它打磨然后发出去。对对。然后实际情况就是，你去看这个 Open Cloud 最早版本的 GitHub 上的那个 code，其实那个 code 从某种程度上来说写得也不是特别干净，但是我觉得它很重要的事是，它给大家展示了这种可能性。嗯，那可能展示这种可能性之后，未来像 OpenAI 作者自己也加入了，然后那可能就是这些模型的实验室或者说一些大一点的创业公司会很快跟上，然后把这个东西打磨成一个真正可用的产品。嗯对。所以我理解，其实在 Open Cloud 发布之前，Google 就已经有人在做这个事情了，只是还没有发布，因为大公司的流程比较长。对，我的——至少我个人所得到的印象是这样的，所看到的是这样。所以这种「lay open cloud」这种产品，它背后本身说明了什么？
在今年年初这个时间点上，我觉得其实——从技术角度来说——并不能说明什么。也就是说，这个产品当然依赖于模型能做的很多事情，但那些能力其实并不是到今年初才准备充足。我觉得可能在去年，比如 Opus 发布 4.5 的时候，那时候 OP 在能力上其实比 OpenAI 的 GPT-3.5 都要强一些。所以我觉得在那个时间点，你做这件事就已经可以展示出来了。然后其实它一开始发布也没有立即火起来，而是过了一段时间才活跃起来。
所以说，我觉得对我来说，技术上它并不是一个那么令人惊讶的事情，它是模型能力的自然延伸。对对对，我会这样觉得。但我觉得它可能带给大家的惊喜是：以前可能大家都没有意识到——嗯，它让大家意识到了这件事可以做，意识到什么？就是意识到你可以让模型做很多事情，也就是你可以控制很多不同的模型，然后做很多不一样的事情，再把这些事情汇总之后，做一个很长、很长、很长时间跨度的工作。我觉得以前大家并没有广泛地对这个形成社会共识。而这件事情给大家展示了这样一种可能。
你看，去年火的是 Midjourney，今年火的是 Open Interpreter（假设 “open cloud” 指代此处）——从 Midjourney 到 Open Interpreter，变化是什么？是模型能力的变化，还是产品的变化？这也是一个我其实一直没有理解清楚的事情。嗯，就是 Midjourney 和 Open Interpreter 之间的本质区别是什么？这是一个我自己也没有完全看明白的事情，说实话。
或者换句话说，可能 Open Interpreter 这件事火了，但如果你要回头问我说：「为什么 Midjourney 做不了这个？」我不明白 Midjourney 为什么做不了。嗯，可能只是它没有去做。但你看，不管是 Midjourney 还是 Open Interpreter，他们最后都选择了「卖身」——Midjourney 卖给了微软，Open Interpreter 卖给了 OpenAI。这个现象说明什么呢？为什么他们都卖了？我觉得我自己的感受是：一个东西如果要长久地生存，还是需要考虑一些壁垒的。壁垒是模型吗？我觉得至少目前来说，很多壁垒都是在模型层面。但未来会不会产生产品侧的壁垒？我觉得还不一定。因为大家在市场上讨论的都是老生常谈的话题，比如很多人会谈论什么数据飞轮之类的事情。目前来说，我觉得没有哪一个场景真正形成了数据飞轮，甚至 AI 纯粹原生的应用场景。我觉得目前除了写代码（ent coding）之外，没有哪个场景是 AI 真正原生的场景，并变得非常成功。
因为从某种意义上来说，ChatGPT 其实是搜索的一个延伸。Chat 是搜索的延伸，它为什么不是独立于搜索的？因为你想，大家和 Chat 最多的交互是：「我有一个问题，就问这个。」然后这个其实是搜索本来就该做的事情。但它带来的比搜索要强得多的一点是：它变得非常互动（interactive），就是它有交互性，你可以追问，然后它甚至可以帮你总结出一些通过它获取的信息，帮你把它压缩、浓缩成回答你问题的那个信息。这是以前搜索给不了你的。嗯对，但它当然不是完全一样的需求，但从需求的大方向上来说，是比较类似于搜索之前的需求。
Midjourney 和 Open Interpreter 我觉得都是现在最有名的，但最后都卖给了模型公司。这是不是说明壳（产品层）还是难以逃脱模型的掌控？这个迭代速度不够快，是不是？
我认为在当前这种情况下，活下去大概有两种我能想象到的方式。
第一种想象的方式就是像你刚刚说的：“跑得够快”——即我的增长速度足够快，以至于在模型公司反应过来时，我其实已经占领了大量的用户资源。然后，在模型公司追赶你的产品形态时，我又自己研发出了自己的模型。我觉得 Cursor 就是在走这条路。嗯，Cursor 在这种 AI 原生场景下，几乎是我能想到的创业公司中增长最快的了。嗯，即便是这样的公司，它现在也有很强的危机感。它有多危机？呃，反正我的感觉是，对 Cursor 来说，现在和模型公司已经进入了一种非常微妙的关系。曾经他们是亲密无间的合作伙伴，提供模型，Cursor 做产品。后来 Cursor 有了自己的 Code Interpreter，现在变得非常成功，然后模型公司又自己尝试做自己的产品。所以 Cursor 在努力选择如何应对。所以说，我觉得都不用谈未来了，其实现在他们就已经处于一种比较竞争的关系了。
如果在竞争中落后的话，我觉得会比较麻烦。因为代码这件事，Cursor 这件事，本质上是一种服务于专业用户的专业需求，是一种效率工具。效率工具很容易出现的一个场景就是“赢家通吃”。我觉得这无论是对 Cursor 还是对其他做 Coding 工具的公司来说，可能都是他们比较担心的事。嗯，对。
然后这是刚刚说的第一条路，就是你长得够快，在别人还没想吃掉你的时候就疯狂增长，等他想吃你的时候，你已经足够大了。
另一种方式就是这个市场足够小，小到公司根本懒得去管。我觉得 MidJourney 就是一个这样的例子。嗯，就是这个市场小到虽然你说咱们努力一把，能不能做出竞争？那个事情可能花一些精力、花一些钱、花一些数据是能做到的，但是足够小，以至于他们可能就不太会在那上面花时间了，看不上。对，我觉得那可能也是一种活下去的方式。
所以哪怕是今天，也没有谁成功逃脱出模型公司的手掌心。有谁成功逃脱了吗？目前我觉得大的还没看到，小的可能像 MidJourney 这个例子。当然肯定有别的例子，只是我还没看到。对，小的我觉得会有例子。Replit 算吗？呃，我觉得他们有机会，他们有机会。反正就是不能做那种通用的场景。我觉得这是创业者自己要决定的事情，就是你要不要抱着万分之一的生存概率去赌一把大的，还是抱着百分之一的生存概率去先吃一个小的事情。
如果是你，你会怎么选？如果是我，我内心肯定是想吃一瓢大的。但是，呃，坦诚地说，我觉得第一步是不能一步登天的。所以如果是我，我会选择先吃一个小的，但我会选择一个有想象空间的小的。
你说 OpenAI 为什么要收购 Opal Cloud？它为什么要收购 Minus？Google 为什么谁也不收？Google 也收了，Google 买了 Windsurf 的人，OK，Windsurf，OK。呃，我不理解什么叫“你不理解”？说实话，我觉得 Meta 收购 Mus 这件事，我认为对他们来说，最大的用处——如果撇开花了多少钱不谈——最大的用处是获得了一批优秀的亚洲产品团队。在亚洲说明什么？
因为我觉得一方面，显然大家都知道中国的 AI 人才储备还是非常丰富的。虽然目前从纯技术层面来说，中国的 AI 还没有真正追上美国，但显然中国有很多优秀的人才，无论是在技术上还是在产品上。我认为可能中国在本质上的人才素质是比美国更好的。
所以对他来说，我觉得 M 斯（Mus）成为了他在新加坡的一个“毛点”（焦点），他可以从那里吸引一些人才，比如来自中国、新加坡或东亚的。然后，嗯，我其实没有特别看明白这个产品本身对 MYA 来说有多重要，或者说换句话说，就是为什么 MA 不能自己做这个产品？但无论是 Mus 还是 OpenCloud，它事实上就是诞生于外部的团队。为什么不是硅谷的这帮研究员做出来的呢？有没有反思过这个问题？
对，我觉得对对对。对我来说，这个问题其实，嗯，我觉得一个公司一旦变大之后，它的负担就会变得很重。比如，作为一个研究员，我们可以做一些看起来很有趣、很有特点的产品，但一旦把这个产品公开给公众，需要负责的事情就非常多了。
第一，你的产品不可能一上线就告诉所有用户：“你得再去买一台电脑来做这件事，否则它就有可能会获得你电脑上所有的权限，然后把你的系统搞崩。”嗯，作为一个大公司来说，你不可能这么做。Google 是不可能提供这样的产品出去的，对吧？嗯，所以你的产品要花很多时间打磨，然后你要确认法律上没有风险，用户使用时又不会损害自己的品牌。而且，如果你把它推出去了，可能还要提供比较固定的资源去维护（serve）这个模型或者这条产品线。所以对大公司来说，我觉得还是有挺多负担的。
但是对于个人来说就无所谓了，就是：“我反正是一个开源的项目，我带马拉基又如何？你来一起写吧，对吧？”对。但我觉得无论是 Mus 还是 OpenCloud，它其实指向了一个方向，就是可能这也是 2026 年的某种趋势的可能性。
嗯，你对 2026 年怎么思考和预期的？嗯，我觉得其实有太多的可能性。然后对我来说，从模型能力上来说，我觉得，嗯，模型有时候我特别说这个口号，就是：“我觉得模型做到『T with finite context used as infinite context』。”换句话说，就是你用有限的 context length 去训练它，但它可以在使用的时候用非常非常长，甚至接近于无限的 context。我觉得这件事今年是有机会能够实现的。然后这件事情实现之后，我觉得会解锁很多新的应用，也会因为——举一个最简单的例子——就是你有可能可以让这个模型跟你持续地交互，然后持续地获取你的信息。它在运行的过程中会持续地根据当前的场景和你的行为，可能把那些它觉得不重要的信息扔掉，然后就成了大家梦想中的个人助手。
我觉得从技术上来说，这件事今年无论如何会实现。但是当然，我觉得现在大家没有达成共识的是技术上怎么去实现这件事。嗯，嗯，现在有很多技术路线，但我觉得更多的是在尝试哪条路线能够跑通。同时可能有好几条路线都能跑通，那我们到时候就要在实验上去测试，在用户常用的使用场景下，哪条路线的效率是最高的。我觉得现在更多处于这个阶段，而不是说大家没有想法的结论。就是大家有想法，但要确定哪个想法是最后的方案。
站在 2026 年的第一季度，作为一线的研究员，你觉得模型的进步速度在放缓吗？
我觉得完全没有——完全没有——我觉得完全没有。它的速度曲线与 25 年、24 年的变化相比是什么？嗯，这个很难量化地说，因为你必须给出一个标准，我才能量化地告诉你。因为如果你给的标准是，比如，我只看某一个 benchmark，比如随便一个尺度上，它每个月涨多少个点，那么这个事情肯定会变慢的，因为根据定义，这个指标最高只能到 100，所以你越接近那个值，肯定是越跑得越慢。
嗯，但这可能并不代表用户体验或这个模型的能力增长。因为可能从 50% 到 60%，它可能感觉好了一点；但很有可能，比如从 70% 到 75%，它反而比 50% 到 60% 那个还要好得多。嗯，这是完全有可能的。如果是 80% 到 90%、90% 到 100%，这个感受会更显著。但也不一定，因为可能过了某个点——比如到 80% 到 90%——用了之后就发现没有任何区别，甚至还变差了。
你说“完全没有变慢”是基于什么标准？我觉得是基于我个人作为一个研究员的感觉，就是我个人得到的感受是：这个模型学东西的能力越来越强了。以前可能让模型学会做一件事情需要动很多脑筋，但现在可能不需要动那么多脑筋了。
最重要的是，你要把这个问题定义清楚，然后想清楚怎么去构建合适的数据。当数据现在变得更广（比如环境之类的也都包括在内了），然后剩下的事情好像很多时候是瞬间的了。
模型的学习能力为什么会变强？ 模型的学习能力变强，我觉得可能一方面原因很多，但我觉得可能一方面也是因为预训练（pre-training）其实在过去的几个月里，我觉得还是越来越强了的。
预训练？ 对，模型的预训练在过去几个月里确实变强了。嗯，我觉得这个可能是一个——呃——从某种意义上来说比较有争议的事。因为几个月以前，我觉得很多人已经在讨论预训练的 scaling law 是不是已经到头了。嗯，我的体验是没有，而且我的感觉是在未来的四个月也没有看到到头的迹象。
为什么会觉得到头了呢？ 我觉得……嗯，我显然不知道大家觉得到头的原因是什么，因为我自己没觉得到头。但我的猜测是：一个人觉得一个规律到头了，无非有两种情况： 1. 一种情况是他认为这个规律的适用范围到头了，可能从根本上讲，scaling law 就是没有办法无穷延展下去的。这个观点有可能是对的，但这是一种猜测，就是这个人可能觉得这个规律范围到头了。 2. 另一种可能是这个人觉得这个规律其中的一个条件不能满足了。比如，他认为数据已经撞墙了，那我完全没有办法把它延续下去了。
但其实还有第三种可能性：第三种可能性就是，其实嗯……他的工作中哪里有一个 bug，他自己没发现，所以他觉得到头了。
哦，对。我觉得从我的观点、从我的观感上来说呢，我觉得可能绝大多数厉害的人是因为第三种——是有 bug。
是什么样的 bug？ 我觉得 bug 有很多种可能性。比如： - 一种可能性是你做的时候一些科学的假设没有做对。比如，你选择什么样的模型大小、选择什么样的期望的训练数据量，然后这个数据量是从哪里选，有可能是这些比较科学的选择没有选清楚，这是一种可能性。 - 但我觉得还有一种可能性就是纯粹的 bug。这个在业界我觉得也不惊讶，很多时候修好一个 bug 带来的提升远大于一些很神奇的技巧。
对哦。然后呃……大家还有其他的情况，我觉得我就举了这两种例子，反正都是我见到过比较多的情况。
那你们的 bug 怎么办？你们怎么解决 bug 问题的？
我觉得这更像是一个信念的问题。因为当你遇到一个 bug 时，如果觉得它无法解决，就会说“已经到头了”；但当你遇到一个 bug，觉得“哦，这个肯定能解决”时，就会觉得“这还没有到头”。因为每个人都会遇到 bug。
我觉得……嗯，这可能是其中一些比较鲜明的特点。但对我来说，更重要的一件事是：当一件件事情与你的预期不符时，你能否系统性地排除各种可能性？我觉得这是非常重要的一点。这也是我认为我们与其他团队（比如桃）相比，尤其是在预训练方面，最大的不同之处。也就是说，当某个规模下的行为与你想象中不一致时，大家能够设计合理的——我们所谓的“应用”——合理的实验，从而验证你想象中的可能因素是否真的是关键因素。我认为这种系统性的做法才是关键。
嗯，对。你觉得模型能力还能提高，那么它的驱动力——数据、算法——你觉得主要来源于哪个方面？
呃，我觉得其实都有，但从某种意义上来说，数据和算例其实是紧密相关的。数据和算力……嗯对，因为算力提升了，自然就需要更多的数据；数据增加了，自然也需要更多的算力。而算法方面，我认为算法的作用往往会经历一个相变过程，即算法在某个阶段可能完全不清楚该如何实现。那个阶段，算法会变得非常关键，因为当你完全不清楚该怎么做时，可能就完全无法提升能力，嗯，然后可能就卡住了。但在某个节点，你可能发现了算法中最核心的部分，它可能一下子从“完全无法实现”变成了“能够实现”。之后算法的提升，更多的是一种平滑的改进，即在某个程度上提高了计算效率。
举个例子，比如在语言模型的预训练中，算法上的突破可能就是 transformer 的诞生。但在发现 transformer 之后，更多的改进都是逐步——也就是平滑地提升效率，或者让算力的使用效率变得越来越高。所以现在的驱动力是算力和数据。我认为在当前比较清晰的框架下，主要的驱动力就是算力和数据。
“清晰框架”是指，比如预训练和后训练，无论是基于强化学习的后训练，还是基于监督学习的后训练。在这两个比较明确的范式下，确实算力和数据是主要的驱动力。但不可否认，可能存在其他方向，驱动力的含义可能不同？
举个简单的例子，比如多模态生成。嗯，我认为这在算法上可能还没有完全想清楚，所以仍然是一个科学问题，尚未解决。但语言模型已经不再是科学问题了。呃，自然语言生成，我认为在当前的技术方案撞到天花板之前，科学上是比较清晰的，但工程上还有很多很多工作要做。
嗯，你觉得通过预训练提升模型能力，还有多少、多长的路可以走？可以预期吗？
就是这种情况，当你还没有撞到天花板时，其实并不知道这条路有多长。我能看到的就是现在还没有撞到天花板，但我也不知道哪天会撞到。如果真的让我估计一个时间线的话，就像刚才说的，我觉得接下来四个月还会继续发展，但 AI 这个领域没有人能预测四个月后的事情。
嗯，所以过去几个月，你在观察预训练和模型能力时，仍然感到很兴奋吗？
嗯，这是你周围普遍的心态和状态吗？我觉得是的，是的。这是在 Google 的小环境里，还是说在整个硅谷的大环境中？
我觉得很难一概而论整个硅谷——因为硅谷这个“衣服”实在太大了，可能做产品的人对产品非常兴奋，对吧？对做产品的人来说，他们最兴奋的点可能不相上下。但对做模型的人来说，我们可能会对这种模型的进展更、更兴奋一些。
对我来说，对于做模型的人来说，兴奋是一个共识吗？在过去四个月里，我个人认为是的。哦，我个人认为是的。至少在我能接触到的范围内，我觉得与 Google 等公司的人交流时——大家想得更多的是：我们的 AI 会不断进步下去，很快我们就要被取代了。被取代之后，我们该干点什么？而不是“模型撞到天花板了该怎么办”这样的问题。
为什么在过去几个月里，coding 的发展速度是最快的？为什么是这个场景呢？我觉得 coding 这个场景，首先，coding 这件事在过去几个月发展最快。我认为 coding 这件事，其实从 Cloud 3.5（外界有人称之为 C 3.6）之后，就一直处于高速发展的状态。嗯，然后我觉得那个是去年初还是前年底？那个是前年 10 月份。前年 10 月份，对对。嗯，应该是 10 月份，可能是 10 月份或者差不多那个时候。从那之后，我觉得一直都属于高速发展的状态。
我认为 coding 这个场景有两个最大的优势： 第一个优势就是它的 feedback signal，也就是它的反馈信号是很好定义的。比如，你去——比如像 software engineer 这种任务，经常的情况就是：我需要写一段代码实现一个 feature，一个特性。这个特性需要的是某些输入，会得到某些输出。这就是一个很容易测试的事情。所以它的反馈信号非常清晰：你的输入和这个输出能对上，就说明你的实现是成功的；对不上，就说明不成功。但这只是一个例子，就是在和写代码相关的领域里面，有很多很多这样定义良好的情况。
然后另一个比较大的优势是 coding 的数据，有一个非常天然的基础。嗯，这个基础就是 GitHub。GitHub 上汇聚了过去几个 decade、几十年很多很多优秀程序员所写的代码。嗯，然后从那些代码出发，是可以构建出非常、非常、非常多的环境。我觉得这两件事，从模型的角度上来说，是为什么 coding 可以做得很好的原因。
当然，我觉得从产品上来说，还有另外一方面的原因：coding 这个产品的使用需求，在某种程度上是比较统一的。它不像你去做一个社交软件或者游戏，可能每一个人都有不一样的品味，然后你可能很难——就是能够满足每个人的需求，那可能就需要推荐算法。但是 coding 这件事好的地方在于：优秀的程序员写代码，其实风格是比较类似的。什么风格？简单来说，就是好的代码是不脏的，是有一些共同的标准的。比如，像你说的——结构清晰，便于未来的开发，然后有合理的抽象。当然还有别的很多很多标准，但是我觉得好的程序员往往是有比较共识的标准的。对这件事来说，所以这件事从产品上来说，其实让 coding 这个产品变得更简单。
那你现在的工作会用 code 写代码，它能帮你提高工作多少倍啊？
你问了一个“差点会不会开除我”的问题，Google 可不能用哦。好的，没错，我个人感觉，保守估计可能有 90% 的代码是由模型生成的。不过，我可能需要花大量时间去审查这段代码是否合理、是否符合我的预期。
然后我觉得，有了 AI 辅助工具之后，写代码这件事最重要的部分变成了：如何设计代码的逻辑，它需要与哪些文件关联，需要完成哪些任务。同时，你需要为模型提供合理的上下文（context），比如可以参考某个现有代码作为 reference。
确实，在实际输出代码的部分，模型的能力比人强太多了。因此，对我而言，如果要具体统计有多少行代码是我手写的，多少行是模型生成的——保守估计模型生成的超过 90%，不保守的话可能达到 99% 甚至 100%。剩下的 10% 是模型无法完成的，还是因为我没有让它写？嗯，保守估计 90% 给自己留点面子，我觉得模型无法完成而我能完成的部分已经越来越少、越来越少、越来越少了。
过去可能是什么情况？我记得很早之前，大约一年半以前，市面上实际上只有 Copilot（CL）一家能真正编写软件工程代码。那时候还能明显感受到很多缺陷，比如它有时只关注单个文件，不太考虑多个文件之间的关联。如果一个类的定义隐藏在多层结构之后，或者没有直接应用在当前的结构中，模型可能就找不到了。
现在我觉得这个问题已经越来越少了，真的越来越少了。作为一名研究人员，你的编程工作量能达到过去的多少倍？虽然从写代码的角度难以量化，但从实验实现和 idea 落地的效率来看，相比一年甚至一年半以前，可能有 20 甚至 50 倍的加速。因为现在的模型真的变得非常强大，你可以同时开启多个任务，并行测试多个想法。甚至有时候模型还能帮你监控实验、跟踪结果等，效率提升确实非常明显。
不过，从个人工作时间来看，我感觉它反而让我的工作时间变得更长了，这是为什么呢？因为开发速度加快后，越试越想试，有越来越多的想法需要尝试。以前可能遇到一个不熟悉的文件，需要花时间找人沟通，可能要耗费几个小时。现在不一样了，看到不懂的文件直接问 Copilot 或其他 AI 工具，可能五秒钟就能得到答案，然后继续工作。
所以从工作时间来看，我感觉工作时间反而变长了，而且工作密度也变得更高了。
「Google 已经不是那个 Google 了，对吧？」 不是那个可以养老的 Google，也不是那个强调 work-life balance 的 Google 了。我觉得在 AI 领域，没有人可以养老。所以你现在还敢早下班吗？ 我一般可能早上九点开始工作，然后晚上还在公司？
九点——我早上九点钟回来。可能先起床看一下邮件，然后看看我前天晚上的实验，接着去公司，一般十点左右到。然后晚上，如果我一个人在美国的时候，可能会待到十点、十一点这样。当然，如果家人在——我妻子在的话，我可能会早一点回家。但在家里反正也是一样。
我觉得这个“战场”、这个领域，没有谁是在躺平的，除非你已经完全对技术没有兴趣了，对自己没有追求了。嗯，那你躺平其实也没人管你。嗯，但我觉得大家还是比较“self-driven”（自我驱动）的，就是还是自己想干。
你觉得其他领域会出现更多这样的“cloud code”（云端编码）时刻吗？Coding（编程）之后会在哪里爆发？
你问了一个好问题。我要是看清楚了，可能已经出去创业了。但是，确实就是，除了 coding 之外，我们已经能看到，AI 对很多其他方向已经产生了重大影响。但仅讨论那些方向可能并不是一个好的、市场上的方向。比如，现在很多做基础科学研究的人，比如做数学、做理论物理的，很多人其实已经大量使用 AI 工具了。因为过去你可能——像我们做 AI 研究，其实很像，就是说，你可能想到一个想法，想跑一个数值实验。学物理的人又不太会写 code（代码），光是弄明白怎么打开编译器、把代码跑起来，可能半天就过去了。现在就没有这个烦恼了，你现在想试，五分钟后代码就写完了，就可以开始了。
对，然后甚至像 Jupyter（Jupyter Notebook）发布之后，很多基础科学的研究人员就把这种，比如数学推导、数学证明，甚至去阅读不同的论文、归纳总结这些事情，全都交给模型了。所以说，已经——我觉得对除了 coding 之外的方向产生了影响。当然，那些基础研究，可能很难变成一个万众瞩目的事情，嗯，除非你真的发现了一个前人都没发现的、非常绝妙的理论，对吧？比如 AI 产生了“统一场论”这样级别的东西，那可能会变得众目睽睽。但那个时刻可能还没到来，但影响已经存在了。
哇，AI 好神奇啊！它为什么首先做的都是人类觉得最难的那部分工作？我觉得这是一个特别好的问题。就是，我觉得过去的——嗯，在我人生的阶段里，大家往往会觉得智力上最有挑战的工作，反而是那些比较理性的事情、比较客观的事情。嗯，比如数学、比如写代码、比如 AI 研究，还有科学研究。对，就是越是这些事，AI 反而越容易做好。因为你一旦想清楚这件事怎么去评价，就知道怎么训练。
那人为什么比较难呢？我觉得你看，人都是把智力分配最高的那部分人在做这些工作，对。但可能未来就不是这样了。未来会怎么样？我觉得未来其实会发生一个改变，就是那些 AI 其实——有很多 AI 并不那么容易做，但反而是人可能做得更好的。比如做产品。说实话，我觉得做好一个好的产品经理，是一个我现在想不明白该怎么训练 AI 去做的事情。这是为什么？因为没有标准，没有标准，就是无法量化什么叫做一个好的产品。我其实想不太明白，没有一个完整的标准。你一定是做出来之后给人用了，才知道它好，大家才会说它好。对，我觉得那是一个反馈信号很不明确的事情，我就不知道该怎么训练 AI 去做。
对程序员什么时候会被彻底取代吗？会有这一天吗？
嗯，我感觉这一天终会到来，但它不会是一瞬间发生的。不会是程序员们还在工作，一夜之间，第二天所有程序员都被解雇了，不会是这样的。它一定会是一个渐进的过程，但大家现在已经看到了这个渐进的过程，因为有些公司已经开始裁员了。
对我而言，从某种意义上讲，AI 当然是一件好事，但从另一个角度来看，它可能也是一件不幸的事。AI 是一项高度集中的技术，它会让少部分人变得更强大，却会让大多数人失去他们独特的价值。因此，我认为对于传统的软件工程来说，最终的结果可能是现在 1% 的人完成过去所有人的工作，并拿着现在 100 倍的工资。
那么，你对程序员有什么建议？ 嗯，我觉得可能……呃，接受新事物吧。我认为很重要的一点是，未来程序员可能很重要的一件事是如何与 AI 进行有效的协作。比如，有很多事情是 AI 可能做不好的，或者不那么擅长的，比如如何合理地设计一个事情的实现方案，以及如何设计让它与公司未来的发展相契合。这些事情可能很难让一个模型去理解，所以这些工作可能还需要人来完成。但是，像过去很多程序员做的具体工作——比如你的经理告诉你「实现这个方案，下周五之前交给我」——这样的工作在未来可能就不复存在了。
那么剩下的那千分之一的程序员，或者说什么样的程序员，他们的特质是什么？ 呃……我真的不知道会是 1%、千分之一，还是万分之一。嗯，也可能是 1%。你别那么悲观啦。 呃，我是一个著名的悲观主义者，所以……也别太乐观。
我认为未来优秀的程序员，首先在技术上一定要非常强。因为如果你技术上弱，那么 AI 没有理由无法取代你。但技术强可能不是唯一的条件，它可能只是一个充分条件。另外一件我认为很重要的事情是，你必须能够理解你的这部分工作在一个大型组织或公司中，该如何配合进去。这可能也是一项重要的能力。
然后，当然还有可能其他很多因素，比如这个人的规划能力是否足够强。如果他的规划能力强，可能可以同时将一个非常复杂的事情拆解成许多相对较小的部分，然后用不同的方法去完成。但就目前来看，这三种能力是重要的，可能 AI 还无法完全做到。我无法代表六个月后的情况，也许六个月后你再问我，我会发现最后一项能力 AI 已经能做到了，那就只剩下两个了。再过六个月，可能剩下的两个也能做到了，那么我的回答就会变得更加悲观。所以说，没有人能预测六个月后会发生什么，我只能从现在的观点来看。
刚过去的那个春节，很多人关注另一件事：Sora 会让 Google 感到焦虑吗？ 我觉得……呃，有可能会，但这种焦虑的情绪目前还没有传导开来。可能会让 Google DeepMind 负责多模态生成的团队感受到一些压力，但如果你问我的话，我可能不觉得他们有什么可焦虑的。我认为并没有体现出什么优势，更多的是我觉得自己在产品效果、数据等这些细节上会做得非常非常好。我确实认为自己过去在多模态生成上一直以来都有比较强的优势，但我个人没有感受到这是一个范式上的变化，可能不足以让大家非常焦虑吧。
但肯定是有压力的。对于 Sora 来说，它的产品能力是来自于模型能力，还是产品能力？
呃，我自己也没亲自做过，所以具体细节我也不清楚。但如果让我猜的话，我觉得可能摩西还是占大头的。嗯，能力的好坏取决于什么？取决于数据。因为算法可能没有本质上的创新，我觉得算法首先就是因为刚才提到的，多态生成属于科学问题。对，多态生成仍然是一个比较科学的问题。那么，多态理解解决了吗？嗯，比起生成来说，肯定是更系统、有更系统的理解了。但比起……Tax图来说，肯定还是没有那么固定的。在生成方面可能就是因为它还是一个无法固定的事情，可能每家公司用的技术都会有一些大大小小的差异。现在更多的只是能看到，从效果上来说，可能Midjourney和Google的Imagen在效果上做得比较好。嗯，所以这可能也是因为细节处理得更好。
对，如果让我猜的话，我会猜数据。数据啊，你要让我猜，我还是会猜数据。但我也没有亲自做过，所以这也是我瞎猜的。嗯，你觉得Google挖走的吴恩达怎么样？我觉得……我喝多了有点评价，永会。我觉得，我过去没有和永会一起工作过，所以我其实真的没法给出很客观的评价。但我觉得，我去了咱们那之后，呃，看到的更多是永会好的一面。就是我觉得，通过我看他以前写过的代码，以及他带过的项目，我的感觉是他是我提到的少数层级非常高，而且人也很senior，同时还有很强的技术能力。我觉得这是非常非常少见的。所以我觉得，我可能还没达到能够评价永会的水平。但如果让我说的话，我觉得永会非常非常强。
嗯，你说站在2026年第一季度拍一张快照，你觉得中美的模型能力差距是在扩大还是缩小？差多远？
我觉得，嗯，如果现在回顾过去一年的发展趋势，或者不如说过去一年半的发展趋势，显然中美之间的差距正在逐渐缩小。但最终这个差距是否会完全弥合，甚至中国能否实现反超？我认为这是一个尚不明确的问题。不过，对于中国的AI研究人员和研究机构来说，这也是一个机遇。
然后，嗯，我觉得一个很现实的情况是，中国在实际算力资源上处于明显劣势。但这种劣势反而可能逼出一些有趣的事情。比如，中国的模型公司在蒸馏（distillation）技术上做得特别出色。嗯，对，最近达瑞不是点名了三家公司——「真流」？他对我的感觉其实可能是一个征兆。这种现象的存在是一个「心照不宣的新常态」。不过，我认为蒸馏（distillation）也有不同的方式，即有「硬蒸馏」和「聪明蒸馏」两种不同的选择。
嗯，应该叫「应用蒸馏」吧。应用蒸馏最简单的例子就是，我从云端获取一堆模型生成的数据，然后强行在这些数据上进行训练。如果这样做，我觉得首先在商业上不太道德，其次从治理角度来看也相当愚蠢。因为做这种事的公司，本质上反映出的一件事就是他们其实不知道自己想做什么。他们唯一能做的就是抄袭别人，让自己的模型在数据上看起来更好看一些。对，但这本质上说明他们自己都不知道该如何发展。这就是硬蒸馏。
但其实蒸馏技术也有一些非常有趣的科学问题。比如，我是否有可能——随便举个例子——在生成自己数据的链条中，使用其他模型作为辅助？或者，我自己模型升级的答案是否可以用其他模型作为评估者？这在商业上可能处于一个灰色地带，但从技术角度来看其实非常有意思。因为你想，从某种意义上来说，中国的实验室可能成为了MTI agent训练的先驱区域，而且是真正的MTI agent。因为如果从不同公司的模型中，通过这种比较聪明的方案将它们融合到一个训练系统中，每家模型的分布可能大不相同，语言分布也各异。这才是真正「像人一样」的做法，可能比简单地将几个模型拼凑在一起更有趣。
所以，我认为对于我来说，聪明的蒸馏（distillation）在商业上最终是否会变成一个明确的对与错，尚不清楚，但技术上确实很有意思。你刚才提到的这两种情况，真没说的是哪家公司？能不能后期把名字遮掉？
我，我没有在中国工作过，所以不了解确切的事实。但我的感觉是，我们应该是应用过蒸馏技术，可能曾经用过，但后来可能逐渐在向「软」的方向转变。我觉得比较明显可能「硬蒸馏」用得比较少的，是我们自己。我感觉我们的模型还是比较有特点的。特点体现在哪里呢？
比如这个模型，你说它有多聪明？我觉得豆包肯定没有GPT-4和Claude那么聪明。但是豆包首先，比如豆包的语音生成非常非常强。哎，这个很难吗？在技术上确实豆包做得最好。因为我发现我生活中的问题，我只想问豆包，因为它很快。但其他模型为什么不优化这个产品功能呢？我觉得还是跟它的用户群体有关系。在美国，我觉得大家的想法更专注于如何提高工作效率，你生活中就没有一些困惑吗？
我生活中——首先，我个人确实是一个生活上比较无聊的人。所以，我生活中没有很多有趣的困惑可以去问“豆包”。我生活中更多的困惑都是技术上的困惑。问咱们这种聪明的模型，就是最好的。对我来说，没有什么半夜去找“豆包”或情感电台的需求。不只是情感，就是很多比如你做饭，可能会遇到一个什么问题，你可能其实需要一个人告诉你，但你又不知道、没有这样的人。嗯，那些我觉得可能更多是数据上的问题。然后，可能更多的是说，美国的公司现在主要的优先级是在智能或者工作效率上。嗯，未来有天会不会变成这些日常的事情？我觉得是有可能的。实际情况是，你如果去问这种日常话题，其实你能发现咱们每一代到另外一代，会做得也越来越好。嗯，所以我身边很多朋友，包括我自己以前也是，就是我以前在的时候可能写C会去问C的，但我可能日常查个什么东西，我就会去问GPT。对，你用我帮没有？我其实只用过一两次，我发现你们都不怎么用。呃，是不是有比试恋？
首先，有智力的比试恋没有，没有没有，不质疑，不至于。就是我觉得，首先就是跟在中国的人尝试用美国的模型会有一些复杂的事一样，我在美国用中国的模型其实也是挺复杂的。第二呢，就是确实也没有，尤其是我觉得我可能生活中工作还是工作休闲的时候，就是找不一样的工作，所以对我来说，我的最好伙伴就是Cloud和GPT。但是，呃，可能对别人来说并不是这样。所以可能也只是我个人的问题。我自己用“豆包”的那一两次，是因为有人给我展示“豆包”手机。嗯，对，那你怎么看“豆包”手机？
我觉得是一个很好的想法。我个人觉得效果上来说，其实做得也还不错。当然，我不知道的是技术上来说，它的优化做得有多好。就是说，它实现一些任务的实施，从效果上来说是没什么问题，但我不知道它会有多大的消耗。如果这个消耗非常非常大，那可能是一个基础上需要解决的问题。因为你并不希望什么让你的模型去帮你订了一张高铁票，结果花的钱比高铁票还贵，这个肯定是一个不能接受的事。所以说，可能技术上来说，我个人不清楚它有多成熟。然后，我觉得长远来说，对大家来说还是一个挺——不能说惊讶吧，但是让大家觉得挺兴奋的事。
然后，我觉得可能苹果以前也想干这样的事，只是苹果可能自家的模型一直不太行。苹果好像不是在他的AI战略。现在我觉得呢，苹果一定是在AI战略了，因为曾经Siri手机助手是苹果发布会里一个非常非常重要的闪光点。嗯，但是自己的模型没赶上趟，现在可能要通过和咱们合作来试图做这样的事。至于现在他是不是重视，首先我也不知道。你要让我猜，我肯定觉得是重视。但你要让我解释他为什么从外界来看没那么重视，我的唯一猜测就是：如果你外界来看就显得很重视，但还做不成，那就显得很蠢啊，很丢脸啊。对，我不在意。
哎，我们说一下“豆包”的模型啊。你刚刚说“豆包”的模型比较有特色。你们具体一点：第一个是语音做得很好。我觉得语音做得很好，是我能感觉到最有特色的事。就是我觉得语音这个效果，可能客气的说，可能是全世界最好的之一；不客气的说，我觉得就是全世界最好的。嗯，所以很难吗？
呃，我自己还没有做到那个程度，所以我也不知道到底难不难。但我觉得这可能是一件非常费功夫的事情，无论从数据层面还是各种优化层面来看，既是产品的事，也是模型的事。它一定是模型的事，可能也包含一些产品的部分，但核心一定是模型的事。嗯，对。
然后我觉得这是一方面。另一方面，我自己的感受并不多，因为我其实用得没那么频繁。可能更多的是来自——比如亲友的反馈，也就是说，这种“多巴”式的关系，就是 F to talk，聊起来很有氛围。但我觉得那更多是一些主观的反馈。
嗯，我觉得他的那个——一方面是语音，另一方面是生成速度很快，这也是一个很重要的因素。因为很多模型都在向你展示思维链，但我就说，对于生活中的实际需求，我不想看它的思维过程。在这个场景下，我觉得技术上并不难，只是可能大家目前还没有在这上面投入更多时间。
然后实际情况是，如果你去尝试 3.1 和 3 的话，你会发现 3.1 在完成同样一个问题时，已经比以前快很多，而且废话少很多了。所以，我觉得这不是——嗯，在我看来不是一个技术上的难点，更多只是什么时候去重视、去做这件事。我觉得可能就是现在，现在美国的几家公司还都在努力把智能的上限不断往前推进，而杰呢？
呃，当然他也肯定是在推进上限的，但我觉得他在用户体验的优化上也做得不错。
嗯，最近还有一个话题就是中国的机器人在春晚上很火。不知道你对这个有没有什么观察，看过一些表演。嗯，也在亚马逊上搜过一些价格，确实很惊讶，居然这么便宜。买了吗？没买。我买了也没什么用，但确实我以前会——不知道为什么，我脑海里总觉得这种人形机器人，软件层面其实没什么，但主要是硬件。我觉得硬件要做到这么成熟，怎么也得是个几百万美元的级别吧。但好像我去看了一下价格，比这便宜很多。
嗯嗯，我觉得这还是体现出中国在硬件产业链上还是很有优势的。但我并不知道它作为一个——作为一个机器人硬件来说，我觉得确实非常非常强。然后从软件层面来说，没太看明白。我觉得机器人的模型也是一个目前非共识比较大的领域。对，怎么说呢？
说到他，我感觉机器人的模型可能更多地处于 特征工程（feature engineering） 的时代。也就是说，你有一个给定的环境、给定的场景，然后去优化这个场景，大家都知道该怎么做。嗯，但做 RL（强化学习）嘛，做强化学习，构建合适的虚拟环境——还是虚拟的、这种数据——然后去训练，是可以提升的。但它没有很强的泛化性。嗯，我觉得这就是有没有泛化性，其实是很多 AI 方向的一个分水岭。就是一个确定的场景、一个很单一的场景，能不能做好这件事？这不是最近几年才解决的，嗯，十几年前就能做到，对吧？
就像语言也是，语言在基于 Transformer 这类架构之前的时代里，并不是说完全做不了，对吧？那时候你也可以训练很强的模型去做翻译，嗯，也可以训练一个很强的模型去做语义分析。但你无法做到的，是水平地提升所有能力。嗯，我觉得这是一个分水岭。然后我觉得 大模型（L） 在 Transformer 和 GPT 之后，跨越了那样一个阶段，跨越了一个可以水平提升所有能力的阶段。然后你可能在一个点上训练它，会将这种能力抽象地泛化到所有相关的场景。
但机器人，我觉得还没到那个阶段，更多的还处于那个阶段之前。就是我有一个单一的场景、单一的任务，然后我能够为这个任务去做优化。所以你怎么看硅谷的这些机器人团队？还包括 Jamina 内部也有很多做机器人的人。嗯，你会怎么看那个方向？有点这……这算什么？这是你们的方向，还是你们的平行方向，还是什么？
我觉得过去是一个挺平行的方向，但现在机器人，我觉得大家也在尝试，就是能不能利用语言模型作为一个基础模型，然后在那上面去训练这种类似——比如说像 VLA（Vision-Language-Action） 啊，这种类型。特别是多模态模型，对对对。所以现在来说，就变成了和语言模型这条线比较相关的一条线。嗯，然后我觉得我个人的感觉是，他们未来会变得很重要，但目前还没有找到自己的路。嗯，但他们做的事真的很有意思，我非常推荐大家去看看机器人的实验室。比做语言模型的实验室要有趣得多！
做语言模型的实验室感觉就是普通的办公室，但机器人他们是真的——就是会有人去操控这个机器人，采集各种数据，然后去看这个机器人在仓库里取不要的货物啊之类的，干这种事情，就是很有意思的一件事。你去的是哪家？呃，我去……我自己的实验室不是，就是那个 Google 自己的实验室去看过，然后还有那个 Dexterity AI（DNA） 嗯，我也看过。他们是叠衣服的机器人，对。他们的场景更单一一些，就是叠衣服是一个机器人，可能还做一些别的，比如倒个水啊之类的，这样。
对，你直观感觉机器人的进展相当于大模型的一年前还没到 GPT 的时刻，对不对？一定没到。我觉得一定是没到。嗯，就是相当于大家还没有想明白怎么去 提升技能（skill up）。我觉得对，对我来说，不管是机器人还是多模态生成，都还没到这个点。嗯，那接下来进入今天的主题，我们还是对你非常感兴趣，然后聊一聊你是怎么从一个学物理的人进入 AI 的世界的。嗯嗯，你从小在哪长大？你是怎么长大的？
哦，我出生在宁夏，然后是一个非常非常小的城市，叫——大武口？看你这困惑的表情就已经说明这个城市有多小了。这个城市过去的存在是因为一个煤矿，因为石炭井，一个煤矿，然后有了这样一个城市。所以我在那出生，但我小学的时候跟父母一起去了上海。因此，我小学的后半段和初中、高中都是在上海度过的。
然后我本科去了北京，就是刚才提到的那些，本科在北京，博士在美国。
你想想，你从小就很厉害对吧？你是通过物理竞赛保送的？然后在清华和普林斯顿学的是理论物理？ 我不是通过物理竞赛保送的哦。我觉得我小时候挺菜的。首先，我上的初中和小学都是无名之辈。我当时读书的初衷好像就是竞赛不是你该考虑的事，处于这么一种……这么一个状态。那个学校叫上南中学东校，又是一个大家听了会一脸困惑、一头雾水的学校。
既然都说到这了，那小学是哪个小学啊？小学叫什么来着？我的认知负荷管理（Cognitive Load Management）能力太强了，我已经不记得叫什么了。嗯，所以……嗯，对。
然后，就是那个初中，一个班里的小环境还是有一些想要好好学习的同学的。但总的来说，那个初中……我觉得……然后我觉得可能学习还可以，还可以，就是当时的状态。就是上海高中有所谓的那时候的“四大名校”，就是上海中学、华东师大二附中、交大附中和复旦附中。然后我当时的状态就是能上这四所学校，但上不了这四所学校里最好的班。特别想搞竞赛，因为以前都没搞过竞赛。
你初中开始搞竞赛？ 我初中没搞过竞赛。你没搞过竞赛，为什么想搞竞赛？ 因为没搞过，所以想搞。怎么直接入这概念？ 我这个人，我的个性就是总是喜欢做一些自己不太会的事。对，然后当时没搞过竞赛，但知道有这么回事，所以觉得不如趁着还没上大学，干一票大的。但是呢，那个成绩也没好到那个份上，所以去不了私立学校——就是最好的那四所学校是进不了搞竞赛的班的。
我当时就发现有一个稍微差一点的学校，那个学校叫格致中学。啊，稍微差一点的学校，但是那个学校……然后我觉得这个竞赛，用现在的话说就是underdog（弱者），用当时的话说，我感觉就是“光脚的不怕穿鞋的”。嗯，我觉得嗯……可以一搞。嗯，所以就……其实当时那时候还有所谓的“推优生”制度，就是你可以在考试前就和某一学校签约，然后你就提前锁定那个学校的名额，然后就直接去他们那，就很自然地去了。然后去搞了竞赛，搞成了。
对，然后所以你其实是在上海私立学校的普通班里面，和这个格致中学的竞赛班里面，义无反顾地选择了格致中学的竞赛班？ 呃，当然，我也不能说我做选择的时候，上最好的四所高中是那么板上钉钉的事，虽然后来的分数确实够，但那时还没中考。对，但是当时就觉得，就算能上，我也应该去一个underdog的地方赌一把。为什么？因为想干这个事啊。
你想搞竞赛的目的是什么？ 我觉得当时最主要的是体验。我觉得没干过，一定要找机会干一下。为什么一定要“赶”这个？
呃，首先就是觉得它确实挺难的。哦，就是确实比——怎么说呢，有一种对男生的刺激感。对，嗯，就是至少在当时没搞的时候，大家给我的印象就是感觉这件事比你不搞竞赛学的那些东西要有挑战性多了。嗯，你觉得干这个事，人确实干着，你也就只是这块平庸石头里最光滑的那一个。所以我当然觉得要干，当然就去看了，当然干了之后实际上也带来了一些好处。就是我后来回想起来，如果当时没去搞竞赛，可能就进不了清华了。
哦，你是有加分还是什么？当时其实那个竞赛的保送生制度已经大幅缩减了，只有进入国家集训队才能保送。我那个高中反正——我觉得我当时没达到进国集队的水平，所以就别提了。嗯，但是呢，就是我在高三竞赛考试之前，阴差阳错地去华参加了一个夏令营，然后阴差阳错地在夏令营的最后一天听说他们在搞自主招生。嗯，但主要是面向北京的学生。我就疯狂地给招生办的老师发短信，说我要跟他们一起考。哦，他答应了，然后他就答应了我们去考——是你们还是你？就是答应了我们这所高中一起去的那几个人去考。就是上海，上海这边去那个夏令营的几个高中同学去考。
哦，你有什么理由说服他？你发的短信我已经忘了具体怎么说了，但大概的意思是：你给北京的同学考试机会，为什么不给上海的？大家理直气壮。嗯，你当然觉得他们开后门吗？我也不是觉得他们开后门，就是觉得人家有这个机会，凭什么不给我们？大家都在同一条起跑线上竞争嘛，你们当然是同学。嗯，哦，然后就发了这条信息，然后人家真的让我们去考了。
几个人？呃，我不太清楚了，可能上海去那个考场的，大概有七七八八个人。是你发的那条短信？呃，可能别的高中也有别的学生发，但我们高中是我发的。哦，就是都是上海高中去北京参加那个夏令营的同学，参加夏令营的同学。嗯，对对，然后就让我们去考，然后就——这么好说话。对，所以我从这件事得到的人生最重要的道理就是：胆子要大。你不争取是永远得不到的，争取了也有可能得不到，但不争取就绝对得不到。
哦，你当时发那条短信的时候坦然吗？你当时还是高中生呢。我已经不记得了，当然觉得自己这事很大胆吗？还是还好？没有，我当时挺冲动的，都是现在就得争取，再不争取明天就争取不到了。就当天就发了，就是我在听说的那一天就赶紧去疯狂发短信。疯狂发给谁？发给招生的那个清华招生的老师。是发给一个人还是多个人？我记得了，应该是一个老师。哦，他很快回复了吗？嗯嗯，我觉得清华就是有意思。我不知道他们自己有没有讨论过，但反正最后的答复是统一的——嗯，然后就一起考试了。对，所以我——所以我为什么一直对清华还是挺有感情的，就是我觉得这个学校是愿意给大家提供机会，给大家提供平等机会的。
嗯，对。那个考试考得怎么样？呃，我出来的时候觉得考得挺崩溃的，因为有半导体的题没做出来。但后来发现别人没做出来的更多，果然就录取了。对对，你们那一批上海同学进了几个？呃，好像两个。自主招生是减分还是什么？是降到一本线。降到一本线，对。哦，嗯，后来你高考考得好吗？后来高考果然没考到清华的分，但除了清华之外的学校都能上。哦，所以为什么网上都说你是保送的？
我觉得就是，如果不是在那几年上过学的人，很难清楚理解那几年到底发生了什么。因为在我那两届之前，还是拿了省一等奖就能保送的——拿了省一等奖就能报送，就能保送的。就是我们那时候，拿了省一等奖进了省队，然后再代表省队去考国家的比赛，然后进了国家集训队才能保送。
我是进了省队去考了国家比赛，但我没考进国家集训队，对。所以我那届，我是没有保送资格的哦。
「你搞竞赛搞得好吗？」 我觉得挺菜的。就是，难道不是没有干到最好就是很菜吗？然后显然没有干到最好啊，所以就是很菜。
「你家里人对你搞竞赛这件事情是什么态度啊？」 我觉得我爸妈最好的一点就是他们不太管我。他们可能曾经也试图管过我，后来反而管不住。哦，怎么管不住？就是我也不听他们的哦。哦，我觉得可能大多数中国家庭都是，孩子和父母商量已经算是很好了。我一般都是通知他们一下：「同知了啥？」 「同知哦，我去自主招生了哦。」然后包括中高考填志愿也是我——我爸妈甚至可能都没见过我的志愿单哦。他们比较服我吗？他们我觉得就是，当你没有办法理解别人在干什么的时候，别指手画脚就是最好的。我觉得我爸妈这个道理懂得。
「那你是比较叛逆吗？」 我觉得我是比较——因为我觉得我个性是，我很 care 想做的事。如果这件事是我自己想明白了要去做，就是别拦我。嗯，然后我也一定会尽最大努力做到最好。但如果这件事我不想干，比如我干也没用，我也不会干。
「你的胜负欲强吗？」 挺强的哦。对，但我觉得我更多的是在跟自己较劲吧，不是不太愿意和别人比哦。对，当然就是，如果——就是如果正好是，我觉得这事很重要，你也觉得这是很重要的，那我肯定要搞好。
「那你到了清华就更神了，去学了量子物理，为什么呀？」 呃，对。我当时做那个宁拍理论，然后呃，为什么选这个专业？阴差阳错。嗯，现在回头来看，当然能编造出一些听起来很合理的理由，但摸着良心回到当初，我觉得就是已经阴差阳错了。就是当时我们在机克班，然后机克班有一个非常好的传统，就是首先机克班虽然在物理系，但他不限制学生干什么，所以机克班实际上三分之二的学生都不会做物理哦。然后——
「对于那，你为什么会进这个班？」 呃，当时清华的物理系全都是几科班，现在可能不是了，但是当时是。然后他另外一个好的传统是，他鼓励学生在实践中学习，所以他鼓励学生尽早地去进到科研的实验室里去，然后去和在科研中学习。然后我当然是很想做理论，然后是觉得爽吗？
感觉感觉就是你对某个东西有一种着迷，可能也是一种病。之后可以再讲这个病带来的不良后果是什么。
然后，那个……对了，我现在搞理论。当然，机克班或者我们家学堂班有一个更小一点的班，然后那个老师就推荐说高等研究院是个很好的地方。清华高等研究院就是杨振宁先生创立的那个研究院，是个很好的地方。完了我就去那里找老师，然后正好有一个那时候还很年轻的老师叫王忠，是我本科的老师。嗯，那时候他也……然后我们俩就聊。我当然啥也不懂，但他还挺耐心，还给了我一些 paper 让我去读。然后读了之后我就跟他讨论。后来又发现太理论了，尤其是当时做的那个方案就是跟拓扑绝缘体相关的方向。其实这是一个很适合本科生上手的方向，就是它需要的背景知识不太多。嗯，它只需要你可能懂最最基本的，就是你得会量子力学、会统计力学，过去物理就是非常非常容易学的技术是基础的。但是它可能很考验你对这些知识理解的深度。所以对本科生来说，其实是一个特别特别好的方向，就是你能够很快地上手去做一些实际的项目。
然后我们就一块做了一些工作，其中可能在开放量子系统里面的那个工作，现在看来还是一个挺重要的工作。对，然后从某种意义上来说，我觉得现在回头来看，做那个工作、做那段时间的课研，其实和现在做 AI 特别特别像。就是它更多的是你有一个想法，你有一个理解，然后你可以在那个阶段，就是你可以做一个数值的实验去验证你这个想法和理解是不是对的。你发现 AI 其实也这样：你有一个想法，你有一个理解，你去设计一些实验验证你的理解是不是对的，然后你设计一些模型，上了训练的 pipeline 来把你的想法实施出来。对，所以说其实这两个是很像的。
嗯……你们讲一下你这个非厄米系统的研究啊，可以讲。我尽量说人话，嗯，但是也有可能实际上说了鬼话。所以要是不想听的人可以跳过，划一下进度条。
非厄米系统是这样的。量子力学一个最基本的假设是：一个孤立系统，它的演化被幺正演化所描述。幺正演化是什么？幺正演化的意思就是它是一个线性的过程，然后这个线性过程可以被一个算符叫做哈密顿量来描述。嗯，哈密顿量从某种意义上来说，它有点像这个体系的能量，但不完全是，就是有点类似于……所以它决定了这个体系随着时间的演化。
然后如果是一个孤立系统的话，这个哈密顿量会是一个厄米的矩阵。厄米的矩阵就是你转置一下然后取共轭复数，它和原来是一样的。但是呢，真实系统绝大多数都不是孤立系统。比如说你我作为人，肯定要和外界有信息交互、有物质的交互。材料也是一样，就是你一块材料放在那，除非你抽特别特别真空的，你总会和外界有交互，你得和外界的环境有交换。所以真实体系大多数都不是孤立系统。然后孤立系统它就不会被一个幺正的过程去描述，然后它所对应的哈密顿量也不会是一个厄米的哈密顿量。就是这个非厄米这个东西的来源，它本质上是为了研究开放量子系统——就是和外界有交换的量子系统——它的行为。
嗯，然后当时发现一个很困惑的事。我们一开始是想研究这个开放量子系统里的一些涌现现象，然后就发现手算出来的理论结果和数值模拟对不上。嗯，然后更确切地说，就是手算这个结果是假设了这个体系是一个周期性边界条件，比如它在一个环上或者在一个轮胎的表面上。然后数值的话，就会因为和实际的情况比较类似嘛，就会算一个开放边界的，就是一个……
方块这个材料上的行为发现这两个结果对不上，然后就试图理解这个事情。后来发现大家过去用来描述凝聚态系统的一个基本假设——也就是所谓的“布洛赫假设”——认为物体的本征态都是一些平面波的线性组合。这种“平面波线性组合”的假设，其实在分数量子霍尔系统里面会 breakdown，也就是会变成错的。实际情况是，后来我们发现，在拓扑系统里，其实它的这些能量本征态都有可能会聚集到这个体系的一边去。
然后我们就系统地建立了这套描述的方法，建立一套体系去描述一个开放边界的非厄米系统，它的本征态该怎么描述，进而描述它的一些随时间演化和动力学。所以这是当时这项工作的核心。
后来因为这其实是一个学术上的更新，所以有很多很多后续的工作。但是后来我换方向了，所以就没有太在这个方向继续做了。
你为什么不继续做？ 很难抓住一次学术的变化，是不是？ 很难抓住一次学术的变化，是的。这就是人性的弱点，就是我感觉我总爱挑战一些自己不会的事。尤其是当时，我觉得在那个方向上可能那个工作从过几年回头来看，就会是这个领域最重要的贡献。后面你再去做一些工作，可能确实会让你更有名、获得更多的引用、写更多好的期刊文章、找到一个好的教职，但是感觉作为一个科学生来说，就没那么令人激动了。所以我当时就想换个东西做，换一个自己不太会的东西做。
对，然后所以读博士的时候就换了一个方向，去做高能理论物理。 高能理论物理？ 对，高能理论物理。
所以你本科和博士也是不一样的？ 也是不一样的。还不是从物理跳到 AI，其实你本科博士看起来都是物理，但方向已经发生了很大的变化。对，是两个几乎没有任何联系的方向。
哦，你这个很神奇，还包括你选竞赛去格致中学也很神奇。 对。
这是你的什么人性？ 我觉得，说难听了就是爱折磨自己，说好听了是挑战自己。 嗯，被折磨开心吗？ 我觉得如果未来被折磨而被折磨，那这个人就是有心理疾病。但是如果一个人是为了学习更多的东西、丰富自己的经历和能力而被折磨，我觉得是值得的。
哦，你本科那个老师——王中老师——也是个 underdog 吧？ 算吗？不算，人家做得挺好的，怎么可以这样说？ 在那个时候，你刚刚才说他很年轻吗？ 没有，他很年轻，但是我对他的印象一直都是：他是一个很能看问题、试图理解问题、理解得很清楚的人。确实可能不像很多老师那样，就是很有名气在社会上或者很光彩夺目。那时候不是，现在已经很有名气了，那时候还没有那么有名气。但是我觉得从能力上来说，我觉得他是很强的。
对，然后其实他一开始是跟张守成老师学习，独立博士后。 所以说能被张守成老师挑中的人，基本都不会太差。 嗯。
他对于你博士换方向说过什么吗？
没说过什么，我觉得他是一个——他是一个不爱干涉别人的人。我不知道他内心是怎么想的，但我觉得他是一个不爱干涉别人的人。
子物理整个是一个什么样的世界观啊？嗯，呃，我觉得，我觉得最大的区别就是，我觉得有很多和经典物理有很多很多不一样的地方。但我觉得它们俩是一个对应的概念对吧？经典物理和量子物理，呃，它们俩是在不同能量和时间或者空间尺度下的理论。也就是说，本质上我们这个世界都是量子的。当然，就我们现在也不知道在更小的尺度上会怎么样对吧？在更小的尺度上有很多不一样的想法，比如弦论是一个想法，然后还有其他的想法，比如全息原理也是个想法之类的。但那些都没有办法被验证。被验证了的、在小尺度上的有效理论就是量子力学。最小的尺寸对，就是被实验上能够验证的。嗯，最小尺寸的有效理论就是量子，当然这里面包括量子力学和量子场论。
然后经典物理是当你看所看到的这个空间尺度比较大的时候，这个量子物理慢慢慢慢退化成经典物理。嗯，所以它更多的是在不同尺度下的不同的一对描述。这个其实在物理上一个很深刻的想法，就是所谓的重整化群。重整化群说的事就是，描述一个体系的理论在不同的能量尺度下可能看起来是完全不一样的。然后哪怕它们可能从根源上来说都是一个大一统理论。当然现在没有什么真正的大一统理论了，不是。如果存在的话，它们哪怕在根源上同一个根，但它们在不同尺度上可能看起来也是完全不一样的。所以经典物理和量子物理更多是两个不同尺度下的描述。嗯，对。
讲到量子物理里有几个词好像是相关的，比如蝴蝶效应，嗯，比如量子纠缠。嗯，能不能讲这些？对，我觉得这个可能是大家能听得懂的，然后我也不懂物理，大家不要骂我，我也不懂量子物理。嗯，对。我觉得量子确实是一个大家比较耳熟能详的，量子物理比较独特的事情就是很简单了。就是说，我有两个例子，比如它们属于一个纠缠态，然后我可能它们实际上离得很远，但实际上我可能对其中一个做些测量或者微扰它，也会影响到另外一个的状态。这个是真实存在的事，真是存在的。
对，什么样的会有量子纠缠？什么样的两个物体？有很多，就是有很多实际的情况。实际上当你看得足够细、足够微观的时候，绝大多数的例子可能都处于纠缠态。但实际来说，你可以——但实际来说，你可以比如说制造一个粒子和另外一个粒子，你先把它们俩靠在一块，然后把它压缩到一个叠加态上，然后你可以把其中一个拉得很远，它们就成了一个距离很远的纠缠态。然后甚至好像我记得几年以前还有人专门去做，就是把一个细菌和一个什么什么东西放在一个量子纠缠态里。什么叫“支配在一个量子纠缠态里”？这个是可以人为操作的，这是一个可以操作的事。为什么？怎么操作？
一般来说，就是通过一些测量和演化操作，能够将系统制备到这种状态。但其中的难点，其实在于实验上如何实现这一过程。也就是说，你可以想象，进行一些量子测量和所谓的量子门操作，实际上是相当困难的。因为——更准确地说——每个系统其实都不是孤立的。你可能觉得这两个资源我准备一下，它们就纠缠上了，然后我再把它们分开不就完了？但实际问题在于，这两个例子实际上存在于我们这个世界中，会不断受到其他状态的干扰，或者外部的热扰动一影响，这个状态就消失了。因此，难点在于如何在具体实验中实施这一过程。
另外，纠缠的另一个例子可能更能说明问题。我其实应该提那个例子，就是薛定谔的猫。薛定谔的猫，对，那是一个更好的例子。也就是说，它的状态其实是叠加的：一个放射源发射粒子导致猫死亡，这是一个状态；另一个状态是放射源没有发射，猫活着。这两种状态的叠加。比如，你去测量那个放射源，发现它发射了，你就能确定猫死了，无论这个放射源离得多远。这就是纠缠。但蝴蝶效应则是另一回事。
蝴蝶效应就是耳熟能详的部分，其实反而是经典物理。就是大家今年常听到的蝴蝶效应，那个著名的例子：南美洲一只蝴蝶扇动一下翅膀，半个月后可能在北美引发一场风暴。但从更数学化的表述来说，它指的是：在时间初始时，如果你施加一个很小的扰动，然后测量这个扰动在未来产生的影响有多大，你会发现这个扰动的变化是指数级增长的。这是对经典蝴蝶效应的数学描述。
但之前大家比较困惑的一点是，这种现象在量子系统中怎么可能存在？因为量子系统刚刚提到，量子系统是一个幺正演化的过程，所以从某种意义上说，如果一个状态与另一个初始状态的夹角不太大，那么经过一段时间的演化后，这个夹角应该不会变得很大。那么，怎么会出现这种——初始状态差异很小，在未来却指数级放大——的情况？这在量子力学中看起来似乎是不可能实现的。
但刚刚也提到，我们的世界在微观层面是量子的，而在宏观层面则变成了经典的，但它们是一脉相承的。怎么可能这个有、那个没有？这是大家都能理解的。当然，后来大家有了更深入的理解，即：讨论量子系统中的蝴蝶效应时，不应讨论两个态之间的变化，而应讨论一些所谓的局域可观测量（local observable）的变化。这实际上对应了经典物理中你所看到的那些变化。
嗯，那你读了四年量子物理后，当时在想什么？你觉得物理对你的帮助是什么？
在我本科即将毕业的时候，我觉得本科期间学物理最大的帮助，第一是学会了如何清晰地思考问题。读书不在于读得多，而在于读得深。读得多并不代表你能发现新的东西，但如果你对一件事有与众不同的理解，那才是对社会更有价值的事。这是第一点。
另外一点就是不要太相信理论，不要太迷信纯理论。因为都说这个结论如何，但当时那个发现的主要原因还是因为能做数值模拟。一开始是因为数值结果与理论不符，才仔细研究了那个问题，然后发现了这个现象。
嗯，对。那你博士为什么选择了高能物理？那也是一个理论方向啊。
这又回到了这个话题：总是喜欢挑战很难的事。有时候也会带来一些不好的结果。什么不好的结果？
比如，我就觉得——我觉得我的这个博士，对我自己来说学到了很多东西，成长很大，但是对这个世界来说，没有产生什么贡献。就高能理论这个方向而言，它足够难，非常非常难。然后，嗯，但它不好的地方在于，它其实并不特别容易验证。嗯，没有什么客观的评价标准，因为呃，高能理论已经发展到了——就是实验完全跟不上的阶段了。实验完全跟不上，你在理论讨论的那些，不管是能量尺度，还是这种微观的尺度……所以说，它是怎么进步的呀？它的进步依赖于什么呀？如果不是实验，呃，那一个个进步的来源是来自于数学上的自洽性。比如，你提出一个框架来描述这些事情，那你能不能与现有的、已经被验证的、更低能标下的理论相自洽？比如，你研究弦论，那可能自然大家的问题就是：弦论能不能在低能情况下回到量子场论，或者回到量子力学？这种自洽性就提供了一个判定方法。我觉得这个是很合理的，就是很科学的一件事。当然，也有一些不科学的因素，就是当这个领域完全没有实验、没有客观标准的时候，肯定不会只有一个框架出现，肯定不会只有一个研究下的框架出现。嗯，这个时候，谁做得好、谁做得不好，其实就依赖于领域内那些“老灯”的主观判断。你是被谁伤害了吗？我……我也没有被谁伤害，只是我在那个领域待的时间越长，就越觉得这件事——嗯，就是人这一辈子也没多长，为什么要把自己的时间浪费在伺候老灯身上？对对。所以感觉是花了五年学了很多知识，买了一个大教训。这个教训就是：要做有比较客观评价标准的事，嗯，或者从另一个角度来说，就是要做对这个世界能够产生影响的事。嗯，所以，其实你本科还是比较顺利的对吧？在量子物理这个研究领域，你很快就有了非常好的研究成果，而且是颠覆性的变化。但是你很快觉得没有信心了，所以你想到博士去挑战一个更难的事情。然后在博士期间，其实是比较落寞的，呃。从结果来说是这样的，外界看不出来，外界看都是非常光鲜的——博士在斯坦福。我觉得，我觉得从实际的科研产出来说，我觉得没有人会说我博士今天的文章不好，但是摸着良心说，对这个世界有多大的影响？我觉得几乎没有，几乎为零。对，所以对我自己来说，我自己很不满意，但是我觉得呃，确实也没有不满意到说我会担心有人会说我在混日子。确实也没有在混日子啊，就是你还是能达到所有的外界标准的。对，这怎么做到呢？就是我觉得这真的很多事情冷暖自知，对吧？对，是的。我觉得呃，达到外界的标准，或者达到一个小圈子的评价标准，像虚荣心一样。就是一旦有了这么一个小圈子，你知道他们的评价标准之后，做得好是很容易的。但是，就是其实你哪怕不认可这个标准，你也是可以达到的。嗯，但是你还是知道你是不认可的，因为有时候你哪怕不认可，你达到了，我也可以蒙蔽自己，嗯，就继续往前走。嗯，但我后来就发现，我蒙蔽不了自己，骗不了自己。嗯，对。是哪一年发现的？
我觉得可能不是最后的那两年吧，就会有这样的感觉。但那时候确实也没有想好，没有想清楚——如果不做这个，该去做什么？可能就花一些时间去了解一些不一样的方向。比如，一开始我可能更多的是去了解量子算法或者量子信息这样的方向。然后拿了博士后 offer（就是博士后的录用通知）之后，感觉这件事更紧迫了。因为离开学校的时候，你还可以用一个学生的心态；离开学校之后，就是自己的职业生涯，你得给自己找方向。
当时就是觉得，可能量子计算和 AI 是两条路，我觉得给年轻人、给新人机会比较多的——哦对哦。所以你博士后的方向是什么？ 博士后没有固定方向，博士后其实就是理论物理这个方向。博士后是一个很独立的职位，就是你自己想让他干什么就干什么。对他来说，更多的是从某种经费来源上讲，有点像“搞慈善”——就是谁谁搞慈善啊，就是有一些可能不管是在意科研组织还是个人组织，他可以给学校捐一笔钱或者给学校拨一笔钱，然后学校用这笔钱来招一些国际学者，在一个系里面去做他的研究。然后把自己研究的广泛性告诉系里，觉得他更多的是一种社会氛围的工作。
所以其实没有什么限制，就是你想干什么就去干什么。但我其实也没有做多长时间的博士后，实际上可能到了伯克利待了两三个月，但官方来说只待了两个星期。官方来说是什么？就是我其实在入职之前已经去哪了，因为我反正人就在那个区嘛。哦，我入职之前就去那边了，但是入职之后其实只待了两个星期就辞职了。哦对，这两周发生了什么？ 什么也没发生。我本来都不准备入职的，但是伯克利的人太好了，就没事——就是等事情定了再说，能来多久就来多久。哦，你有告诉他们你其实在跟其他机会谈吗？ 我告诉他们，我觉得我可能会去做 AI 了。我要不就别入职了？ 嗯，但是伯克利——或者不止伯克利，我觉得就是这两个学校的老师都人很好，他很照顾你。他就觉得你还没有完全谈定，那还是先把现在的工作先拿着。
你觉得物理对你后来做 AI 有什么帮助吗？ 嗯，我觉得硬技能上其实没什么帮助，就是存一些工具性的技能。从物理到 AI 的转化其实是非常非常少的。但是我觉得，非要问的话，可能主要的——不能说是能力吧，就是性格。可能是做物理的人会更想刨根问底，更想理解一件事，然后更想做事很系统。因为我们习惯那种很系统性的，不管是做实验的方式还是做理论的方式。所以我觉得这个可能是一个比较好的地方。但是我也不觉得这是做物理的人独有的。
嗯，就是为什么做计算机的人没有这个特性？我觉得我认识很多做计算机的人也有这个特性，那很多做化学的人也有这个特性，学生物的人也有这个特性。所以我也不觉得它是做物理独有的。但事实上，就是可能比较有趣，这个领域里面确实有很多——尤其是像语言模型这种比较 large-scale 的 AI——确实有很多物理出身的人，然后做得很成功。对，有些人操作这个公司哦对。
因为很多人在描述这一代 AI 的时候，都会说是黑盒。你能用科学的角度来理解一下这个黑盒吗？
就人工智能的运作而言，我觉得——嗯，这事儿所有东西都是“黑盒”。也就是说，哪怕像物理这种大家觉得很理解的东西，其实也并不是真的有一个从微观行为一路演化到宏观表现的完整理解。嗯，比如不管是刚刚提到的量子力学还是热力学，其实都是在描述某个能标下的行为，本质上这个系统仍然是一个“黑盒”——你还是不知道它最核心的动力学机制是什么。
AI 也是一样，就是“黑盒”不“黑盒”其实都是相对的。我们确实对语言模型没有理解到“神经科学手术刀”级别，也就是说，我们无法精确理解某个行为是由哪一个神经元、哪一个人工神经元的哪一次激发产生的。嗯，没有达到这个层面的理解。除非是在一些非常简单、规模很小的网络里面——比如像玩具模型那样，有所谓的“可解释性”（interpretability）团队，他们可能会做一些类似的工作。但在实际可用的语言模型中，都没有达到这样的理解深度。
但是，这也不代表我们完全没有理解。比如，缩放定律（Scaling Law）就是一个描述了在特定尺度下，模型随着模型大小和数据量的增加，在特定指标（performance）下变得越来越好的规律。所以，你说我们是完全没有理解吗？如果说缩放定律不算是理解的一小部分的话，那是不是我们也可以说，我们对这个世界其实也完全不理解？这个世界也是一个完全的“黑盒”。
因此，缩放定律是一种科学规律，它是一种经验规律。经验规律和科学规律之间的界限是很模糊的。比如，我们回顾热力学的各种定律——第一定律、第二定律，还有克拉伯龙方程这些东西——在当年被发现的时候，也都是经验规律。嗯，但只是说，后来随着时间发展，我们逐渐知道了它们的微观机制，于是它们可能就变成了更基础的科学规律。
我觉得，像缩放定律或类似的这些东西，目前肯定还是很经验性的。但未来，当技术变得更加成熟，大家开始越来越多地理解它微观的过程时，会不会变成一个科学规律？如果这个定义是存在的，我觉得是有可能的。
能不能用科学的表达来解释所谓的“智能涌现”呢？嗯，首先这个说法本身就不太科学，所以自然也没有办法用科学的语言来表达一个不科学的概念。“智能有限”吗？对，就是我觉得“智能有限”。对我来说，它更多的是一种主观的感觉，而不是一种客观现象。嗯，就是当很多人说“智能永远涌现”的时候，他们脑子里想的可能是：以前的语言模型只能做某一个方向的事，比如只能翻译、只能做分析、只能做什么，但现在模型好像可以做所有的事。但这件事，我觉得对我来说更像是一个技术上的“涌现”，而不是行为上的“涌现”。也就是说，我们通过研究发现了如何进行大规模的训练，然后能够水平地提升所有能力。我觉得这才是更本质的事。
至于“智能涌现”这个概念，其实我觉得每个人心中的定义都不太一样。对你的定义是什么呢？对我来说，就是没有定义。对我来说，唯一实质的区别就是：有没有发生一个记录上的改变，使得我们可以做到“skill up”——可以水平地提升所有的能力。这对我来说是一个定义良好的概念。
最后，你是在量子计算和 AI 之间选择了 AI，这个转变是怎么发生的？对，我觉得还是花了一些时间去了解两个方向的瓶颈在哪里。好处是它们都给年轻人机会，都有发展空间。但量子计算对你来说，好像离你的主线更近一些，在那个时间点对不对？
这就是为什么要去了解一下细节，因为了解细节之后会发现并不是这样的，而是反过来的哦。因为量子——这些都不是量子，就是量子计算——我觉得它现在的主要瓶颈其实是在实验上，而不是你如何去设计那些算法或者设计那些算符，更多的是你如何在实验上实现它。那件事反而我不擅长，反而与我过去很多感兴趣的事情其实是比较不相关的。然后反而跟我相关的事情更多——比如 AI，就像刚刚说的，AI 更多的是你有一个想法，然后你可以用一些数值去验证。这个数值在 AI 里面看就是训练一个模型或者怎么样。对，然后这个反而和做物理很像，甚至就是为什么我之前一直喜欢把这个和 18 世纪的物理学做比较。就是热力学，对，更像那个时代的物理，那个时代理论和实验不分家，没有什么理论物理学家、实验物理学家，你就是搞物理，就是搞物理的，你自己可以做实验，然后也可以做理论的推测。我觉得有点像，所以其实从理论物理跨越到实验物理的距离，比你直接跨到 AI 要远得多哦，其实要远，而且从兴趣上来说也更远。
你不喜欢实验物理？ 我觉得做实验……嗯，确实不是我的兴趣所在。虽然我——虽然我不自己做，但我确实很有兴趣知道别人实验做得怎么样。不用做实验吗？不用，但它更多像是数值哦。对，它不太像那个，就是你去实验室搭一个光学平台，然后什么……我觉得实验真的，可能因为我不懂，我没有达到那个境界，所以有些事在我看来挺玄妙的。比如，大家都知道这个光学要怎么搭，嗯，但有的人就能给你搭出来，有的人就是耗了六年都没搭出来。这是动手能力，我就是没搞明白啊。我有时候觉得真的是有点玄妙。嗯嗯，所以还是数值、数值要清晰很多。对对，对我来说，做数值或者像 AI 就是训练模型啊，然后研究各种不一样的技巧，看某些细节，这些事对我来说反而是——嗯，是我能想明白他为什么要这么干。嗯，但是在搭台子这件事上，我就是一头雾水。
你做过是吧？ 我当然，就是大家可能都做过基本的。学物理的人肯定都做过基本的实验培训，但更多的是我有很多做实验的朋友，然后不管是去看他们的实验室，看他们怎么做实验，还是跟他们聊这些怎么设计实验，我就感觉很多事我其实不太能够理解。但是他们确实有的人就是做得好，有的人做得就是不好。
所以你说现在从事 AI 研究像 17 世纪热力学研究，其实是在表达虽然大家没办法很清晰地从科学上去解释和理解这个事情，但它并不会阻碍它的发展。对，就是它更像是为什么呢？比较那个时代的热力学，就是那个时代大家其实不理解什么是热的微观理论，大家不知道热是什么东西，就像现在不能理解——对，就像现在大家不能理解这个 language model 里面那一个个神经元在干什么，其实大家也不理解，但是不妨碍你有一些好的经验律，比如这里学的各种定律和现在的各种 scaling law。所以说从这个角度来说，从这个方向的角度来说，在这个层面上来说，它是类似的。然后从研究人员的角度来说，就是刚才说的另外一个问题，就是理论和实验其实不太分家。嗯对。
那你是怎么去面试这个 topic 的历程是怎么展开的？ 我觉得其实主要还是因为有前同事、前辈。就是其实有很多做物理出身的人，尤其是做理论物理出身的人，甚至为什么呀？他们从人的选择上为什么会选择这一波人？
我觉得当然会有很多人找各种理由说，学物理的人擅长这个或擅长那个。但从我个人的角度来看，我认为主要的原因还是联系（connection）。因为 Phi 的创始团队中，当时有三四个比较懂技术的人，其中有两位现在仍在技术一线领导岗位，他们俩都是学物理出身的。后来他们招聘的一些人也是学物理出身的，就这样一直延续了下来。不过到了现在，在我之后，几乎也没再招过完全没有 AI 背景的人了。所以说，这也是一个时代的产物。
后来我当时决定去尝试，就试着联系了一些地方。你当时只联系了 DeepMind 吗？没有，我还联系了 OpenAI 和几家公司，比如 Google DeepMind。但因为他们当时的速度太慢了，所以最终没有进入考虑范围。不过“速度太慢”指的是他们面试流程的速度慢。后来显然他们的进展取得了长足的提升，行动也变得非常迅速了。
然后呢，我也联系了一些地方，但可能没有找到特别合适的人。后来我联系了我的第一个经理，他之前也是做理论物理的。他当时跟我说，他们在尝试做强化学习，做这种大规模的强化学习，有很多科学问题需要去理解。那时候是 2024 年 9 月，强化学习领域还没有现在这么成熟。那时候大多数人其实都不知道该怎么做，因为 O1 还没有发布呢。那时候大家只知道有这么个东西，但还没看到结果，也不知道具体该怎么操作。当时大体上知道方向，但有很多细节需要仔细研究。所以他就跟我说有这么一个机会，问我要不要来面试一下。我觉得他可能觉得这是一个好机会。
你当时对强化学习的认知是什么？没有认知。你大概知道 TRPO 吗？对，我大概知道这个流程，但不太清楚具体的工业级别的“魔法”是怎么训练的，只知道学术界是怎么训练的。所以其实当时的认知，在我现在看来就是没有认知。更多的是觉得这是一件不确定的事情，但也是一个好的机会，所以我就去试了。
当然也有面试的准备和过程。怎么准备的？我当时跟谁面的？后来我的一些同事当时也面过。面试题也不算太难，但对我来说，我当时也不知道该怎么准备，就把能找到的课程自己学了一遍，能做的作业做了一遍，然后自己手搓了一套。就是那个 Andrej Karpathy 有个著名的项目，叫 nanoGPT 还是什么的，反正就是可以在 Google Colab notebook 里面训练一个很小的 GPT 模型。我就手搓了一下那个，然后就去面试了。很快就拿到了 offer。
然后你的第一个方向就是大规模的强化学习。当时其实有两个组的 manager 来跟我聊，一个是做 evaluation（模型评测），另外一个是做强化学习。我选择了强化学习，当然选择强化学习是因为它更加不明朗。那时候公司也还很小，不像现在是一个大公司了。我去的时候，我们那个大的 team 才只有十个人左右，不是十个人就是十一二个人。大概是这样吧？
嗯，叫 Horizon 对。然后那个时候，那个大 T（也就是大 TEM 平台）有什么？那个大 TEM 其实后来几乎就是强化学习的方面都在这个 T 啦。整个大组就是一个强化学习的大组。
首先，这个创业公司也很难说这个组的目标是什么，因为它可能曾经也有过很多不一样的目标。但只是那个阶段可能主要的目标是做强化学习。对，然后当然下面也有更多组，比如做环境和 INFR（基础设施）的组，也有做这种 research（研究）和算法的组。然后我去的那个组是比较偏 research 和算法组。
嗯，那个组大概多少人？那个时候可能七、八个人左右吧，总共。但是对，这是整个公司的规模——7、800 人。
你一进去对这个公司的印象是什么呢？我觉得，我对 Horizon 的印象其实还是挺 consistent（一致）的。就是我觉得进去之后，公司的印象就是执行力非常强。就是它其实是一个比较“拼”的公司。对，然后所以很多事情决定了之后就会全力以赴。然后公司其实员工之间的氛围也很好，就是大家都不会藏着掖着。尤其去说，很小吧，所以就是大家都认识，所以就分工很好。
然后，嗯，我觉得如果只是做语言模型相关的事的话，其实现在回头来看，那是一个非常非常好的学习机会。就是你能够接触到这个模型训练的方面，然后都能找到对应的人去问。对，那个时候的 topic（话题）已经有了，现在我们都知道他那个非常坚定的 BAT 了吗？有的，有这个 B 来自于哪里？为什么会有这个 BT？
嗯，我不知道它完全的来源在哪，我自己能看到的一个明显的来源就是前一代模型 Claude 3 发布之后。嗯，Twitter 上（那时候可能还没叫 X）有很多人在讨论说，那个 C3 好像写 Coding（代码）比 GPT-4 强哦。嗯，那个年代 GPT-4 还是一个大家觉得不很大的模型，所以能有一件重要的事比 GP 强就很厉害了。所以出来之后，我觉得至少是其中一个原因，就是很快地对这个市场做了反馈。对，这也是我觉得这个公司很强的一点，就是它 execution（执行）力非常非常强。一旦给他一个信号，让他觉得是很 reasonable（合理）、这个公司该做的事，那就会铺上去，他没有那些打组织内耗的问题。
对，为什么他的 Coding 会比 GPT-4 要好？不能说哦，是有原因的，是有原因的。但是是个随机的原因，不是一个“我这么选择所以有了这个结果”的原因。是一个纯技术语言的问题。但是确实，我不能确定一开始是随机的还是故意选择的。你要让我猜，我肯定会觉得是随机的哦，纯纯技术的原因。是有某个人做了某个事情，嗯，是确实有某一个团队做了某个事情。
对，是自上而下的还是自下而上的呢？我觉得最开始可能是最自下而上的，但是后来就变成那个自上而下的事啊。就是要快速捕捉到一些市场的——就是内部和市场的信号。对对，我觉得这个闪，然后要赶快要铺上去。对，我觉得这个闪是非常非常强的，他非常非常的 reactive（反应迅速），反应非常快。
他执行力来自于哪里？来自于 D 这个人，来自于他的某种特质。我感觉就是，嗯，配作为一个公司来说，他能够实现这种比较 top-down（自上而下）的机制是一个很独特的事。为什么呀？
因为嗯，实际执行起来其实有一个很难的点。嗯，就是你作为技术决策者，必须同时也是公司本身的决策者。嗯，首先你在技术上要能服众，下面的研究员才会——你才能够，就是让下面的研究员信服去做这件事。另一方面，你必须是公司的决策者，能够为这家公司承担这个责任。嗯，有这个条件，也就是说他的技术领导者其实也是公司高层。那么——你指的是谁？不是戴尔嗯，比如像 JC Penney 以及他们俩，就是公司高层的，他们自己做这个决定。那是人家的公司，所以他有权力做这个决定。那么达里奥作为 CEO 他会点头或摇头吗？我不知道他们决策层的讨论中 OKR 起到了什么样的作用。我只能说，技术领导者是有决定权的。嗯，我只能说就我当时的工作而言，我能做到的最多也就是这些。嗯，但这对于其他模型公司来说很难吗？很难。比如 OpenAI 就做不到，伊隆在的时候不是也难得不行吗？一开始可能还行，但后来一方面我也不知道什么原因，他好像就失去了做决策的能力，然后就离开了。所以——哦，其他公司呢？其他公司我觉得都比较难，就是我们也比较难，但我觉得我们有另外一套打法，不太一样。也就是说，我觉得大公司和初创公司的打法本来就不一样。因为初创公司重要的是 make bet，就是我得押注一件事。嗯，如果我想要押注，就意味着我能够快速做出一些决策，然后强力推进这些决策。嗯，在这种情况下，我觉得是一个很有优势的事。所以我认为从组织上来说是比较有优势的。但是作为大公司来说，可能有另外一套思路。因为大公司的想法可能是，我不但要尽量减少押注的成分，而是要在方方面面都有储备，然后任何一件事成功了，我都能跟上。如果有事是我自己做成的，我可能还能领先。这可能是大公司的应对态势。所以在 Google 是一个很传统的、自下而上的组织，就是公司从上层可能有一些定义良好的框架，来评估你的工作好坏，引导你做一些公司需要的事。但本质上还是由你自己决定做什么。嗯，所以你觉得 Anthropic 能做到这一点，是因为它独特的文化、组织和氛围吗？听起来其实其他公司也能做到，但奇怪的是其他公司很难做到，而 Anthropic 可以做到。对，我觉得还是需要技术或公司的领导者有公信力吧。这其实挺难的。我觉得你说的不是 CEO 有公信力，而是技术一号位有公信力。对我来说，技术一号位有公信力很重要。嗯，但与此同时，CEO 没有成为一个阻力。这难吗？嗯，我觉得这取决于你们高层建立的信任是否足够互相信任。嗯，这一点也很关键。我觉得这在初创公司中很强，就是他们的核心团队没有一个人离开公司。如果你看他们的过去，就是一群真正一起打过仗的人。他们之前都来自 OpenAI，对。然后像他们很多人甚至都是一系列关键论文的合作者。比如《Skin Language》这篇论文是 2017 年的，然后 S，当然还有 W，可能 TR 也在吧，我不太记得 T 在不在。然后 GPT-3 就是 TR 在，BL 在，J 和 S 也都在，D 也在。所以他们是一起并肩作战过的人。嗯，我觉得彼此之间的信任还是很关键的。嗯，很多公司可能就是干着干着，连这个小团体都团结不住了，那你怎么能指望这个大公司能团结住呢？你在说 OpenAI 吧？啊，你加入 Anthropic 后正在做的最重要的项目是什么？你才刚进入那个大项目吗？
是的，当时做这个项目就是为了进行大规模、大尺度的强化学习，然后能够用它来提升模型的能力。嗯，这在当时是最重要的事情。然后我们当时组建这个团队……呃，当时的研究重心就是这件事。嗯，这也是这个团队后来逐渐壮大，并变得越来越重要的原因。最终带来的结果就是大家熟知的 3.7，也就是 C 3.7 这个模型。对你说，内部有一个 3.6，这个……啊不是，内部叫法跟外界的 cloud 3.5 其实有两个版本：一个可能是 6 月的版本，另外一个是 10 月的版本。然后你也可以看出这家公司当时也没有什么产品能力，居然把两个模型都叫同一个名字。所以后来外面的人为了区分，就把 3.5 后面那个版本叫做 3.6。因此我们内部也跟着外面的习惯，就叫 3.6 了，而新的模型则叫做 3.7。
哦哦，所以你看实际的公司产品时间线，其实有 3.5、3.56、3.7……怎么会有一个 3.5？这到底是怎么想的？你觉得我说的那个时候，可能真的没有什么产品上的规划。那么你的第一个项目是 3.7 还是 3.5？3.7，3.7 还是 3.5？其实我……呃，没怎么参与，几乎没参与。因为 3.5 的时候就已经看到了 C 的一些迹象，对吧？你才刚开始的 3.56 的时候，已经看出 SOF 的模型在 HC 上会比其他模型更强。这是为什么？因为他们把它收进来了。所以你加入的时候正好是他们知道了这件事，管理层也知道了这个迹象，然后他们要“make batch”的时候，你的运气很好啊。
我觉得……我觉得对，我觉得大家肯定已经看到这件事能做成且重要。嗯，但是不太清楚怎么去把它做成。然后我去的时候，是跟大家一起去研究怎么把它做成。啊对，所以方法是大尺度的强化学习。从大的角度来说是这样，但当然有很多技术细节是需要去研究的。这里没有什么弄虚作假啊，有很多 NDA 的内容呢。有很多会写得这么详细吗？
呃，其实原则上来说，原则上来说，员工在任职期间和离职之后，是不能透露任何与公司内部相关的信息的。但实际来说，就是大家心里都有一个度，就是说如果这个东西没有公开的话，肯定是不会公开去谈的。但是我觉得虽然我不能公开去谈，但我觉得把简单的事情做得比谁都干净，是最关键的。什么叫“干净”啊？你刚才用过这个词。
对，就是我觉得有很多花里胡哨的技巧。比如做强化学习，最简单的算法就是 policy gradient，但这并不代表这是唯一的算法。它还有其他的算法，比如各种复杂的搜索。但是这些复杂性是必须的吗？然后这些复杂性可能会给你带来一些……一些不必要的牺牲，它可能会给你带来一些基建上的困难。那你怎么去避开这些事？这些事其实做研究需要去理解的。嗯，就是怎么去平衡这些不同的因素，然后选择最好的那条路，最稳定的那条。
然后我觉得很多的“弄虚作假”其实都在这些细节里面，怎么去处理这方面的细节。对，那个时候怎么来描述 CD 很重要呢？我觉得他认为是大约模型的一个分支，一个重要的分支，还是什么呢？
我觉得每个人的想法可能不尽相同。对我来说，嗯，对我来说，它之所以重要的原因有以下几点：
第一个原因是——超一直在提的事情——也就是说，编程（coding）本身也是原创性研究的一部分。如果你能把编程做得很好，可能会显著提升你的研究效率，从而形成研究上的飞轮效应。哦，这是其中一个原因。
对我来说，另一方面的原因在于编程其实是模型、工具使用和环境交互的一个很好的抽象。首先，这个抽象刚刚已经提到过，它的好处在于，比如反馈信号清晰，数据充足。实际上，你很难在其他场景下找到能同时具备这两个特质的工具使用场景。嗯，所以对我来说，这是一个很好的抽象。在这个框架下进行的一些研究，可能对更通用的工具使用和环境交互能力，有一些有益的经验（lesson）和启示。
那时候 Curse 处于什么状态？当时 Curse 还是一家产品公司。我觉得从某种意义上说，在我去演讲之前的那段时间里，Cloud 和 C 都处于比较弱势（underdog）的状态。然后在 3.5 到——也就是 3.6——外界的 3.6 这一代模型时，首先是模型能力提升了，接着 Curse 发现这个模型真的能作为 H&T 编程的工具了。嗯，对。但这个“壳”包裹着模型，一下子让公众——不是公众，而是软件工程那个圈子——当时意识到：诶，这事好像是真的，是个效率工具了。所以后来这个一下子就火起来了。
那时候他就 OP 了，意识到 CER 是未来的精神对手。那不知道该问 3.7 是怎么做出来的？嗯，这是一个分水岭。对于 Undoopic 来说是一个分水岭式的模型。我觉得对于后训练（post-training）来说，也是一个分水岭。在 3.7 之前，后训练都处于一个比较——嗯，比较小规模，可能只是修补模型的状态。大家不重视后训练吗？也不是不重视，就是一开始大家很长时间都没搞明白后训练该怎么“fill up”（填充完善）。
哦，但在那个阶段，无论是 open and software 还是包括像中国的 DeepSeek，他们都意识到这件事该怎么去“skill”（掌握技巧），该怎么——就是——你得找到合适的环境。这个环境的反馈信号要足够清晰，同时环境本身也是一个强大的数据源，这样训练才能非常稳定。这件事就能做成。嗯，对对。
我记得那时候大家其实都不知道 OP 那个项目是什么，只知道它的代号叫 Strawberry，然后大家觉得它会带来一个新的范式，新的范式就是后续训练、强化学习。但更多的细节就不知道了。
对，其实——嗯，其实我觉得我去的时候，大家已经比较清楚这件事大概该怎么做，就是大概的方向是什么。然后，嗯，当然后来随着我对这个领域了解越来越多，我就发现其实那个时候，OFI 的做法和实际情况还是有挺大差别的。怎么说？
具体到这种算法和使用数据的方式，其实并不相同。虽然都叫「后训练」和「强化学习」，虽然都需要这个，但是——当然——我认为那些并不是本质区别。也就是说，从大方向来看，它们是同一类：就是找到一些反馈非常明确、非常客观的数据，且数据本身比较干净，对模型来说是可学习的，然后在上面进行稳定的强化学习。从大方向来说，都是这个方向。
但距离实际落地其实差异很大。后来事实证明，每家公司的具体方向都不一样，但都能做成。嗯，而且当时 OP 的目标也不是 coding。我当时了解到的说法是：预训练作为第一个「饭碗」已经快要挖完金矿了，所以我们现在开启第二个金矿，就是后续的强化学习，然后让 scaling law 继续……嗯。我觉得很长一段时间欧美都是这个想法，不知道他们现在的想法有没有变。嗯，呃，对我来说，我的想法经历过摇摆。
在第三期那个时代，我其实觉得——当时我也抱着预训练已经快「Party is over」的感觉，然后就在你要入职的时候对吧？我刚入职，当时在做这种参观、实验的时候。嗯，呃，我当时也曾有过这种想法，但随着了解越深入，我就发现：其实还有很多东西。然后预训练这件事，它也不是告诉你要一直变大，嗯，它本质上是一个很系统的框架，能够告诉你做什么样的事更有效。嗯，然后呃，所以后来发现其实还有很多事情可以做。实际情况是，后来和 Jam 的运作也一直在不断进展。我现在自己卡住了，他现在又重视运行训练了吗？他应该已经重视运行训练很久了，就是最近可能刚刚有点进展哦。
所以预训练和后训练作为两个「饭碗」，都还没有达到它们的平台期。我觉得都没有，但你说要去预测达到多少，这做不到。对，我认为达到平台期有两种可能性： 1. 一种可能性是技术本身达到极限，就是你明明还有想让模型做的事，但这两项技术就是死活做不到了。 2. 另一种可能性是你想做的事到达平台期了。
哦，我觉得现在是后者。嗯，就是我们现在知道了：哦，有一个 chatbot，你可以让它做这个；又有一个 Cody，你可以让它做那个。后面就不知道了，对，就不知道该交给它什么好。哦，也就是说，模型还是一个非常聪明的孩子，你其实可以教它很多东西，但我们人类作为老师，现在还不知道下一个东西该教什么。对对，或者说，该怎么合理地教它，用现在的这些「饭石」啊。
嗯，说 3.7 还有什么版本号？呃，这是几个月做出来的？这个最后林灵总从开始训练到发布，可能花了四五个月的样子吧。嗯，对，就是从你刚进去，就是从开始大家为了这件事做研究，可能花了两三个月，然后后来开始训练，到训练结束中间有很多事情要处理啊，然后有很多新的基础设施——基础设施真的很重要，很花时间——又可能花了两个月这样子。
你在其中做的重要工作是什么？
我觉得我也没什么重要的。我觉得我个人对任何一个模型的贡献——我的陈述都是——我觉得自己对那件事没那么重要。我觉得我更多的是很幸运，也有机会在那个时候加入了一个重要的项目，做了一些事情。
嗯，因为从某种意义上来说，我觉得AI在最近这几年这件事本身是一个不可阻挡的趋势。嗯，它不在于你这个人去做或者不做，你不做也有别人一样能做出来的。所以我觉得在这个时代，其实所有给个人贴金的事情，都有点炒作的嫌疑。但是，确实我觉得对我来说，我很幸运能在那个阶段加入一件重要的事情，然后学习了一些知识。
好的，那你在幸运的那个阶段，在 OPIC 这家公司的大规模强化学习团队里做了什么？
我觉得 3.7 时候可能主要做的还是，就是在 R 里做 agent coding 这件事。怎么把它 skill off，或者怎么去准备各种各样的环境和 data，然后包括算法上会遇到什么样的问题。当时主要的研究都在这部分。这没有什么 tips 吗？
现在来看没什么特别有用的。我觉得，说到技术的 tips，其实这件事一方面大家很愿意听，公司又不让你说，但实际上又没什么用。为什么？因为很多算法设计其实并不鼓励独立于算法，它是非常强的依赖于运算技术设施。
举个简单的例子，就是有些公司可能大家经常讨论一个问题，就是在强化学习时候，这个 sample——就是给你产生这些 trace、这些 token 的那个机器，和 trainer 用来实际训练这个模型、然后改变模型参数的这个机器，这两个机器可能会有不一样。当然不一样有原因，有些是因为数值上的不一样，有些是因为使用那种一步的训练架构。所以说，它自然从根本上来说就不一样。那你不同的公司，这个不一样的程度是不一样的，所以你算法上的设计也会不一样。
有些公司它可能这两个 difference、这两个区别非常非常大，那你算法可能最大的部分就是在于怎么控制这个，然后怎么让这个训练稳定，对于训练的实际效果之类的，就会稍微小一点。但有可能有的公司它的基础建设就特别特别好，这两个差别没那么大，可能就可以花更多精力在这个训练的效果上。
嗯，所以说很多这种小的 tips 其实是没有什么用的，很多时候是没什么用的。我是因为我确实也发现了，就是很多其他 lab——不是在这三家 L 里面——可能很想知道 A 怎么做这个，或者 B 怎么做那个。但其实我有时候不愿意回答，一个主要原因是因为我觉得本质上，我回答这个问题也是在误导。因为现在的 AI 是一个大系统，你其实要了解这个系统的方方面面，才能有一个全局的认识：什么事情因为什么而变得有用了，而不是说这件事本身有用。
嗯，从 3.7 到 4.5 发生了什么呢？呃，这个预训练联合会量，然后当然就是 skill up 上做得更多了，然后 data——不管是 data 还是训练的算例——都更大规模了。但是我觉得从本质上来说，没有特别特别大的改变。
嗯，到你离开时，他已经多少人了？接近 2000 人了吧，扩了一倍多。
嗯，所以你在 OPIC 时期，好像是他最具转变的一个时期。我可能就踩在了他还是个小公司的尾巴，就是我觉得进去之后过了可能三四个月，这个公司就已经开始人一下子变多了。文化有变化吗？
还是经历了一些比较混沌的阶段吧。然后，可能尤其是——可能就是在我离开的那段，快离开的那段时间——我觉得文化上还是经历了一些混沌。因为从外面来了一些人，然后可能跟本来的文化产生了一些冲突。之前的文化是，我觉得之前就是很简单，像是一个小房间，大家都是朋友，然后大家都知道对方在干嘛，也没有人特别会去做过多的个人宣传，或者做一些没有用的事。大家都有很多事要处理，公司那时候可能紧迫感也更强一些吧。
后来可能就觉得，这样人多了吧，这样的文化肯定会受到一些冲击。带来了什么风气啊？嗯，我觉得确实有一些人，我个人不是很喜欢——当然不代表他们真的不好，就是我个人不是很喜欢——可能我不太喜欢在这个领域里面说很多话的人。我觉得“idea is cheap”，想法是廉价的，很多想法其实很明显，所有人都知道，难的是怎么把它实现，怎么把它变成一个一个小的、可实现的步骤，把它做出来。我觉得我不太喜欢那些一天中很多时间花在 Slack（Slack 是美国用的一个办公软件）上，或者在 Slack 上花很多时间讲一些大道理，我觉得没什么用。
嗯，你后来为什么突然离职了？你是完成了什么阶段性的工作吗？当时酝酿了多久？ 我觉得可能酝酿了一两个月，一个多月吧，一个多月一点，快……对对。我觉得一方面是，我其实不是太认同 D 大反这个事。哦，我觉得他作为一个公司的 CEO 来说，对他个人来说，他做什么样的观点我觉得都无所谓，但是作为一个公司的 CEO 来说，我觉得把一个观点推到这么极端的地步，是一个非常情绪化的体现。对，然后这是一个比较小的原因。当然，大方面有很多，比如公司的文化上有些冲击啊，然后包括自己可能也想去学一些不一样的事情。毕竟它非常专注，你可能如果很想做和语言相关的方面，或者做这种使用工具啊、coding 这种事，在那里其实很能学到很多东西，但是有很多不做的事。比如说，完全没有人做这种动态编译（JIT），你想学也没得学，然后可能也没有花太多的精力在更底层的工程技术、基础设施上。所以可能想要学习更多东西，也是我当时离开的一个动机。
嗯，那个占百分之多少比例啊？因为有的个人原因，我在公开场合说 40%，但是这个数字反正就是听听就好，这个数字就是告诉他，不是主要的，但它确实是一个很大的原因。对，没有控股，不是个控股原因，对，不是个控股原因，但是是一个 Majority Holder 的原因。
嗯，你这个选择也很神奇，因为大多数人在一个还是 underdog 的时候加入，会更有感情，然后会愿意陪公司走更长时间。但你反而跳去了 Google，因为很多研究员一进去 Google，他会觉得 Google 给的 scope 不够，所以他会反而想跳去像 XCL 或者 IC 这样的更小一点的组织。你这个反行动好像也是反的。 我觉得其实取决于你自己想要的是什么？
如果你真正渴望的是一个非常明确的——就像你所说的——明确的范围，而且这件事与我最终产品的模型密切相关，那么我必须将其中一个想法融入这个模型中。嗯，那么 Google 可能不是一个理想的地方，嗯，毕竟有那么多研究人员，有那么多成熟的组织在做这件事，这个过程是非常复杂的。但是，我觉得如果你追求的是研究的自由、探索的自由，并且希望能从更广泛的人群中学习，那么在这个方面可能没有比我们更强的地方了。
所以，我觉得本质上还是取决于你自己想要什么。嗯，但我觉得很多人离职——无论从哪里离职换到另一家公司——可能会感到不开心的主要原因是没有想清楚自己想要什么。比如，你去了 Google，可能本该是——如果你一开始的想法是“我要有研究自由”，而学习的动机是学习本身，但去了之后发现还是想要有产品影响力，那么你可能会感到很难受。你不追求影响力吗？你也可以说，现在这个 AS 是一个非常庞大的系统，由大量的人共同构建，你在其中追求的是什么？
我觉得可以分阶段来看。在经历了太多与产品密切相关的事情后，我也可能想给自己换个脑子，去学习一些不同的东西。但是，你说有没有一天我可能又换回这个思路，再次想去产生一些产品影响力？这也是有可能的。
如何量化产品影响力？ 内部对此是否有清晰的认知？很难量化。嗯，我觉得，因为在发表论文时，还是有一套由作者主导的评价体系。而现在呢，嗯，其实没有办法量化。这也是为什么我觉得在这个时代，讨论每个个体的影响力是一件非常虚无缥缈的事情。我认为本质上还是这个组织做了这样一件事，或者这个世界需要这样，因此产生产品影响力是一种主观感受。在模型测试上是这样，在模型测试上如此。然后，当然实际上你可以——我觉得可以具体谈的是——你自己做过哪些事情，具体的技术贡献，以及它在技术上产生的效果，这是可以客观讨论的。但比较主观的是，这些效果在最终产品中占了多大比重，这一点没有人能说清楚。哦，对。
在 3.7 版本中，你能描述一下你做了哪些对模型产生影响的技术性工作吗？ 主要还是与编码环境相关的工作，同时也有一些算法上的改进。算法上主要是如何让训练变得更稳定。说实话，算法上确实有一些提升，但还没有达到特别理想的效果。比之前的算法肯定是要好一些。嗯，对，但我觉得这也不是我个人的贡献。嗯，我认为这是大家集体的贡献。啊，对。我每次问你，你都会说这是集体的贡献。
嗯，已经不是一个个人英雄主义的时代了。我觉得对于蓝鲸来说，个人英雄主义的时代可能已经过去了。是什么时候呢？就是在“form”这个阶段。对，就是在技术还没有达到“skill up”那个点之前，找到那项技术的人可能是一个英雄，或者找到那项技术的一个小团队可能是英雄。找到那项技术之后，可能很快用时间——从模型的角度来说——更多的是集体主义。嗯，就是这个集体能否一起工作，能否为了一个共同的目标一起投入时间、投入精力，这才是最重要的，而不是每个人贡献了什么。
说集体主义的原因是因为，能力实际上来自于 AI 吗？
我提到集体主义的原因是因为我觉得 AI 这个方向本质上就是——除了可能突然冒出一个 idea 之外——我认为没有哪个想法背后有非常深刻的动机。在后续的过程中，很多想法其实是非常 trivial 的，就是非常愚蠢的，谁都能想、谁都能干，只是你运气好撞上这个机会去做了而已。包括你在描述 coding，好像它也是某种随机性，但你需要抓住它。
不过，我觉得做 C（编程）可能比做模型测试这些技术性的工作，或许还稍微多一点“公司英雄主义”，也就是说你能否足够快地赌对事情。嗯，这确实还是一种很强的能力。但如果今天没有 OpenAI 去做，可能别的公司也会做。我觉得这就是一个必然的事，所以都是 AI 在涌现能力。对我来说，就是看你能不能抓住那个能力，无论是公司还是个人。
我认为在可用的圆形模型（大型语言模型）出现之前，那个时候很多事情是一个非——就是有没有一个人能够发明一个东西、一个语言模型，能够大规模进行训练？嗯，然后以及 GPT 这个范式能否被发现出来？其中存在很多不确定性。但你想想，比如那个时候，如果没有 Google PR（PageRank），可能 Transformer 就不会被发现，可能要过很多很多年，才会有另一个有钱又有人的组织发现它。那可能就是一个很大的影响。
但进入那个阶段之后，尤其是到现在已经反过来了，就是任何一个组织想要停止 AI 的进展，嗯，是做不到的。安倍晋三很担心美国那边有没有能力阻止别人发展 AI？他没有。你阻止不了别人发展，你停止发展，别人会发展，你的话语权还会变小。其实现在更多是这种状态：是这个世界在推着我们前进，而不是我们在推动这个事件前进。感觉未来我们会更加难以阻止。耶，我觉得已经阻止不了了。就是我觉得试图去阻止 AI 里的一件事发生，可能本身就不是一种正确的想法。
嗯，这也是刚才聊到的，因为提到所谓的“fake”（可能指误解或争议），其中一个很重要的动因是所谓的 AI 安全。我觉得他在 AI 安全这件事上，创立时的动机和现在有什么关系？现在的关系比较复杂，就是说一个很自然的问题是：大家可能会问一个做 AI 安全的公司，为什么现在开始训练模型了？嗯，他的解释是：“我首先得拥有一个最前沿的模型，我才有话语权来推进我的安全。”所以说，他其实一直以来的想法是：我要做这个领域最好的模型，让大家不得不听我的，来推进我的安全政策。
但其实从我个人角度来说，我觉得这个想法是非常幼稚的。这件事现在看来，不会发生，更有可能发生的是：大家都有很好的前沿模型，而你没有办法阻止这件事发生。对于这件事来说，现在更多该关注、更多该想的事是：如果你真的想要避免 AI 带来一些危机，什么才是一个更自动化的解决方案？
嗯，举一个自动化的例子，就是比如核武器。核武器也是一个大家觉得可能有毁灭世界力量的东西，但核武器最终受到控制的方法，就是 MAD（Mutually Assured Destruction，相互保证毁灭）理论。就是说，当有很多个有核国家，他们互相都有对方的能力，所以通过这样一种制衡才稳定住。我觉得你要阻止 AI 做一些不好的事，可能最终需要一种类似的机制来实现，而不是希望一家公司制定一个法律然后管一件事。嗯，对，而且他自己制定，他也只能管得了自己。
嗯，你刚才也提到 DeepMind 有个可解释性团队是吗？这个它的可解释性达到了哪一步？
在一些比较简单、然后比较“科学”（sciency）的神经网络中，他们能够进行一些有趣的研究。比如，看看某个——嗯——输出或输入的文字或图片，其内在的表示是什么样子。然后，你可能把那个表示反转一下后，它会输出什么样的东西。嗯，所以现在这样的研究——对吧？你刚才提到一个观点，就是 AI 本质上是简单的。这个……我们描述一下这句话。这是一个结论吗？对我来说，这甚至不是一个结论，只是我的一个 statement，是我的一个陈述，它可能对也可能错。然后，我对这个陈述的解释是：我认为它本质上简单的地方在于，它能做实验。也就是说，它与——比如——本质上复杂的东西（比如物理）的区别在于，那些东西如果没有相应的实验数据，你就无法理解那个理论。嗯，但 AI 不受这个限制。目前你理解不了也没关系，我也可以继续向前发展。而且，实际上，我现在能够做任何我想到的实验，只是可能需要一些时间来提升计算量，或者完善基础设施。但没有什么本质上的困难。
所以我一直说，觉得 AI 没有给人“碰壁”感觉的原因，首先是很多东西你都能尝试；其次，现在不是说大家已经江郎才尽、没有什么想法可以试了，更多的情况是有太多的想法需要一个一个去试，花时间。嗯，对，感觉人好渺小啊。嗯，在这个实验事实面前，确实如此。
所以说，我觉得很快 AI 可能就会开始自己做实验了。然后……开始得有多快？四个月内？我觉得未来的六到十二个月，AI 就会自己做实验。我其实觉得——当然——这话不太好定义，抱歉，我说得有点模糊。就是 AI 自己提升自己，或者自己加快自己的发展过程，这件事其实已经在发生了，对吧？就像我们刚才一开始聊的，它已经开始帮我们实现一些我们想要的东西，然后大大加快我们实验的速度。但我觉得，未来六到十二个月，它目前还做不到的事情是什么？是说，它能不能从头到尾地完成一项 AI 研究？比如，它不仅能写这个 code，还能运行这个实验，运行完实验还能看到结果，看到结果后还能分析结果，分析结果后知道哪里做得不对，嗯，然后提出新的假设，涉及新的代码，运行新的实验。这条链条目前还不完整，但我觉得这套链条可能是下一步会慢慢变完整的事。
嗯，对。基于你的各种原因，在你决定离开那家公司时，你对这家公司未来的预期是什么？
呃，我觉得我离开的时候，我对这家公司其实挺悲观的。哦，但后来显然是我过度悲观了。为什么悲观？我当时悲观的原因是，因为——嗯——我离开时，S 公司（备注：应为某公司名）说，其实主要的收入来源都是 API，就是卖卖图（可能指图像生成服务），然后这个差声音（可能指语音服务）是差生意。这个生意只有对一家公司好，就是 Google。嗯，因为这个生意最终就是得打价格战，就是这个商业模式（应为“弯曲处理”或“商业模式”），就是要打价格战。打价格战的话，你没有完整的链条是没有什么太多优势的。
但是后来，显然在产品方面，我觉得确实有很多巧思，做了很多好的事情。不管是像 Clock（可能指某产品名）变得越来越好用了，然后 C Work（可能指协作工具），还有各种各样与工作和效率相关的事情都慢慢汇聚起来了。所以感觉它现在反而变得比我当时想的更有竞争力。
你要问我哪个会先死？但是——不会真的死，就是哪个会先变得不那么重要。我当时会觉得 OP（可能指某竞争对手）会先变得不那么重要，但是后来，首先 OP 被 Google 揍了一拳，然后瑞（可能指某公司）自己又上位了。所以现在看来，好像瑞更有优势。
自己后悔过没有？
嗯，不太后悔。我觉得对我个人来说，我的个人动机还是想换一个地方提升自己。嗯，我觉得对于这件——对于想做的这件事来说，这个选择没有什么错误。
你也提到 IC 的产品有很多巧思，特别是今年，比如 CWORK 这些。这个想法是从哪里来的啊？我觉得我没有看到 CWK 的发展过程，所以不太清楚。然后 COD，我觉得人产品可能确实有一些个人英雄主义的机会哦。是研究员还是产品？就是那个，我觉得 CCO 至少在这件事的开端吧，是他自己想要做这件事，提高自己或者同事的工作效率哦，最后变成了一个对所有人都很重要的事。
Waris 是一个什么样的人？ 我跟他没有太多的个人接触，我更多的是看到他在公司时的工作。他是个 researcher 对吧？对，但他主要是在产品那边哦。所以是有专门的产品部门的，嗯，以前没有分得那么开，后来有单独的。嗯，对，感觉是很懂 AI 的产品经理。
我觉得，我觉得这就是为什么一开始说的时候，觉得这个产品经理可能目前还是挺难被 AI 取代的。嗯嗯，好的产品经理，而且它好像不是上一代那种产品经理，它不是那种 feature 的摆放啊什么的，他好像是知道怎么跟 AS 写作的某种产品经理。对，我觉得上一代产品经理可能也不全是，就上也有些——交互方式级别的变化。但每次交互方式级别变化，其实就带来一个很大的产品，比如说就是可能这个抖音就是一个交互方式级别改变的产品，一下子就带来了很大的，打开了新的方向。嗯，然后我觉得可能 Code 也是一个这样级别的产品。
嗯，CL、Code 和 CWORK 都是 BIS，我不知道 CWORK 是谁做的，我已经离开了。
说到你到了 Google DeepMind 以后的工作吧，工作重心发生变化没有？ 嗯，还是发生了一些变化的。然后我反正我自己主要在外就是做 MLD，然后和一些比较 R&D 的事，就是这两个其实才都大概提了一句。就是 ML Coding，其实它主要就是想要实现说的这个完整的 AI 自己研究自己的这个立场。那当然这个过程当中有很多实际的问题，也有很多实际的细节要去解决。就是我觉得大的方向上来说，大家其实是比较有共识的，是该怎么去做，但是还是回到细节，就是细节上有很多处理，比如说怎么样去选取合适的 data，怎么样去选取合适的反馈信号，以及它又带来新的基础设施的挑战。然后现在就是要把这些事情一样慢慢摸清楚。
然后像 horizon，就是刚才说的另外一点事，就是说想要能够实现说这个模型能够在「口号」上 finite but use as infinite。我觉得想要把这个训练的长度一直一直一直变成可能并不是单个这个训练的这个语段呢一直变长，可能并不是一个很现实的方案。但是很现实的事，你如何在有限的 context 之下去做更长的工作？其实你其实想，人其实就是这个样子。人的 context 其实很短很短，你现在问我昨天晚饭吃什么，我是一点想不起来了。嗯，你可能想起来我是一点想不起来了，因为什么？因为它对我现在这个场景来说不关键对吧？就是我知道昨天晚饭吃什么又能怎么样？就选择把它忘了。所以人本质上是很短，但他能够选择性的遗忘，然后他选择性的去 retrieve，就是去把这些重要跟当前场景相关的信息再抓回来。
嗯，对，所以说我觉得那个可能也是一个对我来说很有趣的这种方向。这两件事其实是有点有点相关、有点互补的，为什么？
其实就是这两件事，都属于“大模型使用工具和环境，以及不同的模型与不同的人交互”这个大范畴。在这个范畴内，大家过去完成的那个节点就是 coding —— 嗯，既是工具，又与环境（环境就是这个虚拟机或者你自己的电脑）进行交互。然后这件事，横向上会衍生出不同的使用场景。而作为 AI research，其实就是横向场景中的另一个场景。这个场景不仅在横向上是一个新场景，在纵向上也让这件事的规模变得更大。嗯，因为你可能完成一个代码的补全是很快的事，但做一个完整的 AI 研究或者做一个计算机科学的研究，那是一个很长的过程。对对，所以说它其实像一个“十字型”一样，横向有扩展，纵向也有延伸。嗯，对，L 这件事还是个科学问题吗？
呃，既有科学问题也有工程问题。我觉得科学问题更多的是如何尝试不同的方案，以更有效的方式找到最终我们要走的路径。那么有哪些方式呢？呃，我可能说不太细，但粗略来说：有些方案是从 pre-training 的角度，从训练角度出发；有些方案则类似于 sparse attention、sparse attention 这样的。比如 DPC 有些工作，学界也有很多研究。然后从 post-training 的角度，比如外部像 Cursor 这样的工具，它们有很强的 context management 能力，管理上下文的能力。比如它可以让模型选择：我把中间某一段觉得不重要的内容丢掉，而把重要的内容存到某个文件里，之后再取回来。这两大类方案都有人在研究。当然，具体实施细节不止我刚刚提到的这些例子，刚刚说的例子只是比较公开的，距离实际细节每个公司还有自己的小秘密。然后我觉得最终大家都会互相了解。嗯，然后呃，我个人比较倾向于在后选方案这部分投入更多时间，因为呃，首先是因为我自己本来就没有在 pre-training 上花正式的工作时间。Pre-training 对我来说更多是一个兴趣，我想学习的事，但我自己其实没有在那上面做太多工作。另一方面是我觉得后续的方案更符合我对这件事的理解。我对这件事的理解就是刚才一直在说的：能不能用短的 pre-training，但它能处理长 context 的任务。Pre-training 那些方案本质上还是需要你有长的 pre-training，它需要数据里有……对对对。所以说，这不太符合我对这个问题的哲学。哦对，所以你现在看，可以吗？用短的训练长的？我觉得一定可以，但我们不清楚哪个方案最有效，或者说哪个能在长文本上做得很好。好像为什么呀？有些技巧有一些让我很惊讶的技巧。哦，这是 pre-training 的事吧？长文本做得好，一定是两方面都有，但我只是说对我来说，玉心联那边的技巧还是挺让我惊讶的。对，嗯，没有 J 号在朝文上表现好啊，但是也有说法，也有说法不一样，就是有人说 J3 这一代的长版本反而变差了一点之类的。嗯对。
再问一下，你加入 JA 的时候，感觉大家对 JA 的预期不高吗？没有，我的问题是当时一期已经挺高的了。你那是几年几局啊？我是二期，就是去年九月底。那个时候是咱俩，在咱俩三期之前。你对他的预期高？嗯，其他人呢？
我觉得内部的人当时对（J）的印象应该还是不错的。就是，我觉得嗯……之前一直觉得 Google 很危险，在 OpenAI 的冲击下，我觉得大家的感知可能在 2.5 这一代产品上发生了变化。哦，因为 2.5 是一个明显能看出「上道」了的版本。当然，之前 J 的 1.5 也有一些，就是嗯……小的进步，在某个距离上已经做得很强了，很明显它已经不再「摸索」——就是很明显它已经不落后了。但 2.5 真的是真正的一代，我觉得开始有人真正使用的模型。我自己其实也用过 2.5，用得挺多的。
你看到 2.5 之后的 J 嗯……我去 G（Google）也没关系，主要还是我知道 J 大概是什么样的状态。就是有很多人在做不同的研究啊，然后我也知道一些人其实嗯……做研究很有意思。然后很多 J 的工程师，我觉得基础非常非常非常强。我觉得我从他们身上学到了非常非常多。对，然后对我来说，那是原因。但我觉得从大家的感知上来说，可能内部的人在看到我们的 2.5 之后，就可能已经意识到「我们要赶上来了」。对。
那，就你而言，你是不是加入了一个专门的信号？不是，我加入的是他们的一个信号。那你为什么加入这个？ ——就像刚才说的，主要是因为我想做事。其实我想去（J），但你知道他们的人很强对吧？ 对。 那是因为，就是他们来找我的时候，肯定也会让我去和他们的人聊嘛。那从聊的过程中，其实是能看出来状态怎么样。哦，是他们来找你的？ 对。但我觉得最后变成了双向奔赴。
所以当时 OPI 不是选项吗？如果你想从 IC（基础设施公司）转向 Open 也是当时的选项。OpenAI 当时应该还是比 Jamina（J）在能力上要强吧，在那个时候。不过，那个时候是不是各种内部的内斗开始出现了？ 我觉得对。就是 OPI 确实也是我当时的一个选项，当然还包括像 XIA 之类的。然后我觉得 OPI 最后没有去的一个重要原因，还是我对他的文化——至少当时来看，我对他的文化有比较大的担心。嗯，就是我觉得嗯……用句粗话来说，就是感觉他是「做事」的人，没有我们那么多「奶」（玩乐/调侃）的成分。嗯，也没有那么多玩笑。对，哦，这个我挺在意的。一种文化和人的清新感，让你去了呢？ 对。
然后你又转到了 3 的那个转折点是吗？J 3 对他来说应该是一个很大的转折时期是吗？ 嗯，我觉得从实际的效果来说，有两件事让我们产生了一个大的转折，变成了市场里举足轻重的 player（玩家）：N（NO）和 J 3 两件事。嗯，就是你觉得如果只有 J 3，可能也不会有现在这么好的效果。因为当你的试用率连 10% 都不到的时候，你这个模型好一点、快一点，其实等它传播出去就是太慢了。但是 NO 把它做成了一件事：首先市场上这件事很爆款，然后大量的人去下载了 J 的 app，然后 3 又紧接着把这部分用户留住了。嗯，所以现在它变成了一个举足轻重的玩家。
我觉得可能就是没有我们打这么一拳，其实 OPI 的位置很爽——试用率已经高到你其实在模型上干点什么，对他来说可能影响都没那么大。嗯，甚至说实话，我觉得就是真正普通人用模型的时候，对模型能力的感知其实很弱很弱的。绝大多数人甚至都不用欧系列模型，绝大多数人都用普通的那个 GPT。所以说，我觉得对我们来说，这个 NO 把量打起来，然后我们 J 3 又把人留住，是一个很关键的事。他实际上抢走了多少 OPI 的用户啊？
呃，我现在不清楚具体的比例，但我的感觉是，我们来尝试可能会在 20% 左右吧。不过我确实没有仔细查过现在的数据。嗯，就是从事后来看，这两个因素共同促成了 JNA 今天对 open 的冲击。
从内部视角来看，你肯定能更早地知道为什么，也就是发生了什么，Google 会有这样的变化。对我而言，我觉得首先是 Google 的技术储备一直是足够的，嗯，人手也足够。然后在组织层面，后来逐渐形成了一个更好的框架，让大家能一起推进这件事。所以可能会慢慢有些进展。
然后，呃，从某种意义上说，作为一个局外人，在我看来，欧（OpenAI）其实在某种程度上救了 Google 一命。因为大家以前一直担心聊天机器人会不会完全取代搜索。如果这件事真的发生了，Google 会非常难受。但好在 OpenAI 做了这件事，让 Google 意识到这件事很重要，但它又没有做到底，没有做到极致，也没有完全干掉搜索，可能只是吃掉了一部分份额。结果反而让 Google 自己投入资金和人力追了上来。
现在的难受之处在于，万一有个公司——比如在一个虚构世界里，有一家公司不仅做了 bot，而且还一路高歌猛进，越做越好，真的一把就把你的搜索业务吃掉了，完全没有你反击的机会，那就太难受了。
那 ChatGPT 没有吃掉搜索，是因为 OpenAI 做得不好，还是为什么？还是说这种形态本身就干不掉搜索？我觉得两方面其实都有。也就是说，首先目前的对话式交互方式，其实不会完全干掉搜索。嗯，因为它比搜索强的地方在于，它有很强的交互性，你可以追问，还可以让它帮你梳理一些复杂的信息，这是它的强项。所以这部分使用场景，它确实会抢走搜索的用户。但搜索中还有一些非常「愚蠢」的需求——比如你有一个特别简单的事情，根本不想浪费时间在聊天机器人上。比如，我就想搜「买大米」，一搜就完事了，我还非得去问 ChatGPT 哪个好，然后它还在这儿赚钱、赚钱，再给你个链接，你再点进去网页去买，对吧？
没有那个必要。嗯，所以呢，从事实的使用上来看，它目前的形态还不足以完全取代搜索。对，然后呃，当然，从那个角度来说，它可能在聊天机器人这件事上也没有做到“登峰造极”，甚至还真的让别人——让 Google 给超越了。也就是说，它自己现在还算不上跟上吧？在产品层面，我觉得在产品上还算不上跟上，但在模型层面已经跟上了。不过投资人投资 OpenAI 的时候，他们会说下注时就认清了 OpenAI 其实是一家产品公司，它的护城河其实是产品和品牌。
嗯，那从今天来看的话，似乎 Google 在这件事情上还没有——嗯，不能说超越吧，跟上吧？对，就是我觉得这其实反正，都是我作为一个局外人、观察者的视角来说。就是你今天从评价、观察者的角度来看，我觉得 Google 传统上在产品上就是有点慢，一直都比较慢。嗯，然后所以你说 OpenAI 会不会在产品上有优势？我觉得然后 Google 特别擅长的一件事是找到一个极为简单的产品形态，大家都长一个样，它就疯狂给你卷技术，你就卷不过它。哦对，所以那个事不长久的，因为搜索引擎就是这样的一个事。搜索就是一个典型例子，就是大家都是一个框、一个键，但它就是比你搜得快、搜得准，你拿它一点办法也没有。
嗯，所以这就是为什么我感觉，就是一直以来 Google 都处于一个“做得很好但不太被认可”的状态。大家总觉得这公司的壁垒到底在哪？也没有什么产品的“小思”（指创新），也没有什么……它就活到了现在。所以它撑住好的原因是什么？我觉得还是——人好吗？我觉得还是氛围，就是说是一个特别特别重视——以前就特别重视工程师，后来就是特别特别重视研究的这样一个氛围。所以它很适合那种通过技术能力一出手就能定义产品能力的产品。
如果从这个角度来看的话，那你觉得 OpenAI 的位置是稳固的吗？我觉得谁的位置都不稳固。嗯对，我觉得就是 AI 的形态还有很长的路要走，嗯，还没有到什么“中局之战”这个阶段的感觉呢。对，感觉国内已经有点这个意思了。对，我不理解——就是理解，我很费解就是，国内觉得我们在争夺一个 super app，就是此消彼长这样。我觉得 condition on 聊天机器人这个事，就是 super app。嗯，那可能可以争夺一下，但是问题是你这个形态是不是 super？那个形态会不会哪天出了一个完全不一样的形态，然后你的功能变成那个东西的子集？这是很有可能的，是吧？
我觉得没有什么，我觉得我看不出什么不可能。为什么爆不出来？不是那个心态，但是这么多年我们就看到这个了。对，就是都是一个对话。我觉得在这个事上我确实没有什么——没有什么理性或者锤炼的标准来说明，更多的是你觉得这事很蠢。就是这个模型明明有那么多的能力，但居然用的方法是“查得爆”的，就是不太 make sense，知道吗？所以需要一个产品经理来解放一下，人类到现在只通过 chat 来跟 AI 沟通，让你觉得很蠢是吧？很蠢。就是那应该用什么去跟 AI 沟通？没想明白。要想明白我就干了，你没有告诉我。
Google 内部到底发生了什么变化，然后有了外界看到的和模型能力的“土匪猛进”？对，就是刚才说的，我觉得组织上更清晰了。然后组织上一旦清晰的话，组织变化了吗？对，尤其是像模型训练现在变得非常非常清晰，就是谁负责什么事情，然后每一个点、每一个节点上谁是负责人，这些事情都很清楚。以前是混沌的吗？
以前啊，最早的时候很混乱。我自己没有在最早的时候待过，但根据同事或者我以前认识的人的描述，那时候确实更乱一些。嗯，对对。然后现在呢，至少运作流程已经变得非常非常清晰了。再加上 Google 一直以来强大的技术背景，做事也比较系统化，所以觉得预训练在 Google 是一件非常可控、可预测的事情。你能知道下一代模型不会太差，甚至可能知道它会有多好。对，通过这种自上而下的管理方式，效果也不错。
那么 Google 是那种自下而上的公司吗？它现在还是自下而上的吗？比起以前肯定更自上而下了，比最早的时候更是如此。但相比其他公司，它可能还是更偏自上一些，就是不同的文化都可以接受吗？对，主要是针对模型的训练。我觉得大公司有大公司的打法，创业公司有创业公司的打法。所以大公司的做法是，就像你刚刚说的，完全不同的趋势，采用的是不同的方法。
Google 现在用的是什么方法？我觉得 Google 更多的是像那种确定性比较强的事情。比如预训练已经是一个相对确定性的过程了，Google 可能会更倾向于把它做成一个工程项目。因为 Google 的工程管理能力非常强，所以能够逐步把它做好。
什么叫工程项目？工程项目的意思就是，你实际上是一个非常严谨的组织，非常清楚下一阶段要做什么，然后去执行。过程中需要哪几个节点被处理掉，即使是做研究，也会有一个清晰的框架告诉你如何验证结果的好坏、评估结果的优劣。对，这正是 Google 在过去任何大型工程项目上的强项。
所以说，预训练其实现在已经进入了 Google 的舒适区。嗯，后续当然还会有更多的补充和调整。可能在后续阶段，现在来说还是更偏 bottom-up 一些，大家可以广泛地讨论。对，你说 PPO 是一种 RL（强化学习），为什么这么说？
就是，我觉得很难从纯技术角度去解释预训练或者监督式微调（SFT）与它的本质区别在哪里。因为预训练和 SFT 本质上也没什么区别，无非就是把你拿到的那些数据当作 ground truth，然后把它当作专家输出，朝着那个专家输出的分布靠拢，强行学习。可能只是在更广泛的层面上有所不同。
他的意思是，首先这个输出的东西并不是一个给定的专家，而是自己生成的一些东西，其中既有好的结果也有不好的结果，好的结果要靠近，不好的结果要远离，诸如此类。所以从某种意义上来说，PPO 和 SFT 都是强化学习的一个分支。但这两者在当前这个时代确实有所区别。
我觉得对我来说，它们最大的区别在于数据上。预训练的数据更多的是需要分布构建得好，即分布足够广或者足够符合你想要覆盖的范围，但数据的质量并不需要非常非常高。但后续阶段则反过来了，分布上可能更窄，但在特定数据的质量上要求非常高。所以我认为目前来说，对我来说它们最本质的区别还是在数据分布上的差异，而不是在算法或训练方法上的差异。
那么不同的实验室，是如何划分这个团队的？在训练和后训练阶段有区别吗？还是都一样？
和 Google 类似，两者在组织架构上——具体来说，运筹团队是一个，后训练团队又是一个。嗯，可能有点混乱。最早的时候，我刚开始了解时，他们分为三个团队：预训练团队、强化学习团队（即 Strawberry「草莓」团队），以及 Post-Training（后训练）团队。而我的——我没在那里工作过——但我的理解是，他们的 Post-Training 并不是 RL 团队（Strawberry）和 Post-Training 的简单组合，与其他公司的后训练及产品形态有所不同。
后来他们可能以另一种方式进行了划分：将后训练视为产品来打造，也就是说，他们的部分后训练工作实际上仍属于产品范畴。是名称没改过来吗？也不完全是，因为绝大多数公司的产品团队其实并不直接接触模型，更多的是将需求——即所需的模型特性——传达给模型训练团队。但 OpenAI 似乎有些不同，他们的 P（Post-Training）团队在某种程度上既是产品，又能自行迭代，也就是说——并非完全外包——他们的产品理念可能是：需要懂模型的人来做产品。对对对，这可能是件好事。不过后来这个组织架构变动了多次，我现在也不清楚他们具体变成什么样了。
哦，你们最近发布了几个模型，我看到你也都参与其中：Jamina 3、DeepThink、Jamina 3.1 Pro。我觉得只能说是有幸参与，是的，感觉都是集体工作。为什么现在你变成了明星人物，每次都被单独拎出来提一下？我不明白，我觉得这样不太好。每次看到后我都会想：以后天天去办公室见同事会不会尴尬？会不会有异样的感觉？在办公室还好，我觉得同事们可能还是比较通情达理的，他们可能也不太在意这些事。但说实话，我个人认为，我参与过的任何一个项目，无论是在 Google 还是在（其他地方），没有我也一样会发生，效果也不会差太多。
嗯，我——我只是觉得现在大家本质上都是冲浪的人，而那个浪啊，不是你冲的。嗯，浪是 AI 吗？对，AI 这件事本身就是那个浪，它会向前发展，无论你是否冲浪，这个浪都会拍到岸上。只是有人可能冲上了这个浪，有人可能晚了一步没赶上。对，没错。
你在这两个工作中具体参与了什么？呃，主要可能是一些——算法设计上的小细节，然后会一起讨论，还有——一些数据相关的工作。不过数据相关的部分，我觉得可能对后续工作的影响会更大一些。嗯，这几个模型有翻天覆地的变化吗？
嗯，我觉得没有哪个变化大到从“不知道如何进行大规模强化学习”到“实现大规模强化学习”那种级别的飞跃。没有变化能达到这种程度。肯定都只是一些小小的改进。这几个小变化，你们讲一讲就这几个新模型——不能讲哦，真不幸，抱歉。
最近我感觉模型已经“发麻”了，国内一堆模型，国外也是很多模型。你们……呃，国内有GLM、DeepSeek自己一直期待还没发布，你能不能给大家画个重点啊？我觉得，呃，从某种印象来说，都没那么值得关注。哎，大家在争什么呢？现在感觉像“群魔乱斗”。我觉得有些争论的事情，其实在当下这个时代已经没那么重要了。就是因为过去带来的惯性，大家会争各个基准测试（benchmark）的第一名，嗯，以证明自己模型的基本能力很强。这个事情呢，其实到现在已经到了——就是公众对那些榜单的关注都有点审美疲劳了。嗯，你想想，最早大家关注这个Sweet Bench，随便都能打到80多分。幸好没人超过83，因为最近刚发布了一个P报告说超过83的话，有些题目定义不良。幸好没人超过，谁超过谁就尴尬了。
然后大家以前在推理（reasoning）方面就是打完MMLU、打MATH、打完MATH打什么RACE啊、这些套路。然后RACE我们之前大家最高的都在网上说可能十几分这样子吧，然后大家往上冲，后来变成30多分了。然后Cloud4 4.5、4.6变成5.6，应该是变成60多分了。然后我们来算一下DeepSeek，达到了80多分。所以这个也打过了，现在感觉光靠这种公众认知的模型能力，其实已经没什么太大意思了。
嗯，然后呃，所以从这个角度来说，我觉得本质上就是没有什么太多的重点。嗯，虽然大家发布得很快，嗯，发布得快也说明这道题对所有人来说都特别简单了，大家都知道怎么做好了，没有什么秘密了。对对，还是那个“冲浪理论”，就是浪还在往前走。嗯，那大家下一个可能在寻找的目标是什么？下一个“现象级”的变化是什么？还会有吗？
我觉得……我刚才自己聊的那两件事，我觉得MLC LLM和LLM Horizon，对，然后这两个是我觉得——我觉得呃，可能还没到“现象级”变化，但我认为对Google来说会很有价值的事情。嗯，因为首先MLC LLM是因为Google自己是一个AI研究的大户，然后它自己又是AI研究最全面的，就是它不仅有这些语言模型、这些部分，它还有设计硬件的部分，从硬件到模型的整个链条如果能被加速或者更好地管理，那对这家公司来说可能非常有价值。嗯，然后RLHF就不说了，所有人都知道，所有人都觉得很重要。
所以说，我觉得那个可能对我来说不能算是“现象级别”，绝对不到“现象级别”，但却是一个我认为很有价值、需要在未来几个月内能看到曙光的事情。然后我觉得“现象级”可能还是那些不确定性的东西，比如“多模态生成”那个。我觉得可能会出现一个英雄，或者一个英雄团队吧。然后像那种，还有讨论比较多的持续学习（continual learning）、嗯，世界模型（world model）呢？
我认为持续学习（continual learning）和这种“狼”——刚刚说狼没有本质区别——嗯，因为大家以前觉得这两件事差别很大，是因为 continual 模型的一些权重。然后你做这种，比如像开放式的、大家做很多这种 cache management，是不会改变模型参数的。但其实你想，这两者没有本质区别，因为 cache 里那些 token 自己的 KV 不也是一种权重吗？所以说，你觉得这两种方案最终谁更有用，长远来看更有用，我认为是不清楚的。但它们本质上都是为了实现长期记忆（long horizon）这类任务。
嗯，然后“世界模型”——一万人有一万个世界模型——是什么意思？就是定义不清晰。首先，我不知道什么叫做一个“世界模型”。嗯，其实就是每个人在说他们做的世界模型时，可能指的都不是同一件事。比如，我们做的世界模型可能和李飞飞他们做的世界模型就不是一回事。嗯，描述一下区别……呃，我不是特别了解外面像李飞飞他们这些实验室的具体情况。但我们的世界模型更多是一种——是一种端到端（end-to-end）级别的训练。它想要的结果是，比如视频生成，大家能够给定一个描述，然后生成一个视频。但它想要的结果是，我不只是能生成一个视频，而是能生成一个“场景”。什么叫一个场景？场景就是说，我生成了这个水合状态（hydrated state），然后我还可以再给它一个 condition，一个条件，这个条件是我在这个状态下做了什么样的动作，然后它下一个状态会变成我上一个状态和动作的函数。然后它是按照这样的方式去训练这种能力的。所以说，这可能是一种方案。
然后，我首先也不知道大家最终想要的到底是什么结果，我也不知道大家对自己世界模型的定义到底是什么。所以我觉得更多还是一种探索的状态。
嗯，刚才我们一直没有聊到一个组织是 X.AI。我们刚才聊了 iC，聊了 OpenAI，聊了 X 呢？X，我不太明白。作为点评来说一下，我……他们怎么最近这么动荡？我觉得他们一直都挺动荡的。那为什么最近这么动荡？我也不知道。然后，我其实跟 X 接触得没有那么多，而且呃，我接触的一些人之前也离开了，所以我也不知道他们发生了什么。
哎，对了，刚才说 iC 的时候，你说技术的一号位能被 MB（管理者）掌控是非常重要的。那在 Google 这样的公司，一号位是谁呀？这个英雄是谁呀？我觉得英雄在不同的阶段是不同的人，但英雄的背后都有一个人，就是 SG，就是 Google 的 Jeff Dean。对对，就是。我觉得最终很多很多重大的决定可能不是由他来决定怎么做，但最后拍板得他来拍。嗯对，现在也是。呃，我觉得可能更多一线出现的是 JK。哦，就是 DeepMind 的 CTO，然后他现在也是 Google 的 SVP。哦，D 在负责什么？我觉得 Demis 可能更多偏向于科学方面的事情，比如那个药物设计、Isomorphic Lab 那些事情。对哦，JZ 他管的不多。呃，至少从我的视角来看，我看到的更多的人是 C。OK，但有可能就是那个公司管理层的事，其实也有可能很多是我看不到的部分。
嗯，那我就不清楚了。你刚才也提到 AI 整体是一个系统吗？嗯，你对于如何系统性地做 AI 有什么认知吗？
经过这两年的工作，有几个方面的体会。一方面，从整个系统来看，它需要一种科学的态度，即你需要像扫描一样——清晰地理解自己做了哪些假设。嗯，然后在进行改变时，实际上有哪些因素是相关的，哪些是不相关的？是的，这是从组织层面来说的。
从人的角度来看，其实需要人非常可靠，也就是需要有高度责任感的人。实际上，每一个系统、每一个评价框架都很容易被钻空子。你总能做一些事情，让你的指标看起来很漂亮。但一个可靠、值得信赖的人，他会真正思考：自己做的这件事如果效果好，是否真的好？比如在大规模应用时效果好，是否遗漏了某些可能影响结果的因素？所以说，建立试验系统听起来简单，但真正做起来却非常复杂，涉及很多细节、很多阻力，因为这并不违背人性。每个人的天性可能都是希望自己做的事情能尽早变得更好，但对一个公司或组织来说，最有利的事情是公司的系统性工作做得非常、非常扎实、非常严谨。
能不能举个例子？感觉有点抽象。对，确实有点抽象。嗯，这也是为什么你说没有那么多个人英雄主义的一个表现。是的，人需要成为一个更可靠的系统组成部分。
我可以举一个例子，可能比较诡异的例子。比如在做模型时，你可能开发出一个算法，效果比别人好，但更关键的问题在于：你需要问自己，比如在真正的大规模应用下，我是否能保持稳定性，与别人一样好？嗯，然后，我的模型效果比别人好，是否因为我使用了不同的数据？或者我是否使用了更多的训练算力（flop）？是否使用了更多的采样算力（flop）？具体在真正的生产环境、最终的大规模生产轮次中，哪个才是我的限制因素？我应该关注哪个指标？这些可能都需要研究员对系统的运作有深入理解，并且对公司负责，才能做到。否则，你很容易做到一件事：比如你在训练阶段比别人多花三倍的资源，但加上三倍后反而比别人差。你总可以选择只做训练部分，这样就很糟糕。对，所以这既需要个人负责任，也需要组织建立的体系能尽量发现这些有意或无意的边界情况。
但作为个体，你怎么知道什么对全局最好呢？嗯，其实需要的是，我认为如果一个研究员无法从全局考虑问题，那他就不是一个合格的研究员，在当今这个时代。是的，这与在学术界做研究有很大不同。因为在学术界做研究，本质上是一种“吃饱全家不愁”的状态：我只需要对我的项目负责，对吧？我只需要对我的可重复性负责。但在公司里，你更多的时候需要对整个公司负责。这是两种完全不同的心态。
那么这种自觉性从何而来？不知道，我觉得可能是拉不下脸。拉不下脸是什么意思？对，就是你对一家公司的认同，你与这家公司契约关系的一部分。哦，其实我觉得没有理由不这么做。这么做是没有理由的。嗯，所以个人英雄主义会破坏这种整体性。我认为，如果只是为了个人英雄主义而做事，很可能会损害整体利益。但实际情况是，如果你能力很强，真的成为了英雄，那也是有可能的。嗯，因为你也经历过两个组织了，你觉得什么样的组织更能激发智能？
在这个时代，我觉得这其实是一个很有争议的事情。刚才也聊了，就是不同的组织可能有些比较“自上而下”，有些比较“自下而上”。那么一个自然的问题就是：这两种组织哪一种更能激发创新？
过去的观点认为“资源向上”是激发创新的必要条件，因为就是你得让每个人有自由嘛，自己有自由才能有创新。嗯，但是完全“想而上”去就会发现其实也不行，因为那样就乱了——就像 Google 之前的样子，对吧？对，就好在我印象里，从我了解到的情况来看，就是这样：大家甚至都不知道自己做的事情有什么用，那可能也不太好。所以可能需要有一个人，或者有一个小的集体，能够把这两件事情稍微融合一些。
嗯，对，就是对。为什么我觉得一个组织运行得好不好，看起来是组织的问题，但其实归根结底是技术 leader 的问题。嗯，就是这个技术 leader 有没有特质，能够把这个组织运行得很稳定。因为最好的那个状态往往都是最不稳定的状态，很容易往不好的方向滑。嗯，所以得有一个 leader 来控制这件事。
那你觉得都是技术 leader 来做这件事情，而不是 CEO 来做这件事情？呃，当然美国公司的 CEO 可能有不一样的职责，但是得有一个 leader。我觉得这个 leader 需要有两个特质，才能去做这件事：
第一个特质就是他自己有救火的能力。不是说他光嘴上说要做什么、要做什么，而是当一件事情真的遇到困难了，他能自己下场去带人把这个困难解决掉。嗯，当然绝大多数时候，一个 leader 可能没有时间去做这件事，但他至少要有这个能力。
第二个重要特质就是他得能够理解别人。就算一件事情可能是他不做的，但他能够理解到为什么别人做那件事重要，能够融得下别人——这可能是另外一个小特质。
嗯，对。你觉得 Google 的 TPU 在哪些方面表现得比 GPU 更好？劣势是什么？
我觉得，呃，从纯硬件的角度来说，很难说哪种硬件真的好或者坏，尤其是在这种大规模商用的情况下。因为本质上来说，GPU 和 TPU 在使用上的最大区别，除了硬件的差异之外，就是 GPU 有比较好的开源生态。嗯，不过这个事情在大规模商用的时候并不是一个问题，因为比如 Google 自己用 TPU，那自然会花时间去搭建这个基础设施。而基础设施就是一个——比如说，你一直跑 1000 张卡可能是一个很大的负担，但你跑一个几十万张卡的集群呢？大家一起建设基础设施也不是一件多大的事。
然后从实际上来说，在这种大规模商用的情况下，没有哪个硬件有绝对的优势，但是这两者确实有一些设计理念上的区别。比如说，GPU——至少我可能后来这几代 GPU 没有这么用过——像早期的 H100 那代 GPU，它的设计是说，我一个 Pod 里面可能没有多少张卡，比如说就八张卡，然后这八张卡之间可以互联非常快，所以这一个 Pod 几乎就没有什么 communication 的瓶颈。但是 TPU 可能就反过来，它抛弃了卡之间的互联，但是能尽量多地把卡放在一个大的架子里面。它就是有这种三维的设计，所以一张卡就只有在三个方向连接三个最邻近的卡，但是整个集群可以连成一个大的网络。然后如果你的 compiler 或者你的调度逻辑写得足够好的话，你是可以利用这样的设计，等效来说，获得更大的存储空间，也会减少很多通信的开销。
嗯，那劣势是什么呢？
呃，我觉得一个劣势就是，相比 GPU 来说，它在小规模 SQ 上更加——呃，更加固定的一种结构。所以说，它的应用性或者通用性可能没有那么强。
嗯，对了，最近硅谷出现了很多新实验室（new lab），你怎么看这个趋势？为什么他们都从这些模型大厂跳出来成立新实验室？我看不太懂。我的感觉是，绝大多数实验室不会成功，然后——呃，我觉得可能有一些实验室是真的有厉害的人，比如有些实验室可能也开始在做一些事情，比如像 SQ 他还在探索一些新的东西。但有些实验室就——请帮我避开名字——比如，我完全不知道他们到底要干什么，而且这两个人其实已经远离这个专业很久了。
我觉得 2026 年国内会非常看重 C 端的叙事，谁能成为那个超级应用（super app），你怎么看？你觉得这个——好像没人在讨论这个事对吧？就是因为美国的企业级市场（enterprise），也就是公司或者效率软件这个市场太大，而且利润也太高，所以对美国来说，其实 C 端之前只有一家在做，而且也没什么利润。所以说，现在大家可能重心都会先放在这类效率软件上。
嗯，所以中美的叙事已经发生分化了。我觉得不仅仅是 AI，过去整个互联网都是不一样的。中国的强项就是 C 端，能够想出一些非常非常复杂的产品性质或结构，然后用一种你觉得很间接、很不自然的方式把利润滚动起来。比如什么叫很间接？比如像抖音这种东西，它并不是说「你看视频，我看一个视频收你两毛钱」对吧？而是你可以免费看视频，但我可以偷偷加广告，可以偷偷做直播，可以偷偷做电商。但做效率软件就不是这样，做效率软件非常直接，就是「我帮你写代码，成本一个月 150 美元，卖你 200 美元，我赚 50 美元」，就是非常直接的事。
嗯，对。我觉得美国过去的体现就是在这类非常直接的产品上能够把技术做到极致。但一直没有哪个产品——然后我觉得就是复杂到让你离不开它，又感觉不到它在赚你的钱，但实际上它赚了你的钱。
对，哎，你这么一说我突然觉得 Meta 就应该超级自洽对吧？但我觉得 Meta 没有那么强，因为 Meta 也找不到自己的定位，而且美国也没有一家公司在做这件事。这个生态位还没人找到，那 Meta 就超级佛系呗，它也不需要那么强的模型能力对吧？但我觉得还是美国做产品的本质上，做 C 端产品的人不行啊，比中国差远了。
哦，这是过去时间的积累吗？ 对，嗯。因为过去 10 年在美国的——政商环境都来自于做加密货币（做币）的很多对手，或者就是在美国这种赚钱太容易了。赚钱太容易的时候，你不会费脑筋想怎么赚钱。
哎，不是很多人都要找你聊聊吗？有什么好玩的人啊？ 不，很多国内的人来科技公司。我觉得都挺好玩的，然后确实发现国内人做产品可能还是想法更复杂一些，更复杂一些。对，就是想得更——想的这个回路更长一些，跟美国还是风格不太一样。美国是——我刚才说了嘛，就是做个什么就拿这个卖钱了对吧，就是简单啊，这个事就是需要这个能力，有了这个能力之后就是要比别人便宜，我就能赚得比你多。
嗯，一点办法也没有。嗯，中国呢？中国感觉都是这种——一开始不赚钱，但一旦开始赚钱，你就拦不住它。就是它真的能形成那个——那个——那个自己的圈子，你就是它真的把那个圈子转起来的时候，你再想往里插就插不进去了。
哦，你觉得美国公司现在看懂自己的节奏了吗？
我的感觉是——还没有，他都这么大了哦。你说，就是，是不是重视他？那肯定是重视的。大家肯定都知道自己是一家被严重低估的公司，从他的市值来说，是被严重低估的公司。这是我觉得大家然后也很明确的，就是说在消费者市场这一端，其实我觉得没有哪个美国公司能和自己竞争。但是他毕竟实际上是中国公司，从公众的公众意识上来说，他毕竟是中国公司，嗯……对，看懂他了吗？我不觉得大家看懂他了。但是你看 M，他其实也在主动地从自己这边挖人嘛。嗯，你在 AI 行业有什么偶像吗？或者欣赏的人？
虽然你在 AI 行业时间很短，没什么……就是我感觉，我感觉我来这个行业的时候，个人英雄主义时代已经过去了。所以也没有什么英雄，有时候你甚至觉得旧时代的英雄有点蠢，对。所以说真的没有什么，你觉得谁比较……？这个还是不说了吧，n comment。
对，我觉得我觉得和做物理还是不一样。我觉得做物理还是存在着一些，我觉得真的比我聪明太多的人。比如我独立的时候，我那个年轻老板，就是我觉得他从 D 到 Sford，我觉得他就比我聪明太多了。觉得他可能也是看到他，我才觉得自己在那个领域也没什么用，有他了还干嘛呢，对吧？跑到 AI 来降维打击一下，是吧？也没较为打击，但是反正就感觉 AI 这个事本来也不太需要脑子，不太需要脑子，真的不太需要脑子。需要什么？我觉得这个行业最重要的特质就是 C 普，就是做事，然后对自己做的事负责任，这是最重要的特质。你说那些东西有多需要脑子？我觉得都是一些本质上就能干得活的。
可是你说 AI 没有个人英雄主义，现在一个 AI 研究员的价格炒得多高啊，跟球星转会一样。我不知道这是好事还是坏事。对我个人来说，我当然很高兴，我受益于这个。但是，嗯……实际上来说，我并不知道这个事是不是一件好事。
你觉得为什么价格会变得这么高？我觉得可能一方面是大家觉得这个事很稀缺吧，可能确实也没那么充足。就是因为训练一个人虽然没那么难，但是你训练一个人是需要一个环境的。就是你得有那个机会去接触这件事，你才能学会这件事。你没有那个机会，你就是再聪明也没用。那可能过去能撞到这个机会的人没有那么多，所以说在供给上来说可能是比较稀缺的。从这个角度上来说，但我觉得另一方面也是可能对人的炒作有点过分了。对，非常喜欢神话个体。现在我觉得真的，再说一次，这是个集体主义的事。
那很多人也会很好奇，因为呃……可能很多公司也想招 AI 的人。那你觉得最重要的他是要靠谱，这个有什么衡量指标呢？就是怎么能够快速地判断一个人 C 不靠谱，做事不？每个人都有一些自己衡量的方法，然后我当然也有一些自己的 trick。就是我以前有出一道面试题，然后那个……我大概讲一下，这个应该不涉密，所以我也应该可以讲。实际很简单，就是说我需要这个人在 24 小时之内完成一个强化学习的项目，从 0 到 1。就是他要自己去选用什么样的模型，我告诉他有的资源是什么样的，然后他自己选用什么样的模型、用什么样的数据、用什么样的算法，然后把这个模型做出来。24 小时之内，我给他资源，他 24 小时去完成这个事。然后 24 小时结束之后，他会跟我有一个小时的讨论。
然后这个事呢，其实在 AI 时代没有那么难过。没有 AI 的话，这是不可能的，没有人能在 24 小时之内把它做出来。但有 AI 之后，其实特别简单，因为 AI 能帮你全套做。但为什么还要做这个事呢？
有两个原因让我这样设计。其中，原因有很多，但主要是以下两个：
第一个原因是，我觉得在这个时代，去考察别人——比如代码写得好不好——其实没什么用，因为绝大多数人都不会自己写代码。更重要的是，他能不能有效地利用 AI。这是一方面的考量。
第二方面是，这件事其实有个陷阱：如果你全盘交给 AI 去做，但最后却没有试图好好理解 AI 为你做了什么，那在后续的一小时讨论里，就会露出破绽——这是一个会「挂掉」的地方。所以，这个考验的另一个重点是：你有没有真的和 AI 形成协作，还是说你就直接全扔给它？我个人很看重这一点，因为这也反映出一个人做事是否「靠谱」（负责任）的一部分。
当然，这个题目的设计本身也有一些比较「阴暗」的巧思。比如，为什么要设计成 24 小时？就是为了看这个人有多重视这个机会——能不能熬夜。如果他足够重视，就能撑过这 24 小时；如果撑不住，只能说他可能对这个机会也没那么看重。
对于比你更年轻的人，你觉得他们现在进入 AI 领域还是一个很有机会的「蓝海」吗？ 我觉得纯语言模型已经不是蓝海了。嗯，我觉得有点晚——「木板车」已经发车了。板车已经发车，那班车是哪一班啊？ 我感觉我入行的时候就是那班车。然后，可能确实在我入行之后，还是有些新人进来，但我觉得他们已经没有机会遇到那么好的时机了——比如能在一个还没那么大的团队里做一件事情。他们可能很少能遇到这样的机会了。
不过，我觉得 AI 是一个很大的方向，语言模型只是其中很小很小的一部分。还有很多其他事情，比如刚刚提到的多模态生成，可能还有很多机会；机器人可能机会更大。然后，包括更夸张的——比如，你能不能用 AI 去帮助解决一些真正的科学问题，比如量子调控之类的，那可能就是更蓝海的「Blue Sky」项目了。
所以，我觉得对于足够年轻的人来说，做现在最热门的事情可能不是一个正确的选择。去做现在还没有人做到的事情，可能才是更好的选择。
你自己未来会怎么发展？你会在 Google 待很久吗？ 呃……我觉得不该这么公开地说吗？我觉得应该不会。我还是会尝试去挑战自己，嗯，要「折磨」自己。但可能需要找到一个值得折磨自己的事情。
如果 AI 不是你本质上的兴趣，你会不会觉得无聊啊？你的挑战在哪里？ 我觉得它虽然不难，但你知道和不知道还是有差距的。比如，你从完全不了解其中的细节，到慢慢理解它的运作方式，这些过程我觉得还是需要花时间的。当你理解之后，我觉得对你未来做其他事情——不管是做产品相关，还是往别的 AR 方向发展——长期来说都是有帮助的。
你未来想在哪里发展？ 我觉得都还没想好该怎么「折磨」自己。你应该不会再跳去另外一个大公司了吧？ 应该不会了。
你觉得你在学术界（ic）学到的和在 Google 学到的有什么不一样？
我觉得还是挺不一样的。我觉得就是，你可以把一件事情理解得非常透彻，或者说把一条线——比如 Lage M 这条线的方方面面——了解得非常透彻。嗯，它给你这样的机会。而在 Google，更多的是一种横向的东西，就是它有很多不同的方面、很多不一样的人，然后能看到不同的视角，也能看到不同的研究方向。嗯对，就是你都可以看到。对，因为它够大、足够坚实，所以你能理解得更全面。
嗯，你有想过用 AI 来解决物理问题吗？比如你们那个理论物理，有人在做吗？所以我觉得不需要我去做。你对这个没有本质的兴趣吗？我觉得这件事首先对我来说目前不是最高优先级。我觉得如果哪天我把手头最高优先级的事情解决了，然后又没有找到别的事做，我可能会去做这件事。
你现在最高优先级是什么？ 我现在最高优先级是，就是把我刚刚说的这两件事情能够推进到一个——同时能够把它推进到一个比较稳定的状态吧。那个我觉得是我的最高 priority。但之后可能也会有别的 priority。但是说用 AI 做物理，我觉得已经有很多人在尝试了，多一个我也不多，少一个我也不少，不如让别人先做。
你有特别崇拜的物理学家吗？ 也没有……有是有，但是有点多，不知从何说起。物理学家有，人工智能科学家没有。嗯，但这跟一个人的成长经历有关吧。我觉得就是，成年人很难真的崇拜一个人，但小孩子很多会。哦，你崇拜过谁啊？
我觉得物理学家其实还是有很……真的挺强的。但就是大家都说的那种，100 年前的那些人就不说了，像爱因斯坦、海森堡这些就不说了。然后包括大家后来都知道的，像杨振宁、李政道这些也都不说了。然后像我之前做拉格朗日体系的时候，其实有一个人，他后来也跟我讲，就是那个……你会发现这些人有些异常的远见。就是他在那个时候显得格格不入，但你回头看，比如最开始做弦论 model 和这些分数量子霍尔效应相关的事情时，离最后大家搞明白这些东西，过去了好几十年。嗯，在那个时候他能够觉得这件事重要，一直在推进，我觉得这是一件很不容易的事。
当然，如果你非要在人工智能领域找一个类似的人，我觉得可能 JF 吧。就是在大家都觉得这件事可有可无，或者不那么确定的时候，他一直在这个方向上做。那我觉得这可能是一个英雄级别的人物。嗯，在他之后呢？嗯，我觉得可能也有一些英雄的集体，比如像 Transformer 和那些……你可以说那可能是一个英雄集体。
讲过一个特别让我影响很深的话：我在这个行业又没有什么导师，又没有什么旧……我想喷谁就喷谁。这可能就是不做 AI 的好处吧？不，是做 AI 出生的好处吧？对，就是真的没有什么负担，没有哪个老人是你的亲属，所以你觉得他傻，他就是傻，可以直接说他傻，没有所谓。
你以前也这样吗？ 我觉得我做学生的时候还挺收敛的。哦，但我后来发现装没用，对自己也没好处，对别人也没好处。还是更直接地表达自己的想法是最关键的。我觉得直接表达自己的想法，短期内一定会有人恨你，但长期来看大家会欣赏这件事。
我们最近听谁说要把这个名字逼掉，我觉得挺蠢的，而且蠢得始终如一。哦，他有没有可能是那个对的人呢？
我觉得他的话用 P 圈的话来说就是「not even R」，因为定义不明确，很难说他说的是对是错。对就是有一天可能发生同样的事情，他就可以跳出来说：「诶，我当年说过这个、这个、这个。」但你会发现，如果范师用这种状态，他也能说出同样的话。这就是我为什么很讨厌这种模糊不清的人，因为一个东西模糊就是没有意义的。
你为什么觉得他说得很模糊？ 没有正确的定义就是一种「模棱两可」。如果他有正确的定义，我可以解释他为什么有正确的定义；但他没有正确的定义的话，我无法解释他为什么没有正确的定义，因为他真的没有正确的定义。
我觉得还是一个定义良好的事情，就是他要——嗯，然后他的方式可能更偏向这种更传统的、new network modeling 的方式，而不是更……的这种。我觉得至少他是定义良好的，至于他对错与否，那我觉得是未来会验证的事情。
嗯，觉得大多数老顽固其实还好。就是我觉得——我觉得人上了年纪不一定会变成老顽固哦。人上了年纪会变成两种状态：一种状态叫「德高望重」，就是他可能会少指手画脚，还会用自己的资源去培养年轻人；另一种就是老顽固，自己也不懂还乱说话。嗯，所以人老了不一定会变成老顽固。
你说受了谁的刺激？ 我也不知道我受了谁的刺激，但我确实见过不少老顽固。
从什么时候开始变化的？ 就是说话非常直接，开始不收敛了。就是你过去都是这么想的，但是你不说。我觉得我过去可能也会比较直接，但没有这么直接。但做了 AI 之后就更直接了。这是没有束缚是吧？一是没有束缚，而这个领域足够客观哦。就是你其实不用太担心，因为自己的观点而惹到什么人，只要你的观点是自洽的——就是你有一套自己的观点理论，你不是随便喷人。那肯定是会惹到某些人的，对你是有——有一套自己的理解。我觉得其实大家是会尊重你的，因为最终你在这个领域做得怎么样，是有客观的评价标准的。
嗯，好。我们每位嘉宾都会推荐一本人生之书，要这本书真的对你产生过重要的影响。你要说的这本书是什么？
这是今天最难的一个问题。 我感觉你还是高看了我的文化水平。我真的没有什么「人生之书」——说实话。嗯，真的没有什么。好，最近读了一本书，最近上次那个奇异博士说的是线条小说？最近读的书就是——就是唐传的《自转》。唐传修术的字对。然后你要非要我说的话，可能有印象的……首先我这人确实不爱读书，我感觉就是我这个人文化水平比较低。然后我读书除了就是专业性的书之外，所有的书感觉都是闲书。嗯，像什么汤川的自传，其实本质上也是本闲书，但是我觉得挺有趣的，就是你能看到一个后来看起来如此成功的科学家，在他年轻的时候有一种挣扎感。然后可能还有一些……什么闲书，像小说这个。有本小说我很喜欢，那个《来自新世界》，是一部日本小说。我觉得你要非常让我推荐的话，我可以推荐那本。
哎，你最近有看什么电影啊？什么电视剧？玩什么游戏？ 什么都没有。
一个全球范围内的「受死」吧？ 一个全球范围内你喜欢的地点？
全球范围内喜欢的地点。 我觉得现在你要非让我选，我可能会选夏威夷，因为我很喜欢海。但是也很难说，因为之后可能去了更多有海的地方，就另有人喜欢了。
一个少有人知道，但是可能需要知道的知识点。 嗯……别相信老算命的吗？
你有迷信过吗？ 嗯，我本质上没有迷信过，但是我觉得有时候可以靠迷信来安慰自己。
我是说你有迷信过老顽固吗？ 哦，迷信老顽固啊？嗯，从来没有吗？
真的不怎么样，但我以前可能没有这么恨“老灯”，后来就变得越来越恨“老灯”了。为什么？可能就是当你自己有越来越多判断的时候，那些蠢的人就显得更蠢。但他们也没有伤害你啊，为什么会恨他呢？我觉得就是验证——每个人都有验证。欸，你的 MBTI 是什么？
不知道为什么这些年会出现一个对——就是年轻人对年龄大的人——这么不友好的词。这来源在哪里？不知道，没有研究过，可以问问 J 然，让他 deep research 一下，看看“老当”这个词到底是哪来的。
那么你心目中影响 AI 发展的几篇论文？Sequence to Sequence 是一篇，然后那个——我觉得是 Language Model 在 feature engineering 时代的巅峰。嗯，然后 Scaring Loss 是一篇，就是主要卡在 OpenAI 的那里面。Skin-L 也是一篇，是一篇将这种体系化的研究方式引入该领域的论文。当然，最后实际上 Skin-L 的做法可能并不正确，但它是第一篇将这个想法引入的，我觉得这很关键。
嗯，基于你当下的认知，一个关键的、重要的 bet 是什么？Rise。我们工作室叫“语言及世界工作室”。第一次听到这个名字的时候，你在想什么？我觉得这个名字有点正常得太平庸了。可以对，其实我觉得这个名字——可能放在十年以前是一个很独特的视角。但现在大家共识太多了。十年以前确实——对不起，我感觉我年纪也大了，可能不止十年了。就是可能在——什么，2014、2015 那个年代，大家都会觉得视觉是最重要的事。在那个时候，意识到语言是承载智能的重要载体的人，可能是一件不一样的事情。不过我觉得我们这个名字不是在 AI 的语境里面讲吗？嗯嗯嗯，那就值得深——
Google 应用
Google 账户
Frank Flynn flynnfrank135@gmail.com