来源指南
hello 大家好，我是小俊。今天我们的嘉宾是 Google DeepMind 的研究员姚顺雨。硅谷有两个很有名的姚顺雨：一个之前在 OpenAI，后来去了腾讯出任腾讯的首席科学家，他之前也来过我们节目；今天我邀请的是另一位姚顺雨，他此前在 Anthropic，现在在 Google DeepMind。我们从近期一系列的模型变化开始聊起。
接下来就是我对顺雨的访谈。作为一家公司来说，它能够实现这种比较 TOP 的机制是一件很独特的事，这对于其他模型公司很难吗？
很难。比如说 OpenClaw 就干不了，就是咱们也比较难。Manus 和 startup 的打法本来就不一样，因为 startup 重要的是 make bet，就是我得赌一件事。嗯，我觉得大家现在就是每个人都是冲浪的人，本质上是那个浪啊，不是你那个冲浪的人。AI 这个事本来也不太需要脑子，真的不太需要脑子。需要什么？我觉得这个行业最重要的特质就是 C，就是做事，然后对自己做的事负责任。
硅谷不是有两个姚顺雨吗？你要不要先给大家介绍一下你自己，然后给大家科普一下两个姚顺雨的区别啊？
可以。对，就是我叫姚顺雨，然后显然也有一个跟我几乎同名的朋友，我们俩主要履历也有一些 overlap，所以说可能看起来非常难以区分。我是我以前是做学物理的，然后我本科的时候在清华，那时候做凝态理论，后来去斯坦福做理论高能物理，和量子信息、黑洞相关的那些方面。然后离开斯坦福之后去伯克利短暂地待了两个星期的 postdoc 博后，然后就离职了，去了 Anthropic。然后在 Anthropic 待了一年，去年 9 月底 10 月初的时候加入了 Google DeepMind。
如果大家非要区分的话，我觉得最大的区分就是那个顺雨一开始就是一直都是做 CS，就是计算机相关的，然后我其实从某种意义上来说是个半道出家，我之前是做理论物理为主的。
你们是不是好朋友？你们好像大学就认识，而且是一个级的对吧？
他是一个什么样的人？你是一个什么样的人？你评价一下他，你也评价一下自己。
对对，我们本科就认识，因为我们本科是一个级的，都在清华。但他一开始就是学计算机的嘛，所以他在姚班，就是计算机科学实验班，然后我是物理，所以我在基科班。后来他去了普林斯顿，我去斯坦福，这可能也是另一个有点令人费解的点，就是好像这个普师世界里觉得斯坦福应该是学计算机的人该去的地方，然后觉得普林斯顿是学物理的人该去的地方，但我俩反过来了，所以说也可能产生了一些费解的事情。
然后我俩其实也还真的挺不一样的。我觉得他是一个比我有趣得多的人，我觉得我从他身上也是在过去能学习到一些很不一样的点。比如说他可能花了很多时间去思考，比如在 AI 方面，他花了很多时间去思考人和 AI 的交互，然后包括一些产品层面的事情。我觉得其实对我来说是一个很不一样的朋友，然后我也从他那学到了很多东西。
你们之前在硅谷的时候多久见一次面啊？你们现在是不是还频繁打电话？
呃，我们在硅谷的时候见面确实挺频繁的，可能每几个星期吧。但是好像见面主要是为了凑一块玩玩啥？就是真的就是纯玩，就是可能出去散散步、扯扯有的没的，然后可能有时候吃个饭、打个牌啊之类的。他回去之后其实我们也还是经常会打电话，最近一次电话聊了好像就是前一两个星期啊。
你怎么知道的？
呃，可能就是会过几个月，然后就聊一下大家最近的近况吧。
那是不是多次想把你拉过去？
呃，可能有这个意思吧。但是，但是我觉得不关键。你为什么不去？我觉对自己来说，我没想清楚吧。嗯，我觉得多半是我自己的原因。然后，呃，我也没有去任何呃中国的地方。然后我觉得主要原因是因为在去年的九月或者八九月这个时候，我觉得那时候我离开离开 Anthropic，离开之后决定要去哪的时候，最大的动机是我想学一些不一样的东西。对我来说，可能就没有去考虑，没有更着重地去考虑说能够我去领导一个项目或者领导一个 project 之类的。我更多的是那时候更多的是优先去学习一些东西。所以那个时候选择去。
我发现你们两个老被放在一些比较和讨论中。对你来说是困扰更多，还是享受更多？ 我没什么感觉。然后因为我这个人也不太关注社交媒体，所以我其实真的没什么感。嗯嗯。
因为那剩余他之前在去年的时候说 AI 进入了 the second half，进入了下半场，这个成为了一个非常有名的观点。你觉得今天的 AI 在一个什么样的时期？你能给他一个定义吗？ 对我觉得，对我来说，我可能看得没有那么清楚什么叫做上半场，什么叫做下半场。或者说这个定义一直以来对我并不是特别清楚。对我来说，确实现在 AI 进入到了一个阶段，就是我觉得大家都已经开始不那么担心一件事——不是能够做得到，而是担心这件事不是被良好定义。我觉得这是一个很大的区别。比如说，我觉得一年之前，就是可能去年年初的时候，那时候我在 SB。然后大家可能担心的事情还是说 OpenClaw 做得这么强，我们有没有机会能够追上，然后有多大的机会能够超越他。大家还很担心这个事。我觉得现在，就是在任何，至少在 JNOI 和这三家当中，我觉得没有哪一家会真的担心自己追不上。嗯，然后我觉得可能现在对大家更难的事情是想明白要去做什么。这个是一个，我觉得是一个 bet，是一个赌，但是也是我觉得也是一个很需要人的 insight 的事情。对，这也意味着模型的能力被拉平了，对不对？
` 标签中：
但是从另一方面来说，大家使用上确实还是能体现出区别的。我觉得就我个人了解到的信息，Claude目前仍然是比较通用的这种工具使用类的，Agent表现最好的。然后在纯粹Coding的方面，可能最近Codex稍微追上了一点，把这个把这个中间的Gap变小了一点。然后Gemini可能在纯的Reasoning和一些比较日常的使用环节下，目前还是比较好的。然后在Coding和Agent上，还处于一个比较接近的状态。
这些能力他们是有意选择优先发展哪个方向，还是说好和坏的区别就是能力问题还是意愿问题？
我觉得其实是有意愿的成分在的，尤其是在过去的情况下。主要是医院，就是当大家能从纸面上就看出区别的时候，那时候医院肯定是占大多数的，因为可能像 Claude 就一直更看重这种使用工具的能力。嗯，然后包括 coding，那可能 Cursor 有一段时间非常看 ing（指标），当然现在也开始看中 coding 了。那时候肯定是医院会占大多数，因为你花——你更有意愿的话，就意味著你能花更多的精力去构建合适的基础设施、合适的英法、构建合适的数据。然后，尤其是数据，它是一个从某种程度上来说很花时间、很花精力的事情。对，所以说那个时候肯定是一专注的。但是到现在这个时候呢，我觉得两方面其实都有，因为其实纸面上都看起来差不多，然后其实甚至你做一些更内部的测试来说，这个数字也都变得差别没有那么大了。然后这时候更难的事情就是，你该怎么去定义你的问题、定义你想要的行为。嗯嗯，然后在这个事情没有定义得那么清楚的时候，模型的很多差异其实来自于一些——其实是你想像不到的事。想像不到的是指的是，呃，我觉得当然想像不到的事就是，你现在去问，其实我很难给你一个特别清楚的答案，可能过一段时间之后回过头来看，我才能给一个清楚的答案。但是我可以举一个呃，想像不到的例子，就是比如说退回往回退，可能一两年、两年甚至三年的时候，那时候如果你比如说去网上取这些预训练的数据的话，你可能宣称模型就会发现模型在写代码。那时候当然没有这种 AIME 或者 Codex 的写代码，它都是写一段代码。那时候你会发现模型写代码会写得很——但是可能那时候大家不知道为什么，但是这个里面意外的原因可能就是，你从网上随便去——如果不做任何的数据筛选的话，自然的这个 code data 的质量就会比别的高一点，因为你去看网页，你会发现 GitHub 的质量是显著比别的正常网页要高的。
在进入我们今天主题之前，我想先聊聊我们最近模型的一系列的静文。就是你看最近大家都在讨论 OpenClaw 嗯嗯，你作为一线的研究员，你对这个新的产品形态是怎么看的？你周围有哪些讨论？ 我觉得有趣的是，我感觉这个事情在业外的讨论好像比业内的讨论更激烈。哦，业内没有人讨论。呃，院内有人讨论，但是我觉得对内的人来说，他并不是一个嗯，特别令人惊讶的事。我怎么说呢，就是可能在公司内部也有人已经做了类似的这种实验或者这种 demo，只是可能并没有作为一个产品去很认真地宣发，然后把它打磨然后发出去。对对，然后当实际情况就是，你去看这个 OpenClaw 最早版本的 GitHub 的那个 code，其实那个 code 从某种程度上来说写得也不是特别的干净。但是我觉得它很重要的事，是它给大家展示了这种可能性。嗯，那可能展示这种可能性之后，未来像 OpenClaw 作者自己也加入了，然后那可能就是这些模型的实验室或者说一些大一点的创业公司会很快跟上，然后把这个东西打磨成一个真正可用的产品。嗯对，所以我理解其实在 OpenClaw 发布之前，Google 就已经有人在做这个事情了，只是还没有发布，因为大公司的流程比较长。对，我的——我至少我个人所得到的印象是这样的，所看到的是这样。对，所以这种 layop OpenClaw 这种产品，它背后本身说明了什么？
在今年初的这个时间点上，我觉得其实技术上来说并不能说明什么。就是说，这个产品当然它依赖于模型能做的很多事情，但是那些事情的能力其实并不是到今年初才准备充足。我觉得可能在去年就是像 Opus 发布 4.5，然后当然那时候 OpenClaw 其实比 Open 和 3.5 在能力上都要强一些。所以我觉得在那个时间点，你做这件事就已经是可以展示出来了。然后其实它一开始发布也没有立即火起来，就是发布了之后过一段时间才活跃起来。所以说，我觉得可能对我来说，技术上它并不是一个那么令人惊讶的事，它是模型能力的自然延伸。对对对，我会这样觉得。但是我觉得它可能对大家的惊喜是说，以前可能大家都没有意识到，它让大家意识到了这件事可以做，意识到什么？就意识到你可以让模型做很多，就是你可以控制很多不一样的模型，然后做很多不一样的事情，然后把这些事情汇总之后做一个很长很长很长 horizon 的这种工作。我觉得可能以前大家并没有广泛地对这个形成社会共识，而这件事情给大家展示了这样一种可能。
你看从去年出火的是 Manus，今年出火的是 OpenCloud，从 Manus 到 OpenCloud 的变化是什么？是模型能力的变化还是产品的变化？
这也是一个我其实一直没理解的事。嗯，就是 Manus 和 OpenClaw 之间的区别是什么？是一个我其实自己没太看明白的事情，说实话。OK，嗯，或者换句话说，就是可能 OpenClaw 这件事火了，但是如果你要回头问我说为什么 Meta 做不了这个事，我不明白 Manus 为什么做不了。嗯啊，可能只是它没做对。但是你看，不管是 Manus 还是 OpenCloud，他们都选择了 Manus 卖给了 Meta，OpenCloud 卖给了 OpenClaw。这个现象说明什么呢？为什么他们都卖了？
我觉得我自己的感受是，一个东西如果要长久地生存，还是需要考虑一些壁垒的。壁垒是模型吗？我觉得至少目前来说，很多壁垒都是在模型上。但是未来会不会产生产品侧的壁垒？我觉得是说不定，就因为大家市场上就是这个老生常谈的话题，很多人就要谈论这个什么数据飞轮之类的事情。目前来说，我觉得没有哪一个场景真正地形成了数据飞轮，甚至 AI 纯粹原生的应用场景。我觉得目前除了 ent coding（就写代码）之外，没有哪个场景是 AI 真正原生的场景变得非常成功。因为从某种意义上来说，Cursor 其实是搜索的一个延伸。Claude 是搜索延伸，它为什么不是独立于搜索的？它是因为，因为你想，大家其实和 chat 最多的交互是：我有一个问题就问这个 bot，然后这个其实是搜索本来干的事。但是它带来的比搜索要强的一个事情是，它变得非常 interactive，就是它有交互性，你可以追问，然后它甚至可以帮你总结出一些通过它获取的一些信息，帮你把它压缩成浓缩成回答你问题的那个信息。这个是以前搜索给不了你的。嗯对，但它当然就不是完全一样的需求，但是从需求上来说，从大的需求上来说，是比较类似于搜索之前的需求。
Manus 和 OpenCloud 我觉得都是现在最有名的，但是最后都卖给了模型。那是不是说明壳还是难以逃脱模型的掌控？这个迭代速度不够快是不是？
我觉得在目前这种情况下，活下来大概有两种我能想像的方式。一种想像的方式就是像你刚刚说的——逃得足够快，即增长速度足够快，以至于在模型公司反应过来的时候，我其实已经占领了大量的用户资源。然后在模型公司追你产品形态的时候，我又自己研发出了自己的模型。我觉得 Cursor 就是图在走这条路。嗯，Composer 其实在这种 AI 原生场景下，几乎是我能想到的创业公司里增长最快的了。嗯，就算这样的公司，他现在也很有危机感。他有多有危机感？呃，反正我的感觉是，对 Cursor 来说，现在和 Claude 已经进入了一个非常微妙的关系：曾经他们是亲密无间的合作伙伴，Claude 提供模型，Cursor 产品后来自己有了 Codex，现在变得非常成功，然后 Claude 现在又自己试图做自己的模型，所以 Cursor 在努力地选择 Composer。所以说，我觉得都不用说未来了，其实现在就是他们已经处于一种比较竞争的关系了。那如果在竞争中落后的话，我觉得是比较麻烦的，因为代码这个事情，Cursor 这个事情，本质上是一种服务于专业用户的专业需求，是一种效率工具。效率工具很容易出现的一个场景就是「赢家通吃」。我觉得这个是不管对 Cursor 还是对 Anthropic，或者对任何一家做 Coding AI 的公司来说，可能都是他们比较担心的事。嗯。
对，然后这是刚刚说的第一条路，就是你长得够快，在别人还没想吃你的时候就疯狂涨，等他想吃你的时候已经足够大。另一种方式就是这个市场足够小，小到公司根本懒得去管。我觉得 Manus 和 JNY 就是这样的例子。嗯，就是这个市场小到可能虽然你说咱们努力一把，能不能做出竞争力？那个事可能花一些精力、花一些钱、花一些 data 是能做到的，但是足够小以至于可能咱们就不太会在那上面花时间了，看不上。对，我觉得那可能也是一种活下去的方式。
所以哪怕是今天，Claude 也没有逃逸出模型的手掌心。有谁成功逃逸了吗？Mourne？我觉得大的我目前还没看到，小的可能 Meta 这个例子。当然肯定有别的例子，只是我还没看到。对，小的我觉得会有例子。Replit 算吗？呃，我觉得他们有机会，他们有机会。反正就不能做那种通用的场景。我觉得这是创业者自己要决定的事情，就是你要不要抱著万分之一的生存机率去赌一把大的，还是抱著百分之一的生存机率去先吃一个小的事情。
如果是你，你会怎么选？ 如果是我，我内心肯定是想吃一把大的。但是，呃，真诚地讲，我觉得第一步是不能一步登天的。所以如果是我，我会选择先吃一个小的，但是我会选择一个有想像空间的小的。
你说 OpenAI 为什么要收 OpenCloud？他为什么要收 Manus？Google 为什么谁也不收？ Google 也收了，Google 买了 Windsurf 的人。OK，Windsurf，OK。呃，我不理解什么叫「你不理解」？
说实话，我觉得 Meta 买 Manus 这个事，我觉得对他们来说，最大的用处——如果抛掉花了多少钱之外——最大的用处是获得了一批很好的在亚洲的产品团队。在亚洲说明什么？
因为我觉得一方面显然大家都知道中国的AI人才储备还是非常丰富的。虽然可能目前从技术上、纯技术上来说，中国的AI还没有真正追上美国，但是显然中国有很多优秀的人才，不管是从技术上还是从产品上。我觉得可能中国本质上的人才比美国要更好。
所以对他来说，我觉Meta在新加坡成为了他的一个据点，他可以从那里吸引一些比如来自中国、新加坡或者东亚的人才。然后，呃，我其实没有特别看明白这个产品本身对Meta来说有多重要，或者说换句话说，为什么Meta不能自己做这个产品？但是不管是Manus还是OpenClaw，它事实上就是诞生于外部的团队，为什么不是硅谷的这一帮研究员做出来的呢？
有没有反思过这个问题？
对对对，我来讲，这个问题其实……我觉得一个公司一旦变大了之后，他的负担就……比如我作为一个研究员，我们可以做一些看起来很有趣、很有特点的产品。但是一旦把这个产品公开给公众，要负责的事情是非常多的。第一，你这个产品不可能一上线就告诉所有用户“你得再去买一台电脑干这个事，否则它就有可能获取你电脑上所有的权限，然后把你的系统搞崩”。嗯，作为一个大公司来说，你不，Google是不可能提供这样的产品出去的，对吧？
嗯，然后产品要花很多时间打磨，你要确认法律上没有一些风险，用户使用时又不会损坏自己的品牌。然后如果把它送出去了，你可能还要给他比较固定的一些资源去SVE这个模型或者SVE这条产品线。所以对大公司来说，我觉得还是有挺多负担的。但是对于个人来说无所谓啊，我反正是一个开源的项目，我带马拉松又如何？你帮我一起来写吧，对吧？
但是我觉得不管是Manus还是OpenClaw，它其实指向了一个方向，就是可能这也是2026年的某种趋势的可能性。
你对2026年有怎么样的思考和预期？
呃，我觉得其实有太多的可能性。然后对我来说，从模型能力上来说，我觉得……模型有时候我特别说这个口号，就是“这我觉模型做到T with finite context used as infinite context”，换句话说就是你用有限的context length去训练它，但它可以在使用的时候用非常非常长、甚至接近于无限的context。我觉得这件事今年是有机会能够实现的。然后这件事情实现之后，我觉得会解锁很多新的应用。因为举一个最简单的例子，就是你有可能可以让这个模型跟你持续地交互，持续地获得你的信息，然后它在运行的过程中会持续地根据当前的场景和你的意图，可能把那些它觉得不重要的信息扔掉，就成了大家梦想中的个人助手。我觉得从技术上来说，这件事无论如何今年都会实现。但是当然，我觉得现在大家没有达成共识的是技术上怎么去实现这件事。嗯，现在有很多技术路线，但现在我觉得更多的是在尝试哪条路线能够跑通。同时可能有好几条路线都能跑通，那我们到时候就要在实验上去测，在用户常用的使用场景下哪条路线的效率是最高的。我觉得现在更多处于这个阶段，而不是说大家没有想法。结论是大家有想法，但是要确定哪个想法是最后的方案。
站在这个2026年第一季度的节点，作为一线研究员，你觉得模型的进步速度在放缓吗？
我觉得完全没有——完全没有——我觉得完全没有它的速度曲线对比25年、24年的变化是什么？呃，这个很难量化地说，因为你得给一个标准我才能量化地告诉你。因为如果你给的标准是，比如说我就看在某一个benchmark上，比如说SWE-bench上，它每一个月涨多少个点，那这个事肯定会变慢的，因为根据定义，这个MMLU最高就到100%，所以你越接近那肯定是越跑得越慢。嗯，但是这可能并不代表用户体验这个模型的能力增长，因为可能从50%到60%它可能感觉好了一点，但很有可能比如说从70%到75%它反而比50%到60%那个还多。嗯，这是完全有可能的。如果是80%到90%、90%到100%，这个感受会更显著，那也不一定，因为可能过了——可能到80%到90%用后就发现没有任何区别，甚至还变差了。
你说完全没有变慢，你是基于什么标准？ 我觉得是基于我个人作为一个研究员的感觉，就是我个人得到的感受是这个模型学东西的能力越来越强了。以前可能让模型学会干一件事情需要动很多脑筋，但现在可能不需要动那么多脑筋了。最重要的事是你要把这个问题定义清楚，然后想清楚怎么去构建合适的数据——当数据现在数据就更宽的指像环境之类也都包括在内了——然后剩下的事情好像很多时候是瞬然的了。
对学习能力变强是为什么呀？ 模型的学习能力变强，我觉得可能一方面原因会很多，但我觉得可能一方面也是因为预训练其实在过去的几个月里，我觉得还是越来越强了的。预训练对模型的预训练其实在过去几个月里还是变强了。嗯，我觉得这个可能是一个——从某种程度上来说比较有争议的事，因为几个月以前我觉得就是很多人已经在讨论预训练的这个scaling law是不是已经到头了。嗯，我的体验是没有，而且我的感觉是在未来的四个月也没有看到到头的迹象。
觉得到头的是为什么呢？ 我显然不知道大家觉得到头的原因是什么，因为我自己没觉到头。但是我觉得我的猜测是，一个人觉得一个规律到头了无非有两种情况：一种情况是他觉得这个规律的适用范围到头了，就可能从根本上讲scaling law就是没有办法无穷延展下去的，维持有可能是对的，但是这是一种猜测。就是这个人可能觉得这个规律范围到头了。一种可能是这个人觉得这个规律其中的一个条件不能满足了，比如说他觉得数据就已经撞上墙了，那我完全没有办法把它延续下去了，这是另外一种可能性。但其实还有第三种可能性，第三种可能性就是其实嗯，他这个工作哪里有一个bug，他自己没发现，所以他觉得到头了。
哦，对。我觉得从我的观点、从我的观感上来说呢，我觉得可能绝大多数强的人是因为第三种——是有bug。嗯，是哪种bug？我觉得bug是有很多种可能性的。比如说一种可能性是你做的时候一些科学的假设没有做对，比如说你选什么样的模型规模、每一个大小的模型选什么样的期待的训练的数据量，然后怎么这个数据量、这个数据是从哪里选，然后有可能是这些比较科学的选择没有选清楚，是一种可能性。但我觉得还有一种可能性就是纯粹的bug，这个其实在业界我觉得也不鲜见，很多时候修好一个bug带来的提升是远大于一些很神奇的技巧的。
对哦。然后呃，大家还有另外的情况，我觉得我就举了这两种例子，反正我见到过比较多的情况。
那你们的bug怎么办？你们怎么解决bug问题的？
我觉得这更像是一个信念的问题，因为当你遇到一个 bug，你觉得它不能解除，就会说这个到头了；当你遇到一个 bug，觉得「哦，这个肯定可以解决」，那你就会觉得这还没有到头。因为肯定每个人都要遇到 bug。对我来说，我觉得其中有一些比较鲜明的东西，但更重要的一点是：当一件事情和你预测的不一样时，你能不能系统性地排除各种可能性？这个我觉得是一件很重要的事。这也是我觉得咱们和Anthropic做的比较，尤其在预训练上吧——就是当某一个尺度上的行为可能和你想象中不一样的时候，大家能够去设计合理的（我们所谓的 application）合理的实验，能够看出来测试你想象中的可能因素是不是真的因素。我觉得这种系统性才是关键。
你觉得模型能力还能提高，那它的驱动力——数据、算法——你觉得主要来源于哪个？ 呃，我觉得其实都有，但从某种意义上来说，数据和算力其实是很强关联的一件事。数据和算力，因为你算力上去了，自然就会需要更多的数据；数据上去了，你就自然需要更多的算力。然后算法上来说，我觉得算法的作用往往有一个相变：算法有一个阶段是你完全没有搞清楚该怎么做，那个阶段算法会非常非常关键，因为你完全没有搞清楚怎么做的时候，可能就完全没有办法 scale up，然后可能就卡在那了。但在某一个点，你可能发现了算法中最重要的那件事，它可能一下就从完全不能做变成了能做，然后之后算法的提升更多的是一种比较平滑的提升，就是它可能从量上提高了你的计算效率。
比如说从语言模型的预训练来说，那可能算法上的这个跳跃过程就是发现并发展出 Transformer 这件事。但发现之后，更多的都是慢慢地、平滑地让它的效率或者使用算力的效率变得越来越高了。所以现在的驱动力是算力和数据，我觉得在现在比较清晰的框架里面，主要的驱动力是算力和数据。
清晰框架是指？ 比如说预训练和后训练，不管是基于强化学习的后训练，还是基于监督学习的后训练，在这两个比较清晰的 paradigm 下，确实算力和数据是主要的驱动力。但不可否认，可能有别的方向的驱动力不是算力，比如说多模态生成。那个我觉得可能还是一个算法上没有太想清楚的事，所以还是一个科学问题，还没有解决。但自然语言的生成我觉得目前这条技术方案撞到头之前，在科学上是比较清楚的，但工程上还有很多很多要做的事。
你觉得预训练还能提高多少？通过预训练提升模型能力还有多长的路可以走？可以预期到吗？ 就是这样，当你没有撞到头的时候，你其实不知道这个路有多长。我能看到的就是现在还没撞到头，但我也不知道哪天会撞到头。如果真的让我去估计一个时间线的话，就像刚才说的，我觉得接下来四个月还是会继续，但 AI 这个方向没有人能预测四个月之后的事。
所以过去几个月你在看预训练和模型能力的时候，你还是很兴奋的？这是你周围的普遍心态和状态吗？是在 Google 一个小环境里面，还是说在整个矽谷的环境里面？ 我觉得是的，我觉得是的。
我觉得很难说在整个矽谷，因为矽谷是个太大的「衣服」——可能做产品的人对产品很兴奋对吧？对做产品来说，他们最兴奋的可能是有无分靠（嗯哼），但对做模型的人来说，可能就是我们会对这种模型的进展更兴奋一些。对我来说，在做模型的人来看，兴奋是一个共识吗？
在过去四个月，我个人认为是的。哦，我个人认为是的。至少在我能接触到的范围内，我觉得和Google大家们来看，大家可能想得更多的是：我们的AI会不断进展下去，很快我们就要被替代掉，替代掉之后我们该干点啥？而不是「模型撞到头了该怎么办」这个问题啊。
为什么在过去几个月，coding的发展速度是最快的？为什么是这个场景啊？
我觉得coding这个场景首先，coding这件事在过去几个月发展最快。我觉得Coding这件事其实从Claude 3.5（外界有人管这个叫C 3.6）从那之后一直都处于高速发展的状态。嗯，然后我觉得那个是去年初还是前年底？那个是前年10月份，前年10月份OK，对对。嗯，应该10月份有可能，10月份或者差不多那时候。从那之后，我觉得一直都属于高速发展的状态。
我觉得Coding这个场景有两个最大的优势： 第一个优势就是它的feedback signal，就是它的回馈信号是很好定义的。比如说你去，比如说像software engineer这种task，有时候经常情况就是我需要写一个code实现一个feature，一个特征。这个特征需要的是某些输入会得到某些输出，这就是一个很容易能够测试的事情。所以它的回馈信号非常清晰：你输入和这个输出能够对上，那就说明你的实现是成功的；不对，那就说明不成功。但这只是一个例子，就是在这种和写code相关的场景里面，有很多很多这样良好定义的任务。
另一个比较大的优势是coding的数据有一个非常天然的基础。嗯，这个基础就是GitHub。GitHub上汇聚了过去几个decade、几十年很多很多优质的程序员所写的代码。嗯，然后从那些代码出发，是可以构建出非常非常多的环境。我觉得这两件事从模型的角度上来说，是为什么Coding可以做得这么好的原因。
当然，我觉得从产品上来说，还有另外一方面的原因：coding这个产品的使用需求，从某种程度上说是比较统一的。它不像你去做一个社交软件或者游戏，可能每一个人都有不一样的品味，然后你可能很难满足每个人的需求，那可能就需要推荐算法。但coding这件事好的地方在于，优秀的程序员写代码其实风格是比较类似的。什么风格？简洁、单一，对，好的代码是不脏的，是有一些共同的标准的。比如说像你说的：结构清楚，是未来的开发，然后有合理的抽象。当然还有别的很多很多标准，但我觉得好的代码往往是有比较共识的标准的。所以这件事从产品上来说，其实让coding这个产品变得更简单。
你现在的工作会用Cursor写代码，它能帮你提高工作多少倍啊？
你问了一个我差点会不会开除我——Google 不能用的哦。好的，对，就是我觉得对我来说，一个保守的估计可能 90% 的 code 是模型产生的。但是可能就是我需要花很多时间去看这个 code 是不是写得合适、写得合理，是不是真的是我想让它写的。然后我觉得有了 AI 辅助工具之后，可能写 code 这件事最重要的地方变成了你怎么去设计，怎么去设计你这个 code 的逻辑，然后它需要和哪个文件相关联，需要做某些哪些事情。然后你需要给这个模型可能给一些合理的 cxt，就是说比如这个 code 你可以做一个 reference 去看一眼。对，真正去输出 code 的，我觉得模型比人的能力强太多了。所以说，对我来说，你要实际去数有多少行 code 是我自己手写的，有多少行 code 是模型写的，我觉得保守估计模型写的超过 90%，不保守的可能就是 99% 或者 100%。
剩下 10% 是它不能写，还是为什么你没有让它写？ 呃，保守估计 90%，给我自己点面子。我觉得它不能写而我能写的部分已经越来越少、越来越少、越来越少了。过去可能是什么样的是它不能写的？我觉得很早的时候，就是可能在一年半以前，那个时候市面上其实说白了就是只有 Claude 一家能够真的写这种软件工程 code 的。嗯，那个时候可能还是能体会到很多很多缺陷的，比如说它有时候可能写 code 就只关注这一个文件，它就不会很关注那种多个文件之间的关联。然后如果一个，比如说一个 class，它的定义其实藏在很多层以后，或者说它其实没有直接被套在这个直接的数据里面，可能这个模型就找不着。现在我觉得这个事已经越来越少了，真的越来越少了。
你作为一个 researcher，你的写程序的工作量能够是过去多少倍？ 因为从写 code 的角度来说是比较难量化这件事，但是如果从比如说我做实验、然后实现一些 idea 的效率上来说，我觉得可能比起一年甚至一年半以前，可能都是 20 甚至 50 倍的这种加速。因为现在模型真的变得就是可以很离谱，就是你可以同时开好几个，然后好几个 IDE 同时去试，甚至有些时候这个模型可以帮你监控一些实验、监控一些结果之类的。所以说还是真的是一个挺大的效率提升。但是，如果从个人工作时间上来说，我觉得它好像让我工作时间变更长了，这是为什么？
就是因为开发的速度变快了之后，就越试越想试，有越来越多的想法要去试。所以说感觉以前你可能存在说，你有一个东西觉得这个文件以前没见过，嗯，自己看你搞得不是很明白，你要去花时间去找那个人，让你约那个人，可能就几个小时之后。现在就不是，你就看到这个文件你不懂，拿去问一下 Claude 或者 Cursor，可能五秒钟就告诉你结果，你就接着干了。所以说从工作时间上来说，我觉得好像工作时间反而变长了，而且工作的密度也变高了。
好，Google 已经不是那个 Google 了，是吗？ 不是那个养老可以养老的 Google，不是那个 work-life balance 的 Google。我感觉在 AI 这个领域，没有谁可以养老。所以你现在早几点玩啊？
我一般可能早上九点钟开始，然后晚上……到公司吗？
九点我就早上九点钟回，可能先起来看一下邮件，然后看一看我前天晚上的实验，然后到公司可能一般十点左右。晚上如果我一个人在美国的时候，我可能就会待到可能十点、十一点这样。当然，如果我家人在我、老婆在的话，我可能就会早一点回家。但在家反而也是——所以我觉得这个战埃这个领域没有谁是在躺着的，除非就是你已经完全对技术没有兴趣了、对自己没有追求了。嗯，那你躺着其实也没有人管你。嗯，但是我觉得大家还是比较S追问，就是还是自己想干。
你觉得其他的领域会出现更多这样的 Cloud Code 的时刻吗？Coding 之后会在哪里爆发？
你问了一个好问题。我要是看清楚了，我可能已经出去创业了。对，但是确实，除了 Coding 之外，我们已经能看到对很多别的方向已经产生大的影响。但只说那些方向可能并不是一个好的市场上的方向。比如说，好多现在做基础科学的研究，比如做数学啊、做理论物理，好多人其实已经大量使用 AI 工具。因为过去你可能像我，我们做 AI 研究其实很像，就是说你可能想到一个想法，你想跑一个数值。学物理的人又不是很会写代码，光明白怎么打开这个编译器把代码跑起来可能半天已经过去了。现在就没有这个烦恼了，就是你现在想试，五分钟之后代码写完了，你就可以开始了。对，然后甚至像 J（DeepMind）发布之后，有很多基础科学的研究人员就把这种，比如说数学推导啊、数学证明啊，然后甚至就是去看这些不同的文章，然后归纳这些事全都交给模型了。所以说，已经我觉得对除了 Coding 之外的方向产生了影响。当然，那些基础研究你可能很难变成一个万众瞩目的事情，嗯，除非你真的发现了一个以前人都没发现的很妙的理论，是吧？比如 AI 产生了3理论这样级别的东西，那可能会变成众矢之的。但那个时刻可能还没到来，但是影响是已经在了。
哇，AI 好神气啊！它为什么首先上来做的都是人类觉得最难的那部分？
我觉得这是一个特别好的问题。就是我觉得过去的，嗯，在我人生的阶段里，大家往往会觉得最智力上有挑战的工作，反而是那些比较理性的事情、比较客观的事情。嗯，比如说数学、比如说写代码、比如说 AI 研究，嗯，还有科学研究。对，就是越是这些事，其实 AI 越容易做好。因为你一旦想清楚这个事怎么去评价，你就知道怎么训练。对，人为什么比较难呢？我觉得你看，人都是智力分配最高的那部分人做这些工作。对，但是可能未来就不是这样了。未来会怎么样？我觉得未来其实会发生一个改变，就是那些 AI 其实没有那么容易做，但是反而是人可能做比较好的。比如说做产品，我说实话觉得做好一个好的产品经理是一个我现在想不明白该怎么训练 AI 去做的事。这是为什么？因为没有标准，没有标准就是刻度什么叫做一个好的产品？我其实想不太明白，没有一个很完整的标准。你一定是做出来之后给人用了，你才知道它好，大家才会说它好。对，我觉得那个就是一个反馈信号很不明确的事，那个我就不知道该怎么去训练 AI 做。
对程序员什么时候会被彻底取代吗？会有这一天吗？
嗯，我觉得这一天会来，但是它不会是一瞬间的到来。就不会是程序员都还在，过了一晚上第二天程序员全被开除了，不会是这样的。它一定会是一个渐进的过程，但是大家现在已经看到这个渐进的过程，因为有些公司已经开始裁员了。
对，我觉得从某种意义上来说，AI 从来都是一个很好的东西，但从某种意义上来说，它可能也是一个很不幸的事。就是 AI 是一个很 centralized 的 technology，它会让少部分人变得更强，但会让大部分人失去他们的独特价值。对，所以说我觉得对于传统的软件工程来说，以最后变成的结果可能就是现在千分之一的人干了过去所有人的工作，拿着现在100倍的工资。
那你对陈讯有什么建议？
哎，我觉得可能……呃，接受新事物吧。就是我觉得很重要。我觉得未来程序员可能很重要的一件事是怎么和 AI 去有效地协作。嗯，比如说有很多事情是 AI 可能做不了或者做得不是那么好的，比如说怎么去合理地设计一个事情的实现方案，然后怎么样设计让它可能跟这个公司未来的发展比较契合。那这些东西可能你很难去告诉一个模型让它理解，这些事可能还需要人去做。但是可能像具体的、就是很具体的、像过去很多成熟员工做的工作——比如你的经历告诉你实现这个方案下周五之前给我——这样的工作未来可能就不会再存在了。
那千分之一的程序员，或者什么样的程序员，他们的特质是什么？千分之一是个叙述，我真的不知道会是千分之一还是万分之一还是十万分之一。嗯，也可能是1%。你不要那么悲观。呃，我是一个著名的悲观主义者，所以说也不要太什么。对，我觉得未来好的程序员首先从技术上来说，他一定是非常强的，因为如果你技术上弱，那没有什么道理还不能取代你。但技术强可能不会是唯一条件，它可能是个充分条件。
另一个事情我觉得会很重要，就是你得能够理解你的这部分工作在一个大的组织或者一个大的公司里该怎么配合进去。嗯，这件事情可能也是一个重要因素。然后当然还有可能别的很多事情，比如说这个人的规划能力是不是足够强。他规划能力强的话，他可能可以同时把一个很复杂的大事情拆解成很多相对较小的事情，然后交由不同的人去做。但是现在来看，这三种能力是重要的，可能 AI 还不能完全做到。我代表六个月之后不能，可能六个月之后你过来问我，我发现最后一个 AI 已经能干了，那就只剩两个事。再过六个月，可能剩下的两个也能干了，那可能我的回答就会变得更悲观。所以说没有人能预计六个月之后会发生什么，我只能说从现在的观点来看。
刚过去的那个春节，很多人关注另外一件事情是 Coden（CodeGen） 会让 Google 焦虑吗？我觉得其实……呃，有可能有，但是这个焦虑的情绪目前还没有传导。可能让 Google DeepMind 负责多模态生成的团队会有一些压力。但是如果你要问我的话，我觉得我可能不觉得他们有什么可焦虑的。就是我觉得并没有体现出什么更多的优势，更多的是我觉得自己在——不管是这个产品的效果，还是可能在数据上之类的这些细节——会做得非常非常好。我觉得确实是自己过去在多模态生成一直以来都有比较强的优势，但是我觉得这……我个人没有体会到他是一个量级上的变化，那可能就不足以说让大家非常的焦虑吧。对，但是肯定是有压力。
对，CodeGen 它的产品能力来自于模型能力还是产品能力？
呃，我没在自己也干过，所以我也不知道具体的细节。但是你要让我猜，我觉得可能模型还是占大头的。嗯，能力的好来自于什么？来自于数，因为算法可能没有本质创新。我觉得算法首先就是因为刚才多太属于咱们说的，还属于科学问题。多模态生成属于科学问题，对，多模态生成还是有一个比较科学的问题。所以说多模态理解解决了吗？呃，比生成肯定是要更系统，有更系统的理解了。但是比起呃，Tax Token 来说，肯定还是没有那么实，还没有那么固定。对，我觉生成上可能就是因为它是一个还没有办事上还没有固定的事，可能每家用的技术都会有一些大的或者小的区别。然后现在更多的只是能看到说，效果上来说，可能自己和 Google DeepMind 属于在效果上来说做得比较好。嗯，所以它可能也是来自于细节做得更好。对我，你如果要让我猜，我会猜数据，数据啊。你要让我猜，我会猜数据，但是就我也没猜自己的干过，所以也是我硬猜的。嗯，你怎么看从 Google 去自己的姚顺雨啊？
我喝得喝评价永会，我觉得我觉——我我当过去没有和永会一起工作过，所以我其实真的不是很能给什么很好的评价，很客观的评价吧。就说但是我觉得，我去了咱们 Meta 之后，呃，到的更多的是永会好的一面。就是我觉得他是，我通过去看他偷——去看他以前教过的代码以及他带过的项目，我的感觉是他是我讲到的少数层级非常高，然后人也很 Cursor，但是还有很强的技术能力。我觉得是非常非常少见的，所以我觉得我可能是还没到能够评价永辉的这的水平呢。但是要让问我，说的话，我觉得永会是非常非常强的。嗯，你说站在 2026 年的这个 Q1 拍一张快照，你觉得中美的模型能力差距是在放大还是缩小？差多远？
我觉得呃，如果现在放中快照去看过去一年的发展趋势，或者过去一年半的发展趋势吧，显然这个中美之间的 GAP 是越来越小了。但是最后这个 GAP 会不会完全弥合，甚至中国超过去？我觉得是一个不清楚的问题。我觉得对中国的 AI 研究员来说、研究机构来说，也是一个机会。然后呃，我觉得一个很真实的事就是，中国在实际的算力资源上来说是占很大劣势，但是这个很大的劣势可能反而逼出了一些有趣的事。比如说，中国的模型公司其实对 distillation 就做得比别人更好。嗯，对，最近达瑞不是点名了三家公司？真流？他对，我觉得其实可能是一个征兆。这个事存在是一个心照不宣的事实，但是我觉得征流也有不同的方式，就是也有硬征和聪明的征两种不一样的选择。嗯，应征啊，应该是最觉得最简单的例子就是，我从 Claude 里面取出一堆它生成的，然后强行在上面做训练。这个如果干这样的事，我就觉得首先商业上也不是很道德，然后治理上来说也比较愚蠢，因为干这个事的公司其实本质上来说，他体现出来的一件事就是他其实都不知道自己想干嘛。他能干的唯一件事就是超越别人，然后让自己的模型数据上能看得好看一点。对，但本质上就说明他自己都不知道该干嘛，这是硬征。但是其实征流也有一些很有趣的科学问题，就是比如说，我是不是有一种可能？就随便举个例子，就是有没有可能是我生成我自己生成数据的这个链条当中，用到了别的模型作为辅助？或者说，我自己模型生成的答案用别的模型作为它的评价者？这个其实是一个我觉得商业上来说比较灰色的地带，但是从技术上来说其实很有意思。因为你想，其实从某种意义上来说，可能中国的实验室成为了做 MTI agent 训练的先驱哦，而且是真正的 MTI agent。因为他如果从不同家的模型里，用这种比较聪明的方案把它们融会到一个训练系统里的话，每家模型它可能是分布很不一样的，它的语言的分布很不一样的。这个是真正的「众人拾柴火焰高」，他可能比起比如说我用好几个 Gemini 来一块做是一个基本上更有趣的事。所以说，我觉得对我来说，聪明的征，我不知道这个商业上最后会不会变成一个很明确错或者很明确对的事，但是技术上其实很有意思。
你刚才说的这两种征流，没说的是谁？能不能后期把名字避掉？
我，我首先没有在中国 Live 干过，所以我不知道确切的事实。但是我的感觉就是，我们应该是应征了，然后可能曾经应征过，但是后来可能慢慢也在努力向软的方向转化。我觉得比较明显可能正流的比较少的是 Meta，自己。我觉得自己是，我感觉到这个模型还是比较有特点的。对，特点体现在哪里啊？
比如这个模型，你说他有多聪明了？我觉得豆包是肯定没有 Claude 和 Cursor 的聪明的。但是豆包首先比如说，豆包的语音生成非常非常强。哎，这个很难吗？在技术上确实豆包是做得最好的，因为我发现我生活上的问题，我只想问豆包，因为它很快。但其他模型为什么不优化这个产品功能呢？我觉得还是跟他的用户群体有关系。在美国，我觉得大家的这个想法更专注于怎么能够提高工作效率，你生活没有一些困惑吗？
我生活中首先我个人确实是一个生活上比较无聊的人，所以我生活中没有很多有趣的困惑可以去问豆包。我生活中更多的困惑都是技术上的困惑，问咱们这种聪明的模型就是最好的。对我没有什么半夜去打豆包情感电台的需求，不只是情感，就是很多比如说你做饭，你可能会遇到一个什么问题，你可能其实需要一个人告诉你，但是你又不知道没有这样的人。嗯，那些我觉得可能更多是数据上的问题。然后可能更多的只是说，美国的公司现在主要的优先级是在智能或者工作效率上。嗯，未来有天会不会变成这些日常的事情？我觉得是有可能的。事实情况是，你如果去问这种日常话题，其实你能发现咱们每一代到另外一代会做得也越好。嗯，所以我身边很多朋友，包括我自己以前也是，就是我以前在的时候可能写C会去问C的，但我可能日常查个什么东西就会去问Cursor。对，你用我帮没有？我其实只用过一两次，我发现你们都不怎么用。呃，是不是有比试？
首先有智力的比试吗？
没有没有，不至于。就是我觉得首先就是，跟在中国的人试图用美国的模型会有一些复杂的事一样，我在美国用中国的模型其实也是挺复杂的。第二呢，就是确实也没有，尤其我觉得我可能生活中工作还是工作休闲的时候，就是找不一样的工作，所以对我来说我的最好伙伴就是Claude和Cursor。但是呃，可能对别人来说并不是这样，所以可能也只是我个人的问题。我自己用豆包的那一两次，因为有人给我展示豆包手机。嗯，对，那你怎么看豆包手机？
我觉得是一个很好的想法。我个人觉得效果上来说，其实做得也不错。当然我不知道的是技术上来说，它的优化做得有多好。就说他，我觉得他实现一些任务的实施从效果上来说是没什么问题，但我不知道它会有多大的消耗。如果这个消耗非常非常大，那可能是一个基础上需要解决的问题，因为你并不希望让你的模型去帮你订了一张高铁票，结果花的钱比高铁票还贵，这个肯定是一个不能接受的事。所以技术上来说，我个人不清楚它有多成熟。然后我觉得长远来说，对大家来说还是一个挺——不能说惊讶吧——但是让大家觉得挺兴奋的事。然后我觉得可能苹果以前也想干这样的事，只是苹果可能自家的模型一直不太行。苹果好像不是在他的AI战略，现在我我觉着呢，苹果一定是在AI战略了，因为曾经Siri手机助手是苹果发布会里一个非常非常重要的闪光点。嗯，但是自己的模型没跟上趟，现在可能要通过和咱们合作来试图这样。
至于现在他是不是重视？
首先我也不知道。你要让我猜，我肯定觉得是重视。但你要让我解释他为什么从外界来看没那么重视，我的唯一猜测就是，如果你外界来看就显得很重视，还做不成，那就显得很蠢啊，晚尊啊。对，不在意哎。
我们说一下豆包的模型啊。你刚刚说豆包的模型比较有特色，你们具体一点。一个是语音做得很好，这是第一点。
我觉得语音做得很好，是我能感觉到最有特色的事。就是我觉得语音这个效果，可能是客气的说，可能是全世界最好的之一；不客气的说，我觉得就是全世界最好的。嗯，所以就很难吗？
呃，我自己没做到那个地步过，所以我也不知道是不是难。但我觉得可能是一个很费功夫的事，不管从数据上还是各种优化上来说，是个产品的事还是个模型的事？它一定会是模型的事。它有可能也包含一些产品的部分，但一定是一个模型的事。嗯，对。然后我觉得这是一方面。另一方面，我自己感受就不多了，因为我其实用的机会没那么多。那可能就是更多的是来自于，就……清好友的反馈，也就说这个「多巴」这种关系，就是 F2Talk（聊起来很有气氛）。但我觉得那个更多的是一些主观的反馈了。嗯，我觉得它的一个是语音，然后一个是生成得很快，也是一个很重要的点。因为很多模型它都在给你展示思维链，但是我说那个生活上的琐事，我不想看它的思维。对这个时候，我觉得技术上并不难，只是可能大家目前还没有花更多时间在这上面。然后实际情况是，如果你去尝试 3.1 和 3 的话，你会发现 3.1 在完成同样一个问题的时候，已经会比以前快很多，废话少很多了。所以我说，我觉得这个不是一个……在我看来不是一个技术上的难点，它更多只是什么时候去重视、去做这个事。我觉得可能就是现在，现在美国的这几家（如 Anthropic、Meta、Manus、OpenClaw/Claude、Cursor/Composer）还都处于在努力把智能的上限往前不断推进。
呃，当前呢？ 呃，当然他也肯定是在推进上限的，但是我觉得他可能在用户的易用性上也做得不错。嗯，最近还有一个话题就是中国的机器人很火，在春晚上。我不知道你对这个有没有什么观察？看过一些表演，嗯，也在亚马逊上搜过一些价格，确实很惊讶，它居然这么便宜。买了吗？ 没买，我买的也没什么用。 但是确实，我以前会……我不知道，我以前脑海里觉得这种人形机器人，当然软件层面其实没什么，但主要是硬件。我觉得硬件想做得这么成熟，可能怎么也得是个什么大几百万美金这样的。但是好像我去看了一下价格，比这要便宜很多。嗯嗯，我觉得这还是体现出中国在硬件这个产业链上还是很有优势的。但是我并不知道，它作为一个机器人硬件来说，我觉得确实是非常非常强。然后从软件上来说，没太看明白。我觉着机器人的模型也是一个目前非共识比较大的事情。怎么说？
就说他，我觉得机器人的模型可能更多地处于 feature engineering 的时代。就是你有一个给定的环境、给定的场景，你去优化这个场景，大家是知道怎么做的。嗯，但是做 RL 嘛，做强化学习，构建合适的虚拟环境，还是虚拟的这种数据，然后你去做训练是可以提高的。但是它没有很强的泛化性。嗯，我觉得这个就是有没有泛化性，其实是很多 AI 方向的一个分水岭。就是一个确定的场景、一个很单一的场景，能不能做好这个事？不是最近这几年才解决的，嗯，十几年前就能干对吧？就是像语言也是，语言在这个基于 Transformer 这种类似架构之前的时代里，并不是说完全做不了对吧？那时候你也可以训练很强的模型去做翻译，嗯，你也可以训练一个很强的模型去做语义分析。但是你不能做的事，是水平地提高所有的能力。嗯，这个我觉得是一个分水岭。然后我觉得 LLM 贵在在 Transformer 和 GPT 之后，跨过了那样一个阶段，跨过了一个可以水平地提高所有能力的阶段。然后你可能在一个点上来训练它，会把这样的能力抽象地泛化到所有场景。但是机器人，我觉得还没到那个阶段，更多的还是在那个阶段之前。就是我有一个单一的场景、单一的事情，然后我能够为这个事情去做优化。
所以你怎么看矽谷的这些机器人团队啊？还包括 Manus 内部也有很多机器人的人，嗯，你会怎么看那个方向？有点这，这算什么？这是你们的方向，还是你们的平行方向，还是什么？ 我觉得过去是一个挺平行的方向，但是现在机器人，我觉得大家也在尝试能不能利用语言模型作为一个基底模型，然后在那个上面去训练这种类似，比如说像 VLA 啊，这种类型，特别是多模态模型。对对对。然后所以现在来说，就是和变成了和语言模型这条线比较相关的一条线。嗯，然后我觉得我个人的感觉是，他们未来会变得很重要，但是目前还没有找到自己的路。嗯，但是他们做的事真的很有意思，我非常推荐大家去看看机器人的实验室。比作语言模型的实验室要有趣得多。做语言模型的实验室感觉就是正常的办公室，但机器人他们是真的会有人去操控这个机器人，采集各种数据，然后去看这个机器人在什么，在货架里去取不要的货物啊之类，干这种事情，就是很有意思的一件事。
你去的是哪家？ 呃，我去，我在自己的实验室，不是 Meta 就是那个 Google 自己的实验室去看过。然后还有那个 DeepMind，嗯，我也看过。他们是个叠衣服的机器人，对。他们就是可能场景更单一点，就是叠衣服是一个，机器人可能做一些别的，就比如倒个水啊之类的，这样。对。
你直观感觉机器人进展相当于大模型的一年前，还没有到 GPT 的时刻，对不对？ 一定没到，我觉得一定是没到。对，嗯，就是相当于大家还没有想明白怎么去 skill up。我觉得对我来说，不管机器人还是多模态生成，都为到这个点。嗯。
那接下来进入今天的主题，我们还是对你非常感兴趣，然后聊一聊你是怎么从一个学物理的人进入 AI 的世界的。嗯嗯，你从小在哪长大？你是怎么长大的？
哦，我出生在宁夏，然后一个很小很小的城市叫那个“大口看”——就是你这困惑的表情已经说明了这个城市有多小。这个城市过去的存在是因为一个煤矿，因为石炭纪的一个煤矿，然后有了这样一个城市。对，所以我在那出生，但是我小学的时候跟我父母一块去了上海。然后，我小学的后半段和初中、高中都是在上海。然后我上本科就去了北京，就是刚才所说的那些，上本科在北京。然后博士在美国。
你想，你从小都曾经很优秀是吗？ 你是物理尽在保，然后在清华和复旦的是理论物理对吧？ 我不是物理精彩保送的哦。我觉着我小时候挺菜的哦。首先，我读的初中和小学都是无名之辈。我觉着我当时读的初衷好像就是竞赛不是一个你该考虑的事，就处于这样一种状态。那个叫上南中学东校，又是一个大家听了很困惑、一脸雾水的学校。
好，既然都说到这，那小学是哪个小学啊？小学叫啥来着？ 我的 CT management 能力太强了，我已经不记得叫什么了。嗯，所以嗯，对。然后对，就是那个初中就是一个班里面，一个小环境还是有一些想要好好干事的同学的。但是总的来说，那个初中我觉对。然后我觉着就是可能还学习还可以，还可以就是当时的状态。就是上海高中有所谓的那时候有所谓的“四校”——什么上海中学、然后华二、交大和复旦的附属中学。对，然后我当时的状态就是能上这四个学校，但上不了这四个学校里最好的班。特别想搞竞赛，因为以前都没搞过竞赛。
你初中开始搞竞赛？ 我初中哦，我初中没搞过竞赛。
你没搞过竞赛，为什么想搞竞赛？ 因为没搞过所以想搞，怎么直接入这概念？我这个人，我这个人的个性就是总是爱干一些自己不太会的事。对，然后当时没搞过竞赛，但是知道有这么回事，所以觉着一不教育不是一不焦虑，就是上大学之前得干一票。但是呢，那个成绩也没好到那个上，所以去私校。就是最好那四个学校是进不了搞金赛的那个班的。我当时就发现有一个稍微差点的学校，那个学校叫格致中学。哦啊，稍微差一点的学校，但是那个学。然后我感觉这个竞赛表，按照现在的话说就是 underdog，用当时的话说我感觉就是“光脚的不怕穿鞋”。嗯，我觉着嗯，可以一搞。嗯，所以就其实当时那时候就是那时候上还有所谓的“推优”的制度，就是你可以在考试前就去和某一学校签约，然后你就提前拿到那个学校的名额，然后就直接去他们那。就很自然去了，然后去搞了竞赛。搞中对。
然后，所以你其实是在上海私校的普通班里面和这个格致中学的竞赛班里面义无反顾地选了格致中学的竞赛班？ 呃，当然我也不能说我做选择的时候，这个上最好的四个高中是那么板上钉钉的事。虽然后来的分确实够了，但那还没中考，那时候还没中考了。对，但是当时就觉着，就算能上我也应该去一个 under 的地方赌一把。
为什么？ 因为想干这个事啊。
你想干竞赛的目的是什么？ 我觉着当时最主要的事是体验。我觉着没干过一定要找机会干一下。
为什么一定要尝一下这个？
呃，第一就是觉得他确实难吧，哦，就是确实比——就有一种对「干这个」的兴奋感。嗯，就是确实至少当时没搞的时候，大家给我的印象就是感觉这个事比你不搞竞赛学的那些东西要有挑战性得多了。嗯，你觉得干这个事，人确实干你也就只是这平庸石头里最光滑的那一个。所以我当然觉得要干，当然就去看了。当然干了之后也实际上带了一些好处，就是我后来回讲起来，如果当时没去搞竞赛，可能就进不了清华了。哦，你是有加分还是什么？当时其实那个竞赛的保送生制度已经比较锐减了，就只有进国家集训队才能保送。我那高中反正我，我觉着我当时没进国集队这个水平的，所以就别说了。嗯，但是呢，就是我在考高三竞赛之前，阴差阳错地去华参加了一个夏令营，然后阴差阳错地在夏令营的最后一天听说了他们在搞自主招生。嗯，但是主要是面向北京的学生，我就疯狂给招生办的老师发短信，说我要跟他们一块考哦。他答应了，然后他就答应了我们去考。
你还是你？ 就是就答应了我，我们这高中一块去的那几个人去考，就上海去那个夏令营的那几个高中同学去考哦。
你有什么理由说服他？你发短信我已经忘了这个短信具体怎么说了，但这个短信大概说的意思就是：你给北京的同学考，为什么不给上海的考？大家气壮。 嗯，你当然觉得他们开后门是吗？ 我也不是觉得他们开后门，就是觉得人家有这个机会，凭什么不给我们？大家都在一条线上竞争嘛，就是你们当然是同学。嗯，哦，然后所以就发了这个信息，然后还真让我们去考了。
几个人？ 呃，我去不太清楚了，可能有上海去那个考场，可能有七七八八个人的样子。
是你发那个短信？ 呃，可能别的高中也有别的学生发，但我们高中是我哦，就是都是上海高中去北京参加那个夏令营的同学，参加夏令营的同学。嗯，对对，然后就让我们去考，然后就觉得这老师挺好说话的。所以我从那件事得到的人生最重要的道理就是：胆子要大，你不争取是永远得不到的；争取了也有可能得不到，但不争取就绝对得不到。
哦，你当时发那个短信的时候坦吗？ 你当时还高中欸。 我已经不记得了。
当然觉得自己这是个很大胆的事吗？还是还好？ 没，我当时脑子想的都是现在就得争取，再不争取明天就争取不到了。就当天就发了，就是我在听说的那天就赶紧去疯狂发短信。
疯狂发给谁发？ 发给招生的那个清华招生的老师。
就发给了一个人还是多个人？ 我记得了，应该是一个老师哦。
他很快回了吗？ 嗯嗯，我觉着听话就是意思了。我不知道他们自己有没有讨论了，但是反正最后说了是同一，嗯，然后就一起考试了。对，所以我为什么我感觉我一直对清华还是挺有感情的，就我感觉这个学校是愿意给大家提供机会，给大家提供平等机会的。嗯。
那个考试考得怎么样？ 呃，我当然出来的时候觉得考挺崩的，因为有半导体没做出来。但是我后来发现别人没做出来更多，就果然就招了。对对。
你们那一波上海同学进了几个？ 呃，好像两个。自招生是减分还是什么？ 是降到一本线。 降到一本线，对哦。
嗯，然后来你高考好吗？ 后来高考果然没考到清华的分，但是就是除了清之外的学校都能上哦。
所以为什么网上都嫌你是保送的？
我觉得就是大家没在那几年上过学的人很难理解清楚那几年到底发生了什么。因为在我那两届之前，还是拿了省一等奖就能保送的——拿了省一等奖就能报送，就能保送的。就会我们那时候就是拿了省一等奖进了省队，然后再代表省队去考国家的比赛，然后进了国家集训队才能保送。我是进了省队去考了国家比赛，但我没考进国家集训队，所以我那届我是没有保送资格的。
你搞竞赛搞得好吗？ 我觉得挺菜的。就是难道没有干到最好就是很菜吗？然后显然没有干到最好啊，所以就是很菜。
你家里人对你搞竞赛这个事情是什么态度啊？ 我觉得我爸妈最好的一点就是他们不太管我。他们可能曾经也试图管过我，后来反管不住。哦，怎么管不住？就是我也不听他们的。哦哦。我觉得可能大多数中国家庭都是孩子和父母商量已经算是很好的了。我一般都是通知他们：哦，我去自主招生了。然后包括中高考填志愿也是，我爸妈甚至可能都没见过我志愿单。他们比较服我是吗？他们我觉得就是当你没有办法理解别人在干什么的时候，别瞎掺和就是最好的。我觉得我爸妈这个道理懂得。
那你是比较叛逆是吗？ 我觉得我是比较……因为我觉得我个性是，我很care想做的事。如果这件事是我自己想明白了要去做，就是别拦我。嗯，然后我也一定会尽最大努力做到最好。但如果这个事我不想干，逼我干也没用，我也不会干。
对你的胜负心很强吗？ 挺强的。对，但我觉得我更多的是在跟自己较劲吧，不是不太愿意和别人较量。对，当然就是如果……嗯，就是如果正好是我觉得这事很重要，你也觉得这很重要，那我肯定要搞好。
那你到了清华就更神了，去学了量子物理，为什么呀？ 呃，对，我当时做那个宁拍理论。然后呃，为什么选这个专业？阴差阳错。嗯，现在回头来看，当然能编造出一些听起来很合理的理由，但摸著良心说，回到当初，我觉得就是阴差阳错。就是当时我们在机客班，然后机客班有一个非常好的传统：首先机客班虽然在物理系，但他不限制学生干什么，所以机客班实际上三分之二的学生都不会做物理。
然后对于……那你为什么会进这个班？ 呃，当时清华的物理系全都是几科班，现在可能不是了，但是当时是。然后他另外一个好的传统是他鼓励学生在实践中学习，所以他鼓励学生尽早地进到科研的实验室里去，然后去和在科研中学习。然后我当然是很想做理论，然后是觉得爽吗？
感觉感觉就是你对「M」有一种著迷，可能也是一种病。之后可以再讲这个病带来的不良后果是什么。
然后，我当时搞理论。当然，Manus 班或者我们家学堂班有一个更小一点的班，然后那个老师就推荐说高等研究院是个很好的地方。清华高等研究院就是杨振宁先生创立的那个研究院，是很好的地方，我就去那里找老师。然后正好有一个那时候还很年轻的老师叫王忠，是我本科的老师。嗯，那时候他也没……然后我俩就聊。我当然啥也不懂，但他还挺耐心，还给了我一些 paper 让我去读。然后读了我就跟他讨论。后来又发现太理论，尤其当时做的那个方案就是跟拓扑绝缘体相关的方向，其实是一个很适合本科生上手的方向。就是它需要的背景知识不太多，嗯，它只需要你可能动最基本的，就是你得会量子力学、会统计力学、会固体物理。这些都是非常非常容易学的技术，是基础的。但是它可能很考验你对这些知识理解的深度。所以对本科生来说，其实是一个特别特别好的方向，就是你能够很快地上手去做一些实际的项目。然后我们就一块做了一些工作，其中有可能在开放量子系统里面的那个工作，现在看来还是一个挺重要的工作。
然后从某种意义上来说，我觉得现在回头来看，做那个工作、做那段时间的科研，其实和现在做 AI 特别特别像。就是它更多的是你有一个想法、你有一个理解，然后你可以在那个阶段——就是你可以做一个数值的实验去验证你这个想法和理解是不是对的。然后你发现 AI 其实也这样，就是你有一个想法、你有一个理解，你去设计一些实验验证你的理解是不是对的，然后你设计一些模型，上了训练的 pipeline 把你的想法实施出来。所以说其实这两个是很像的。
你们讲一下你这个非厄米系统的研究啊，可以讲吗？我尽量说人话，嗯，但是也有可能实际上说了鬼话，所以要是不想听的人可以跳过。
非厄米系统是这样的：量子力学一个最基本的假设是，一个孤立系统它的演化被幺正演化所描述。幺正演化是个什么鬼？幺正演化的意思就是它是一个线性的过程，然后这个线性过程它可以被一个算符叫做哈密顿量来描述。嗯，哈密顿量从某种意义上来说，它有点像这个体系的能量，但不完全是，就是有点类似于。所以它决定了这个体系随著时间的演化。然后如果是一个孤立系统的话，这个哈密顿量会是一个厄米的矩阵。厄米的矩阵就是你转置一下然后做一下共轭，它和原来是一样的。
但是呢，真实系统绝大多数都不是孤立系统。比如说你我作为人，肯定要和外界有信息交互、有物质的交互。材料也是一样，就是你一块材料放在那，除非你抽特别特别真空的，你总会和外界有交互。你得和外界的环境有交换。所以真实体系大多数都不是孤立系统，然后孤立系统它就不会被一个幺正的过程去描述，然后它所对应的哈密顿量也不会是一个厄米的哈密顿量。就是这个非厄米这个词的来源，它本质上是为了研究开放量子系统——就是和外界有交换的量子系统——它的行为。
然后当时发现一个很困惑的事：我们一开始是想研究这个开放量子系统里的某些突现现象，然后就发现手算出来的这个理论的结果和数值死活也对不上。嗯，更确切地说，就是手算这个结果是假设了这个体系是一个周期性边界条件，比如它在一个环上或者在一个轮胎的表面上。然后数值的话就会因为——就和实际的情况会比较类似嘛——就会算一个开放边界的，就是一个……
方块这个材料上的行为就发现这两个结果死活也对不上，然后就试图理解这个事。后来就发现大家过去用来描述玻米系统的一个基本的事，就是所谓的布洛赫假设：物体的本征态都是一些平面波的线性组合。这个假设其实在分米系统里面会 breakdown，就是会变成错的。实际情况就是后来我们就发现在非厄米系统里，其实它的这些能量的本征态都有可能会聚集到这个体系的一边去。对，然后我们就系统建立了这套描述的方法，建立一套体系去描述一个开放边界的非厄米系统，它的本征态该怎么去描述，进而描述它的一些随时间演化和一些动力学。所以这个是当时这份工作。后来就有很多因为它其实是一个范式上的更新嘛，所以后来就有很多很多 follow up 的工作。但是后来其实我换方向了，所以就没有太在这个方向继续做了。
为什么不延任他做？很难抓住一次范式的变化呢，是不是？ 很难抓住一次范式的变化，是的。
这这就是人性的弱点。我感觉我总爱挑战一些自己不会的事，尤其当时就不知道我当时的感觉是，在那个方向可能那个工作从过几年回头来看就会是这个方案最重要的工作。后面你再去做一些工作可能确实会让你更有名，获得更多的引用，写更多好的期刊的文章，找到一个好的教职。但是感觉作为一个科研生来说，就没那么令人激动了。所以我当时就想换个东西做，换一个自己不太会的东西做。对，然后所以就读博士的时候就换了一个方向去做高能理论。
高能理论物理，对。所以你本科和博士也是不一样的？ 也是不一样的。还不是从物理跳到 AI，其实你本科博士看起来都是物理，其实方向也已经发生了很大的变化。对，是两个几乎没有任何联系的方向。
哦，你这个很神奇，还包括你选竞赛去那个格致中学也很神奇。对，这是你的什么人性？ 我觉着就是说，难听了就是爱折磨自己，说好听了是挑战自己。嗯，被折磨开心吗？
我觉着如果未来被折磨而被折磨，那这个人就是有心理疾病。但是如果一个人是为了学习更多的东西，丰富自己的经历和能力而被折磨，我觉得是值得的。
哦，你本科那个老师王中老师也是个 underdog，是吧？ 算吗？不算，人家人家做得挺好的，怎么可以这样说？
在那个时候你刚刚才说他是很年轻吗？ 没有，他很年轻。但是我对他的印象一直都是，他是一个很能看问题、试图理解问题、理解很清楚的人。确实可能不像很多老师那样，就是很有名气在社会上或者很光彩夺目。那时候不是，现在已经很有名气了。那时候还没有那么有名气，但是我觉得从能力上来说，我觉着他是很强的。对，然后其实他一开始是，他读博士是和那个守成老师——张守成老师学习。所以说能被守成老师挑中的人，基本都不会太差。嗯，他对于你博士换方向说过什么吗？
没说过什么。我觉得他是一个——他是一个不爱干涉别人的人。我不知道他内心是怎么想的，但我觉得他是一个不爱干涉别人的人。
子物理整个是一个什么样的世界观啊？跟……嗯……呃……我觉得，我觉得最大的区别就是，我觉得有很多和经典物理有很多很多不一样的地方。但是我觉得它们俩是一个对应的概念是吧？经典物理和量子物理，呃，它俩是在不同能量和时间或者空间尺度下的理论。就是说，本质上我们这个世界都是量子的。当然，我们现在也不知道比更小的尺度上会是什么对吧？ 更小的尺度上有很多不一样的想法，比如说弦论是一个想法，然后还有其他想法，比如全息论也是个想法之类的。对，但那些都没有办法验证。被验证了的、小尺度上的有效理论就是量子力学。最小的尺寸对，就是被实验上能够验证的，嗯，最小尺寸的有效理论就是量子。当然这里面包括量子力学和量子场论。然后经典物理是当你看所看的这个空间尺度比较大的时候，这个量子物理慢慢慢慢退化成经典物理。嗯，所以它更多的是在不同尺度下的不同的一对。这个事其实在物理上一个很深刻的想法就是所谓的重正化群。重正化群说的事就是，在描述一个体系的理论在不同的能量尺度下可能看起来是完全不一样的。对，然后哪怕它们可能从根源上来说都是一个大统一理论。当然现在没有什么真正的大统一理论了，不是说如果存在的话，它们哪怕在根源上同一个根，但在不同尺度上可能看起来也是完全不一样。然后，所以经典物理和量子物理更多是两个不同尺度下的描述。嗯，对。
讲到量子物理，有几个词好像是相关的，比如说蝴蝶效应，嗯，比如说量子纠缠，嗯，能不能讲讲这些？ 对，我觉得这个可能是大家能听得懂的。然后我也不懂物理，大家不要骂我，我也不懂量子物理。嗯，对，我觉得量子纠缠确实是一个大家比较耳熟能详的、量子物理比较独特的事情。就是很简单了，就是说，我有两个例子，比如它们属于一个纠缠态。然后，我可能它们实际上离得很远，但实际我可能对其中一个做些测量或者微扰，它也会影响到另外一个的状态。这个是真实存在的事，真是存在的。对，什么样的会有量子纠缠？什么样两个物体？有很多，就是有很多实际的情况。就是实际上，当你足够看得足够细、足够微观的时候，绝大多数的例子可能都处于纠缠态。但是实际上来说，你可以……但是实际上来说，你可以比如说制造一个粒子和另外一个粒子，你先把它俩靠在一块，然后把它压缩到一个态上，然后你可以把其中一个拉得很远，它就成了一个距离很远的纠缠态。然后，甚至好像我记得几年以前还有人专门去做，就是把一个细菌和一个什么东西放在一起，然后支配备在一个量子纠缠态里。什么叫支配在一个量子纠缠态里？这个是可以人为操作的，这是一个可以人为操作的事。为什么？怎么操作？
呃，一般来说，就是通过一些测量和演算的作用，能够把它制备到这个状态上。但是这里面难的是实验上怎么实现这个过程。就是你可以想象，做一些量子测量和一些所谓的量子门的操作，其实是比较难的。因为每一个体系其实都不是孤立的，你可能觉得这两个资源我准备一下，它就纠缠上了，然后我再把它拉开不就完了？但是实际的问题是，这两个例子其实活在我们这个世界里，会不断有别的量子态干扰，或者外面的热量扰动它一下，状态就没了。所以难的是怎么在具体实验上去实施这个过程。
然后，纠缠的另外一个例子可能更好说明。我其实应该提那个例子，就是薛定谔的猫。对，薛定谔的猫。那就是一个更好的例子，就是说它的状态其实是叠加了：一个状态是某个放射源发出粒子导致猫死了，另外一个状态是放射源没有发射，猫活着。这两个东西的叠加状态，比如你去测量一下那个放射源，发现放射出粒子，猫就死了，不管猫离放射源多远。所以这是纠缠。但是蝴蝶效应是另外一回事。
蝴蝶效应这个事，呃，蝴蝶效应就是耳熟能详的部分，其实反而是经典物理。就是大家经常听到的那个著名例子，什么南美洲一只蝴蝶扇了一下翅膀，半个月之后可能在北美引发一场风暴。但从更数学的表述来说，它就是说在时间起始的时候，你如果做一个很小的扰动，然后测量这个扰动产生的影响在未来有多大，你会发现这个扰动的变化是指数级变大的。这是它数学上对经典蝴蝶效应的一个描述。
但是之前大家比较费解的一件事，就是这个事情在量子体系里怎么可能存在？因为量子体系刚刚说了，量子体系是一个幺正演化的过程，所以从某种意义上来说，你如果一个状态和另外一个初始状态的夹角不太大，经过一些演化之后，这个夹角应该不会变得很大。所以怎么会存在这种初始状态差别很小，在未来变得指数级变大的情况？好像在量子力学上看是不太可能实现的事。但刚刚又说了，其实我们的世界在微观是量子，然后在宏观就变成经典了，但它俩是一脉相承的，怎么可能一个有，一个没有？这是大家都理解的。当然，后来大家就有一些更好的理解，就是说其实你讨论量子里面的蝴蝶效应的时候，不应该讨论两个态之间的变化，而是应该讨论一些所谓的 local observable（局域的观测量）的变化，那个其实是对应了经典物理里你看到的那些变化。
你读了四年的量子物理以后，当时在想什么？你觉得物理对你的帮助是什么呀？ 在你本科要毕业的时候，我觉得本科期间读物理最大的帮助就是：第一，想问题要想清楚。读书不在于读得多，而在于读得深。你读得多不代表你能够发现新的东西，但如果你对一件事有和别人不一样的理解，那才是对这个社会来说更有价值的事。第二件事就是别太相信理论，别太相信纯理论。因为都说这个结论，当时那个事发现的主要原因还是因为能做数值。一开始是因为数值和理论对不上，才仔细研究那个问题，然后发现了这个事。
那你博士为什么去读了高能物理？也是一个理论啊。 这又回到了这个话题，就是总爱挑战很难的事，有时候也是会带来一些不好的结果的。什么不好的结果？
比如我就感觉，我觉得我的博士对自己来说学到很多东西，成长很大，但是于这个世界来说没有产生什么贡献。就高能理论这个方向来说，它足够难，非常非常难。然后嗯，但它不好的地方在于，它其实不是特别可以验证，嗯，没有什么客观的评价标准。因为呃，高能理论已经发展到了实验完全追不上的阶段了，实验完全追不上你在理论讨论的那些，不管是能量尺度还是这种微观的尺度。所以，它是怎么进步的呀？它的进步依赖于什么呀？如果不是实验，呃，一个一个进步的来源是来自于数学上的自洽性。就比如说，你提出一个框架来描述这些事情，那你能和现有的已经被验证的更低能标下的理论相自洽。比如你研究弦论，那可能自然大家的问题就是，弦论能不能在低能情况下回到量子场论，或者回到量子物理。这个自洽性是一个判定方法。我觉得这很合理，就是很科学的一件事。当然也有一些不科学的因素，就是当这个领域完全没有实验、没有客观标准的时候，肯定不会只有一个框架出现，肯定不会只有一个自洽的框架出现。嗯，这个时候谁做得好、谁做得不好，其实就依赖于领域里一些老灯的主观判断。你是被谁伤害了是吗？
我也没有被谁伤害，只是我在那个领域待的时间越长，就越觉得这件事——人这一辈子也没多长，为什么要把自己的时间浪费在伺候老灯身上？ 对对。所以感觉是花了五年学了很多知识，买了一个大教训。这个教训就是，要做有比较客观评价标准的事，嗯，或者从另一个角度来说，就是要做对这个世界能够产生影响的事。嗯，所以其实你本科还是比较顺利的对吧？在量子物理这个研究领域，你很快就有了非常好的研究成果，而且是颠覆性的变化。但是你很快觉得没有信心了，所以你想到博士去挑战一个更难的事情。然后在博士期间其实是比较落寞的，呃，这从结果来说是这样的。外界看不出来，外界看都是非常光鲜的——斯坦福的博士。但我觉得，从实际的科研产出来说，我觉得没有人会说我博士期间的文章不好，但是摸着良心说，对这个世界有多大的影响？我觉得几乎没有，几乎为零。所以对我自己来说，我很不满意。但是我觉得，呃，确实也没有不满意到说我会担心有人觉得我在混日子，确实也没有在混日子啊，就是你还是能达到所有的外界标准的。对，这怎么做到呢？
就是我觉得这还真的是很多事情冷暖自知对吧？ 对是的。我觉得，呃，达到外界的标准或者达到一个小圈子的评价标准，是像虚荣心一样。就是一旦有了这么一个小圈子，你知道他们的评价标准之后，做得好是很容易的。但是，就是其实你哪怕不认可这个标准，你也是可以达到的。嗯，但是你还是知道你是不认可的，因为有时候你哪怕不认可，你达到了，我也可以蒙蔽自己，嗯，继续往前走。嗯，但我后来就发现，我蒙蔽不了自己，骗不了自己。嗯，对，是哪一年发现的？
我觉得可能从不是最后的两年吧，就会有这样的感觉。但那时候确实也没有想好、没有想清楚，如果不做这个该去做什么。那可能就花一些时间去了解一些不一样的方向。比如说，一开始我可能更多的是去了解量子算法或者量子信息这样的方向。然后拿了 Postdoc offer（就是博后的 offer）之后，感觉这件事更紧迫了。因为离开学校的时候，你还可以用一个学生的心态；离开学校之后，就是自己的 career，你得给自己找方向。
当时就是觉得可能量子计算和 AI 是两条给年轻人、给新人机会比较多的方向，对吧？
所以你博士后的方向是什么？ 博后没有固定方向，博后其实就是理论物理这个方向。博后是一个很独立的职位，就是你自己想叫他干啥就干啥。对他更多的是从某种程度上来说，有点像「搞慈善」——就是有些人不管是在意科研组织还是个人组织，他可以给学校捐一笔钱或者拨一笔钱，然后学校用这笔钱来招一些博后，在一个系里面去做他的研究。然后把自己研究的广度告诉系里，系里觉得他更多的是一种社会氛围的工作。所以其实没什么限制，就是你想干什么就干什么。
但我其实也没做多长时间的博后，实际可能在伯克利待了两三个月，但官方来说就只待了两个星期。官方来说是什么？
就是你入职之前已经去哪了？ 因为我反正人就在湾区嘛，入职之前就去了。但我入职之后其实只待了两个星期就辞职了。
这两周发生了什么？ 也没发生什么。我本来都不准备入职的，但伯克利的人太好，就没事——「等事情定了再说，能来多久就来多久」。我告诉他们我其实在跟 Anthropic 谈，我觉得我可能会去做 AI 了，要不就别入职了。嗯，但是伯克利或者不止伯克利，我觉得就是这两个学校的老师都很好，他很照顾你，就觉得你还没有完全谈定，那还是先把现在的工作先拿著。
你觉得物理对你后来做 AI 有什么帮助吗？ 嗯，我觉得硬技能上其实没什么帮助，就是存工具性的技能上来说，从物理到 AI 的转化是非常非常少的。但如果非要问的话，我觉得可能主要的——不能说能力吧，就是性格。可能做物理的人会更想刨根问底，更想理解一个事情，然后更想做事很系统。因为我们习惯那种很系统性的，不管是做实验的方式还是做理论的方式。所以我觉得这个可能是一个比较好的地方。但我也不觉得这是做物理的人独特的，就是为什么做计算机的人没有这个特性？我觉得我认识很多做计算机的人也有这个特性，很多做化学的人也有，做生物的人也有。所以我也不觉得它是做物理独特的。
但事实上，可能比较有趣的是，这个领域里面确实有很多——尤其是语言模型这种比较 Large Scale 的 AI——确实有很多物理背景出身的人做得很成功。有些人甚至操作这个公司，对吧？因为很多人在描述这一代 AI 的时候都会说是「黑盒」，你能用科学的角度来理解一下这个黑盒吗？
就人工智能的运作而言，我觉得——呃——这事所有东西都是黑盒。嗯，就是哪怕像物理这种大家觉得很理解的东西，其实也并不是真的有一个从微观行为一路演化到宏观体现的这种理解。嗯，像不管是刚刚说的量子力学还是量子什么的，其实都是描述那个能标下的行为，本质上这个系统还是一个黑盒，你还是不知道它最悲观的地方是怎么样的动力学。AI也是一样，就是黑盒不黑盒其实都是一个相对的。我们确实对语言模型没有理解到神经科学手术刀级别，就是说不是说我理解这个行为，能理解到说这个行为是由于哪一个神经元、哪一个人工神经元的哪一个激发产生的这个行为。嗯，没有，不会有这个，没有到这个层面的理解。除非就是在一些很稀疏、很小的这个网络里面，就像玩具模型有这个所谓的interpretability（可解释性）团队，他们可能会做一些类似的工作，但是在实际能够使用的语言模型里都没有达到这样的理解。
但是也不代表我完全没有理解。比如说scaling law，它就是一个描述了那个尺度下模型随着模型大小和数据是怎么在perplexity（困惑度）这个指标下变得越来越好的。嗯，所以你说是完全没有理解吗？那如果说scaling law不算是理解的一个小部分的话，那是不是我们也说我们其实对这个世界也完全不理解？这个世界也是一个完全黑盒。所以scaling law是一种科学规律，它是一种经验规律。经验规律对——呃——但是呢，经验规律和科学规律之间的界限是很模糊的。比如说，呃，我们回头去看这种热力学的各种不一样的定律，第一定律、第二定律什么的，克拉伯龙方程这些东西，在当年被发现的时候也都是经验规律。嗯，但是只是说后来随着时间发展，我们慢慢知道了它的微观机制，那它可能变成了——对，我觉得可能像Anthropic或者类似这样的东西，它目前肯定还是很经验的。但是未来当技术变得比较固定，然后大家开始越来越多地理解它微观的过程的时候，会不会变成一个科学规律？如果这个事这个定义是存在的话，我觉得是有可能的。
能不能用科学的表达来解释一下所谓的智能涌现呢？ 首先，这个这个话就不太科学，所以自然也没有办法用科学的话来表达一个不科学的事。智能有限吗？对，就是我觉得智能有限。呃，对我来说，它更多的是一种主观的感觉，而不是一种客观现象。嗯，就是当很多人说智能永恒的时候，他脑子里想的可能是以前的语言模型只能做某一个方向的事，比如只能翻译、只能做分析、只能做什么，但现在模型好像可以做所有的事。但是这个事，我觉得像是对我来说，他更多的是一个技术上的涌现，而不是一个行为上的涌现。我是说，我们通过研究发现了该怎么去做这种大规模的训练，然后能够水平地提升所有能力。我觉得这个是一个更本质的事。至于智能涌现这个事，其实我觉得每个人可能心里定义都不太一样。对你的定义是——呃——对我来说就是没定义。对我来说，唯一实质的区别就是有没有发生一个记录上的改变，使得我们可以做skill up，可以水平地提升所有的能力。这个对我来说是一个良好定义的事。
你最后是在量子计算和AI之间选择了AI，这个是怎么发生的变化？ 对，我觉得还是花了一些时间去了解两个方向的瓶颈在哪。我觉得好处是它们都给年轻人机会，好处是都有机会。但是量子计算对于你来说，好像是离你的主线更近一些，在那个时间点，对不对？
这就是为什么要去了解一下细节，因为了解细节之后发现不是这样的，是反过来的哦。因为量子这些都不是量子，就是量子计算。我觉得它现在的主要瓶颈其实在实验上，并不是你怎么去设计那些算法或者设计那些算子，更多的是你怎么在实验上实现它。那个事反而是我不擅长的，反而是和我过去很多我有兴趣的事其实是比较不相关的。然后反而跟我相关的事更多想 AI，就刚刚说的，AI 更多的是你有一个想法，然后你可以用一些数值去验证。这个数值在 AI 里面看就是训练一个模型或者怎么样。对，然后这个反而和做物理很像，他甚至就是为什么我之前一直爱把这个和 18 世纪的物理学做比较，就是他热力学对，更像那个时代的物理。就是那个时代理论和实验不分家，没有什么理论物理学家、实验物理学家，你就是搞物理，就是搞物理的。你自己可以做实验，然后也可以做理论的推测。我觉得有点像。所以其实从理论物理跨越到实验物理的距离，比你直接跨到 AI 要远得多哦，其实要远。而且从兴趣上来说也更远。
你不喜欢实验物理？ 我觉得做实验，嗯，确实不是我的兴趣所在。虽然我不——虽然我不自己不愿意做，但是我确实很有兴趣知道别人实验做得怎么样。
不用做实验吗？ 用，但是它是更多采样数值哦。对，它不太像那个，就是你实验时去搭一个光学品然后什么。我觉得实验真的是一个——可能因为是我不懂，我没有达到那个境界，所以我有些事在我看来挺玄妙的。比如说，大家都知道这个光学怎么搭，嗯，但有的人就能给你搭出来，有的人就是耗了六年都没搭出来。这个是动手能力，我就是没搞明白啊。我有时候觉得真是有点悬妙。嗯嗯。所以还是数值，数值要对清晰很多。对对，我来说做数值或者像 AI，就是训练模型啊，然后研究各种不一样的技巧，看某些细节。这些事对我来说反而是，嗯，是我能想明白他为什么要这么干。嗯，但是在搭台的这个事上我就是一头雾水。
你做过是吧？ 我当然——大家可能都做过基本的。就读物理的人肯定都做过基本的实验培训。但是更多就是我有很多做实验的朋友，然后不管去看他们的实验室，然后看他们怎么做实验，还是跟他们聊这些怎么设计实验。我就感觉很多事我其实不太能够理解，但是他们确实有的人就是做得好，有的人做得就是不好。
所以你说现在从事 AI 研究像 17 世纪热力学研究，其实在表达虽然大家没有办法很清晰地从科学上去解释和理解这个事情，但是并不会阻止它的发展。对，就是他更像是在为什么呢？比较那个时代热力学，就是那个时代大家其实不理解什么是热的微观理论，就大家不知道热是什么东西。就像现在不能理解，就像现在大家不能理解这个 Language Model 里面那一个矩阵元是在干什么，其实大家也不理解，但是不妨碍你有一些好的经验律，比如这里学的各种定律和现在的各种 scaling law。所以说从这个角度来说，从这个方向的角度来说，在这个层面上来说它是类似的。然后从研究人员的角度来说，就是刚才说另外一个问题，就是他理论和实验其实不太分家。嗯对。
那你是怎么去面试这个 topic 的历程是怎么展开的？ 呃，我觉得其实主要还是因为有前同事、前同事。对，就是其实有很多做物理出身的人，尤其是做理论物理出身的人。甚至为什么呀？他们从人的选择上为什么会选择这一波人？
我觉得当然就是很多人可能会找一些原因说做物理的人擅长这个或者擅长那个，但就我个人的视角来看，我觉得主要的原因还是 connection，就是联系。因为 Anthropic 的创始团队里面，两位创始人团队里其实当时有三四个比较技术的人，其中有两个现在还很在技术一线领导的人，他们俩都是做物理出身的，然后他们可能招的一些人也是做物理出身的，所以就这样一直延续下来。但其实到了现在，就在我之后其实也几乎没怎么再招完全没有 AI 背景的人了。所以说也是一个时代的产物。然后我反正是当时我决定去做约了，所以就试著出去联系一些地方。
你当时只找了 DeepMind 吗？ 没有，我还找了 OpenClaw 和几家，就 Google DeepMind。但因为他那时候速度太慢了，所以最后没有出现在考虑的范围内。速度太慢是指他们面试的速度慢。后来显然这个事获得了长足的提升，后来动作就非常快了。然后就是反正也联系了，但可能没有找到特别合适的人。后来是因为我当时联系了我的第一个 manager，我的第一个经理，他以前也是做理论物理的。然后他当时就说我们在尝试做强化学习，做这种大规模强化学习，有很多科学问题要去理解。那个时候是 2024 年 9 月八九月的时候，那时候强化学习还没有现在这么成熟。那时候大多数人其实都不太知道怎么做，因为 O1 还没发布呢。那时候只是快发了，大家都知道有，但都还没看到结果。当时其实不知道怎么做的，大体上知道，但是有很多细节需要仔细去研究。所以他就跟我说有这么一个事，你要不要来面试一下？我觉得他觉得这可能是一个好的机会。
你当时怎么认知强化学习的？ 没认知，我大概知道 TRPO 对，我大概知道这个流程，但我其实不太知道具体的这种工业级别的鲁棒性是怎么训练的，只知道学术界是怎么训练的。所以其实现在回头看那时候的认知，在我现在看来就是没有认知。更多的还是觉得这是一个不确定的事，然后是一个好的机会，所以我就去干了。当然也有面试的准备和面试的过程。
怎么准备的？ 我当时跟谁面的？小北后来我的一些同事当时面的，然后面试题也不太难。但对我来说，我当时也不知道怎么准备，就去把我能找到的那些课自己能学的学了一遍，能做到的作业做了一遍，然后自己手搓了一套。就是那个 Andrej Karpathy 有一个著名的项目叫 nanoGPT，反正就是它有一个可以在 Google Colab notebook 里面就能训一个很小的 GPT 模型，然后我就手搓了一下那个，然后就去面了。很快拿到了 offer，然后就拿到 offer 了。
然后你第一个方向就是大规模的强化学习？当时其实是有两个组来找我，两个组的 manager 来跟我聊。一个是做 evaluation，就是模型评测，另外一个是做强化学习。我选择了强化学习，当然选择强化学习是因为它更加的不明朗。那个时候其实也不像现在是一个大公司了，那时候公司其实也很小。
多少人？ 我去的时候我们那个大的 team 才只有十个人左右，不是十个人就是十一二个人。
呃，叫 Horizon 啊。对，然后那个时候那个大 T 也就这个大 TEM 的平台有什么？那个大 TEM 其实后来几乎就是强化学习的方方面面都在这个 T 啊。那他的整个大组就是一个强化学习整个大组。首先这个创业公司你也很难说这个组的目标是什么，因为他可能曾经也有过很多不一样的目标，但只是那个阶段可能主要的目标是做强化学习。对，然后当然底下也有做模拟组、更做环境和 INFR 和基础设施的组，也有更做这种 research 和算法的组。然后我去的那个组是比较偏 research 和算法组。嗯，那种 pic 多少人？那个时候可能七八十的样子吧，总共。但是对，这是整个的公司——7800 对。你一进去对这公司印象是什么呢？ 我觉得我对 Anthropic 的印象其实还是挺 consistent 的，就是我觉得进去之后，公司的印象就是执行力非常强，就是他其实是一个比较 lean 的公司。对，然后所以很多事情决定了之后就会全力执行。公司其实员工之间的氛围也很好，就大家都不会藏著掖著。尤其因为很小吧，所以就是大家都认识，所以就氛围很好。然后呃，我觉得如果只是做语言模型相关的事的话，其实现在回头来看那是一个非常非常好的学习机会，就是你能够接触到这个模型训练的方面，然后都能找到对应的人去问。
那个时候的 topic 已经有了现在我们都知道他那个非常坚定的 BT 了吗？ 有的。有这个 B 来自于哪里？ 为什么会有这个 BT？ 呃，我不知道他完全的来源在哪。我自己能看到的一个显然的来源就是前一代模型 Claude 3 放了之后，嗯，Twitter 上——那时候可能还没叫 X，Twitter 上有很多人在讨论说那个 C3 好像比 GPT-4 强哦。嗯，那个年代 GPT-4 还是一个大家觉得很大的模型，所以能有一件重要的事比 GP 强就很厉害了。所以出来之后，我觉得至少是其中一个原因就是很快地对这个市场做了反馈。对，这也是我觉得这个公司很强的一点，就是他 execution 力非常非常强。一旦给他一个信号，让他觉得是很 reasonable 的事，那这个公司该做的事就会铺上去，他没有那些打组织内耗的问题。嗯。
为什么他的 COD** 会比 GPT-4 要好？** 不能说哦，是有原因的，是有原因的，是有原因的。对，但是是个随机的原因，不是一个我这么选择所以有了这个结果的原因，是一个纯技术层面的原因。但是确实，我不——我不能确定一开始是随机试的，还是故意选择的。你要让我猜，我肯定会觉得是随机试的哦，纯纯技术的原因。是有某个人做了某个事情，呃，是确实有某一个团队做了某个事情。对。
是自上而下的，还是自下而上的呢？ 我觉得最开始可能是最自下而上的，但是后来就变成那个自上而下的事啊。就是，就是要快速捕捉到一些市场的，就是内部和市场的信号。对，对。我觉得这个闪，然后要赶快要铺上去。对，我觉得这个闪是非常非常强的，他非常非常的 reactive，反应非常快。
他执行力来自于哪里？ 来自于 D 这个人，来自于他的某种特质。我感觉就是，嗯，作为一个公司来说，他能够实现这种比较 top-down 的机制是一个很独特的事。为什么呀？
因为呃实行其实有一个很难的点嗯，就是你做技术的决策人必须也是公司本身的决策人。首先，你技术上得能服众，下面的研究员才会嗯——才能够信服下面的研究员去做这个事；另一方面，你得是公司的决策人，你得能为这个公司负这个责任。嗯，有这个条件就是说，他的技术上的leader的领导人其实是公司的一方的。那是——你指的是谁？不是Dell呃，就是像JC（Dario Amodei）和然后像他们俩，就是公司一方的，他们自己做这个决定。那是人家的公司，所以他有权力做这个对吧？那达作为CEO，他会Yes/No吗？我不知道他们决策层的讨论里面OK大（Jared Kaplan）起到了什么样的作用。我只能说，就技术leader是有决定权的。嗯，我只能说对我的当时的工作来说，我结束的最多就是这些。嗯，可是这对于其他模型公司很难吗？
很难。比如说OpenAI就干不了Claude的时候，难得不行吗？ 一开始的时候有可能可以，但是后来一方面我也不知道因为什么原因，他好像就是失去了这个做决策的能力，然后走了。所以哦，其他公司呢？其他公司我觉得都比较难，就是咱们也比较难。但是我觉得咱们就是另外一套打法，不太一样。就是说，我觉得大公司和startup的打法本来就不一样。因为startup重要的是make bet，就是我得——我得赌一件事。嗯，我如果想要赌，就意味着——所以就意味着我能够去很快地做一些决策，然后很强力地推进一些决策。嗯，那可能在这种情况下，Anthropic我觉得是一个很有优势的事。所以我觉得从组织上来说是比还更有优势的。但是作为大公司来说，他可能就是另外一套想法。因为大公司的想法可能是：我不不仅能尽量减少做赌的成分，而是我能在方方面面都有储备，然后任何一个事成了我都能跟上。然后如果有事我自己做成了，我可能还能领先。这可能是大公司的应态。所以说在Google是一个很传统的，就很bottom-up的组织。就是公司层面可能有一些比较良好定义的框架，来看你的工作是好是坏，来引导你做一些公司需要的事。但是本质上还是你自己来决定自己做什么。嗯，所以你觉得Anthropic能做到这一点，是因为他的独特的文化、组织和文化。对这听起来其实应该是其他公司也能做的，但是却非常奇怪地发现其他公司很难做到，而Anthropic可以做到。
对，我觉得还是需要技术的或者公司的leader有公信力吧？ 这个其实挺难的。我觉得你说的还不是CEO有公信力，是技术的一号位有公信力。对我来说，我觉得技术的一号位有公信力很重要。嗯，但是与此同时，CEO可能没有成为一个阻力。对这个难吗？
呃，这个我觉得就得看你这个一方定的这个team有没有足够的互相信任。 嗯，这个也很关键。我觉得这点也是在startup很强的，就是他的condensed team没有一个人离开公司。他们如果你去看他们过去履历的话，那是一群真正一起打过仗的人。就过去他们源自于他们都是以前OpenAI的员工对吧？然后像他们甚至好多人都是就是在一系列关键的文章上的合作者。因为你像Skin-in-the-Game这篇paper是2017年（2C），然后S（Sam Altman）？然后当然还有W（Wojciech Zaremba），然后还有一些可能TR（Tom Brown）也在吧？我不太记得T（Tom Henighan）在不在。然后CBD3（Constitutional AI）就是TR在，然后BL（Ben Mann）在，然后J（Jared Kaplan）和S（Sam McCandlish）也都在，D（Dario Amodei）也都在。所以他们是一块抛过战壕的人。嗯，我觉得互相之间的信任还是很关键。嗯，有很多公司可能就是干着干着连这个小集体都团结不住了，那你怎么能指望这个大公司能团结住呢？
你在说OpenAI是吧？ 啊。
你加入Anthropic公司正在做的最重要的项目是什么？ 你才运到那个大项目里面了吗？
呃，对，当时做就是为了做大能做大尺度的强化学习，然后能够用它来提高的能力。嗯，这个就是当时最重要的事。然后我们当时做这个组，呃，当时的研究重心就是这件事。嗯，这也是这个组为什么后来就慢慢变大，然后变得越来越重要的原因。然后最终带来的结果就是大家一块儿做了这个3.7，C 3.7这个模型。对你说，内部叫有一个3.6是吧？不是内部叫，就是外界的Cloud 3.5其实有两个版本，一个可能是6月的版本，另外一个10月的版本。然后你也可以看出这个公司曾经也是没啥产品能力的，居然管两个模型叫一个名字。所以后来外面的人为了区分，管那个3.5后面那个版本叫3.6。所以Anthropic跟随着外面的这个习惯就叫3.6了，管这个新的模型叫3.7。
哦，所以就是你去看实际的这个公司的产品时间，其实3.5、3.56、3.7，怎么会有一个3.5？这个是怎么想的？ 你觉得那时候的可能真的是没有什么产品上的想法。所以你第一个项目是3.7还是3.5？3.7还是3.5？其实我，呃，没参与，几乎没参与。因为他3.5就已经看到了Cursor的技象是吗？你才刚开始的3.56的时候已经看出Anthropic的模型在HC会比别的模型强了。这个是为什么？把它收了。所以你进去的时候刚刚好就是他们有，他们知道了这件事情，就是管理层也知道了这个迹象。然后他们要make path的时候，你这个运气很好啊。
我觉得，我觉得对，我觉得是大家肯定已经看到这件事能做成且重要。嗯，但是不太清楚怎么去把它做成。然后我去的时候是跟大家一起去研究怎么把它做成啊。对，所以方法是大尺度的强化学习。对，这是从大的角度来说是，但是当然就是有很多技术细节是需要去研究的。这里没有什么弄号啊，有好多NDA的内容呢。有很多是会写得这么详细的吗？
呃，其实原则上来说，原则上来说，员工是不能在在职期间和离职之后透露任何更新公司内部相关的信息的。但实际上来说，就是大家可能心里都有一个度，就是说如果这个内容没有公开的话，肯定是不会公开去谈的。但是我觉得虽然我不能公开去谈，但是我觉得把简单事做得比谁都干净是最关键的。什么叫干净啊？
你才用过这个词对。 就是，就是我觉得有很多花里胡哨的技巧。比如说做强化学习，最简单的algorithm就是policy gradient，但是不代表这是唯一的algorithm。它有别的算法，比如说各种复杂的这种搜索。但是不是这些复杂性是必须的？然后这些复杂性可能给你带来了一些，一些也非甚律上的牺牲，它可能给你带来一些比如说基建上的困难。那你怎么去规避这些事？这些事其实做研究需要去理解的，嗯，就是怎么去balance这种不同的因素，然后选到最好的那条路，最稳定的那。对，然后我觉得很多的弄号其实都是在这些细节里面，怎么去处理这方面细节里面。
对，那个时候怎么来描述Claude很重要呢？ 我觉得他认为是大约模型的一个分支，一个重要的分支，还是什么呢？
我觉得每个人可能想法不一样。对我来说，呃，对我来说它重要的原因有一个原因，就是一个原因是Anthropic一直在讲的事，就是说 coding 本身也是做源模型性研究的一部分。如果你能够把 coding 做得很好，那可能会让你的研究效率有范式的提升，就形成一个研究上的飞轮了。哦，这是一方面原因。对我来说，另一方面原因是因为 coding 其实是模型使用工具和环境交互的一个很好的抽象。首先，这个抽象刚刚已经扯扯过，就是这个抽象的好处在于，比如说回馈信号清晰，然后数据充分。其实你很难在别的场景下找到能同时有这两个特质的使用工具的场景。嗯，所以对我来说，这是一个好抽象。在这里面做的一些研究，可能对更通用的那些使用工具和环境交互的能力，有一些有用的 lesson，有用的课。
那时候 Cursor 是什么状态？ 那时候 Cursor 还是一个产品公司。我觉得从某种意义上来说，好像在我去Anthropic之前的那段时间里，OpenClaw 和 Cursor 都属于比较 underdog 的状态。然后在 3.5 到 3.6 这一代的时候，首先是模型能力上去了，然后 Cursor 又发现这个模型真的能够做这种 H&T coding 的工具了。嗯，对。但是这个壳包著这个模型，一下子让公众——不是公众，就是软件工程那个圈子——当时体会到了，诶，这事好像真的是效率工具了。所以后来这个一下就起来了。那时候他就OpenClaw就意识到 Cursor 是未来的精神对手。
那不知道该问 3.7 是怎么做出来？ 嗯，这个是一个分水岭。对于 Anthropic 来说，是一个分水岭式的模型。我觉得对于后训练来说，也是一个分水岭。就是在 3.7 之前，后训练都是处于一个比较——嗯，比较小规模，然后可能就是修补模型的一种状态。
大家不重视后训练是吗？ 也不是不重视，就是一开始大家其实很长时间都没有搞明白后训练该怎么 scale up。哦，但是在那个阶段，不管是 OpenClaw 还是包括像中国的 DeepSeek，他们意识到了这个事该怎么去 skill，该怎么——就是你得找到合适的环境，这个环境它的回馈信号足够清晰，然后这个环境本身也是一个很强的数据源。然后在这上面，其实能让这个训练非常稳定，这个事就能做成。嗯，对对。
我记得那个时候，其实大家都不知道 OpenClaw 的项目是什么，就知道他的代号叫 Strawberry。然后大家觉得会带来一个新的范式，新的范式就是后续训练、强化学习，但是更多的就不知道了。对，其实呃，其实我觉得我去的时候，大家已经比较清楚这个事大概该怎么做，就是大概的方向是怎么做。然后呃，当然后来，就是随著我对这个领域知道越来越多之后，我就发现其实那个时刻，Anthropic 做的方式和其他公司其实还是差别挺大的。
怎么说？
就具体这种算法和使用数据的方式其实不太一样的。虽然都叫后训练和强化学习，虽然都要这个，但是当然就是我觉得那些不是本质区别。就是从大的方向来说，他们是同一个，就是找了一些反馈考核非常清楚、非常客观，然后数据本身又比较干净，对于模型来说是可学习的，然后在上面做稳定的强化学习。大的方向来说都是这个方向，但距离实现其实差别比较大。但后来事实证明，距离实现其实每家方向都不一样，但是都能做成。嗯，而且当时 OpenClaw 的目标也不是 coding。当时我了解到的叙事是说，预训练作为第一个金矿已经快挖完了，所以我们现在开启第二个金矿，就是后续强化学习，然后来让 scaling law 继续。嗯，我觉得很长时间都是这个想法，不知道他们现在想法有没有变。
嗯，呃，我觉着对我来说，我的想法经历过摇摆。在三期那个时代，我其实觉得我当时也抱着这个预训练已经快 “Party is over” 这种感觉。然后就在你要入职的时候是吧？
我刚入职，然后当时在做这种参观的实验的时候。嗯，呃，我当时也曾经报过这个想法，但是后来随着了解越深入，我就发现其实预训练这个事，它也不是告诉你要一直变大。嗯，它其实本质上是一个很系统的框架，能够告诉你做什么样的事更有效。嗯，然后呃，所以后来就发现其实还有很多事情可以做。然后事实情况是，后来和 Cursor 的运营也一直在不断进展。我现在自己卡了，他现在又重视预训练了吗？
他应该已经重视预训练挺久了，就是最近可能刚刚有点进展哦。
所以预训练和后训练作为两个金矿，都没有达到他的那个平台期。我觉得都没有。但是你说要去预测到了多少，这个做不到。对，我觉得到达平台期有两种可能性：一种可能性是技术本身到达瓶颈，就是你明明还有想让模型要干的事，但是这项技术就死活不会了。嗯，另一种可能性是你想干的事到平台期了。哦，我觉得现在是后者。嗯，就是我们现在知道了，哦，有一个 chatbot，你可以叫他干这个，然后又有一个 Cody，你可以叫他干这个，后面就不知道了。对，就不知道该交代他啥好。哦，就是说模型还是一个非常聪明的小孩，你其实可以教他很多东西，但是我们人类作为老师现在还不知道下一个东西该教什么。对对，或者说该怎么去合理地教他，用现在的这些方法。嗯，说 3.7 还有什么都好。呃，这是几个月做出来的？
这个，林灵总从开始训练到发布可能花了四五个月的样子吧。
嗯，对，就是从你刚进去，就是从开始大家为了这个事做研究，那可能花了两三个月，然后后来开始训练到训练结束，中间有很多事情要处理啊，然后有很多新的基础设施。其实基础设施真的是很重要，很花时间，然后又可能花了可能两个月这样子。你在其中做的重要的工作是什么？
我觉得我也没什么重要的。我觉得我对我个人的贡献——我觉得我对个人对任何一个模型的贡献——我的陈述都是，我觉得我自己对那个事没那么重要。我觉得我更多的是很幸运，也有机会在那个时候加入了一个重要的项目，做了一些事。嗯，因为从某种意义上来说，我觉得AI在现在最近这几年，这个事本身是一个不可阻挡的事。嗯，它不在于你这个人去干或者不干，你不干也有别人一样能干出来的。嗯，所以我觉得在这个时代，其实所有给个人贴金的事，其实都有点炒作的嫌疑。但是确实，我觉得对我来说，我是很幸运能在那个阶段加入一个重要的事，然后学习了一些知识。
好的，那你在幸运的在那个阶段，在Anthropic这家公司的大尺度强化学习的这个团队里做了什么？
我觉得3.7那时候可能主要做的还是，就是在RL（强化学习）里做这个agent coding这件事。这件事怎么把它skill off，或是怎么去准备各种各样的环境和data，然后包括算法上会遇到什么样的问题。当时主要的研究都在这部分。
这没有什么tips吗？现在来看没啥特别有用的tip。
我觉得，我觉得说到技术的tips，其实这个事一方面大家很愿意听，公司又不让你说，但实际又没啥用的事。为什么？因为很多算法设计其实并不鼓励独立于算法，它是强依赖于技术设施的。举个简单例子，就是有些公司可能就大家经常讨论一个问题，就是在强化学习时候，这个sample——就是给你产生这些trace、这些token的那个机器，和trainer用来实际训练这个模型、然后改变模型参数的这个机器——这两个机器可能会有不一样。当然不一样有一些原因是因为数值上的不一样，有些原因是因为使用那种一步的训练架构。所以说它自然就是从根本上来说就不一样，那你不同可能这个不一样程度是不一样，所以你算法上设计也会不一样。有些公司它可能这两个difference、这两个区别非常非常大，那你算法可能最大的部分就是在于怎么控制这个，然后怎么让这个训练稳定，对于训练的实际效果啊之类的，贡献就会稍微小一点。但有可能有的公司它的基础设施建设就特别特别好，这两个差别没那么大，可能就可以花更多精力在这个训练的效果上。嗯，所以说很多这种小的tips其实是没有什么用的，就很多know-how其实是没什么用的。
我是因为我确实也发现了，就是很多呃别的lab，就不是在这三家大厂里面，可能很想知道Anthropic怎么做这个，或者Meta怎么做那个。但其实我有时候不愿意回答，一个主要原因是因为我觉得本质上我回答这个问题也是在误导。现在的AI是一个大系统，你其实要了解这个系统的方方面面，才能有一个全局的认识——什么事因为什么而变得有用了，而不是说这个事本身有用。
嗯，从3.7到4.5就发生了什么呢？
呃，这个预训练联合会量，对，然后当然就是skill up上做得更多了。然后data，不管是data还是训练的算例，都更大的规模。但是我觉得从本质上来说，就没有特别特别大的改变。
嗯，到你离开时，Anthropic已经多少人了？
可接近2000人了吧，扩了一倍多。
嗯，所以你在Anthropic时期，好像是它最具转变的一个阶段？
嗯，我可能就踩在了它还是个小公司的尾巴。就是我觉得进去之后，过了可能三四个月，这个公司就已经开始人一下就变多了。
文化有变化吗？
还是经历了一些比较混沌的阶段吧。然后可能尤其可能就是在我离开的那段，快离开的那段时间，我觉得文化上还是经历了一些混沌。因为从外面来了一些人，然后可能跟本来的文化对——之前的文化是我觉得之前就是很简单，就很简单，像更像是一个小房子，大家都是朋友，然后大家都知道对方在干嘛，也没人特别特别会——就是做过多的这种个人宣传，还是怎么，就做一些没有用的事。也没人做没有用的事，大家都是有很多事要处理。然后公司那时候可能警迫感也更强一些吧。后来可能就觉得这样人多了吧，这样的文化肯定会受到一些冲击，带来了什么风气啊？
呃，我觉得确实有一些人，我个人不是很喜欢。当然不代表把他问真的不好，就是我个人不是很喜欢。就是可能我不太喜欢在这个领域里面说很多话的人。就是那个，我觉得 idea is cheap，想法是便宜的，很多想法其实很显而易见，所有人都知道，难的是怎么把实现，怎么把它变成一个一个小的可实现的步骤，把它做出来。我觉得我不太喜欢那些一天中很多时间花在 Slack（Slack 是美国用的一个办公软件）上，在 Slack 上花很多时间在那讲一些大道理，我觉得就是没啥用。
嗯，你后来为什么突然离职了？你是完成了什么阶段性的工作吗？
当时酝酿了多久？
我觉得可能酝酿了一两个月，一个多月吧，一个月多一点，快。对对。我觉得一个方面是——就是我其实不是太特别认同 D 大反这个事。哦，我觉得他作为一个公司的 CEO 来说，对他个人来说，他做什么样的观点我觉得都无所谓。但是作为一个公司的 CEO 来说，我觉得把一个观点推到这么极端的地步，是一个非常情绪化的体现。对，然后这是一个比较小的原因。当然大方面有很多，公司的文化上有些冲击啊，然后包括自己可能也想去学一些不一样的事情。就说它毕竟非常的专注，然后你可能做——如果你很想做和语言模型相关的方向，然后做这种使用工具啊，这种 authentic 的 coding 这种事，那在其实很好，能学到很多东西。但是有很多不做的事，比如说完全没有人做这种动物台生程，你想学没学，然后可能也没有花太多的精力在这种更的工程的技术架构设施上。对，所以可能想要学习更多东西，也是我当时离开的一个动因。嗯。
你的个人原因占百分多少比例啊？因为有的个人原因。我在公开场合说 40%，但是这个数字反正就是听听就好，这个数字就是告诉他不是主要，但确实是一个很大的原因。对，就没有控股，不是个控股原因，对，不是个控股原因，但是是一个 Majority Holder 的原因。
嗯，你这个选择也很神奇，因为大多数人在一个他还是一个 underdog 的时候加入，会更有感情，然后会愿意陪公司走更长时间。但你反而跳去了 Google，因为很多研究员一进去 Google，他会觉得 Google 给的 scope 不够，嗯，他所以他会反而想跳去像 Anthropic 或者 Cursor 这样的更小一点的组织。你这个反行动好像也是反的。
对，我觉得其实取决于你自己想要的是什么？
如果你很想要的是我有一个很明确的、像你所说的很明确的 scope，然后这件事和我的最终的产品的模型息息相关，我一定要把我其中的一个想法送到这个模型里去。嗯，那可能 Google 是一个很差的地方，嗯，因为毕竟有那么多的研究员，有那么多已经成熟的组织在做这件事情，是很复杂的这个过程。但是我觉得，如果你想要的是你有研究的自由、有探索的自由，然后想去能从更广泛的人学习，我觉得这个世界上可能找不到第二个比咱们更强的地方了。所以，我觉得本质上还是取决于你自己想要什么。但是我觉得很多人离职，不管从哪离职换到另外一家之后，可能会觉得不开心的主要原因是因为没想明白自己要什么。比如说你去到了 Google，你可能该是——如果你刚开始想的是我要有研究自由，然后学更多的动机是学习，然后你去了之后发现还是想要有产品 impact，那你可能就会很纠结。你不追求 Impact 吗？你也说过，现在这个 AS 是一个非常大的系统，然后是一个很大量的人协作的一个东西，你在里面追求什么？
我觉得分阶段。就是我觉得在经历了太多和产品息息相关的事之后，我可能也想给自己换个脑子去学习一些不一样的东西。但是你说有没有哪一天我可能又换回这个脑子，又想去产生一些产品的影响，也是有可能的。产品影响力怎么量化？这个内部都很清晰是吗？不好量化。嗯，就是我觉得因为发论文的时候，他还是有一套这种作者主导的评价体系。现在呢，其实没有办法，实际情况就是没有办法量化。这也是为什么我觉得在这个时代，其实谈每一个个体的影响是一件很虚无缥缈的事情。我觉着本质上还是这个组织做了这样一件事，或者这个世界需要这样，所以产生产品 impact 是个主观感受。在模型测试是这样，在模型测试这样对。然后当然实际上你可以，我觉得可以细节谈的是说，你自己做过哪些事情，具体的技术的贡献，然后它在技术上产生效果，这个是可以客观地去讨论的。但是比较主观的事，效果在最后的产品里占了多少的比重，这个没有人能说清楚。
哦对，在 Claude 3.7 上你能描述一下吗？你做了什么样的技术性的工作对模型是产生影响？ 主要还是跟 coding 的环境有关的工作，然后也有一些算法上，算法上主要是怎么让这个训练变得更稳定。说实话就是，但是我觉得算法上肯定是有一些提升，但是也没有达到特别理想的效果。说实话，比之前的算法肯定是要好的。嗯对，但是那个我觉得也不是我个人的贡献，嗯，我觉得也是大家集体的贡献啊。对，我每次问你你都会说这是集体的贡献。嗯，不是一个人的英雄主义的时代。对，我觉得个人英雄主义时代，对于 AI 来说可能过去了。什么时候是啊？就是在 form 那个时刻。对，就是在那个技术还没到 scale up 那个点之前，找到了那个技术的人可能是一个英雄，或者找到那个技术的一个小团队可能是个英雄。找到那个技术之后，可能很快时间，从模型来看，都是我觉得更多的是集体主义。嗯，就是这个集体能不能一起工作，能不能为了一个目标一起花自己的时间、花自己的精力，这个是最重要的事，而不是每一个人提供了什么样的东西。说集体主义的原因是因为其实能力是来自于 AI 是吗？
我说集体主义的原因是因为我觉得AI这个方向本质上就是没有——我觉着没有哪个，除了可能蹦出的一下那个idea——是得有一些很深刻的动静在之后的那个过程中。很多想法其实是非常trivial的，就是非常愚蠢的，就是谁都能想、谁都能干，嗯，只是你运气好撞上这个机会去干了而已。包括你在描述coding，好像它也是某种随机性，但是你要抓住它。但是，我觉得做Cursor可能还比做模型测试这些技术上的东西可能还更稍微有点公司英雄主义，就是说你能不能足够快地赌对一件事。嗯，那确实还是一个很强的能力。但如果今天没有Claude做，可能别的公司也做了，我觉得这是一个必然的事。所以它都是AI在涌现能力。我觉得就是看你能不能抓住那个能力，不管是公司还是个人。我觉得就是在这个可用的圆模型、大蛇的圆模型出现之前，那个时候很多事情是一个非——就是有没有一个人能够发明一个、一个语言模型能够大规模做训练，嗯，然后以及GPT这个里程碑能不能被发现出来，那是有很多不确定性。但是你说比如那个时候，你如果没有Google PR，Transformer可能就不会被发现，可能要过很多很多年才会有另外一个有钱又有人的组织发现，那可能就是一个很大的影响。但是进入那个阶段之后，尤其到现在已经反过来了，就是你任何一个组织想要停止AI进展，嗯，是做不到的。Anthropic有没有这个能力阻止别的AI发展？他没有。你阻止发展，别人会发展，你的话语权还会变小。对，其实现在更多是这种状态，是这个世界在推着我们前进，而不是我们在推着这个事件前进。哦，感觉未来我们会更加难以阻止。耶，我觉得已经阻止不了了，就是我觉得试图去阻止AI里的一件事发生可能本身就不是一种正确的想法。嗯，这也是就聊到因为刚才聊到fake，就说其中一个很重要的动因是所谓AI安全。我觉得他在AI安全的事上，就是他创立的时候动因，对现在跟他有什么关系？现在的关系比较复杂，就是说一个自然的问题是大家可能会问：一个做AI安全的公司为什么现在开始做模型了？嗯，他的解释是说，我首先得拥有一个最前沿的模型，我才有话语权来推进我的安全。嗯，所以说他其实一直以来的想法是说，我要做这个事情最好的模型，大家不得不听我的，来推进我的安全政策。但其实从我个人角度来说，我觉得这个想法是非常幼稚的。就这个事现在看来，他是不会、不会发生的，更有可能发生的是大家都有很好的前沿模型，而你没有办法阻止这个事、任何事发生。对，你觉得可能对于这个事来说，现在更多该关注、更多该想的事，如果你真的想要避免AGI带来一些危机，什么才是一个更自动化的事？嗯，对，举一个自动化的例子，就是比如说核武器。核武器也是一个大家觉得可能有毁灭世界力量的事，但核武器最后最终受到控制的方法就是MAD（Mutually Assured Destruction），就是很多个有核的国家，他们互相都有对方的能力，所以通过这样一种制衡才稳定住。我觉得你要阻止AI干一些不好的事，可能最终是需要一类似的机制来实现的，而不是希望——既希望说一家公司制定一个法律，然后干一件事。嗯，对，而且他自己制定，他也只能管得了自己。嗯，你刚也提到DeepMind有个可解释性团队是吗？这个它的可解释性到达哪一步了？
呃，在一些比较简单、然后比较西的神经网络里面，他们能够做一些有趣的研究。比如说看看某一个呃输出的或者输入的文字或者图片，它内在的表示是长成什么样的。然后你可能把那个表示什么反一下之后，它会能输出一个什么样的东西。嗯，所以现在这样的研究他吗？
你才提到一个观点，就是 AI 本质是简单的。你能描述一下这句话吗？这是一个结论吗？
对我觉得这甚至不是一个结论，就是这是我的一个 statement，是我的一个陈述，它可对可错。然后我对这个陈述的解释是，我觉得它本质上简单的点在于它能做实验。就是它和比如说本质上难的东西，比如说物理，它的区别在于那个东西你没有那个能标下的实验数据，你就是理解不了那个原理。嗯，但是 AI 不被这个所报的，目前你理解不了没关系，我也可以往前发展。而且就是我现在事实就是能够做任何我能想到的实验，只是可能说我需要一些时间去把这个计算量提上来，或者把这个基础设施搞好。但是没有什么本质上的困难。对，所以我一直说就是觉得 AI 就是没有给人感觉他碰壁的原因，就是首先很多东西你都能试，其次现在不是说大家已经想破了脑袋没有什么想法可以试了，更多的情况下是有太多的想法得一个个试，花时间。嗯，对，感觉人好渺小啊，嗯，在这个实验面前。是的，所以说我觉得很快可能 AI 就会开始自己做实验了，然后就开始快速发展了。
有多快？
四个月内。我觉得未来的六到十二个月，AI 就会自己做实验。我觉着其实当然就是这话不太良好定义，对不起，我说了一个很模糊的话。就是 AI 自己提高自己或者自己来加快自己的发展过程这件事，其实已经在发生了，对吧？就像我们刚才最早时候聊过的，就是他已经开始帮我们能够去实现一些我们想要的东西，然后很加快我们实验的速度。但是我觉得未来六到十二个月，他目前还做不到的事情是什么？是说他能不能从头到尾地把一件 AI 研究的事做完。就比如说他不仅能写这个 Code，他还能跑这个实验，跑这个实验还能看到这个结果，看到这个结果还能分析这个结果，分析这个结果知道他哪做得不对，嗯，然后然后提出新的假设，涉及新的代码，跑新的实验。这个这条链条目前还没有完整，但我觉得这套链条可能是下一步会慢慢变完整的事。嗯，对。
基于你的各种原因，在你离开、决定离开 Cursor 时，你对这家公司未来的预期是什么呀？
呃，我觉着我离开的时候，我对这家公司其实挺悲观的。哦，但后来显然是我过度悲观了。为什么悲观？我当时悲观的原因是因为呃，我觉着我当时离开时，Cursor 其实呃主要的收入来源都是 API，就是卖卖图灵（Token）然后这个这个差声音是差生意。这个生意只有对一个公司好生意，就是 Google。嗯，因为这个这个生意最后就是得打价格战，就是这以弯处理就是要打价格战。打价格战你没有完整的这个链条是没有什么太多优势的。但是后来显然在产品方面，我觉着确实有很多巧思，做了很多好的事。不管像是 Claude 也变得越来越好用了，然后 Cursor 然后和各种各样的这种和工作和效率相关的事情都慢慢汇聚起来了。所以感觉他现在反而变得比我当时觉得你要问我哪个会先死，但是就不会真的死，就是哪个会先变得没那么重要。我当时会觉得 OpenClaw 会先变得没那么重要，但是后来首先 OpenClaw 被 Google 揍了一拳，然后 Anthropic 自己又上来了。所以现在看来好像 Anthropic 更加有优势。自己后悔过没有？
嗯，不太后悔。我觉得对我个人来说，我个人的动机还是想要去换一个地方提高自己。嗯，我觉得对于这件、对于想做的这件事来说，这个选择没有什么错误。
你也提到Anthropic的产品有很多巧思，特别是今年像是Cursor这些，这些对于来自于哪里啊？ 我觉得我没看到Cursor的发展过程，所以我不知道。然后Claude我觉得人家产品还可能真的是有一些个人英雄主义的机会哦，是研究员还是产品？就是那个，我觉得Cursor几乎至少这个事的开端吧，是他自己想要做这个事，提高自己或者同事的工作效率，最后变成了一个对所有人都很重要的事。
Waris是一个什么样的人？ 我跟他没有太多的个人接触，我更多的是看到他的工作。在公司的时候他是个researcher，是吧？对，但他主要是在产品那边哦，所以是有专门的产品部门的。呃，以前没有分得那么开，后来有单独的嗯。对，感觉是很懂AI的产品。对，我觉得我觉得这就是为什么刚开始说的时候觉得这个产品经理可能还是目前挺难被AI取代的。嗯嗯，好的产品经历，而且它好像不是上一代那种产品经历，它不是那种feature的摆放啊什么的，它好像是知道怎么跟AI写作的某种产品经历。对，我觉得上一代产品经历可能也不算就上，也有些就交互、交互方式级别的变化，但每次交互方式级别变化其实就带来很大的产品。比如说就是可能这个抖音就是一个交互方式级别改变的产品，那它一下就带来了很大的、打开了新的方向。呃，然后我觉得可能Cursor也是一个这样级别的产品。嗯，Claude和Cursor都是Anthropic的，我不知道Cursor是谁做的，我已经离开那了。
说你到了Google DeepMind以后的工作吧，工作重心发生变化没有？ 呃，还是发生了一些变化的。然后我反正我自己主要在外就是做ML coding，然后和一些比较前沿的事，就是这两个其实才都大概提了一句。就是ML coding，其实它主要就是想要实现说的这个完整的AI自己研究自己的这个立场。那当然这个过程当中有很多实际的问题，也有很多实际的细节要去解决。就是我觉得大的方向上来说，大家其实是比较有共识的是该怎么去做，但是还是回到细节，就是细节上有很多处理。比如说怎么样去选取合适的data，怎么样去选取合适的回馈信号，以及它又带来新的基础设施的挑战。然后现在就是要把这些事情一样慢慢摸清楚。然后像Horizon就是刚才说的另外一点事，就是说想要能够实现说这个模型能够在口号「finite but use as infinite」。你觉得想要把这个训练的长度一直一直一直变成可能并不是单个这个训练的、这个语段呢一直变长，可能并不是一个很现实的方案。但是很现实的事，你如何在有限的context之下去做更长的工作？其实你其实想人其实就是这个样子，人的context其实很短很短。你现在问我昨天晚上是什么？我一点想不起来了。嗯，你可能想起来我是一点想不起来了，因为什么？因为它对我现在这场景来说不关键对吧？就是我现在知道昨天晚上吃什么又能怎么样？就选择把它忘掉。所以人本质上是很短，但他能够选择性的遗忘，然后他选择性的去retrieve，就是去把这些重要跟当场景相关的信息再抓回来。嗯，对。所以说我觉得那个可能也是一个对我来说很有趣的这种方向。这两件事其实是有点相关、有点互补的，为什么？
就是这两个事其实都在模型使用工具和环境以及不同的模型与不同的人交互的这个大的范畴内。在这个范畴内，大家过去完成的那个节点就是 coding。嗯，就是又是工具又和环境——环境就是这个虚拟机或者你自己的电脑——做交互。然后这个事其实它横向就会长出不同的使用场景。那作为 AI Research，其实就是横向这个场景里面的另外一个场景。这个场景它其实不仅横向上是一个新场景，它在纵向上也让这个事情的尺度变得更长。嗯，因为你可能完成一个代码的补全是一个很快的事，但你做一个完整的 AI 研究或者做一个这种计算机科学的研究，那是一个很长的过程。对对，所以说它其实就是像一个梯子型一样，横向也有扩展，纵向也有延伸。嗯，L 是不是还是个科学问题啊？
呃，有科学问题也有工程问题。我觉得科学问题更多的是怎么把不同的方案尝试一下，以更高效的方式尝试之后，来找到一条最后我们要走的方案。正有哪些方式？呃，我可能不太说太细的，但粗的来说，有一些方案是从普林斯顿的角度，从训练角度来说；有一些方案就是类似于这种稀疏的 attention，比如 DPC 有一些工作，然后学界也有很多工作。然后从后训练的角度，也比如像外界，比如你每天用什么 Cursor，这些他们就是很强的 context management 管理这个 context 的能力。比如它可以让这个模型去选择，我把这个中间某一段觉得不重要就扔掉了，然后那段重要就存在某个文件里，倒是再取回来。这两种大的来说，这两种案都有人在研究。当然，它具体实施细节是不止我刚刚说的这些例子，刚刚说的这些例子就是比较公开的例子，距离实细节当然就每个公司还有自己的小秘密。然后我觉得最终也都会大家都会互相知道。嗯，然后呃，我个人是比较花更多时间在后训练的这部分的方案上。因为呃，当然首先因为我自己呃本来就没有花正式的工作时间在预训练上，预训练对我来说更多是一个兴趣，我想学习的事，但我自己其实没有在那上面做太多的工作。然后另一方面是我觉得后续的这个方案其实更符合我自己对这个事的理解。我对这个事的理解就是刚才一直在说的这件事，就是说能不能用短的预训练，但是它能做长上下文的事。预训练那些方案其实本质上还是需要你有长的预训练，他需要数据里有对对对。所以说，所以它不太符合我对这个问题的哲学。哦对，所以你现在看可以吗？用短的去训练长的？我觉得可以，一定可以，但是我们不清楚哪个方案最有效。哦，的长文本做得很好，好像为什么呀？有些技巧，有一些让我很惊讶的技巧。哦，这是预训练的事吧？长文本做得很好，一定是两边都有。但是我只是说，对我来说，玉石联那边那个技巧还是挺让我惊讶的。对哦，没有 J 号好在长文上啊。但是，但是也有也有说法也不一样，就是有些人也说 J3 这一代长版反而变差了一点啊之类的。嗯对。Again，你加入 Anthropic 的时候，感觉大家对 Anthropic 预期不高，没我的问题。当时一期已经挺高的了，你那是几年几局啊？我是二，就是去年的九月底。那是咱们俩聊咱们俩事之前，你对他的预期高？嗯。其他人呢？
我觉得内部的人当时对还是印象不错的吧。就是我觉得呃，之前一直觉得Google很有危机在OpenClaw冲击之下，我觉得大家的感知可能在2.5这一代产生了变化哦。因为2.5是一个明显你能看出来上道了，当然之前就是Claude的1.5也有一些呃，小的事情某一个距离方面做得已经算很强了，就是很明显它已经不是很「莫」——就是很明显它已经不是很落后。但是2.5是真的真的一代，就是我觉得开始有人开始用的模型。我自己其实也用过2.5，用得挺多的。你是看到2.5之后的Claude呃，我去Google跟著没关系，主要还是我知道Claude他大概是一个什么样的困——就是有很多人在做不一样的研究啊，然后我也知道一些人其实呃，做研究很有意思。然后很多Claude的工程师我觉得基础谱（basics）是非常非常非常强，我觉得我是从他们身上学到了非常非常多。对，然后对我来说那是原因。但是我觉得从大家的感知上来说，可能我觉得内部的人在看到咱们的2.5之后，就可能已经意识到说咱们俩是要赶上来了对。
那对你来说是不是你加入了专门的一个信号是吧？ 不是我加入他的一个信号。
那你为什么加入这么？ 就刚说，就主要是因为我想做事，其实我想要去有——但你知道他们的人强对吧？
对。那是因为就是他们来找我的时候，肯定也会让我去和他们的人去聊嘛。那从聊的过程中其实是能够看出来状态怎么样哦。是他们来找你的对，但是我觉得最后就变成双向奔赴了。所以当时Anthropic不是选择吗？
如果你想从Cursor对OpenClaw也是当时的选项，OpenClaw当时应该还是比Claude从能上要强吧，在那个时候。但是不过那个时候是不是各种那个内部的内斗开始出现了？ 我觉得对，就是Anthropic确实也是我当时一个选项，然后当然还包括像Meta之类的。然后我觉得Anthropic最后没有去的一个转折原因，还是我对他的文化——至少当时来看，我对他的文化是有比较大的担心的。嗯，就是我觉得呃，用种粗话来说就是感觉他是做事的人，没有咱们「扯扯」多，嗯，也更没有玩笑多对哦。这个我很在意哦，一种文化和人的清新感，让你去了呢对。
然后你又赶上了到Claude 3的那个转折点是吗？Claude 3应该对他来说是一个很大的转折的一个时期是吗？ 呃，我觉得从实际的效果来说，我觉得是两件事让咱们产生了一个大的转折，就变成了一个市场里举足轻重的player的玩家，是Anthropic和Claude 3两件事著。嗯，就是你我觉得如果只有Claude 3可能也不会有现在这么好的效果，因为当你的试用率连10%都不到的时候，你这个模型好一点、快一点，其实等它传播出去就是太慢了。但是Anthropic把它做到一件事：首先市场上这件事很爆款，然后大量的人去下载了Claude的app，然后Claude 3又紧著放，把这个部分留下来了。嗯，所以现在它变成了一个举足轻重的玩家。我觉得可能就是没有咱们打这么一拳，那其实Anthropic的位置很爽，就试用率已经高到你其实模型上干点啥，对他来说可能影响都没那么大。嗯，甚至说实话，我觉得就是真正普通人用模型的时候，对于模型的这个能力的感知其实很弱很弱的。绝大多数人甚至都不用欧系列模型，绝大多数人都用普通的那个GPT的对。所以说我觉得对咱们来说，这个Anthropic把量打起来，然后咱们Claude 3又把人留住，是一个很关键的事。他有事实上抢走多少ChatGPT的用户啊？
呃，我不知道现在具体的比例，但是我的感觉是，咱们来可能试战会在20%左右吧。但是我确实没有仔细去检查过现在的数据。嗯，就是从事后来看，这两个因素共同促成了Anthropic今天对于OpenClaw的冲击。
那你从内部视角肯定能更前置地知道为什么发生了什么，Google会有这样的变化？
对，我觉得首先就是Google的技术储备一直是够的，嗯，人够，对人一直是够的。然后呃，组织上来说，就是后来变得越来越有一个更好的框架来让大家一起干这个事了。所以说可能会慢慢有些进展。
然后呃，我觉得从某种意义上来说，我作为一个局外人，从某种意看来，我觉着OpenClaw还是救了Google一命哦。就是因为大家以前一直都担心说这个聊天机器人会不会完全把搜索取代掉。如果这个事真的发生了，Google其实很难受。但是好在呢，就是OpenClaw把这个事做了，然后让Google意识到了这个事很重要，但是它又没有把这个事做到底，没有把这个事做到极致，又完全没有把搜索干掉，可能就吃掉了一些份额啊。结果让Google自己把钱人也追上来了。
那现在难受就是，你要万一就是有一个公司，就说如说在一个虚构世界有一个公司，不仅做了bot，而且还一路高歌猛进，越做越好，真的把你一把就把你搜索吃掉了，完全没有你反击的机会，那就很难受了。那Claude没有吃掉搜索是因为OpenClaw干得不好，还是为什么呢？还是因为这个形态干不掉搜索？
我觉着两方面其实都有。就是说首先目前的插拔这种交互方式，其实不会完全干掉搜索。嗯，因为它比搜索强，就像刚刚最早时候说过，它比搜索强的一点是，它有很强的交互性，你可以追问。然后你可以把它可以帮你把一些很复杂的信息去……这是它很强的地方。所以这部分使用场景它确实会把搜索的人抢掉。但是搜索里还有一些非常愚蠢的，就是你有一个特别简单的事，你根本不想浪费这个时间在聊天机器人上。比如说我就搜“买大米”，我就一搜就完了，我还非得去问Claude我还费问哪个好，然后它还在这赚钱赚钱，然后给你个链接，你再一点再跑到网页再去买，对吧？
没有那个必要。嗯，所以说从事实的使用上来说，他目前的形态并不足以把搜索完全吃掉。对，然后呃，当然从那个角度上来说，他可能在聊天机器人这个事上也没有做到登峰造极。就他还真的让别人让Google把给盖上了，那就是他自己现在还不算赶上吧。在产品上，我觉得在产品上不算赶上，但是在模型上已经是赶上了。但是投资人头Anthropic他们会说，他们下注的时候是认清楚OpenClaw其实是一个产品公司的时候，他的护城河其实是产品和品牌。嗯，那从今天来看的话，似乎Google还没有在这件事情上能够赶上，嗯，不能说超越吧，赶上吧。对，就是我觉得这其实反正这都是我作为一个局外人观察者的视角来说，就是你今天是点评价观察者的角度来说，我觉得Google传统上在产品就是有点慢，是一直都比较慢。嗯，然后所以你说Meta会不会在产品上有优势？我对。然后Google特别擅长的一件事是找到一个极为简单的产品形态，大家都长一个样，他就疯狂给你卷技术，你就卷不过他哦。对，所以那个事不过长的，因为搜索引擎就是这样的一个事，搜索就是一个典型了，就是大家都是一个框一个键，但他就是比你搜得快、搜得准，你拿他一点办法也没有。嗯，所以这为什么就是我感觉就是一直以来Google都处于一个做得很好，都不太认可的状态，大家总觉得这公司壁垒到底在哪，也没有什么产品的小思，也没有什么，他就活到了现在。所以他技术好的原因是啥？
我觉得还是人好吗？
我觉得还是氛围，就是说是一个特别特别重视——以前就特别重视工程师，后来就是特别特别重视研究的这样一个氛围。所以它很适合那种通过技术能力突出的产品能力的产品。如果从这个角度来看的话，那你觉得Anthropic的位置是稳固的吗？
我觉得像谁的位置都不稳固。嗯，对，我觉得就是AI的形态还有很长的路要走，嗯，没有到什么中局之战这个地方的感觉呢。对，感觉国内已经有点这意思了。对，我不理解，就是理解我很费解，就是那国内觉得我们在争夺一个super app，就是此消彼长这样。我觉得condition on聊天机器人这个事，就是super app，嗯，那可能可以争夺一下。但是问题是你这个形态是不是super？那个形态会不会别人就是哪天出了一个完全不一样的形态，然后你的功能变成那个东西的子集，这是很有可能的，是吗？
我觉得没有什么，我觉得我看不出什么不可能。为啥爆不是那个重心态？但是这么多年我们就看到这个了，对，就是都是一个对话。我觉得我在这个事上我确实没有什么理性或者炼化的标准来说明，更多的是你觉得这事很蠢，就是这个模型明明有那么多的能力，但居然用的方法是查得爆的，就是不太make sense，知道吗？所以需要一个产品经理来解放一下，人类到现在只通过chatbot去跟AI沟通，让你觉得很蠢，是吧？
很蠢。就是那应该用什么去跟AI沟通？
没想明白，要想明白我就干了。你没有告诉我Google内部到底发生什么变化，然后有了外界看到的和模型能力的突飞猛进。对，就是刚才说，就一个我觉得组织上更清楚了。然后组织上一旦清楚的话，组织变化了吗？
对，尤其像模型训练现在变得非常非常清楚，就是谁负责什么事情，然后每一个点、每一个节点上谁是负责人，这些事情都很清楚。以前是混沌的吗？
以前啊，最早时候很乱。我我没有最早时候在那待过，但是就是同事根据同事或者我以前认识人的描述，以前还是更混乱一些的。嗯对对，然后现在就是至少运作现在是变得非常非常清楚。然后加上这个Google一直有的这种比较比较强的技术背景，然后它做事也比较系统，所以觉得预训练在Google是一个非常非常可控的事、可预测的事。你能够知道下一代不会差，然后可能你还会知道它会有多好，对吧？通过这种自上而下的管理，它也不错。那Google是这种自下而上的，他依然是自下而上的，是吗？ 他比以前肯定要更自上而下了哦，比最早的时候，但是他比说还是更自下而上了一些，就是好像不同的文化都可以是吗？ 对，就是对模型的讯……对，就是我觉得大公司有大公司的打法，有大公司的打法。所以大公司是你刚刚也说它是一个完全不一样的趋势，它是一个不一样的方法。Google是什么方法现在？ 我觉得Google更多的是像这种比较确定性的事，比如说像预训练已经是一个比较确定性的饭事了。那可能Google就会更像把它做成一个工程项目。然程Google的工程管理能力又很强，所以说他就能慢慢把它做好。什么叫工程项目？ 工程项目的意思就是，你其实是一个非常非常严谨的一个组织，然后很清楚我们下一阶段要做的是什么事情，然后去做这个事情中间需要由哪几个节点被处理掉。然后哪怕是做研究，也是说就是有一个很清晰的框架告诉你怎么去验证你的结果是好是坏，evaluate的结果是好是坏。对，所以这个是Google很强的事情，在过去的任何一个大的工程项目上。所以说，预训练其实我觉得就是现在进入到Google的舒适区里了。嗯，然后后训练当然就是有更多的不确定性。那可能后续来说还是更bottom-up一点，就大家可以跟我广泛的事。对，你说print tr是一种RL，为什么这么说？ 就是我觉得你很难从纯技术的角度说，预训练和或者是说这个监督学习SFT和的本质区别是什么？ 因为预训练和SFT，预训练和SFT本质也没啥区别，就是你无非就是把你拿到的那些数据当成你的ground truth，嗯，然后你就把那个当成你的expert，把那个当成你的专家输出，然后你朝那个专家输出的分布上靠，强行学习。可能就是更宽广的一个级别，一个级。他就是说，我首先这个本来输出的东西也不是一个给定的专家，是我自己产生的一些东西，然后我里面又有好的结果又有不好的结果，然后好的结果要往上靠，不好的结果要远离他之类的，这样东西。所以说从某种意义上来说，PPO和SFT是强化学习的一个子集。但是呢，这两件事确实在现在这个时代是有区别的。它我觉得对我来说它的最大区别在数据上，就是PPO的数据更多的还是要distribution搞好，就是分布足够的广或者足够符合你想要覆盖住的一些范围，但是数据的质量并不需要非常非常高。但是后续来说就反过来，就是说它分布上来说可能要窄，但是它在有的那些数据质量上会要求非常高。对，所以我觉得目前来说，对我来说他俩最本质区别还是在数据分布上区别，而不是在算法或者训练范式上区别。那像不同的lab它是怎么分这个组的？与训练和后训练有不同吗，还是都一样？
呃，和 Google 比较类似，两个都是——就是运选来是运选一个，然后后选来是后选一个组——嗯，可能比较比较混沌哦。最早的时候，我一开始的时候他是分三个组，就是他有预学习，然后他还有强化学习，就是 Strawberry（草莓组），然后他还有一个 Post-Training 组。然后我的——我没在这干过——但我的理解是他的 Post-Training 其实不是他的那个 RL 组（就是 Strawberry），和他的 Post-Training 形式是别的公司的 Post-Training。还有产品哦，然后他可能是以一种不一样的方式给他切了，他把后训练当产品做，就是他的一部分后训练其实是还产品，是在做产品哦。他是只是名字没改过来呢？也不完全是，因为绝大多数公司的产品其实不太迭代模型了，他更多的是把这个需要的——需要的这个特质模型特质——告诉训练模型的团队。嗯，但是他好像就是他的 P 既从某一说自己又是产品，但自己又能去 Mosaic（Manus？）——不是，他对于产品的理解就是需要有可能模型的人来做产品。对对对，有可能有可能是件好事对，但是他后来也这个组织变化很多次，我现在也不知道他们组织成啥样啊。
哦，你们最近发了几个模型，然后我看到你也都参与其中：Jamba 3、DeepThink Jamba 3.1 Pro。我觉着可能只能说是有幸参与对，就是感觉都是集体工作。你为什么现在都变成明星人物，然后每次都被拎出来单独写一下？我不明白，我觉着其实不太好。每次看到之后我都感觉——明明天该怎么去办公室见同事呢？会有异样吗？在办公室这还好，我觉着同事可能可能还是人比较好，就是他们可能也不是特别看重这些事啊。但说实话，我是觉着我参与过的任何一个项目，不管是在 Google 还是在 Anthropic，都会发生，都一样会发生效果，也不会扁差嗯。我——这是我觉着大家现在就是每个人都是冲浪的人，本质上是那个浪啊，不是你那个冲浪的。嗯，浪是 AI 吗？对，就是 AI 这个事情本身是这个浪，它会往前走，不管你冲不冲这个浪，这个浪都会拍到岸上嗯。只是说有人可能就冲了这个浪，有人就可能晚了一点没赶上那个浪。间对好，你有幸地参与了这两个工作的什么？
呃，主要可能就是一些——有一些那个——就是算法上设计的小的细节，然后会一块讨论啊。然后呃，有一些呃，有一些数据上的东西，但是数据上的东西我觉着可能对之后的工作会影响更大一些。嗯，这几个模型有翻天覆地的变化吗？
嗯，我觉得没有哪个变化大到了从不知道怎么做大规模的强化学习到大规模强化学习那个级别的变化。没有哪个变化大到这个地步，肯定都是会有一些小小的变化。这几个小变化你们讲一讲就这几个新的模型，不能讲哦。好，不幸，对不起，最近我感觉模型已经发麻了。国内一堆模型，国外也是很多模型。你们呃，国内GLM自己DeepSeek一直期待还没发，你能不能给大家画重点啊？
我觉得呃，从某种印象来说，都没那么值得关注。哎，大家在争什么现在？感觉群魔乱斗。我觉得有一些争的事情呢，其实现在看来已经在这个时代已经没那么重要了。就是因为过去带来的惯性是大家会争各个benchmark的第一名，嗯，证明自己模型的基本能力很强。这个事情呢，其实到现在已经到了，就是公众关注那些榜单都有点打打满了。嗯，就是你想最早大家关注这个SWE-bench，随便大家都打到80多，幸亏没人超过83，因为最近刚放一个P说超过83，那有的题目都是不良好定义的，幸亏没人超过，谁超过谁尴尬。然后大家以前reasoning就是打完AM打MMLU，打完MMLU打什么想什么AIME啊这些办。然后AIME咱们3之前大家最高的都往那说可能十几这样子吧，然后大家往HumanEval，然后才给变成30多了。然后Claude 4、4.5、4.6变成60多了，然后咱们来算DeepSeek一下达到80多。所以这个也打嘛，所以现在就是感觉光靠这种公众认知的模型能力其实已没啥太大的意思了。
嗯，然后呃，所以从这个角度上说，我觉得本质上就是没有什么太多的重点。嗯，虽然大家发得很快，嗯，发得快也说明其实这道题对大家所有人来说特别简单了，大家都知道弄好了，没有什么秘密了。一件对对，就是还是那个冲浪理论了，就是这个浪在往前走。对。
那大家下一个可能在寻找的目标是什么？下一个饭事级的变化是什么？还会有吗？
我觉得我刚才自己聊的那两个事，我觉得MLC和L Horizon。然后这两个是我觉得，呃，是我觉得是一个可能没有到饭事级变化，但是我觉得是对于Google来说会很有价值的事情。嗯，因为首先M coding是因为Google首先自己是一个AI research大户，然后它自己又是AI research最全战的，就是它不仅有这些大模型这些部分，它还设计硬件的部分，从硬件接到模型的部分这一整套东西。如果能被加速或者被更好的管理，那可能对这个公司来说是很有价值。嗯，然后RLHF就不说了，所有人都知道，所有人都觉得很重要。对，所以说我觉得那个可能是对我来来说不能说是饭事级别，绝对是不到饭事级别，但是是一个我觉得是很有价值需要去在未来几个月之内能够看到曙光的事。
然后我觉得饭事级可能还是那些非更非确定性的东西，就是什么多模态生，那个我觉得可能会有一个英雄吧，或者会有一个英雄集体吧。然后对，像那种会有一些，还有聊比较多的continual learning嗯，世界模型呢？
我觉得 continual learning 和这种 Wolfry（狼 Ry）刚刚说狼没有本质的区别。嗯，因为大家以前觉得这两件事差别很大，是因为 contin（持续学习）模型的一些权重，然后你做这种比如说像开放开（OpenClaw）大家做很多这种 cest management（上下文管理）是不会改变模型全中的。但其实你想，这两个没有本质区别，因为 cest 里那些词自己的 KV 也不也是一种权重吗？所以说，你觉得这两种方案最后谁能更有用，在长久来说更有用？我觉得是不清楚的，但是它们本质上都是为了做才 Horizon 这种类型的事情。
嗯，然后世界模型一万个人有1万个世界模型，啥意思？ 就是定义不清晰，首先我不知道什么叫做一个世界模型。 其实就是每个人在说他们做的世界模型的时候，可能也在说不一样的事。比如说咱们来做的世界模型可能就和比如说像李飞飞他们做的世界模型就不是一个事。嗯，对，描述一下区别是……呃，我不是特别了解像外面像李飞飞他们这些 lab 的事情到底是怎么样的，但是咱们的世界模型更多的是一种 an（agent）的这种级别的训练。他想要的结果是说，我比如视频生成是大家能够给定一个描述然后生成一个视频，但他想要的结果是我不仅能够生成一个视频，我是能生成一个场景。什么叫一个场景？场景就是说，我生成了这个水合的状态，然后我还可以再给它一个 condition（条件），一个条件是我在这个状态下做了一个什么样的动作，然后它下一个状态会变成我上一个状态和动作的函数。然后它是按照去训练这样的能力的。所以说这个可能是一种方案。然后我首先也不知道大家最后想要的到底是什么结果，我也不知道大家对自己世界模型的定义到底是什么，所以我觉得更多还是一种探索的状态。
嗯，刚才我们一直没有聊到一个组织是 X（Manus）。我们刚才聊了 IC（Cursor/Composer/Claude），聊了 OpenClaw，聊了 X 呢？ X 我是不明白，作为点评来说一下，他们怎么最近这么动荡？ 我觉得他们一直都挺动荡的。那为什么最近这么动荡我也不知道。然后我其实跟 X 接触的没有那么多，呃，我接触的一些人也都走了，所以我也不知道他们发生了啥。
哎，对了，刚才说 IC 的时候，你说技术的一号位能被 MB（Meta）是非常重要的。那在 Google 这样的一号位是谁呀？这个英雄是谁呀？ 我觉得英雄在不同的阶段是不一样的人，但是英雄的背后都有一个人，就是 SG，就是 Google 那个 Jeff Dean 对吧？ 对对，就是我觉得最终很多很多大的决定可能不是由他来决定怎么做，但是最后拍板得他来拍。嗯，对，现在也是。呃，我觉得可能更多的在一线出现的是 Demis Hassabis（DeepMind CEO），然后他现在也是 Google 的 SVP。哦，D 在负责什么？ 我觉得 Damien（Dam）可能更多那种就是偏 Science 的事情，比如说那个药物的 design、Isomorphic Labs 啊那些事情。对，哦，Jina 他管的不多。呃，至从我的视角来说，我看到的更多的人是 C（可能指 Sundar Pichai）。但是有可能就是那公司那个管理层的事，其实也有可能很多是我看不到的部分。
嗯，那我就不清楚了。你刚才也提到 AI 整个是一个系统吗？ 嗯。你对于怎么系统性地做 AI 也有什么认知吗？
现在经过了你这两年的工作，有几方面吧。一方面是从整个系统来说，它需要一种比较科学的态度，就是你要清楚地——像 Scan 一样——清楚地理解自己做了什么样的预设。嗯，然后我在做一个改变的时候，其实有哪些因素相关联，哪些因素是不相关联的？对。然后这是从组织情况下来说。从人的情况下来说，其实需要人很 reliable，就是需要很负责任的人。其实每一个系统、每一个评价的框架都是很容易被 hack 的，你总可以做一些事让你的指标看起来很好看。但是一个可靠、值得信赖的人，他其实是会想：自己做的这件事如果效果好的话，是不是真的？比如在大规模上效果好，是不是我中间漏掉了那些因素？
所以说，其实把试作系统听起来是一句话，但真正做起来是很复杂的事，就是有很多细节、很多阻力，因为它其实违背人性哦。因为每个人的人性可能都是为了让自己做的东西能够看起来更好，但是对一个公司或者一个组织来说，最有利的事是公司的系统性做得非常非常扎实、非常严谨。这个能不能举点例子啊？好像有点抽象。
对，它确实有点抽象。呃，所以这也是你说没有那么多个人英雄主义的一个表现。对，人要变成一个更可靠的系统的组成部分。我可以举一个可能也是比较诡异的例子，就是比如说做乔写（code generation），你可能可以做一个算法出来，效果比别人好，但是更关键的问题是你要去问：比如说在真正大的尺度下，我是不是能够保持稳定性，是不是一样好？嗯，然后，我比别人的东西效果好，是不是因为我用了不一样的 data？以及我是不是用了更多的 training 的 FLOPs？是不是用了更多的 sampling 的 FLOPs？然后，我具体在真的生产环境、最后大规模的 production run 里面，到底哪个才是我的限制因素？然后我该去看哪一个、治标哪些？这些可能都是需要研究员自己对于这个系统怎么运作有一个好的理解，然后以及对公司负责任才能做到。否则，你很容易做到一件事，就是你可能比如说你在考虑某个 baseline 的时候比别人好，但你考虑 baseline 加三倍的时候比别人差了，你总可以选择你只报 training 的部分。哦，那这就很糟糕。对，所以这个就是既要你个人负责任，又需要组织所建立的体系能够尽量发现这些有意或无意的边界问题。
但是你作为个体的话，你不知道怎么样是对全局最好的呀？
呃，其实是需要我觉得，如果一个研究员做不到对全局去考虑的话，他就不是一个合格的研究员，在现在这个时代。嗯，这个和我觉得在学术界做 research 是很不一样的事。因为在学术界做 research，本质上是一种「吃饱全家不愁」的状态，我为我的项目负责，对吧？我为我的可重复性负责。但是在一个公司里，你其实更多的时候是得为这个公司负责，这是两种完全不一样的心态。
那你这种自觉性从哪里来了？
不知道，我觉得我可能就是拉不下脸。
拉不下脸是什么？
对，就是你对一个公司负有的认识，你和这个公司的契约的一部分。哦，其实我觉得没什么道理不这么做，这么做是没有原因的。嗯，所以个人英雄主义会破坏这种整体性。嗯，我觉得如果只是为了个人英雄主义而做事的话，很有可能是会损害整体利益的。但实际上，可能你能力很强，然后你真的成了一个英雄，那也是有可能的。
因为你也经历了两个组织了，你觉得什么样的组织更能够激发智能？
在这个时代，我觉得其实这是一个很有争议的事情。就说呃，因为刚才也聊了，就是不同组织可能有些比较自上而下，有些比较自下而上。那么一个自然的问题是说，比如这两种组织哪个更能够激发创新？过去的观点就是自下而上是激发创新的必要条件，因为就是你得每个人有自由嘛，自己有自由才能有创新。嗯，但是完全自下而上也发现其也不行，因为他就乱，那就是 Google 之前的样子是吗？ 对，就好在我印象里，就是在我了解到的印象里是这样。就是他就乱，就是大家甚至都不知道我做这个事有什么用，那可能也不好。所以就可能需要有一个人或者有一个小的集体能够把这两件事稍微融合一些。嗯对，就是对。就是为什么我觉得其实一个组织运行得好不好，呃，看起来是组织的问题，但其实归根结底是技术 leader 的问题。嗯，就是这个技术 leader 有没有特质能够把这个组织运行得很稳定，因为因为最好的那个状态往往都是最不稳定的那个状态，就很容易往不好的那个方向他缩的。嗯对，所以得有一个 leader 来控制这个事。那你觉得都是技术 leader 来做这个事情，而不是 CEO 来做这个事情？呃，当然美国公司的 CEO 可能有不一样的职责，但是得有一个 leader。我觉得这有一个 leader，他能有两个特质，嗯，才能去做这个事。一个特质就是说他自己有救火的能力，不是说他光嘴上说要做什么要做什么要做什么，而是说有一件事真的遇到困难了，他能自己下场去带人把这个困难解决掉。嗯，当然绝大多数时候可能一个 leader 不会有时间去做这个事，但他只好有这个能力。第二个重要特质就是他得能够理解别人，就哪怕一件事可能是他不做的事，但他能够理解到为什么别人做那个事重要，能够容得下别人，那可能是另外一个小特质。嗯对。你觉得 Google 的 TPU 在哪些方面表现得比 GPU 更好啊？劣势是什么？ 我觉得呃，从纯硬件的角度来说，很难说哪种硬件真的好或者坏，尤其是这种大规模商用的情况下。因为本质上来说，GPU 和 TPU 在使用上来说最大的区别，就跑掉硬件的区别来说，使用上来说最大的区别就是 GPU 它有比较好的开源生态。嗯，GPU 没有，但这个事其实在大规模商用的时候并不是一个问题。因为比如 Google 自己用 TPU，那自然会花时间去搭这个基础设施。而基础设施就是一个，你可能比如说你一直跑 1000 张卡，那可能是一个很大的负担，但你跑一个几十万张卡的集群呢，大家一个基础设施也不是一个多大事。然后从实际，所以就是从实际上这种大规模商用来说，没有哪个属于有战略优势。但是这两个确实有一些设计理念上的区别。比如说 GPU，至少我可能后来这几代 GPU 没这么用过，像比如像 H100 那代 GPU，它的设计是说我一个 pod 里面可能没有多少张卡，就比如说就八张卡，然后这八张卡之间可以互联非常快，所以这一个 pod 几乎就是没有什么 communication 的瓶颈。嗯，但是 TPU 它可能就反过来，他就是说我抛弃了卡之间互联，但是我能尽量地把尽量多的卡放在一个大的这个架子里面。那它就是有这种三维的这种设计，所以它就一张卡就只有在三个方向连三个最邻近的，但是它整个集群可以连成一个大的。然后如果你的 compiler 或者你的那个调度的逻辑写得足够好的话，你是可以利用这样的东西。其实就等效来说，你也会获得更大的存储空间，然后也会减少很多通信的开销。对。劣势是什么呀？
呃，我觉得一个劣势就是它肯定是比起 GPU 来说，好在在小的 SQ 上来说，比起 GPU 是更加——呃，更加固定的一种结构吧。所以说它的应用性或者它的通用性可能没有那么强。
嗯，对，最近矽谷有很多 new lab 出现，你怎么看这个趋势？为什么他们都出去从这些模型大厂跳出去成立 new lab？我看不太懂。
我的感觉是绝大多数的 lab 不会死，然后——呃，我觉得就是可能有一些 lab 是真的有好的人，然后像有些 lab 可能也是开始在做一些事，比如说像 SQ、Manus，他还是在做一些新的东西。然后但有些 lab 就是——请帮我把名字避掉好——比如说我就完全不知道他们到底要干嘛，然后这两人其实已经远离这个专业好久了。
我觉得 26 年国内会非常看重 C 端的叙事，谁成为那个 super app，你怎么看？
你觉得这个——这好像没有人讲这个事对。就是因为美国 enterprise，就是这个——就是公司，然后或者说效率软件这个市场太大，而且利润也太高。所以说对于美国来说，其实 C 端之前就只有苹果一家做，其实也没啥，没有什么利润。所以说就是现在大家可能重心都会先放在这种效率软件或者上。嗯，然后所以中美的叙事已经发生差异化了。我觉得不只是 AI，就是过去的整个互联网都是不一样。就是中国很强的就是 C 端，就是他能够想出一些非常非常复杂的产品的性质或者结构，然后用一种很——你觉得很间接、很不自然的方式把这个利润滚下来。比如说什么叫很间接？就比如说像抖音这种东西，他并不是说我你看视频，我看一个视频收你两毛钱对吧？还是说你可以免费看视频，但是我可以偷偷加广告，我可以偷做直播，我可以偷做电商。但是这个做效率软件没这个事，做效率软件非常直接，就是我让你帮你写 code，我成本一个月 150，卖你 200，我赚 50，就是非常直接的事。
嗯，对。我觉得美国在过去的体现就是在这种很直接的产品上能够把技术做到极致。嗯，但是一直没有哪个产品——然后我觉得就是复杂到说让你离不开他，你又感觉不到他在赚你的钱，但他实际上赚了你的钱。
哎，你这么说我突然觉得 Meta 就应该超自洁奏对，但我觉得 Meta 没自接强，因为 Meta 他也找不到自己的生态位，然后美国又没有一个做这件事情的公司，这个生态位还没有人找到。那 Meta 他就超豆包呗，他也不需要那么强的模型能力对。但我觉得还是美国做产品的本质上，做 C 端产品的人不行啊，比中国来说差远了。
哦，对，这是过去时间的积累是吗？
对。嗯，因为过去 10 年在美国的这个财富都来自于做币的很多，对对。或者就是在美国这种——赚钱太容易啊，赚钱太容易的时候你不会费脑筋想怎么赚钱。
哎，不是很多人都要找你聊聊吗？有什么好玩的人啊？
不，很多国内的人来科技公司来。我觉得——我觉得都挺好玩的。然后确实发现国内人做产品可能还是想法更复杂一些，更复杂一些。对，就是想得更——想的这个回路更长一些，跟美国还是风格不太一样。美国是——我就美国就刚才说了嘛，就是做个什么就拿这个卖钱了，对呀，就是简单啊。就是这个事就是需要这个能力，有了这个能力之后就是要比别人便宜，我就能赚得比你多。嗯，哪有一点办法也没有。
嗯，中国呢？中国感觉都是这种——什么一开始不赚钱，但是一旦他开始赚钱，你就拦不住他。就是他——他是真的能形成那个——那个——那个自己的那个圈的。你就是他真的把那个圈转起来的时候，你再想往里插就插不进去。
哦，你觉得美国公司现在看懂字节跳动没有？
我的感觉是，还没有，他都这么大了哦。你说，是不是重视他？那肯定是重视的。大家肯定都知道自己是一家被严重低估——从他的市值上来说，是被严重低估的公司。这是我觉得大家然后我觉得也很明确，就是说在消费者市场这一端，其实我觉得没有哪个美国公司能和自己竞争。但是他毕竟实在是中国公司，从公众的公众意识上来说，他毕竟实在是中国公司。嗯，对，看懂他了吗？
我不觉得大家看懂他了。但是你看Meta他其实也在主动地从自己挖人嘛。嗯，你在AI行业有什么偶像吗？或者欣赏的人？
虽然你在AI行业很短，没啥，就是我感觉我来这个行业的时候，个人英雄主义时代已经过去了，所以也没有什么英雄。有时候你甚至觉得旧时代的英雄有点蠢，对吧？所以说真的没有什么，你觉得谁比较……？
这个还是不说了吧，no comment。对我觉得，我觉得和和和和做物理还是不一样。我觉得做物理还是存在着一些，我觉的真的比我聪明太多的人。比如我读博的时候，我那个年轻老板就是，我觉得他D到斯坦福（Stanford），我觉得他就比我聪明太多了。觉得他可能也是看到他，我才觉得自己在那个领域也没什么用，有他了我还干嘛呢，对吧？跑到AI来降维打击一下？
也没较为打击，但是反正就感觉AI这个事本来也不太需要脑子，真的不太需要脑子。需要什么？我觉得这个行业最重要的特质就是Cursor普林斯顿（Princeton）的做事，然后对自己做的事负责任，这是最重要的特质。你说那些东西有多需要脑子？我觉得都是一些本科生就能干得活。可是你现在AI没有个人英雄主义，一个AI研究员的价格炒得多高啊，跟球星转会一样。我不知道是好事还是坏事。对我个人来说，我当然很高兴，我受益于这个。但是，嗯，实际上来说，我并不知道这个事是不是一件好事。
你觉得为什么价格会变得这么高？
我觉得可能一方面是大家觉得这个事很稀缺吧，可能确实也没那么充足。就是因为训练一个人虽然没那么难，但是你训练一个人是需要一个环境的，就是你得有那个机会去接触这件事，你才能学会这件事。你没有那个机会，你就是再聪明也没用。那可能过去能撞到这个机会的人没有那么多，所以说在市场供给上来说可能是比较稀缺。从这个角度上来说，但我觉得另一方面也是可能对人的炒作有点过分了。对，非常喜欢神话个体。现在我觉得真的，再说一次，这是个集体注意的事。那很多人也会很好奇，因为呃，可能很多公司也想招AI的人。那你觉得最重要的他是要靠谱，这个有什么衡量指标呢？
就怎么能够快速地判断一个人Cursor不靠谱，做事不？
每个人都有一些自己衡量的方法，然后我当然也有一些自己的trick。就是我以前有出一道面试题，然后那个，我大概讲一下。这个应该不适合保密，所以我也应该可以讲。实际上很简单，就是说我需要这个人在24小时之内完成一个强化学习的项目，从0到1。就是他要自己去选用什么样的模型，我告诉他有的资源是什么样的，然后他自己选用什么样的模型、用什么样的数据、用什么样的算法，然后把这个模型做出来。24小时之内，就是我给他，然后他24小时去完成这个事。24小时结束之后，他会跟我有一个小时的讨论。然后这个事呢，其实在AI时代没有那么难过。没有AI这是不可能的，没有人能24小时之内把它做出来。但有AI之后其实特别简单，因为AI能帮你全套做。但为什么还要做这个事呢？
有两个原因（我有很多原因，其中设计成这样的两个原因）：一个原因是因为我觉得在这个时代去考察别人——比如说代码写得好不好——其实没用，因为绝大多数人都不用自己写代码。更重要的是，他能不能有效地利用AI。这是一个方面的考量。
第二方面是，这个事情其实有一个陷阱：如果你全判给AI做了，但你最后没有试图好好理解AI为你做了什么，那么在那一个小时的讨论里面会漏掉一些关键点，这是一个很容易出问题的地方。所以考验的另一件事就是，你有没有真的和形成的协助，还是说你就全扔给它。这是我个人很看重的事，也是判断一个人是不是做事靠谱的一部分。
当然，这个题目的设计本身也有一些比较阴暗的巧思：为什么设计成24小时？就是为了看这个人有多看重这个机会——可能需要熬夜。如果他足够熬夜，就能撑住这24个小时；如果撑不住，只能说明他可能对这个机会也没有那么看重。
对于比你更年轻的人，你觉得他们现在入AI还是一个很蓝海、很有机会的地方吗？ 我觉得纯语言模型已经不是一个蓝海了。我觉晚了，木板车已经发车了。板车已经发车，那般是哪一班啊？我感觉我入行就是那班板车。然后可能确实在我入行之后，当然还有一些新的人，但我觉得他们就没有机会能遇到那么好的机会了——能在一个还没那么小、也没有那么大的团体里做一件事情。他们可能很少能遇到这样的机会了。
但是，我觉得AI是一个很大的方向，语言模型只是其中很小很小的一部分。还有很多别的事情，比如刚刚说的多模态生成，可能还有很多机会；机器人可能更有机会。然后包括更夸张的，比如你能不能用AI去帮助一些真正的科学问题，比如帮助做量子调控之类的，那可能就是更蓝海的事，就是Blue Sky的事。
所以，我觉得对于足够年轻的人来说，做现在最热门的事并不是一个正确的选择。做现在没人做到的事，可能更是一个好的选择。
你自己未来会怎么发展？你会在Google很久吗？ 呃，我觉得应该不会这么公开地说吗？我觉应该不会。我还是会尝试去挑战自己，要折磨自己。但是，我可能需要找到一个值得折磨自己的事。
如果AI不是本质上的挑战的话，你会不会觉得无聊啊？你的挑战在哪啊？ 我觉得它虽然不难，但是你知道和不知道还是有一个gap的。就是你从完全不知道其中的细节，到慢慢理解其中的细节、理解它怎么运作的，这些事情我觉得还是需要花时间。当你搞懂之后，我觉得对这件事也是会对你未来做——比如不管你是做产品相关，还是往别的AI方向去发展——我觉得都是长期来说会有帮助的。
你未来想在哪里发展？ 我觉都是可能没想好该怎么折磨自己。
你应该不会再跳去另外一个大公司了吧？ 应该不太会了。
你觉得你在IC（普师）上学的和在Google学的有什么不一样？
我觉得还是挺不一样的。我觉得在——就是你可以把一个事情，沿著一条线，比如 Langevin M 这条线的方面了解得非常透彻——嗯，它给你这样的机会。然后在 Google，它更多的是一种横向的视角，就是有很多不同的方面、很多不一样的人，然后能见到不一样的视角，也能见到不一样的研究方向。嗯对，就是你都可以看见。对，是因为它规模足够大，所以你能理解得更全面。
你有想过用 AI 去解决物理问题吗？ 你们那个理论物理啊，有人在干，所以我觉得不需要我去干。你对这个没有本质的兴趣吗？我觉得这个事情——首先，目前对我来说不是最高优先级。我觉得如果哪天我把手上最高优先级的事情解决了，然后又没有找到别的事干，我可能会去干这个事。
你现在最高优先级是什么？ 我现在最高优先级是，就是把我刚刚说的这两个事情能够——能够把它推进到一个，同时能够把它推进到一个比较，我觉得比较稳定的状态吧。那个我觉得是我的最高 priority。但可能之后也会有别的 priority。但是说用 AI 做物理，我觉得是一个已经有很多人在尝试的事情，多一个我不多，少一个我不少，不如就让别人先干。
你有特别崇拜的物理学家吗？ 也没有，有是有，但是有点多，不知从何说起。物理学家、人工智能科学家都有。嗯，但这跟人的成长经历有关吧。我觉得就是——一个成年人很难真的崇拜一个人，那个儿童时期很多会。
哦，崇拜过谁啊？ 我觉得就物理学家其实还是有很——真的挺强的。但就是大家都说的那种，100 年前那种人就不说了，什么爱因斯坦、海森堡这些就不说了。然后包括大家后来都知道的，像杨振宁这些也都不说了。然后像我之前做 Lattice 体系的时候，其实有一个——他后来也难我讲——就是那个，好，就是你会发现这些人有些异常的远见。就是他在他那个时候显得格格不入，但是你看好弹最开始做好弹 model 和这些分数量子霍尔效应相关的事情的时候，离最后大家搞明白这些，过去了好几十年。嗯，在那个时候他能够觉得这事重要，一直在自己推进这事，我觉得这是一个很不容易的。
当然，我觉得你要非要在人工智能找一个类似的人，我觉得可能 JF（Jeffrey Hinton） 是吧。就是在大家都觉得这事可有可无，或者不那么确定的时候，他一直在这个方向做。那我觉得这可能是一个英雄级别的人物。嗯，在他之后呢？呃，在他之后我觉得——嗯，我觉得可能也有一些英雄的集体，比如像 Transformer 和那些——那个，你可以说可能是一个英雄集体。
讲过一个特别让你影响很深的话？ 我在这个行业又没有什么导师，又没有什么旧，我想喷谁就喷谁。这可能就是不做 AI 的好处吧？不做 AI 出身的好处吧？对，就是真的没有什么负担，就是没有哪个老的人是你的亲属，所以你觉得他傻，他就是傻，就可以直接说他傻，没有无所谓的。
你以前也这样吗？ 我觉得我做学生的时候还挺收敛的。哦，但我后来发现收敛没用，对自己也没好处，对别人也没好处。还是更直接地表达自己的想法是最关键的。我觉得直接表达自己的想法是一个——短期一定会有人恨你，但长期大家会欣赏的事情。
我们最近听谁说退把这个名字逼掉，我挺蠢的，而且蠢得始终如一。哦，他有没有可能是那个对的人呢？
我觉得他说的话用 Anthropic 的话来说就是 not even wrong，因为不良好定义也很难说他说的是对是错。对，就是有一天可能有一样的饭事发生了，他就可以跳出来说：「诶，我当年说过这个、这个、这个、这个。」但是你就发现，可能如果 普林斯顿 这种状态，他也能说一样的话。这就是我为什么很讨厌这种很模糊的人的原因，因为一个事模糊就是没有意义的。
你为什么觉得他说得很模糊，没有正确的定义？ 就是一种魔咒两难。如果他有正确定义的话，我可以解释他为什么有正确定义；但他没有正确定义的话，我没有办法解释他为什么没有正确定义，因为他真的没有正确定义。我觉得还是一个良好定义的事，就是他要做的——嗯，然后它的方式可能更偏这种更传统的 new network modeling 的方式，而不是更……的这种。我觉得至少他是良好定义的，至于他对是错，那我觉得是未来会检验的事情。
嗯，就觉得大多数老顽固其实都还好，就是我觉得人年纪大了不一定会变成老顽固的哦。人年纪大了会变成两种状态：一种状态叫做德高望重，就是他会可能少出手，还会花自己的利息去培养年轻人；另一种就是老顽固，自己也不懂还乱说话。
嗯，所以人老了不一定会变成老顽固。你说受了谁的刺激？ 我也不知道我受了谁的刺激，但我确实见过不少老顽固。
你从什么时候变化的？ 就是说话非常直接，开始不收敛了。就是你过去都是这么想的，但是你不说。我觉得我过去可能也会比较直接，但是没有这么直接。但做了 AI 这行就更直接了，这是没有束缚是吧？
一是没有束缚，而这个领域足够客观哦。 就是你其实不用太担心因为自己的观点而惹到什么人，只要你的观点是自洽的，就是你有一套自己的观点的理论，你不是说随便喷人。那肯定是会惹到别人，但对你是有一套自己的理解。我觉得其实大家是会尊重你的，因为最终你在这个领域做得怎么样是有客观的评价标准的。
好，我们每个嘉宾都会推荐一本人生之书，要这本书真的对你产生过重要的影响。你要说的这本书是什么？ 这是今天最难的一个问题。我感觉你还是高看了我的文化程度，我真的没有什么人生之书，说实话。嗯，真的没有什么……最近读了一本书，最近上次那个奇异博士说的是线条小说？最近读的书就是就是唐传的《自传》，Manus 修订的版本对。然后你要非要说可能有印象的……首先我这人确实不爱读书，我感觉就是我这个人文化水平比较低。然后我读书除了就是专业性的书之外，所有的书感觉都是闲书。嗯，像什么汤川的自传，其实本质上也是本闲书，但是就是我觉得挺有趣的，就是你能看到一个后来看起来如此成功的科学家，在他年轻的时候有一种挣扎感。然后可能就还有一些……像小说，这个有本小说我很喜欢，那个《来自新世界》是一个日本的小说。对，我觉得你要非常让我推荐书的话，我可以推荐那个。
哎，你最近有看什么电影啊？什么电视剧？玩什么游戏？ 什么都没有。
一个全球范围内你喜欢的地点？ 全球范围内喜欢的地点，我觉得现在你要非我选，我可能会选夏威夷，因为我很喜欢海。对，但是也很难说，因为之后可能去了更多海的地方就另有心欢了。
一个少有人知道，但是可能需要知道的知识点？ 嗯……别相信老算吗？
你有迷信过吗？ 嗯，我本质上没有迷信过，但是我觉得有些时候可以靠迷信来安慰自己。
你有迷信过老顽固吗？ 哦，迷信老顽固啊？嗯，从来没有吗？
真的没有好，但是我以前可能没有这么恨老登。后来就变得越来越恨老登，为什么？可能就是当你自己有越来越多判断的时候，那些蠢的人就显得更蠢。那他们也没有伤害你啊，为什么会恨他呢？我觉得就是验证，每个人都有验证哎。你的MBTI是什么？
不知道为什么这些年会有一个对于——就是年轻人对年龄大的人这么不友好的一个词出现，这来源在哪里？不知道，没有没有没有研究过。可以问问J然，让他deep research一下，看看“老登”这个才是哪来的。
那你心目中影响AI进程的几篇论文？ Sequence to Sequence是一篇，然后我觉得是Language Model在feature engineering时代的高峰。嗯，然后呃，Scaring Loss是一篇，就是主要咖在OpenAI的那里面。Skin Loss就是一篇，是一篇把这种体系化的研究方式引进到这个领域的一篇。当然最后实际上，Screen Loss的做的方法可能他那样并不是正确的，但是是第一篇把这个想法印进来的。我觉得这很关键。
嗯，基于你当下的认知，一个关键的重要的BAT是什么？ Rise。我们工作室叫“语言及世界工作室”。第一次听到这个名字的时候，你在想什么？
我觉得这个名字有点正常得太平庸了。可以对，其实其实我觉得这个名字是一个——可能放在十年以前是一个很独特的视角。那现在主流大家共识太多了。十年以前确实，就是可能现在不止十年，对不起，我感觉我年纪也大了，可能不止十五年了。就是可能在，就是什么，14、15那个年代，大家都会觉得视觉是最重要的事。在那个时候，我觉得意识到语言是承载智能的重要载体的人，可能是一件不一样的事情。不过我觉得我们这个名字不是在AI的语境里面讲吗？
嗯嗯嗯，那就值得深——
Google Apps Google Account Frank Flynn flynnfrank135@gmail.com