杨植林复盘 Kimi K2：脑子放在鱼缸里，雪山可能没有尽头
- K2 的核心突破是 Muon 优化器，把 token efficiency 提升约 2 倍，等于 30T 数据学出 60T 的智能
- Agent 今天的最大瓶颈不是工具调用，而是泛化——benchmark 单点过拟合导致真实场景体验下滑
- L1 到 L5 不是线性关系，可能需要用 L4（innovation）的 AI 训练 AI 来解决 L3（agent）的泛化问题
- 做时间的朋友：问题是不可避免的，但问题是可以解决的——AI 研发本质是一个无限爬雪山的过程
- 强化学习不仅是训练范式，也是一种管理哲学——RL 容易被 reward hacking，SFT 太多会失去创造力
导语
2025 年 7 月，Kimi K2 发布后不久，张小军 podcast 再一次请来了月之暗面创始人兼 CEO 杨植林。
一年前的 2024 年，他们那次访谈的标题是《向延绵而未知的雪山前进》。一年之后，小军问杨植林：站在 2025 年 7 月，你的感受是什么？
杨植林的回答很有意思——他说“AI 一天，人间一年”，所以不知道这一年自己过了多少个人间日。但那种爬雪山的感觉，“好像倒是差不太多的”。
这场 1 小时 39 分钟的访谈信息密度很高，没有寒暄，全程在讨论技术、范式、组织和哲学。我把完整视频做完字幕转录之后，按主题重新梳理出这篇文章。如果你关心 Kimi K2 为什么这么做、Agent 的泛化到底卡在哪、模型公司和 Agent 产品公司未来边界在哪、以及“用 AI 训练 AI”为什么是 L4 的关键，这场访谈都给出了非常直接的答案。
为了行文流畅，下文中的“我”指代杨植林，部分表达做了口语化压缩和技术性修正（比如把语音识别错误的“扣点一阵”还原为“Computer Use”、“刚中之脑”还原为“缸中之脑”等）。
01 一年后的“雪山”：更清晰，但同样未知
小军先抛出那个隐喻：一年前你把创业比作爬雪山，现在四下都是雪，是更清晰还是更迷惘？
杨植林给了一个很微妙的回答——肯定会有很多东西变得更清楚，但同时新的问题又会展开，产生新的别的问题。
他举了一个具体的例子：两年前强化学习怎么让模型更强推理、更强的 Agentic 能力，这件事并不清楚；当时大家更多是在卷预训练、卷 RLHF。现在这条路被点亮了——o1 把“强思考 + 强化学习”这个范式做出来了，K1.5 也验证了这条路。
但解决一个问题的代价是，你立刻看到下一个问题。
强化学习最终还是依赖于一个很好的评估或者很好的验证。你让它做数学题、做有 test case 的编程，那可以做得比较好；但如果让它做更复杂的端到端任务，你并不容易找到这个评估或者衡量的方式。
杨植林说他最近在反复读 David Deutsch 的《The Beginning of Infinity》，这本书里有两句话要刻在石头上：
- 问题是不可避免的
- 问题是可以解决的
他把 AI 研发和人类知识演进做了类比。启蒙运动之前，社会是“静态的”——大家用各种神秘解释（雷公、下雪是因为神心情不好）去阐述现象，真正做知识创造的人很少。启蒙运动之后，社会变成“动态的”——新的知识被持续创造出来，每解决一个问题就遇到新的问题，因为你的知识边界在拓展。
研发 AI 恰好就是这样的过程：
你解决了强化学习的很多问题，但你发现就面临了很多新的问题，比如说评估的问题、验证的问题。但这个也是非常有意思的一个点，因为你一直会有新的问题可以去解决，每次解决一个问题，你的技术就是会往上攀登几百米。
那么如果雪山是无尽的，追求的是什么？杨植林的答案很浪漫——
追求就是这个攀登的过程，或者说你能一直越爬越高。可能原来是在山底下，爬到又往上提升了一点，你能看到的景色会不一样。
今天的终点已经不是 AGI 了。 AGI 只是一个方向，不是某一级台阶。登月是一瞬间达成的事件，但 AGI 不是。它更像蒸汽机被发明之后，社会需要几十年甚至上百年去消化的那种东西。
02 过去一年三个范式级变化
小军接着问：过去一年全球大模型脑海中最重要的事情是什么？有哪些范式级的变化？
杨植林给了三个答案，每一个都信息量极大。
变化一：强思考的推理模型 + 强化学习，把 pass@k 变成 pass@1
o1 是这条路线的代表。本质上是让模型在解题过程中做很多次的尝试和反思——而反思是重点。
反思拆解成两种能力：
- 提出新的猜想：模型在解决一个问题时，不断提出新猜想。
- 自我验证：猜想提出后，模型会隐式地验证这个猜想到底对不对。
你本来只能做一次，直接给出一个答案，这个答案可能对，可能错。但是你现在可以不断提出猜想去验证，等于说你其实等价地尝试了好几次，可以把 pass@k 变成 pass@1。
这跟人做科研和解题的过程很像——自由探索，不是线性过程。
这里有个有意思的技术细节：杨植林提到，最近一些论文显示串行采样的上限会比并行采样更高。串行的意思是你每次基于之前已经否定过的猜想，提出一个新的、更接近真相的猜想；并行则是同时采样很多个。这两个策略可以结合，但串行在某些任务上确实更接近“思考”的本质。
变化二：缸中之脑 vs 与世界交互的 Agent
接下来杨植林提出了一个非常精彩的二分法，把过去一年的 test time scaling 拆成两种范式：
范式 A：缸中之脑（brain in a vat）
你想象一个鱼缸，把一个脑子放在里面，它跟外界没有联系，只是在自己大脑里面想，一直想。它不需要跟外界产生任何交互就能解一道题。
这是纯 long-CoT 的推理路径，o1、R1、K1.5 都是这条线。
范式 B：跟外界交互的 Agent
它会跟外界做很多交互。我边思考边做一些操作，做很多轮——一会儿调用一个搜索，一会儿使用一下浏览器，一会儿写几行代码。我通过多轮的方式解决了一个问题。
这是 Agent 路径，Claude Code、GPT Engineer 是这条线。
这两个东西指向同一个东西——test time scaling（测试时规模化）。
以前做 chat，输出几百个 token 就结束。但不管是强思考的强化学习，还是 Agent 的强化学习，本质上都是“规模化推理时的 token”。你不管是把轮数打更多，还是在每一轮里面有更多思考的 token，它都是一种去规模化 token 的方式，使得你能完成更复杂的任务——可能花几个小时把一个代码仓库 clone 下来，翻译成另一种语言，调试测试，把所有 bug 修了让它正常跑。
有意思的是：Claude 的路线恰恰 bet 在 Agent 上。 杨植林观察：
你看 Claude 很多模型，它的 reasoning performance 并不是非常高，但是它的 Agent performance 是很高的。这两个东西其实并不一定是依赖关系。
也就是说，从研发路径上，reasoning 和 Agent 并不是必然的顺序——Claude 就是一个反例。但如果你想达到最好的 Agent，最终还是需要 reasoning 也很强。所以这是一个“短期可以分头走、长期必须合流”的关系。
变化三：模型公司开始做一方 Agent 产品
这是杨植林认为最值得关注的趋势。
半年前/一年前的玩法是：基础模型公司（Anthropic、OpenAI）训模型，应用层公司（Cursor、Devin、Manus）在上面做脚手架、设计工具，去逆向工程出这个模型的训练分布——“你到底用什么工具效果好，什么 system prompt 效果好，什么 context engineering 效果好，这是一个逆向的过程”。
但今天，模型公司直接做一方产品的逻辑完全反过来：
我现在先把这些工具设计好，context engineering 的方法都设计好，然后我就在这个环境里面去训练这个模型。所以你的模型天然在你的环境里面训练，你的环境里面就会表现得更好。
这是从“逆向”到“正向”的转变。Claude Code、GPT Engineer 就是典型。
杨植林判断第二种路线的上限会更高——因为你可以更好地整合工具和模型。模型有解决不好的地方，你可以去调整工具设计；工具做好了，你又端到端训练。这是一个迭代闭环。
不过他也澄清：Kimi 自己目前在一方产品上投入还不算特别多，主线还是做模型。
03 L1-L5：不是线性的台阶，而是会相互打架的能力
小军追问 OpenAI 的 L1-L5 分级（L1 chatbot、L2 reasoner、L3 agent、L4 innovator、L5 organization）的逻辑。
杨植林的回答很直接——这些能力之间不是串行关系，甚至不是必然依赖。
理由是技术发展顺序可以重排：
我们如果把这个技术发展稍微换一个顺序——你先做出来 agent 能力，然后再做狭义上的 reasoning（long-CoT 的 reasoning），实际上可能也是成立的。Claude 的路线恰恰就 bet 在这一点上。
但有一个很关键的约束：你想做到最好的 Agent，最终需要 reasoning 能力也很强。 短期路径可以不同，长期必须合流。
那 L4（innovation）什么时候来？杨植林给出了一个非常具体的判断标准——
L4 innovation 最关键的一个点是：你的模型到底什么时候能参与到模型本身的开发里面。
比如希望 K2 能参与到 K3 的开发里——如果没有 Agentic 能力，这事根本做不到。但有了 Agentic 能力，模型就能去提新想法、做实验、分析结果、迭代下一版想法、优化 infra 性能。Innovation 的产生，就是看模型什么时候能参与到模型本身的研发里。
而 L5（organization）和 L4 也不是线性关系——你完全可能同时发生。当你有一个 Agent 后，就可以把它拓展成 multi-agent 系统：fork 出很多不同的 agent 做不同的事情，并行、合并、再分成不同 task——有的写测试，有的写文档，有的设计软件框架。这已经是今天能看到雏形的趋势。
最有意思的一句判断是——
L1 到 L5 有可能真的不是线性的。因为今天你的 agent 泛化不够，所以你要用 innovation 的方式去解决——也就是说，你要用 L4 的技术去解决 L3。
这是访谈里最关键的一个判断：Agent 的泛化问题，可能需要“用 AI 训练 AI”来解。
04 K2 是怎么炼成的：Muon、token efficiency 与训练稳定性
接下来小军复盘 Kimi 这两年：23-24 年关键决策是创业、融资、Kimi 上线、卷长文本；24-25 年这一年呢？
杨植林给的关键决策有两个：
- 技术上：从“预训练 + SFT”为重点，转变成“预训练 + 强化学习”为重点。
- 形态上：从对话到 Agent。
K1.5 是强化学习技术的验证——他们发现不太需要太多 process reward 或 value function，甚至这些东西在训练过程中还有副作用，直接用端到端的 reward 就能训得非常好。这件事在早期其实并不明确。
K2 的目标则是两个：第一，做一个非常好的 base model；第二，做好 Agentic 能力。
为什么 K2 必须做 Muon 优化器
这一段技术含量非常高，值得详细讲。
问题背景：高质量数据的增长很缓慢，多模态数据又不能很好提升文本的“智商”。你可以认为高质量数据已经接近一个常数。
你希望把每一份数据能够最大化的使用——所谓的 token efficiency。你希望同样吃下一样多的数据，你能脑子长得更多。
这里杨植林做了一个非常关键的区分——训练效率（compute efficiency）≠ token efficiency。
- 训练效率：训练更快，但模型效果不一定更好。
- token efficiency：同样多的数据，脑子涨得更多。
很多人在做的训练性能优化（让训练更快），实际上并不能提升智能的上限。 因为 token 还是那么多，只是更快训完。
Muon 优化器的价值就在这里——它提升的是 token efficiency。
Adam 这样的优化器可能已经用了 10 年，所有大部分的模型都会用 Adam 来训练，但它的 token efficiency 并不够好。它并没有把每个元素独立去考虑——比如一个矩阵的参数，它会考虑它们之间的 dependency。通过这种方式，你可以有更好的学习效率。
实验结论很直接：
在 compute optimal 的情况下，你基本上会有一个 2 倍的提升。也就是说，你学一份数据等于别人（用 Adam）学两份数据。所以假设你有 30T 的高质量 token，那等价就变成你现在有 60T 的高质量 token。
Muon 优化器是 Keller 提出的，Kimi 在上面做了很多优化让它适配超大规模训练——比如 Moonshot 之前的 Moonlight 工作，第一次让 Muon 在一定规模的语言模型上训练成功。
训练时炸了：MaxLogit 爆炸
K2 训练过程中遇到的最大挑战是——训的时候会炸。
你那个 MaxLogit 就会涨非常高，然后我们认为这个东西对训练的稳定性有影响。你训久了，很多所谓的这个内部指标不正常的话，其实对模型的上限是有害的。
这个问题在小规模实验上完全复现不了。也就是说，你必须 scale 到一定规模之后，才会撞到这种“小规模预测不了”的坑。Kimi 团队只能回头去 revisit、重新看这个问题，提了一些新的 clipping 方式来解决。
这是杨植林对大模型研发节奏的核心判断——
大模型或者相关的这些技术，它是挺需要时间积累的，还是还是要做时间的朋友。你不断积累这个东西，然后它是相对——我觉得技术的曲线还是有点陡峭的。并不是说我今天想做就能把它做出来。
数据改写：把一份高质量数据当成好几份来用
除了优化器，K2 还做了大量的数据改写（refrase）工作。小军追问了改写策略，杨植林给的解释是——
如果你同一份数据学很多次，它可能泛化不一定那么好，会有一些过拟合的问题。所以我们希望通过改写让它有一定程度的泛化。
但改写本身有要求——它需要能带来“新的商（信息）的输入”，否则只是改写已有知识意义不大。杨植林坦承 K2 今天的改写方式“不一定是最好的”，这个空间非常大，有很多研究机会。
05 Agent 的本质：从缸中之脑到与外部世界交互
小军问：你怎么定义和分类 Agent？
杨植林给的定义极简——
Agent 最重要的特征就是：多轮 + 工具。
- 多轮：你能做很多次。这是一种 test time scaling 方式。
- 工具：连接脑子跟外部世界的方式。搜索引擎把模型跟整个互联网连接；写代码把脑子跟数字世界连接（因为数字世界几乎所有自动化都可以用代码描述）。
杨植林判断，Agent 今天最缺的其实是泛化能力——
如果模型泛化做得好的话，它就不只是使用一些常见的工具，它可能可以使用非常个性化的工具。比如假设你今天有一个非常具体的问题——你想让这个模型访问公司内部数据库、个人文档，甚至访问一些定制的 API 完成某些业务操作，比如退票、下一个订单——它应该能够泛化到它没有见过的工具上。
这也是为什么杨植林对“垂直 Agent”这个概念持保留意见——当通用 Agent 能泛化到长尾工具上，很多领域专有的问题就可以直接用工具解决。你只是每次给它加不同的工具。
那 Agent 怎么训练？杨植林说了一句很关键的话——
你合不进去的话，你就用强化学习来构造。
本质上是在模拟人的行为序列。但他也澄清：Agent 设计的目的不是模拟人，人是 universal constructor——人恰好是通用的，这是设计目标对齐的结果，就像设计飞机不是为了像鸟一样飞，而是为了成为交通工具。
06 Agent 泛化最大的瓶颈：缺少好的 benchmark
杨植林对当前 Agent 的发展有一个非常清醒的诊断——
今天 Agent 的泛化有一个风险，就是会陷入到一些 benchmark 的过拟合里面。但是现在又缺少很好的 benchmark，所以这个会是接下来的挑战。
这个问题在 Agent 训练里比对话模型更严重。原因在于——RL 训练的指标往往是单点的：
你就训 SWE-bench，它提升 SWE-bench。它是一个基本上很确定的东西，但你的指标提升上去之后，并不意味着你的模型泛化会变得更好。
你把几个 benchmark 刷上去了，但在 OOD（out-of-distribution）的真实场景里，用户体感反而没有那么好。种瓜得瓜，种豆得豆——你 RL 什么任务，模型就只会那个任务。
数学、代码这种相对容易验证的领域也是如此。杨植林观察：
假设你在某一种类型的数学竞赛上做到 99 分，那你别的数学问题可能会提升 5 个点，但它很难直接也做到 99 分。如果不做对应的 RL 任务进去，它就很难直接做到这样的泛化性。
那么解法是什么？杨植林的判断又回到了那个核心命题——
用 AI 训练 AI。 可能我们希望让模型参与到更多的训练过程里面。如果你的 AI 能够做很好的 alignment research、对齐研究，理论上它可能会有更好的泛化——你就不仅仅只是在优化一些单点的任务。
这正是 L4 innovation 的关键——你必须用 L4 的技术来解 L3 的泛化问题。
07 任务设计：爬山的课程学习
小军注意到 K2 用的是中等难度任务训练，而不是最难的任务，问为什么。
杨植林的答案回到“爬山”的隐喻——
它也是一个爬山的过程。你不能一上来就让它去证明一个还没有人证明过的数学问题，那它的 sample efficiency 会非常非常低。
强化学习搭配好的采样策略，本质上是一个隐式的课程学习（curriculum learning）机制——你希望它从合适难度开始学，学完逐渐提升难度，而不是一上来就学非常难的。否则算力都会被浪费掉。
但这里有个更大的问题——
今天的很多任务，它还是来自于人类存量的数据，或者人去设计的一些任务。AI native 的部分还比较少，所以会带来刚才说的泛化性的问题。
Computer Use 是 Agent 的一个子集——杨植林明确表态。他认为未来你需要把这两个工具都做得足够好，才能做大部分事情。
Coding 也是一个特殊的环境——它是“人类的手”。它代表数字世界的自动化。你想创建一个新工具，本质上是写一大段代码；你想做更好的 context engineering，背后对应的也是一个工具，这个工具也是代码。但 coding agent 本身也面临一样的泛化挑战。
Kimi 的路线很清楚：做通用模型，不是做 coding 模型。 因为今天很多非程序员（律师、产品经理、设计师）也在用 Claude Code 做事，这恰恰说明模型有一定泛化能力——它不仅会写代码。
08 Agent 还缺什么：泛化、long context、multi-agent 的 RL
小军追问：Agent 还缺乏哪些能力？
杨植林给了三个判断：
- 高频工具使用还不够好——能力上还有很大空间，但缺少更好的 benchmark 来观测。SWE-bench 现在也可能很快就会饱和。
- 长尾工具的 OOD 泛化——这是更重要、也更难解决的问题。
- long context——128K、256K 完全解决不了很多任务，需要百万级甚至更多。但关键是 long context 下智商不能掉。
long context 和高智商天然有冲突——
你希望压缩率足够高，所以你的模型可能要足够大；然后同时你又希望它比较强，所以这两个东西它是天然会存在一些冲突。你需要可能需要更好的架构。但有一些架构，可能你发现它在更长的 context 下效果会有提升，但是短的 context 不一定会有提升，甚至会有下降。
纯粹的 linear attention 就是一个例子——它有 bias，在某些场景下效果没那么好。Kimi 希望做出“long context 不影响智商”的架构。
- multi-agent 的 RL 训练——当你训练一个复杂的 multi-agent 系统时，只用端到端的 reward 可能不太够。中间的 reward 怎么产生？是不是能摆脱一些人工的设计？ 这是个很有意思的挑战。
09 开源与闭源：动态观察，Kimi 长期选择开源
小军搬出杨植林去年的判断——开源会落后于闭源，因为开源贡献很多没有经过算力验证，闭源有人才和算力的聚集效应。问今天怎么看？
杨植林基本维持这个判断，但加了一个很重要的补充——
基于开源 base model 做 post-training，特别是 agentic 的 post-training，有可能会产生出来一些新的机会。
比如你想做一个法律相关的 Agent，你是创业公司，完全可以拿 K2，在你的定制工具集合下迅速做一个 specialized agent，在你关注的场景下表现得非常好。
但这种赋能更多是应用层——你很难把这些东西反哺到 base model 的提升。 这个目前还是很难。
那么 Kimi 会长期选择开源吗？杨植林的答案很微妙——
这是我们希望长期去做的事情，但不一定是说只做开源。 我们希望能够持续地去开放一些好的技术。
为什么不所有东西都开？因为商业合作里有些东西不一定开出来。
客观地说，技术信仰和市场博弈都有，而且可能都有好处。 最终我们是希望通过这个东西让这个技术可能更安全、更快地达到一个更好的水平。
全球开闭源最终会剩下几家？ 杨植林判断——
几家肯定还是会有的。整体来说，过去两年的趋势还是比较明确，市场会逐渐更集中、更收敛。一开始有几百个，到几十个，到几个——几个可能是最终一个比较稳定的数。
10 为什么 AI 产品还没有形成数据飞轮
这一段访谈里最反直觉的判断。
小军问：为什么 AI 产品都还没有形成数据飞轮？
杨植林的答案非常直接——因为计算力的 scaling 太强大了。
你先 scale pre-training，然后又 scale RL，RL 的 scaling 它的效率比 pre-training 要高很多——因为它是 on-policy 带负梯度的训练。所以当你有很高的 scaling 效率的时候，你直接 scale flops 它带来的提升非常大，会显得其他（数据飞轮）带来的提升很小。
另一方面，数据飞轮依赖外界环境的 feedback，而 feedback 我们不希望它有太多噪声——大模型的学习对噪声比较敏感，跟传统的推荐系统不一样。
那么既然 scaling flops 这么有效，今天还有必要做 2C 产品吗？杨植林的答案是辩证的——
你可能没有办法直接使用用户的反馈去训练，但你有一定用户量的好处是在于：你知道整体的需求分布是什么样，有哪些用户用得好、用得不好，然后再把这个东西抽象成 evaluation 去优化模型。如果你的模型完全没有人用，那你可能都不知道往哪里去优化。
更重要的是商业价值——这一波 Agent 产品能产生价值，API 用户产生的商业价值可能占了头部公司营收的较大比例。
今天最大的变量依然是智能。 这是杨植林反复强调的一句话。
11 模型即产品：今天依然成立
小军问 AI 时代产品怎么做。杨植林的判断很坚决——
模型即产品（model is the product）这个判断，今天还是没有变化。
他的解释是：做 agent 产品时，你需要把模型 + 工具 + context 结合起来。但你训练模型的时候，就已经要把这套全部搭好，才有办法训练模型。
所以模型训完的时候，你的产品已经做完了。剩下在交互层面做的事情是锦上添花——模型的性能已经在这个过程中打磨好了，跟工具环境已经有了非常好的适配。
产品是在训练之中完成的——你训练好的时候，你的产品就基本上已经做差不多。
这跟移动互联网时代的产品逻辑完全不同。移动互联网是“投流扩大地域”，AI 产品是“模型能力提升后自然获客，但获了客也不知道用来干嘛”。杨植林承认这两者要动态平衡，但在技术快速发展的阶段，很难通过投流赢得战争。
新时代的超级节点
小军追了一个很精彩的问题：搜索引擎系统构建在 PC 互联网之上，推荐引擎系统构建在移动互联网之上，新时代的超级节点在哪里？
杨植林判断——
它肯定会跑在很多数据中心里（所谓的 AI factory），但肯定还会有很多终端。终端可能还是有些可以复用现在的，有一些可能会带上新的交互方式。
Chat 是一种新的交互方式——两年前看是人跟机器对话；今天的 Agent 又带来新的交互方式——你让它一步执行一个任务，然后可以看中间的结果；接下来 multi-agent system 还会有更新的交互方式。
而交互方式是跟着模型能力走的——
Copilot 之后有 Cursor，Cursor 之后有 Claude Code，每一代交互都会发生变化。当你有新的一代模型，它能力提升了很多，你就发现你的交互可以改了。你不再需要说单个的人去点“我要不要 accept 一个修改”，而是可以多步执行一个 agent coding 任务。
今天 Claude Code 的交互也不是终极形态——因为模型还会提升，提升之后交互就会持续变化。
12 用 RL 管理团队：平衡 SFT 与 reward hacking
访谈最后，杨植林分享了一个非常反常识的管理思考——
做 RL 跟做科研、管理团队，这三件事的方法论是相通的。
逻辑是这样的：
经验主义是错的——人类在地球上存在很多年，但 300 年前没有人说“地球是球”。你一直生活在经验里，但经验并不能直接给你知识。你必须先提出猜想，然后想办法验证它。
训练神经网络也一样——你观察到几十万个内部指标，发现有些指标不对，但直接观察并不能给你新知识。你必须提出“它为什么会这样”的猜想，然后设计实验验证。
管理团队也是一样——
- SFT 管理法：你直接告诉团队“这个东西应该这样这样这样做”。
- RL 管理法：你给团队一个自上而下的奖励——“如果做成这样，可能是好的”，更多时候反映在目标上。
这两种都有问题：
- SFT 太多，团队失去主观能动性，没办法创新。
- 纯 RL，团队容易 reward hacking——所有 benchmark 分数都很高，但模型并没有真的变好。
所以答案是——
以 RL 为主，通过一部分 SFT 去防止它飞太远。还是要有一些先验去控制，或者防止它遗忘掉一些东西。
杨植林说他最近最新的对 CEO 这个身份的理解，就是——怎么去把握 RL、SFT 和 hacking 之间的平衡。
13 快问快答：影响 AI 进程的论文与关键 bet
访谈最后小军给了几个快问快答。
最喜欢的食物？ 拉面。
心目中影响 AI 进程的几篇论文？
- Backpropagation（反向传播）
- Transformer
- GPT-3
- 还有一些 building block 也重要：ResNet（泛化的基础）、Adam（但现在 Muon 基于当下认知一个最关键的 bet）
基于当下认知，一个最关键的 bet？
杨植林的答案非常凝练——
泛化的 Agent。用 innovation（L4）做 L3。
也就是：用“AI 训练 AI”来解 Agent 的泛化问题。这是 Kimi 接下来最重要的技术 bet。
结语：问题是不可避免的，但问题是可以解决的
整场访谈反复回到一个意象——向延绵而未知的雪山前进。
杨植林说，如果雪山是无尽的，他希望它一直没有尽头——因为这就是 The Beginning of Infinity 的意思。你一直在往上爬，而且甚至有可能爬到一段时间之后，不一定是自己在爬，而是用 AI 来爬。
你现在我们也会用 K2 这个模型去做很多模型训练或者数据处理相关的工作。这些东西它以前可能都是要人工写代码，或者有些同学不一定会写代码但以前就做不了，但是现在很多数据处理、模型分析，甚至包括模型的一些训练，慢慢又都可以用模型来做。
AI 是人类文明的放大器——这是杨植林问 Kimi 时它给出的答案。
你从启蒙运动到现在，人类一直在找到新的方法去突破知识的边界。但下一个突破边界的可能确实就是你得靠 AI，因为它是一个巨大的杠杆。比如你今天在任何一个前学科，要花二三十年时间才能学到最前沿的知识，但 AI 可能一夜之间他就能学会，然后你往下去做新的突破——AI 会成为一个 meta science。
访谈里小军问他：你觉得过去一年有走弯路吗？
杨植林的回答非常像一个做基础研究的人——
肯定有。一个公司在这个过程中可能去逐渐调整的能力，就像知识创造一样。你不可能创造出来所有东西都是对的，你会发现有的东西也是错的。比如牛顿做的很多东西，当时是最好的理论，但它不是完美的，在一些场景下是完全错误的理论——万有引力需要相对论去解释。
任何中间状态都会成为被批评的对象——这句话也是 Kimi 告诉杨植林的。
你总是会有这个时代的局限性。更重要的是：你怎么在这个过程中，一方面投入一些可能一定不变的（比如人才和技术的积累），另一方面在这个过程中去适应和调整。
成功概率比一年前增大了吗？增大了——
只要你没往上爬，你的成功概率都会变大。因为会有一些人就不会一直去爬。
恐惧掉下去吗？当然会有恐惧。但恐惧很多时候反映在——更多关注你当前这一步能做什么。 有时候想这个问题是更重要的。
评论互动