北京时分 9 月 13 日凌晨，OpenAI 在官网发布了其最新一代模子，莫得延续畴昔 GPT 系列的称号av网址，新模子起名为 o1，刻下可以获取 o1-Preview 和 o1-mini 这两个版块。

今日，Sam Altman 在搪塞平台上振作地称，「『o1』系列代表新范式的驱动」。

但这可能是第一次，外界比 OpenAI 的掌舵东谈主 Sam Altman 本东谈主，愈加振作地期待 OpenAI 的新品发布。这份期待里，无关对赛谈第别称的爱慕，更多是同呼吸、共运谈的决定性片刻。下一代模子是否有惊东谈主的进展？能否为 AGI 的波浪和渴望完成信仰充值？

本年，你可能也对 AI 这个字眼麻痹了，昨年有多狂热，本年就有多麻痹。原因无他，在 AI 的落地应用上，看不到信心二字。截止面前，仍未出现颠覆性的 AI 应用；Inflection.ai、Adept.ai、Character.AI 等最头部的明星公司接连被大厂纳入麾下；科技巨头们在财报周被反复拷问 AI 的多数本钱开销何时看到酬劳……

这些情谊背后，皆指向团结个问题，阿谁所谓的第一性旨趣「Scaling Law」可以通向 AGI 吗？以本年十万卡、百亿好意思金进入，换取模子性能线性增长、乃至对数级增长的门槛来看，这注定是一场玩不起的游戏。不少东谈主驱动质疑它的合感性，这波 AI 不会就这样了吧？

这是「o1」出身的时期性。

在 OpenAI 交出答卷后，AI 创业者暗示「又行了」。不同于预磨真金不怕火的 Scaling Law，一条在推理阶段注入强化学习的旅途成为明确的技巧新方针，徐徐伸开。

极客公园「彻夜科技谈」直播间也在第一时分邀请极客公园创举东谈主 & 总裁张鹏，和创新工厂议论首席践诺官/管制合资东谈主汪华、昆仑万维首席科学家&2050 全球议论院院长颜水成，一齐聊了聊 o1 所代表的新范式及创业者眼下的路。

以下是直播千里淀笔墨，由极客公园整理。

01「o1」开释了明确的技巧信号，但更期待下一个里程碑

张鹏：从昨年传出「Q*名堂」到当今，OpenAI的强推理模子「o1 系列」终于发布了。执行用下来，「o1」的发布允洽你们的预期效果吗？

颜水成：我用 o1 作念的第一件事情是，把我男儿作念的数学题输进去看驱散，o1 的阐扬令东谈主惊喜。它解题的逻辑次序、总结的 CoT（Chain of Thoughts，念念维链）信息，让东谈主以为很不一般。

要是是用 GPT-4 或 GPT-4o，仅仅作念下一个 token（词元）的斟酌，其实咱们心里会打饱读、会怀疑：仅仅作念下一个词元的斟酌，是不是就能已毕复杂推理过程。

但 o1 非常于在答复问题之前，先引入用 CoT（念念维链）暗示的念念考过程，把复杂问题先用 planning（权谋）的方式将任务拆解，再凭证权谋的驱散一步步细化，终末把扫数驱散作念总结，才得到最终驱散。

一个模子的好与不好，要道在于它是不是直观上能处分问题。GPT-4 和 GPT-4o 照旧一种快念念考，这种快念念考不太允洽处分复杂推理问题；但是 o1 是一种慢念念考的过程，像东谈主一样念念考，更可能处分一个问题，尤其是跟数学、编程或者逻辑关连的问题。o1 所代表的技巧旅途将来会走得相称远，带来相称大的联想空间。

汪华：我以为 o1 是一个相称好的责任，水到渠成，允洽预期。允洽预期是说这个时分点该灵验果了，为更高的将来预期通达了通路，但并不 surprise，莫得超出预期。

因为这个责任其实从昨年就还是有一系列的踪迹，包括 OpenAI、DeepMind 出的一系列的论文像 Let』s Verify Step by Step (OpenAI， 2023)，以过甚他像 Quiet-STaR 和 in-contest reinforce learning 中皆有迹可循。

民众用强化学习、包括用合成数据去串 Reward Model（奖励模子）或 Critic Model（评判模子），或者其后用各式万般结构化的推理来提高模子正确率。事实上，无论是 OpenAI、Meta，照旧其他大厂，民众当今皆还是在作念访佛的责任，这个方针其实是民众的一个共鸣。

不光 OpenAI，许多其他模子在数学、编程、推理上皆还是有了很大逾越，等于因为或多或少用了一部分这方面的技巧，但 OpenAI 发布的 o1 是集大成，况且责任作念得相称好，而且内部应该有它特有的工程探索。

图片来源：OpenAI 官网

张鹏：预期之内，但还不够惊喜。

汪华：对，扫数这个词框架照旧在预期范围之内，莫得像 GPT-4 或者 GPT-3.5 发布一样带来很大的惊喜。

你会发现 o1 针对推理等各方面性能的增强，照旧在一些有明确对与错和顽固驱散的领域。比如 o1 展现的代码、学术解题，包括数据分析才略其实皆属于有明服气号的领域。

哪怕是在明确领域，比如数学编程的问题，它在作念得好的问题上阐扬相称好，但在一些问题上也作念得不太好。也等于说，可能它在磨真金不怕火 Critic Model（评判模子）或者 Reward Model（奖励模子）的时候，对于卑鄙任务的泛化，可能照旧遵照物理法规。要是对卑鄙任务掩饰得好，它就作念得好；要是掩饰得不好、卑鄙任务没见过这些数据，或者 reward model 没法很好地赐与 reward 的时候，它泛化也不一定真的能泛化畴昔，是以从这个角度来讲，o1 莫得罕见的超出学问的部分。

我还测了一些愈加通用推理的场景，在这些领域，o1 增强得还不太多，许多也莫得带来增强的效果。

执行上对 OpenAI 抱持更高的期待是，但愿它下一步能作念到，把推理泛化到通用领域。

天然当今端出这样一个相称完善的责任，把这件事给作念出来，OpenAI 这点还口角常横暴的。而且在跟 OpenAI 的同学聊天时，能嗅觉到他们在作念更难的事情，朝着通用推理的方针在作念，仅仅可能当今还不熟练，是以先放出来对于 signal（技巧信号）更昭着的阶段性效果，在代码、数学方面的责任。是以我也相称期待，什么时候 OpenAI 能把下一个里程碑也克服了。

02 强化学习不簇新，「o1」在用强化学习上有创新

张鹏：o1 还是能在一些领域展现出复杂推理的才略，其中很进犯的原因是，强化学习在 o1 系列模子里上演了相称进犯的作用。若何融会强化学习在新一代模子里起的作用？

颜水成：强化学习是一个存在时分蛮长的方针，把这个技巧用得最佳的团队应该是谷歌 DeepMind，他们一驱动等于从这个角度启程，去处分真实宇宙的执行问题。

我个东谈主以为强化学习在 o1 里最中枢的点，不在于使用强化学习，因为强化学习在 GPT-3.5 里就还是用了PPO（一种强化学习算法），用一个奖励函数去劝诱 PPO，进而优化模子参数。

强化学习优化一个描画永恒累计 rewards 的目的函数，而原先传统算法仅仅求解亏蚀函数。非常于，在优化 policy action（战略动作）的时候，需要接洽将来扫数奖励的总额。

具体来说，像在围棋博弈中，它会用 self-play（自我博弈）的阵势去采集 action-status 序列，这个过程自动生成一个奖励值，而不是说去学一个奖励函数。它是胜仗自动产生出奖励，或者说东谈主工可以界说奖励，用这些奖励就可以把战略学出来，然后缓缓擢升战略。它最大的特色是扫数这个词过程不需要东谈主类打扰，不是像 RLHF（凭证东谈主类反馈的强化学习），有许多的技艺需要东谈主去反馈。

我以为其实 o1 跟原来的强化学习有一个最骨子的永诀。有东谈主认为，o1 的旨趣可能与斯坦福大学团队 (E Zelikman et al， 2024) 发表的 Quiet-STaR 议论效果最关连。Quiet- STaR 的一个特色是从 CoT（念念维链）的角度启程，但是 CoT 并不是一驱动就存在。

要作念推理问题，原来有起原的文本存在，要是在文本内部再插入一些 CoT 的信息，它就能擢升推理效果。

但当咱们但愿去处分通用的、复杂的推理问题时，大部分的情况下 CoT 是不存在的。那么在强化学习的 pipeline（历程管谈）内部，若何把这些 CoT 的信息一步一步生成出来口角常艰辛的。

这就要问 o1 的模子架构是什么？是一个模子它既可以去作念权谋，又可以凭证权谋去生成 CoT，又可以作念自我反念念（self-reflection），又可以作念考据，终末作念一个总结，这些扫数的事情。照旧说其实是好几个模子，一个模子凭证信息生成 CoT，另外一个模子作念反馈，两个模子彼此交互，缓缓把驱散生成。面前 o1 还不是罕见炫耀，两种可能皆能作念，单一模子可能会让扫数这个词过程更优雅。第二种可能已毕起来会更容易一些。

若何用合适的方式把 CoT（念念维链）生成，我以为这是 o1，跟其他的强化学习区别最大的处所。这里的细节还不是很炫耀，要是炫耀的话，o1 的黑盒问题可能就处分了。

张鹏：若何把强化学习行使到这一代推理模子里？是一个单体的超等智能、照旧一个集体决策，这些还莫得被公开。

颜水成：上一代的强化学习，可能更像下围棋，通过别东谈主已有的棋局，先学了一些东西以后再接着往前走。我以为要作念通用、复杂推理的话，它就会碰到许多从零驱动（zero start），可能一驱动根柢莫得 CoT 的数据，这种情况大要若何去作念学习，有待探索。

2015 年，DeepMind 推出了 AlphaGo，这是第一个打败围棋宇宙冠军的推断机圭臬，通过强化学习，其后继者 AlphaZero 和 MuZero 基于自我对弈与强化学习的方式，变得越来越通用，能够处分许多不同的游戏以及复杂的现实宇宙问题，从压缩视频到发现新的更高效的推断机算法。｜图片来源：DeepMind

张鹏：为什么把强化学习放到模子里，成为接下来发展的共鸣？这个共鸣是若何达成的？中枢皆是要处分什么样的问题？

汪华：技巧上有颜真挚在。从交易角度，民众照旧在盘考模子的智能上限这样一个问题。

举个例子，哪怕是一个职工的应用场景，小学生颖异的工种，跟中学生、大学生颖异的工种，永诀还口角常大的。是以模子的幻觉，或者说模子的复杂指示遵照才略、模子的长链路权谋和推理才略，还是制约了模子的进一步交易化，哪怕我不是为了已毕 AGI（通用东谈主工智能）。

是以民众早就还是有这个说法了，一驱动就有「系统-1」「系统-2」的说法（快念念考和慢念念考）。基本上预磨真金不怕火非常于知识的压缩，它自己就跟东谈主的直观一样，没法进行复杂的推理，是以势必要找到一个方法来已毕「系统-2」。

在已毕「系统-2」的时候，用各式万般的结构化推理，包括用各式万般的强化学习，有一个偶合的权谋，更雄厚的模子输出，更好的指示遵照，包括让模子不光是学会知识自己，包括按什么样的 pipeline（历程管谈）去使用知识。比如东谈主类在处分问题 A 时会用念念维框架一，处分问题 B 时会用念念维框架二。像这些问题若何来作念？民众手里的火器库，其实除了 LLM，等于强化学习。

而且我罕见同意颜真挚刚刚的说法，具体已毕上用了一个模子照旧两个模子，仅仅一个工程问题，但 CoT 的数据从那处来？包括若何来已毕一些真实宇宙的模拟和回击，这个反而是民众一直在试图攻克的难点。代码和数学之是以能被很快地处分，是因为它的信号相称明确，平等于对，错等于错，而且它的技艺合成，合成它的推理 CoT 数据其实是相对比较容易的，奖励或者 Critics（评判）亦然相对比较明晰。

颜水成：就非常于说奖励能胜仗得回。

汪华：更难的等于代码和数学除外，宇宙上那种复杂的、复合的，以致开放驱散的，莫得明确的、十足对错的，以致莫得独一践诺旅途的这些问题若何办。我以为把这个问题给解了，难度要比一个模子和两个模子其实要重视多。

颜水成：o1 这个框架内部我以为应该照旧有一个奖励函数存在的，否则就没办法推演到通用的复杂推理。

03「o1」发展下去，更接近一个「超等智能体」张鹏：o1 跟跟此前的 GPT 系列比较，是两个技巧方针，可以这样融会吗？

颜水成：对，o1 阐扬出来的行为不再是下一个 token 的斟酌了，而更像是一个超等智能体的神气，将来可以处理多模态、可以处理用具，可以处理存储纪念，包括短期和永恒的语义纪念。

《念念考，快与慢》，诺贝尔经济学奖得主丹尼尔·卡尼曼经典之作，先容了大脑的两种念念维系统：系统 1 快速直观、系统 2 安定感性｜图片来源：视觉中国

我个东谈主是认为 o1 这个技巧方针详情是对的，从 GPT-4 到 o1 的话，其实等于从「系统-1」到「系统-2」的一个漂浮。本年 5 月我作念过一个演讲，AGI 的末端可能是什么东西，其时提到了两个主见，一个主见叫作念 Global Workspace（全局责任空间），一个叫超等智能体。

Global Workspace（全局责任空间）在豪情学和神经科学领域里的一个表面，是说大脑里除了专用的子系统，比如视觉、语音，触觉等子系统除外，可能还存在一个区域叫作念 Global Workspace。

要是「系统-2」，等于多步和多模子的阵势一齐来完成的话，当今 CoT（念念维链）产生的驱散，它相称像 Global Workspace 的责任旨趣。用一个重见解的模子，把文本的、将来多模态的、用具等信息皆拉到这个空间，同期也把你的目的和存储的纪念（memory）皆拿到这个空间里进行推理，尝试新的战略、再作念考据、尝试新的可能性……不断的往前推理，演绎的驱散等于最终得到分析的驱散。推理时分越长，就非常于在 Global Workspace 里的推演过程越长，最终得到的驱散也会越好。

对于复杂的任务无法用「系统-1」（快念念考）一竿子到底，就用「系统-2」（慢念念考）的 Global Workspace，把信息缓缓领悟、推演，同期又动态地去获取用具，动态地去获取存储纪念，终末作念总结，得到终末的驱散。

是以我以为 o1 发展下去，可能等于「系统-2」（慢念念考）的 Global Workspace 的 AI 已毕方式，要是用 AI 的话语来描画的话，其实它就像是一个超等智能体。也等于说，o1 发展下去，可能等于一个超等智能体。

04 LLM+RL 的模式，是否可以通向泛化推理？

汪华：强化学习关连的共鸣其实很早就有，但民众一直也没处分好问题。当年强化学习也很火，还被视作 AGI 的一个通路，包括机器东谈主领域也皆是用强化学习，但其时就遭遇了这个难题：对于相称明确的任务，奖励函数很好建、任务的模拟器也很好建；但一朝扩展到真实宇宙的泛化任务时，就没法泛化，或者没法竖立能完整模拟真实宇宙各式万般、复杂奇怪的任务模拟器，也没法去竖立对它很好的奖励函数。

您以为按当今这条 LLM（诳言语模子）加上 Reinforcement Learning（强化学习）的模式，不啻是在有明服气号的领域比如代码、数学，要是要往泛化推理走的话，要若何走？

颜水成：一个最大的永诀等于，原来的强化学习，它的泛化性能不好。每次可能是挑升针对一个游戏、或者一组访佛的游戏去学一个战略。但是当今它要作念通用的复杂推理，濒临扫数问题皆要有能产生 CoT 的才略，这就会酿成是一个苍劲数据的问题和工程的问题。

我相称招供汪华的不雅点，在数学、编程、科学这些问题上，可能比较容易去造一些新的 CoT 数据，但是有一些领域，想要谈听途看地生成这些 CoT 数据，难度相称高，或者说还处分得不好。

要处分泛化的问题，数据就要填塞各种，但在通用场景的推理泛化问题上，这种 CoT 的数据到底若何生成？

或者也有可能根柢就莫得必要，因为阿谁问题可能还是处分得很好了，你再加 CoT 可能也莫得酷好酷好，比如说在有一些问题上，可能嗅觉 o1 莫得带来骨子的效果擢升，可能因为那种问题本来就还是处分得相称可以了。

张鹏：强化学习鄙人一代的模子里要上演更进犯的作用，会带来什么影响？

汪华：要是大畛域领受这个决策，算力会更短缺，推应允变得更进犯。

因为之前说推理成本将来会降 100 倍，当今要是往强化学习的方针发展，推理成本就更需要降了，因为处分问题要耗损更多的推理 token。缩小推理价钱其实等效于推理速率擢升，需要把推理所需的时分压缩下来，许多应用才会变得可用。

第二，模子大小也要变得相称精干，因为要是无穷的彭胀基模尺寸的话，推理速率会变得更慢、也更奋斗，从交易上来讲就愈加不可行了，因为领受结构化推理，可能要耗损 100 倍的 token 来处分团结个问题。

张鹏：你若何看 LLM+RL 的远景，推理泛化的旅途是清亮的吗？

汪华：o1 之后 AI 的将来若何发展，其实我相对比较保守，什么事情皆作念两种蓄意。

第一种是，咱们在很长段时天职莫得找到泛化的方法。但即使是这样，我个东谈主认为依然是一个苍劲的逾越。因为这诚然意味着许多开放的、复合的、相称复杂、暗昧的问题上，咱们没办法用这个方式来擢升，但是交易场景下有大量的问题，比如法律、金融领域，许多问题是顽固的、明确的。在这些问题上可以通过这条旅途，去合成数据、去作念奖励模子、判别模子（critic model），极地面提高垂直领域的性能，以致把性能擢升从 Copilot（辅助驾驶）擢升到 Autopilot（自动驾驶）的地步，这等于一个飞跃性的改动。

无东谈主驾驶汽车｜图片来源：视觉中国

这个场景有点像回到 AI 1.0，但比 AI 1.0 好，因为会针对垂直领域会作念出一个个垂直的模子或者一套体系，从交易角度上来说还是是个苍劲逾越了。当今民众天天忙着作念 copilot，没法作念 autopilot，等于因为模子不擅长作念长推理，一作念复杂问题就出错，产生幻觉等问题。

第二种，要是能已毕通用模子的话，影响就比较大了。哪怕不一定带来 AGI，它的泛用性、泛化性差、处分问题依然比东谈主差，正确率莫得高的，但只消高过普通东谈主的平均水平，那也可以给宇宙上 70% ~ 80% 的事情带来自动化。你要知谈咱们许多成年东谈主也作念分歧奥数题，而且咱们我方也有「幻觉」。

05 竖立真实宇宙模拟器：能读万卷书，也能行万里路

张鹏：在今天这个节点看得见但愿，但是可能一颗红心两种准备。哪怕不成够完全泛化，今天也能处分许多问题了，比如在专用领域里可以作念到通用才略达标。

汪华：对，能不成已毕推理泛化，我个东谈主以为要道在于能否构造一套泛化的「真实宇宙模拟器」。构建这个真实宇宙模拟器，可能难点在于数据加上算法等一系列的身分。

因为模子跟东谈主互动，处分这些开放问题的时候，骨子上是在跟真实宇宙互动，真实宇宙等于阿谁奖励函数或者判别函数（Critic Model），能不成竖立一套新的方法论，能真实地模拟这个真实宇宙的反馈，而且能脱离东谈主类反馈。

之前的 SFT（精调），包括之前的强化学习骨子上是基于东谈主类的反馈（RLHF），这就像 AlphaGo 仅仅随着东谈主类棋谱学习，而不成驾驭互搏，效果详情是有限的。

构建这个「真实宇宙模拟器」，可能难点在于数据加上算法等一系列的身分。这个模拟器一朝竖立了，模子会产生无穷的数据，就像 AlphaGo 彼此棋战，它可以下 100 万盘、 1000 万盘、1 亿盘，而且它来判阵赢输，通过赢输的判断去模拟棋谈真理。

张鹏：有点像它是要创造一个信得过灵验的宇宙，AI 在内部能「解万谈题」，以致「行万里路」，而不单像原来那样「读万卷书」，这个东西其实最终才气通向更平日化的酷好酷好，而不受限于东谈主类的反馈、等着东谈主类师父带，成本很高、泛化也很难。

汪华：而且这内部其实在我看来分两个阶段。第一阶段等于 LLM（诳言语模子）的阶段，预磨真金不怕火的阶段等于压缩知识，学习东谈主类的知识，而 RL（强化学习）的阶段是熟练和摸索念念维方式。两个阶段培养两种才略，终末皆压缩到这个 LLM 内部的 Latent Space（潜在空间，深度学习中一种数据的低维暗示阵势）内部。

Sam Altman 在 X 平台称，OpenAI o1 是新范式的驱动｜截图来源：X.com

06 Sam Altman 所谓「新范式的驱动」，有几分果真

张鹏：作为此次 OpenAI 发的新模子，「o1」不再延续畴昔 GPT 系列的叫法，比如 GPT 四点几，而是开启了 o 系列新模子代号。同期 Sam Altman 称这是一次新范式的驱动。咱们若何融会这个所谓的新范式？

颜水成：要是按照 Global Workspace 这套表面去对照「系统-2」（慢念念考）和「系统-2」（快念念考），o1 和 GPT-4 是有骨子永诀的，其中最大的永诀在于，它会在处分问题的过程中产生 CoT（念念维链）。

一年前有东谈主说 Ilya Sutskever (OpenAI 议论创举东谈主) 在「草莓模子」（o1 之前的代号叫草莓）里发现了一些让东谈主胆怯的、可怕的事情。今天可以大要推测，他其时到底在草莓模子内部发现了什么东西。我以为他发现的等于 AI 的学习过程，RL（强化学习）和 CoT（念念维链）相结合，他发现系统具备我方挖掘 CoT（念念维链）的才略。

我个东谈主认为，CoT 的过程，不是隧谈从已有的知识里去提真金不怕火知识。CoT 的过程跟东谈主类的念念考过程一样，会伸开不同的分析组合，包括考据、自我反念念等。CoT 过程驱散之后，其实一个新的知识就产生了，因为你其实会对以前的知识进行再加工，可以认为这是一个新知识。

当模子具备自动产生 CoT 的才略，意味着它有知识发现和知识增长的才略，新的知识可以重新完善（refine）模子，也会注入（inject）到模子自我的知识里，AI 就可以已毕自我擢升（self-improving）的才略。

从这个角度看，o1 要是能够自动地去作念挖掘 CoT，它真的等于一个新范式的驱动。它不仅仅提真金不怕火已有的知识，而是持续地产生新的知识，是一个知识增长的过程，是一个用算力去挖矿的过程，挖掘出新的知识。知识就会越来越多，AI 就能作念议论者能作念到的许多事情。

张鹏：要这样说的话，东谈主类的科学发展进度亦然东谈主类持续产生 CoT 的过程，当今发现模子具备了 CoT 才略，我方能够得回更多知识，也能基于这个知识再优化我方，有了「自我进化」的才略。这可能是新范式代表的含义，当咱们要需要模子更灵验地处分问题，有赖于它自主产生 CoT 的才略，并能够自我进化。

颜水成：是以有可能，OpenAI 把扫数民众问的问题、信息全部皆存下来，然后再拿这部分东西磨真金不怕火模子，就可以把模子的才略进一步擢升。非常于全宇宙的东谈主用我方的钱、用他的算力去进行了知识的扩展，然后扩展出来的 CoT 驱散，又可以使模子变得越来越强。要是从这个角度来说的话，如实是一种新的范式的驱动。

擅长布谈和公关的「融资众人」Sam Altman｜图片来源：视觉中国

张鹏：直播间里有不雅众说得很胜仗，说 Sam Altman 口中的「新范式」就等于「OpenAI 融资难了，需要有一些新的话术」。你以为他说的新范式，是一个给民众提高预期、一个信仰充值的东西，照旧说会再开启一个所谓的新范式？

汪华：从投资东谈主的角度来讲，当今中好意思投资东谈主，还是初步过了「为了科学突破而感到慷慨」要投钱的时分点了，皆在忙着看交易化，会看这个东西到底处分什么问题。诚然投资东谈主可能比较俗气，但是畴昔一年多毕竟亦然砸了那么多钱进去，千亿好意思金的算力、Infra 等皆投进去了。

对创业公司或者诳言语模子的发展来讲，我个东谈主认为是一个新范式，而且是民众还是期待的新范式。畴昔的 Scaling Law 每次皆要 100 倍的算力（彭胀），指数级别的算力增长，然后只得到线性的模子性能擢升。这会带来两个问题，第一，若何再赓续彭胀（scaling）下去。第二，对于创业公司、议论机构，包括新的 idea 的出现，是一个十足的销亡，因为终末唯独少数的君主级企业，才有经历去作念这件事。

但「o1」代表的范式，把许多东西拉回首了，宇宙可以更多元化了。不是说不要 Scaling Law  了，可能新范式下依然是模子越大效果越好。但有了「o1」所代表的新范式，Scaling Law 可以从更小的模子作念，而可能这个模子算力擢升 10 倍就能看到原先百倍的效果，而不是要指数级别的擢升才气看到许多逾越，包括对于各式万般的交易化也更友好了。

是以从交易角度来讲，我个东谈主以为「新范式」是有后劲发生的，而且是必须的。按原来那条 Scaling Law 是一条绝路，皆不说再 Scaling Law 下去全宇宙的数据够不够用这个问题，在 Scaling Law 下，全宇宙还有几许东谈主能作念这件事皆是问题。

07「o1」冲破了预磨真金不怕火的 Scaling Law 瓶颈，交易上解锁了新的可能

颜水成：是以其实最近有不少公司，也基本上以为隧谈的基础模子的预磨真金不怕火酷好酷好还是不大了，因为基本上是 10 亿好意思金级了。

汪华：而且你就算磨真金不怕火得起，你用得起吗？AI 要是真的要给扫数这个词宇宙带来平日的逾越，自己就需要范式改动，光靠推理成本的下落是撑不住的。

另外从学术的角度来说，我以为这个范式有的处所变了，有的处所照旧没变。当今 o1 模子里的许多问题，包括权谋、推理，其实它在产生 CoT 的过程依然照旧在作念下一个 token 的斟酌。

生成式 AI 的创业门槛，算力是绕不开的多数成本｜图片来源：视觉中国

颜水成：因为有许多过程，比如有的在作念权谋，有的是一末节一末节在作念 CoT，有的是在作念自我反念念（self reflection）。这个过程到底是若何已毕，当今还不是罕见炫耀。要是等于说按照一个固定的历程，皆按照下一个 token 的斟酌来作念，那么 CoT 等于一个 new data 的问题了，但是我是以为可能不仅仅一个 new data 的问题。

汪华：对，因为莫得细节不知谈，但是我在测试模子的时候，照旧发现它的推理技艺会有幻觉，中间会有奇怪的推理技艺，但诞妄的推理技艺却得到了正确的驱散，正确的推理技艺下的推理，又飞到天上去了。

我个东谈主以为新范式是从学术上、科学角度来讲，范式是改动了，但说不定还需要改动更多。

我招供颜真挚的不雅点，知识是 data，推理过程和念念维方式其实亦然 data。下一个 token 的斟酌，这个方法也不一定是错的，也不是说一定要解脱，但是学习对于推理过程和念念维方式的 data，是不是有更进一步的一些范式的改动。

张鹏：受限于之前的模子技巧，一度以为许多事皆干不清亮，当今 o1 之后，又嗅觉将来有许多事可干，作为一个技巧议论者，你以为有哪些下一步值得探索的方针？

颜水成：以前用 GPT-4 或者 GPT-4o，诚然说能产生出可以的驱散、能作念不少事情，但是其实在直观上会嗅觉，下一个 token 的斟酌，这个东西好像莫得这个才略，或者应该不具备这种才略。是以这个要求下，咱们会在 GPT-4o 的基础上，再搭一个 agent，用 agent 去调用大模子、调用现成用具的阵势。

诚然 Agent 有潜在可能性去处分这个问题，但是进展不是罕见好，因为它照旧莫得一个比较齐备的框架来处分问题，不像刚才提的 Global Workspace 的过程。后者是把信息全合在一齐，在这个过程中去作念演绎、去作念推理、去作念考据、去作念自我反念念。

但是当今有了 o1 就合理了，要得到终末驱散，其中有一个念念考过程，这个念念考过程其实并不是原来成例的大模子，就胜仗能生成出来。有了这一套范式之后，你给我任何一个问题，我直观上应该是能用这种方式处分的，无论是复杂推理照旧其他，是以会有许多事情可以作念。

另外，有了这套范式，那种超等大的模子有可能变得不是那么进犯，模子可以作念得比较小，但它就能作念成一个，模子参数并不是罕见大的一个集会架构，但它在推理的时候，能够作念得愈加复杂。

这种情况下，就不会像以前的 Scaling Law 一样，到了唯独 10 万张 H100，才气够真信得过正的进入到第一梯队。你可能有几千张卡，就能在一些维度能作念到相称好的效果。

原来的 Scaling Law，可能在摧残许多的创业公司，那么当今可能又会让一波的创业公司要重新的回生，去作念各式万般的事情。是以无论是从可行性，照旧创业的角度，我以为契机皆比以前要更好，莫得进入到一个死巷子。

08 当「o1」通向 autopilot，AI 应用该若何作念？

张鹏：从「o1」模子里看到新的可能性，会对接下来的创业、产物、处分真实宇宙的问题，带来什么样新的挑战或者机遇？比如一个问题是，「o1」推理的进度详情比原来拉长了，原来像 GPT-4o 以快为好意思。

汪华：我以为这不会成为问题。因为「系统-1」和「系统-2」是共存的关系，并不是说 o1 出来了，GPT-4o 就莫得用了。东谈主类在大部分时分其实亦然处于「系统-1」（快念念考）而不是「系统-2」（慢念念考）。

具体照旧要看应用类型。比如像 AI 搜索、Character.ai、写稿辅助这些应用，大部分场景其实用原来的模子、速率够快就行。产物上也公正分，可以通过意图识别的分类模子，把不同任务分给不同模子。

永恒看，要是「o1」愈加圆善了之后，GPT-4o 所代表的「系和洽」和「o1」代表的「系统二」执行上是在两个不同的活水线上。

举个例子，为什么要追求推理速率快？因为咱们当今大部分应用是 Copilot。Copilot 的应用天然要快，东谈主就在驾驭等着呢。但是要是「o1」将来作念得填塞好，能带来更高准确度、能处分复杂问题、能很好地已毕 agent，它践诺的任务可能是 autopilot（自动驾驶）级别的任务的话，你管它多久完成呢。我给共事分拨一个任务，亦然这个礼拜叮咛任务，下个礼拜看驱散，不会要他立即交。是以要是是 autopilot 的场景，进犯的执行上是模子、是这个模式作念出来的性能，而不是低时延，更何况推理速率正在进一步擢升。

第二，这是一个自适合的问题，要是将来「o1」模子磨真金不怕火得更圆善，它的强化学习作念得填塞充分时，它会凭证问题的复杂度和类型，有合适的蔓延（latency）和推理时分、和 token 的耗损的。

张鹏：之前 GPT 系列在 Copilot 场景赓续阐扬上风，响应更快、交互天然，但同期 o1 带来了通向 autopilot 的可能性，以前以为很难作念到的场景，随着强化学习、模子才略的赓续优化，有更大要率已毕。

图片来源：视觉中国

汪华：对，再具体小数说，「o1」起原能解锁的等于大量企业级应用。

当今哪怕在 SaaS 生态和 AI 进展更熟练的好意思国，许多企业级应用增长得很快，但面前摘的也皆是低落的果实，应用类型依然跟中国差未几，比如职工的写稿辅助、智能搜索，企业知识库、销售救援客服等智能助手类应用。更要道的坐蓐性任务和更复杂的任务，不是企业不想用 AI 来完成，是之前的模子作念不到。

第二，也会给 C 端交互类应用带来影响。

在 C 端的交互翻新内部，80% ~ 90% 可能皆是原来的快速的模子，可能唯独 10% 的任务需要调 CoT 模子。是以这个是会有很明确的分野。比如，Meta 的雷一又眼镜要是将来加了多模态，其实大部分的任务也皆不是三念念此后行的，而是我看到什么东西它胜仗给我辅助，践诺我的敕令。

ToB、ToC，坐蓐力任务、文娱任务、交互任务其实皆是会有 copilot 和 autopilot 明确的分野的，而且会协同。

举个例子，比如说让 C 端应用帮我订张机票，在我和它的交互对话、它向我展示漂亮景点的过程，后台还是帮我比价、调用各式资源作念旅行筹画了，后台可能就在用新一代推理模子。偶而延也不要紧，前台多模态的模子跟我聊天、欺诈我、延长我的恭候时分，后头的模子在那里勤尽力恳作念 CoT，调用 agents 作念推理演绎。采集你的信息，还能给你情谊反馈、提供情谊价值。

张鹏：产物遐想的空间，可创新的东西通达了，这其实是让东谈主信得过振作的。

09「o1」模子可以擢升机器东谈主大脑，但具身智能还有我方的卡点

张鹏：o1 的模子对于机器东谈主的才略将来会不会有很大擢升？比如像这种 CoT 的才略，将来会对具身智能产生什么样的影响？

颜水成：我以为会，因为具身智能需要有比较强的推理才略，一次推理，或者一次 CoT 出来的驱散可能并不成得志要求，是以它能自我反念念或者自我考据相称进犯。

举例行走的机器东谈主去完成某些任务，要是它有「系统-2」的过程，输出会愈加准确、愈加可靠。同期在一些场景，其实让他先想一想，再去作念交互，用户亦然能接受的。

将来当「o1」领有多模态才略，它用在具身智能场景会变得更好。

汪华：具身智能，当今有三件事皆是它的瓶颈。

第一是硬件，硬件自己，包括传感器，依然有许多的瓶颈。

第二是可泛化的畅通限定。当今机器东谈主皆是基于物理推断，或者是基于单项任务的模拟仿真、强化学习。而东谈主的动作口角常复杂的，可以持、拧、掏、抠，咱们当今其实莫得一个在畅通限定上的 GPT。

第三，亦然当今「o1」能处分的，大脑的问题，畅通限定非常于小脑的问题，机器东谈主「大脑」当今也能作念，但是「o1」会极地面提魁岸脑对于畅通权谋的准确性、可控性、可靠性。

这三个问题要皆处分，具身智能才气已毕。要是只突破「o1」，莫得可泛化的畅通限定，依然会受许多罢休，因为机器东谈主能进行的动作会相称有限。

另外，我个东谈主以为这两件事说不定皆有相同的瓶颈被卡着，可泛化的畅通限定民众也试图用强化学习、模拟学习（Imitation Learning）来作念，也空匮大量的数据，就像空匮 CoT 数据一样，空匮大量的真实宇宙各式万般的畅通限定数据，仅仅：一个是要处分可泛化的畅通限定，一个是要处分可泛化的推理。

因为莫得一个东谈主在手上带着传感器、脑袋上顶着录像头，也莫得几千万东谈主天天作念这些动作，孝敬一个互联网级别的一个数据集，是以民众在用模拟器、用强化学习在作念。但说不定在一件事情上找到了一些处分方法，另外一件事可以用访佛的方法来处分团结个问题。

颜水成：嗅觉照旧不一样，这种数据产生的历程和「o1」产生 CoT 的历程照旧有很大永诀，可能要行为念一个垂域的问题去念念考。

汪华：我罕见期待强化学习自己的方法论发生一次超进化，把当今强化学习，对于奖励模子泛化的罢休取消。

颜水成：因为强化学习自己的算法就比 GPT-4 的优化更难一些。比如强化学习的弧线的亏蚀（loss），基本上一直在剧烈的震憾，但是像 GPT 模子，或者 AI 1.0 时期的判别式模子，弧线基本上相称雄厚，是以强化学习作念起来的难度或者说要求的领域 know-how 更多。

中国脉身作念这块的东谈主就蛮少，当今渐渐好一些，但是比较国外作念的时分和积贮照旧要少一些。

张鹏：为什么中国的强化学习这条线会弱一些？上一代 AI，其实就看到了强化学习这个蹊径。

汪华：强化学习其实各式万般的 paper 皆在外面，中国贤人的东谈主也许多，之前之是以作念得不好，不是学术上作念不出来，而是工程上和累积上，咱们进入太低的问题。客不雅地讲，会有点功利化。之前强化学习（RL）在各个领域里的效果皆不是罕见昭着。

即使是在大模子时期，OpenAI 作念了 PPO（一种强化学习算法、由 OpenAI 在 2017 年提倡），作念了 RL（强化学习），但执行上对于大部分国内的大模子公司来讲，作念好 SFT，作念好 DPO，其实效果还是跟 RL 相称接近了，提供的增益也不大。

而 RL 作念起来很难，相称耗工程，对于算力耗损也口角常明确的，是以在这种对于收益不解确的处所，国内民众的进入照旧相对比较保守和严慎。

保守和严慎就导致资源的进入，莫得填塞多的卡，莫得填塞多的实验，莫得填塞多的算力让民众去糜掷，那这方面的东谈主才就没法积贮教授。因为有些东西不写在 paper 里，而是你在磨真金不怕火时一次次训崩的 knowhow。

中国在顶尖科研上的确存在系统性问题——别东谈主探前程来了之后，咱们会很有信心去进入资源去趟，但当初不解确的时候，咱们不肯意进入。

10 要是 Scaling Law 玩不起，「o1」又是谁要下注的比赛

张鹏：「o1」其实让民众看到一个明确的方针，这是不是意味着民众要在这个方进取更深刻地探索？

颜水成：我个东谈主稍稍悲不雅小数，主要原因是有一些细节不像 Sora 出来的时候，从它的技巧文档上你就能看得很炫耀，它的蹊径是什么东西。

第二，照旧类比 Sora，其时 Transformer，以及后头的 DIT（一种文生视频架构）、扩散模子，是在开源的生态上往前走，创业公司只消去念念考数据和工程的问题就可以。

但是此次强化学习，客不雅上来说，我以为中国公司里，在大畛域场景下，我方有代码库（code base）跑通的就很少，而且莫得填塞开源社区的救援。招引东谈主才其实也莫得信得过有一手教授的东谈主。

是以这两个身分，一是莫得大畛域 RL 场景和好的 code base 作念撑持，二是许多 know-how 的细节不炫耀，可能会让追逐的速率比较慢，会比咱们追上 GPT-4 所需要的时分更长一些，我以为哪怕是在好意思国，优秀的公司要追上的话，也可能是以年为单元。

张鹏：你偶合提示我，从 ChatGPT 出来，到国内出现访佛 ChatGPT 的应用，大要经历了四五个月的时分，追 GPT-4 可能大要是半年驾驭，Sora 可能亦然经过了大要半年，大要的追逐周期是半年。但追上 o1 这样的才略，可能是要以年为计的难度。汪华若何看？

汪华：我倒莫得那么悲不雅。

之前那种往上 scaling（扩展）模子尺寸的方法，国内真的追不起，哪怕几家拿到许多投资的创业公司，追悼一定程度也就追不动了。哪怕是大厂，我以为追悼一定程度也不见得往下追了，因为国内的面前经济和本钱环境也莫得那么好。

而且执行上，GPT-4o 其实不好追。诚然 GPT-4o 的模子尺寸比 GPT-4（1.8 万参数）要小许多，但多模态的数据和磨真金不怕火口角常耗损资源的，很吃算力。是以磨真金不怕火 GPT-4o 只会比 GPT 4 更贵。我倒不以为国内是因为工程原因和学术原因作念不出 GPT-4o。

那「o1」会有什么样的一个特色呢？等于它其实「吃」（大量耗损）许多的议论，也「吃」许多的实验，也「吃」许多的探索和 idea 的东西，包括数据的一些构造的技能等，但「o1」其实不太吃算力。况且它然则可以通过比较小的模子，去实验和模拟的。

我个东谈主以为，中国公司玩得起，而且 o1 出来了之后，开源社区也玩得起，开源社区不太玩得起 GPT-4o。我以为，不光是中国公司，开源社区和学术界也会试图在小尺寸的模子上，用各式万般的方法去已毕访佛的效果，包括一些开源框架。是以中国公司也并不是仅仅一身地说我回击全宇宙，非常于是中国公司和开源社区一齐追逐 OpenAI 的这件事。

张鹏：听起来中国的大模子的创业公司真的空匮，畴昔一段时分还是团结铺开好几条战线，许多东西还在 pipeline 里打磨中，但当今「o1」出来之后要去再去作念，资源可能会若何分配？

汪华：客不雅地讲，不会扫数的公司皆去追的。有些大模公司会提拔方针，有些大模子公司会转型成产物公司，有些大模子公司可能会礼聘某个方针作念突破口，但起原大厂应该皆会去追。

张鹏：也许像 DeepSeek，这种比较「神」的公司也有可能。

汪华：大厂皆会去追。创业模子公司里有一部分会去追。

而且，民众在实验的角度应该皆会追，因为你要说作念出一个罕见大的产物模子，那不会作念，但在非常于 mini 级别的尺寸内部去夯实强化学习才略，去作念这方面的实验，是势必要作念的事，仅仅不一定民众皆能作念到坐蓐级别。

颜水成：其实有小数，比如说像 GPT-3.5 的时候，PPO 就基本上有很大的收益。其实开源社区也在想办法去复现一些东西，但是并莫得谁开源出一个信得过酷好酷好的 code base（代码库）能被中国公司胜仗使用。是以我以为在 RL 上，门槛照旧会比联想的要大小数。

汪华：我以为有两方面原因。

第一，我个东谈主以为 PPO 的确是工程门槛要高许多。跑 PPO，同期多个模子跑，对算力的要求也耗损也很大，学术界也跑不太动。

还有一部分原因，开源社区其时很大的元气心灵皆放在「芳华平替版」，发明了 DPO 等一系列东西去作念开源平替。开源平替基本上 online PPO，Offline PPO 的确也作念到了基本上 90% 的效果。

颜水成：这内部奖励函数相称要道，当年 GPT-3.5 的时候，其实他们是拿 GPT-4 的模子去磨真金不怕火奖励模子，才气保证 PPO 作念得比较好。是以要是说模子在强化学习这里，要是要用奖励模子，这个东西自己亦然一个瓶颈，不是小模子出来的东西就可以用。

汪华：是的，但开源社区并不仅唯开创业公司。

张鹏：有 Meta、阿里，看起来开源领域照旧有一些巨头的，要是他们有坚强的目的要给寰球发枪，我以为也 make sense。

汪华：可能的确不会那么快，但是技巧扩散是势必的。随着更多的公司，包括国内的大厂，国外的开源社区，学术界去花更多的元气心灵去作念 RL（强化学习），其实畴昔几年在大模子之前，RL 还是相称冷了，无论是 PhD 照旧工业界、学术界，其实礼聘作念 RL 方针的东谈主还是很少了，这亦然一部分的原因。

要是民众骤然以为这个事靠谱的话，很快民众皆用算力，各方面东谈主才就会逐渐地多起来。包括技巧扩散也会渐渐地发生，但的确这个门槛要高得多。

颜水成：我原先作念 RL 议论的时候，其时一个最大的问题，等于最前沿的算法，code base 皆是基于 DeepMind 的 TPU 代码，基于 GPU 的已毕其时比较清寒。当今稍稍好一些，许多东西基于 GPU 的东西还是多起来了。

汪华：我以致以为 Nvidia、微软皆会试图去作念这件事，然后以致是开源他们的框架运营或者投认去作念这方面的框架，因为对他们来说最进犯的是把算力卖出去。

11「o1」之后，创业者的礼聘

张鹏：当今创业者常常在谈的一个话题是：技巧发展太快，若何能够随着技巧情随事迁，而不是被水漫金山？换句话说，技巧涨对我有益，而不要技巧一涨我就变得没价值。「o1」出来之后，你会若何答复这个问题？

颜水成：昆仑万维作念大模子的方式照旧以产物先行，面前大要有五六个产物，比如说像 AI 搜索、AI 音乐、AI 陪同、AI 短剧创作和 AI 游戏，有这些具体的产物在前边作念牵引，带动咱们作念基础模子的研发。有一些模子是通用的，有一些模子其实是垂域的，比如说音乐大模子等于垂域的。

我个东谈主以为，这一波「o1」出来之后，通用模子在原有的模子基础上，加多 RL + CoT 的方式，应该能把性能擢升得更好，这详情要作念。

另外，可能更聚焦一些场景，比如精度优先会变得相称进犯。举个例子，咱们有一个产物是作念 AI for research，在天工 APP 内部。有了 CoT 技巧，它就能够匡助议论者去念念考，在他的议论方进取指明哪一些课题可以探索，而是不是像以前仅仅给论文作念总结、修改语法诞妄。

最近有东谈主作念了一个责任叫「AI scientist」，有了「o1」的这种范式，这种功能就有可能提真金不怕火出来了。因为以前是胜仗一次性生成的，驱散是否具有创新性和可行性，不知谈，它不成够作念任何的分析，当今，在「o1」范式下，有可能把这件事情能作念得更好。

汪华：因为 o1 也刚刚出来，我也还在测试它的才略。对作念模子的同学来说，看到「o1」心里可能会打饱读，但对作念应用的同学来说，出了「o1」之后，只能能有增益，不可能有亏蚀，因为又多了一个东西可以用。

另外，我以为不被「水漫金山」的话，中枢照旧小数：咱们是作念 AI 应用的创业者，应用自己、场景自己是主语，AI 仅仅定语，「水漫金山」通常是把 AI 当主语，莫得花许多时分深耕场景、需乞降自身的资质、上风。

作念应用照旧场景优先，同期随时不雅测技巧进展，可能没法像 Google 一样我方去诱导技巧栈，但执行上许多的事情是有迹可循的。哪怕是「o1」的发布，其实之前在 DeepMind 的议论里这条旅途是有迹可循的。

在跟技巧前沿保持换取的同期，作念紧要的工程决策要罕见严慎，因为这跟当年作念出动互联网应用不一样，出动互联网时期作念应用时，扫数的技巧栈皆是熟练的，要道是能不成找到一个场景的问题。只消找到场景，拉一个产物司理、拉一个工程师，几个大学生也能作念出一个爆款应用出来。

提拔快速 PMF 的原则，尽量使用市集上现存的模子来快速完成 PMF，而不是用复杂的工程。要是一个通俗的模子要加复杂工程才气作念 PMF 的话，那还不如一驱动用最贵的、最佳的模子去作念 PMF，因为 PMF 耗损不了几许 token。在一驱动阶段能用 prompt 处分的，就不要用 SFT，能用 SFT 处分的就不要用后磨真金不怕火。不到万不得已，千万不要用针对模子的残障去作念一个相称复杂的工程 pipeline（历程管谈）的补丁去弥补刻下的模子残障。

张鹏：要穿就穿新一稔av网址，尽量少打补丁，要是真要打补丁，也不要打复杂的补丁，要打精真金不怕火的补丁，这可能在早期阶段就变得很进犯。而且很进犯小数，其实是你要处分的问题才是你的竞争力。仅仅围着技巧非要找个场景落地，可能就秦伯嫁女，念念路一定要回到要处分的场景和问题上，这样「情随事迁」的可能性就更大。