新智元报道
编辑：KingHZ
【新智元导读】不是更大模型，而是更强推理、更像人！AGI离落地，还有多远？OpenAI前研究主管表示，AGI所需突破已经实现！
AGI所需突破已经实现！
OpenAI前研究主管Bob McGrew公开表示：AGI的「技术拼图」已经齐全，关键在于如何将推理能力落地，并重塑价值创造路径
作为研究主管，他见证了OpenAI从GPT-3的突破到如今推理模型的演变。
展开剩余90%他认为，实现通用人工智能 (AGI) 的三大支柱是：
Transformer、规模化预训练和推理。
AI能力持续增强。在过去五年中，技术发展迅猛、令人兴奋。
而且这一趋势仍在延续，他认为并不存在所谓的「技术墙」。
在红杉的「训练数据」(Training Data)系列播客中，他分享了关于AI的洞见。
AGI拼图已现
「除了预训练、后训练、推理这三部分外，未来可能不会再出现根本性突破。」
Bob McGrew的这个观点可能有争议。
但如果穿越到2030年， 总结实现更高智能（也许是AGI，也许是其他形式）所需的根本概念。
他认为，最终会得出全部关键点：
1. 基于transformer的语言模型；
2. 大规模预训练（比如GPT-1和GPT-2）；
3. 推理能力的引入与不断提升；
4. 越来越多的多模态能力。
他甚至认为，到了2035年，我们仍然不会看到这些之外的新趋势。为什么这么认为？
回到2020年，那时GPT-3刚训练完成。可以想象一下当时OpenAI的情景：模型还未发布，但已经知道它带来了「划时代的变革」。
Dario Amodei、Ilya Sutskever、Alec Radford等一群人围坐在办公室，盯着这个模型。他们很清楚接下来的路线图是什么：
从GPT-3到GPT-4，预训练规模必须扩大；
必须增强多模态能力，最终发展出能使用电脑的模型；
开始探索「测试时计算」（test time compute）。
从GPT-3到GPT-4，预训练规模必须扩大；
必须增强多模态能力，最终发展出能使用电脑的模型；
开始探索「测试时计算」（test time compute）。
所以Bob认为，从现在起大家会继续扩大、改进和打磨这三个概念。这非常难，需要大量智慧和努力。但若干年后再回头看，我们不会看到有其他新出现的根本性技术趋势。
他认为如果错了，那未来将更加精彩。但现在，他觉得他是对的。
为什么说今年是推理之年
我们正处在AI发展的关键节点，见证了预训练、后训练与推理三者的融合。
而2025年是「推理之年」。
推理是种新技术。从2023年9月的o1-preview，到六个月后的2024年4月发布o3，仅用了六个月，期间进展迅猛。
同时，OpenAI多年开发的推理能力，正在向Google、DeepSeek、Anthropic等公司扩散——只在短短几个月内就实现了。
这说明，推理是各大实验室今年的重点方向。
而且推理模型领域目前还有很多成果，唾手可得。例如，o1-preview与o3之间最大的区别在于：
前者无法使用工具，而后者则能在「思维链」（Chain of Thought）中 调用工具。
在训练o1时，OpenAI就知道推理很值得做，但实现起来很难，最终他们用了六个月将其开发并发布。
但推理的下一步并不直观。
随着推理能力趋于成熟，技术潜力也将逐渐被「消耗殆尽」。因此，进展的速度可能会放缓，不再像前期那样迅猛。
预训练
地位仍在，但角色转型
许多人说：「预训练正面临瓶颈」「Scaling Law即将终结」……
但Bob认为：「预训练仍然重要，但收益递减。」
之所以会出现收益递减，是因为模型的智能增长与所投入的算力呈对数线性关系——也就是说，要提升一定幅度的智能，就必须成倍增加算力。
本质上，预训练是规模巨大、耗时持久的训练过程，要用整个数据中心持续运行好几个月。而当要训练下一个新模型时，通常要在多个数据中心上完成。
这可以依赖一些算法效率的提升，但从根本上说，必须等新的数据中心建成。这无法像推理那样在六个月内完成改进，而是需要数年的时间。
不过，这并不意味着预训练无用。
2025年，预训练的真正杠杆在于架构的改进。
即使正在重点开发推理能力，仍然希望改进预训练，提高推理时的效率、支持更长的上下文或更好地利用上下文。而要做到这些时，就必须从头开始，在新架构上重新进行预训练，然后再进入整个推理优化流程。
所以，预训练仍然重要，但它在整个流程中扮演的角色已经发生了变化。
后训练
模型的人格
预训练和推理的目标是提升智能。在这两个环节中，有明确的「Scaling Law」：
投入更多算力，就能获得更高的智能。
后训练不提升智能，而是塑造模型的「人格」，与「智能」完全不同。
本质上，智能是「薄问题」（thin problem），只要做得更好，它的适应能力和泛化能力就会提升，几乎可以迁移到任何任务上——
比如你在数学上做得更好，就能更好地应对法律推理问题。
但「模型人格」是「厚问题」（thick problem）。
这需要去思考：「我希望这个智能体表现出什么样的个性？我希望它如何行动？」更像是人类多年与他人互动的成长过程。
而如何将人类对「好人格」的定义，转化为真实、吸引人的AI人格，这本身就非常难，值得深入研究。
这需要像OpenAI的Joanne Jang（下图左）或Anthropic的Amanda Askell（下图右）之类的「产品经理」，专门去设计模型人格。
她们对人性有非常深刻的理解。
推理演进路径与挑战
推理为何关键？
主持人Sonya Huang对推理很感兴趣。
而OpenAI似乎很早就坚定地押注在这个推理范式上，可能比其他实验室都要早。
所以她问了Bob一个问题：「最初OpenAI为什么会对推理下注这么重？」
Bob McGrew认为推理是AGI缺失的关键拼图。
预训练可以让模型对问题有一种「直觉式的理解」。
但如果让人马上去计算2个五位数的乘法，对一般人来说完全做得到，但不能立刻得到准确结果。因为人类天生就需要「在回答前思考」——
人类需要「草稿纸」，慢慢推导。这就是早期模型（甚至包括GPT-3）所不具备的能力。
后来OpenAI开始关注到一些公开实验的启示——比如「逐步思考」（step by step thinking）、「思维链」（chain of thought）等概念。
OpenAI意识到模型可以自己引导推理过程，而不是仅仅模仿人类如何思考的样本。这种能力非常强大，而且可以被训练出来。
他们知道这会比单纯的预训练更具潜力，因为：
人类的思维是在脑子里的，不是模型能直接获取的数据；
公开的数据几乎都是「最终答案」，模型看不到中间推理过程；
所以模型必须自己推导出「思考的方式」。
人类的思维是在脑子里的，不是模型能直接获取的数据；
公开的数据几乎都是「最终答案」，模型看不到中间推理过程；
所以模型必须自己推导出「思考的方式」。
这就是为什么OpenAI如此看重推理。
之前，Bob提到：「我们尚未揭示完全推理。」
主持人Stephanie Zhan继续追问道：「我们现在对推理理解得足够了吗？还是说还处在早期研发阶段？」
Bob McGrew认为行业一线依旧能看到大量新想法和细节上的改进，但局外人已经看不懂了。
现在，很多进展已经不会公开出现在论文中了。
就像以前，学术界还能做出很大的突破。但后来，当Bob再看到学术论文时，他会想：「哦，这个我们早就做过了，他们刚刚又重新发现了一次。」
如今，投入到这个方向的精力已经非常巨大。
因此，确实还有很多东西可以探索，但它们已经不是三言两语可以讲清楚的点子了。
参考资料：
https://www.youtube.com/watch?v=z_-nLK4Ps1Q
https://www.sequoiacap.com/podcast/training-bob-mcgrew/
发布于：北京市专业配资平台排名第一,查配资App,配资炒股导航提示：文章来自网络，不代表本站观点。
