(来源:图灵人工智能)
转自51CTO技术栈,仅用于学术分享,如有侵权留言删除编辑 | 姜篇
李飞飞:让系统自己试验,把模型的准确率做高,很多机器学习方法早就在做。这本身还不叫“递归”。
Jeff Dean:对。模型可以越做越好,但负责提出“下一次试什么”的那个系统,未必跟着变好了。
两人的争论,从一个看似很小的用词开始。
在斯坦福HAI对谈中,Jeff Dean刚讲完AI如何自动尝试不同的模型架构,李飞飞就打断他,要求把“自我改进”和“递归自我改进”分清楚。两个人花了好几分钟,反复确认究竟是哪个系统在变强。
这件事离开发者并不远。今天的Coding Agent会根据报错修代码,也能回看失败记录,建议修改自己的Skill。但一次任务做得更顺,并不能说明下一次遇到陌生任务时,它提出方案的能力也提高了。要说Agent会“自我进化”,还缺少这验证。
李飞飞随后追问得更犀利:硅谷谈RSI时,常常仿佛只要让AI进入循环,它就能越转越快、一直加速。但那些实验,训练的时间从哪里来?
Jeff Dean同意自动化可以缩短研发中的等待,却明确说,训练、计算、保存数据和检查结果都要花时间。快一些,和无限快,是两回事。
备注:Jeff Dean曾任Google首席科学家,如今是DiscoveryLoop联合创始人兼CEO;李飞飞是斯坦福HAI创始主任、斯坦福大学计算机科学教授。

Jeff Dean,区分一般自我改进与递归自我改进
以下内容按对谈话题整理。
模型准确率提高了,改进模型的“脑子”呢
Jeff Dean举的是医学影像的例子。给系统一批核磁共振图像和对应结果,让它试不同方案,做出更准确的识别模型。它可以自动提出实验、运行实验,再根据准确率决定保留哪一种方法。
李飞飞立刻开口。这样的系统当然会让任务结果变好,可过去不少机器学习方法也能做到。她不愿意因此就把它叫作RSI,也就是“递归自我改进”。
李飞飞:等等,很多机器学习算法都能提高一个模型的表现。光做到这一步,还不能算递归。
Jeff Dean:例如让系统自动改进一个MRI影像模型,准确率可能不断上升。但这并没有改进那个负责提出下一次实验方案的基础系统。


可以把它想成两层:第一层做题,第二层决定下一道题怎么出、用什么办法解。前者的分数提高了,不代表后者更会设计实验。Jeff Dean所说的RSI,要求改进触及第二层;下一轮又能利用这个改进,提出更好的方案。
这也是斯坦福研究院对于RIS的解释:系统改进自身能力,并利用增强后的能力继续改进。不过,定义并不等于已有系统达到了这个水平。判断一个具体项目时,仍要看它究竟改了什么,后续能力有没有经受新任务检验。
李飞飞不买账“永动机”理论
把词说明白后,李飞飞又问了一个问题:这种循环的物理边界在哪里?在她看来,硅谷对RSI的使用太宽松,有时还把它描绘成一台会不断提速、看不到尽头的机器。
李飞飞:现在很多人很随意地使用RSI这个词。我作为科学家,会在意它究竟指什么。尤其是有人把它讲得像能一直加速下去,那它的物理限制在哪里?

RSI被炒作成无限加速时,现实中的限制被放在了哪里
Jeff Dean没有回避这个问题。
他先讲了人类研究团队是怎么做模型的:研究员和工程师跑一批小实验,分辨哪些想法有效,再把有效的东西带进下一代模型。Gemini从一代到下一代,在他看来也是这样一步步试出来的。
自动化确实能减少人的等待。一个实验凌晨两点跑完,研究员可能早上八点才坐到电脑前查看;如果系统自己读结果、安排下一轮,六小时的空档就可以缩短。在大型项目里,它还可能把不同人的实验结果放在一起判断,减少重复尝试。
Jeff Dean:实验凌晨两点结束,人不一定要到早上八点才看见结果。自动化系统可以及时检查,再决定下一步做什么。

但下一代基础模型不会因为“决定得快”就立刻出现。实验仍要运行,模型仍要训练,数据仍要存下来,结果还得有人或另一个系统分析。Jeff Dean说,把整个循环想象成能无限快地转下去,缺少现实依据。
Jeff Dean:要让基础模型变得更好,训练和实验都得实际发生。计算要跑,结果要看,数据要保存;这个过程不会无限快。

Jeff Dean的新公司,先挑“跑得动的循环”
这番话并非一个旁观者在给RSI降温。Jeff Dean离开Google后参与创办DiscoveryLoop,目标就是把科学和工程研发中的“提出方案、运行实验、评估结果、决定下一步”接成自动循环。


李飞飞问他,为什么先做这些领域。
Jeff Dean给了一个答案:先找实验能在数字环境里完成的工作。计算机里提出方案,计算机里跑,再用可衡量的结果决定下一轮,整个过程比较容易加速;涉及真实物理过程的领域,要等设备、材料或人体数据,循环很难同样提速。
Jeff Dean:我们现在优先做整套循环可以在数字环境中完成的科学和工程问题。碰到必须依赖物理过程的领域,推进实验就没那么容易了。

他们目前优先关注机器学习研究、机器学习工程和硬件设计。
Jeff Dean还主动给自己的项目划了线:假如系统替医疗领域做出一个更好的专用模型,那是针对任务的自我改进;单凭这件事,还不能称作递归自我改进。
Jeff Dean:为特定任务做出更好的模型,可以说是自我改进,但还不是递归自我改进。

Agent改了自己的Skill,算不算RSI
开发者已经能看到一些“自我改进”的小版本:Agent做完任务,回看工具调用,发现测试说明写错了,于是提交一份Skill修改;下一次遇到同一类任务,它少走了几步弯路。
这件事有用,但按这场对谈中的严格区分,只修好一条指令,还不足以证明RSI已经发生。团队至少要弄清:它改的是当前任务的说明,还是提出改进方案的机制?换一批任务后,进步还在不在?系统会不会为了提高评分,悄悄放宽测试、跳过难题?这些是把“看起来变好了”变成“确实变强了”时要做的检查。这里是根据两人讨论作出的开发场景延伸,不是他们直接评价某款Coding Agent。
李飞飞在用了一个容易理解的比方:人第一次煎蛋煎糊,第二次做得好些,这是学习;如果还学会了怎样更快学会新菜,改变的就是学习方法。Jeff Dean接着说,人会学微积分,也会逐渐知道哪种学习方式对自己更有效。RSI讨论的,正是后一层能不能不断改进。
李飞飞:第一次煎蛋做不好,多试几次总会进步。我想问的是,在这个过程中,那个负责学习的系统有没有发生变化?
Jeff Dean:人会学会一件事,也会学会怎样学习。后一种变化,会让你以后学更多东西时更快。
写在最后
这场对谈没有给出“RSI何时到来”的时间表。李飞飞要的是别把两种改进混在一起;Jeff Dean要做的是让实验循环少等人、少重复,扎扎实实跑得更快。两人并不矛盾。
下次看到“Agent已经学会自我进化”,不妨先问一句:它只是把这道题做对了,还是连提出下一道题、判断答案的办法也改进了?实验记录和新任务的结果,比那个响亮的标签更能回答问题。











