(来源:科技行者)

你有没有想过,一个能帮你订机票、填表格、逛淘宝的网页智能体,是怎么知道自己做对了没有?
这个问题比听起来复杂得多。2026年的今天,开源网页智能体已经能够在真实浏览器里点击、输入、滚动,完成相当复杂的任务了。但训练它们变得更聪明这件事,卡在了一个很尴尬的地方:你用来告诉AI"这次做得好不好"的反馈信号,要么太粗糙,要么太贵。
先说粗糙的那种。最简单的做法是给任务一个二元反馈,成功记1分,失败记0分。问题是,当你用GRPO这类强化学习方法训练模型时,会同时让模型跑一组任务(术语叫rollout group,可以理解成同一个任务让AI尝试好几次,每次记录完整的操作轨迹),然后比较这些尝试谁好谁坏来调整模型。但如果这一组尝试全部成功或者全部失败,系统就完全没法分辨谁做得更好,这叫做优势估计坍缩。打个比方,这就像老师批改一整个班的卷子,发现全班都是满分或者全班都是零分,老师完全没法知道谁的解题思路更优,因为分数区分不出任何差异。
再说贵的那种。用GPT这样的大模型当裁判去评判每一步操作,反馈信息确实丰富,但代价是每一步都要调用一次昂贵的API。更麻烦的是,等到真正部署这个智能体给用户用的时候,你总不能每次用户操作都调用一次大模型裁判吧,那成本根本扛不住。
这篇来自Salesforce AI Research的论文,提出了一个叫CLIFT的方法,试图同时解决这两个问题。它的核心想法说起来并不玄乎:让AI自己学会提问、自己回答,把这些自问自答的信号用一套统计方法筛选出靠谱的部分,变成既能用于训练、又能在没有裁判的情况下用于部署决策的工具。
裁判的用处和代价
在讲CLIFT具体怎么做之前,得先搞清楚三个评测场景分别长什么样。
论文用了三个基准测试环境。第一个叫WAI(WebArena Infinity),里面是程序化验证的SaaS风格应用,比如邮箱、招聘网站、支付系统,每个任务完成与否可以用代码逻辑精确判断。第二个叫VWA(VisualWebArena),包含购物网站、论坛、分类广告站,用URL和页面元素状态做结果验证。第三个叫OM2W(Online Mind2Web),是300个真实存在的公开网站任务,用大模型裁判打分,因为真实网站没有办法写死验证逻辑。
这三个环境的评测方式一个比一个"噪声大":程序化验证最精确,URL/DOM检查次之,大模型裁判打分最不稳定。论文正是利用这种梯度来测试CLIFT能不能从干净的训练信号逐步扩展到嘈杂的真实世界。
CLIFT的全称是"Conformal Lift-calibrated Introspective Filtering of Trajectories",意思大致是"用保形推断校准提升值来筛选轨迹的内省式方法"。这名字听着唬人,拆开看其实没那么复杂。
验证问题库:让AI自己审问自己
CLIFT的核心机制是让智能体维护一个验证问题库,里面全是类似"是否到达了目标页面""是否执行了破坏性操作"这样的是非题。智能体跑完一段操作轨迹后,会被要求回答这些问题,YES或NO。
验证问题(VQ):一个针对智能体行为的是非题检查项,每个问题都绑定一个URL适用范围和一个极性标签,标明YES回答到底是进步信号还是失败信号。
这里有个关键细节,每个问题不是随便问的,它带着一个"URL作用域",意思是这个问题只在特定的网页路径下才有意义。举个例子,"是否进入了商品详情页"这种问题,只在购物网站的搜索结果页之后才该被问;在登录页问这个问题毫无意义。这就是论文里反复强调的URL-stratified(按URL分层)的意思。
如果不这样按URL分层会怎样?假设你把所有页面的验证问题混在一起统一打分,那就好比一个老师批改数学卷子和语文卷子用同一套评分标准,数学题答案对不对的判断标准和语文作文好不好的判断标准根本不是一回事,强行用一套标准去套,只会让分数失去意义。按URL分层的设计,本质上是承认"不同页面状态下,什么叫做好的行为是不一样的"。
但这里就产生了一个新问题:这些自问自答的问题,到底哪些是真的靠谱,哪些只是AI在自说自话?这正是CLIFT最有意思的部分,也是整篇论文的技术核心:怎么证明一个问题的回答真的能反映任务做得好不好。
保形认证器:给每个问题发一张信任状
论文设计了一个叫CCC(Compositional Conformal Certifier,组合式保形认证器)的组件,专门干这件事。
保形预测(Conformal Prediction):一种统计方法,能够在有限样本下给出可靠的置信度估计,不需要假设数据服从特定分布,常用于给机器学习模型的输出加上可信度保证。
CCC的逻辑是这样的:对每一个问题,在训练阶段同时也会有一个"训练裁判"(论文里用的是Claude Opus 4.6这样的闭源模型)给整条轨迹打分。如果某个问题的YES/NO回答,总是能够和裁判打的高分/低分对上号,那这个问题就被认为是"靠谱"的,可以获得一个正式的信任权重;如果对不上号,这个问题就被判定为不可信,它的权重被压到零,不会影响任何训练或决策。
这个过程用了一个叫Mondrian自适应保形推断(Mondrian-ACI)的追踪器,分别在三个粒度上跟踪每个问题的表现:全局、按网站域名、按具体URL路径。为什么要分三个粒度?因为同一个问题在不同场景下靠谱程度可能完全不同。比如"是否点击了搜索按钮"这个问题,在购物网站上可能是个很好的进度信号,但在邮箱应用里可能毫无意义。分层跟踪让系统可以针对每个具体场景单独判断这个问题值不值得信任,如果某个具体URL路径下样本太少,就退回到更粗的域名层级,再不行就退到全局层级。
这套机制有一个很硬核的安全阀,叫极性否决规则:如果一个问题原本被标注为"YES代表进步",但实际观测发现YES反而和裁判打的低分相关,系统会直接把这个问题的极性强制改成中性,不让它继续误导后续的训练。这就好比公司里有个员工一直声称自己的建议能提升业绩,但财务数据反复证明他的建议每次落地业绩都下滑,公司干脆取消他发表意见的资格,而不是继续听信他的一面之词。如果没有这个否决机制,一个一开始标注错误的问题会持续产生错误信号,而且因为它"看起来"是个合理的问题,这种错误很难被发现,最终会在训练中积累成系统性偏差。
验证题库和认证机制讲完了,接下来要解决的是怎么把这些认证过的信号真正用起来,而且不能把裁判原本的判断给带歪了。
训练阶段:只加分不减分的奖励机制
CLIFT训练时用的奖励公式有个很巧妙的设计,论文里写成"验证器项被截断在零以下",意思是自我验证得出的分数只能为正或者为零,永远不会是负数去拉低裁判给出的基础分数。
这个设计解决的是一个很实际的问题。假设验证器的信号还不够成熟,判断有误差,如果允许它直接拉低奖励,那一旦验证器判断错误,模型就会学到错误的东西,甚至可能把裁判本来给出的正确奖励给污染掉。而现在这套"只能加分不能减分"的机制相当于给验证器设了一道安全线:它能够锦上添花,证实裁判的判断、给出额外的细粒度信息,但不能喧宾夺主。
这就像公司里新来了一个实习生助理给老板的打分报告做补充意见。如果实习生的补充意见只能用来佐证"这个员工表现确实不错,我再补充几个具体的优点",那即便实习生判断偶尔有偏差,最多也就是没有补充上什么有用信息,不会把老板本来的正确判断给搅乱。但如果允许实习生的意见直接否决老板的判断,一旦实习生经验不足判断失误,整个评价系统就可能被带偏,造成不可挽回的后果。
训练奖励确定之后,接下来要把这个逐步的奖励信号转化成每个URL状态下的优势估计(advantage),再广播到对应的动作token上进行梯度更新。这一步保证了信用分配是"URL本地化"的,也就是说,同一个任务里,在不同网页状态下采取的动作,会根据它所在的那个具体网页状态的表现获得相应的奖励信号,而不是被笼统地算在整条轨迹的最终成败上。
这里还有一个值得专门说一说的细节,就是CEGAR式的问题库自我扩展机制。
CEGAR:全称反例引导式抽象精化,本是形式化验证领域的一个概念,这里被借用来描述一个循环过程,用高分和低分轨迹之间的差异来不断生成新的验证问题。
训练过程中,系统每隔一段步数(论文设定是60步)会触发一次问题生成,让裁判挑出一批表现最好和最差的轨迹,分析它们的差异点,提出三到五个新的验证问题。这些新问题一开始是"未认证"状态,需要经历前面说的认证流程才能获得信任权重。这意味着整个问题库是动态生长的,从最初几十个到几百个种子问题,经过训练过程中的持续扩展和筛选,最终留下真正有区分力的那部分。
测试阶段:没有裁判也能做决策的CTS
训练阶段讲完了,现在到了部署阶段,也就是真正给用户用的时候。这时候裁判不在场了,但是前面认证好的问题库还在,而且被冻结下来重复使用。
这就是论文里的另一个核心机制,CTS(Conformal Trajectory Selection,保形轨迹选择)。
CTS:一种测试时决策机制,让智能体在同一个任务上生成多条候选轨迹,用冻结的已认证问题库对每条轨迹打分,再用一个保守的多数投票规则决定最终输出哪一条。
具体流程是这样的:智能体对同一个任务先跑一条"贪心"轨迹(也就是按模型最有把握的方式一步步往下走),再跑一条或多条"多样化"重试轨迹(用更高的采样温度,鼓励探索不同的路径)。接着,自我验证器根据已认证的问题库,对每条轨迹访问过的每个URL状态生成一份结构化的证据清单,而不是简单地给出一个总分。这份证据清单会被喂给自我验证器做一次比较式的判断,输出"保留贪心轨迹"、"换成重试轨迹"或者"平局"。
为了防止验证器自身的随机性导致误判,CTS用了多次独立投票,并且设置了偏向保守的规则:只有当多数票明确支持"换"的时候才真正切换,平局或者票数不够都默认保留原来的贪心轨迹。
这个设计思路其实特别像医院里的多学科会诊制度。假设一个病人要不要换治疗方案,不能靠一个医生临时拍脑袋决定,得召集好几位医生分别独立给意见,只有多数医生都认为应该换方案时才真正换。如果只要有一个医生说该换就立刻换,那医疗决策的稳定性根本没法保证,一次判断失误就可能造成严重后果。CTS的保守投票机制正是把这种"宁可不动,也不要盲目乱动"的原则写进了算法里。
如果没有这个保守默认规则会怎样?论文里提到一个具体案例,WAI平台上有个关闭两步验证的任务,贪心轨迹成功完成了,而重试轨迹失败了。这种情况下,如果系统是激进地倾向于切换,哪怕没有足够证据支持,也可能把一个本来已经做对的结果替换成错的。保守默认规则恰好避免了这种"好心办坏事"的情况,案例记录显示这次CTS正确地选择了不切换。
讲到这里,整个CLIFT的闭环就清楚了。训练阶段用认证过的问题库给出额外的正向奖励,帮助模型学得更快更准;测试阶段用同一套冻结的问题库,在没有昂贵裁判参与的情况下,帮助系统从多条候选轨迹里挑出更靠谱的那条。两个阶段共用的核心资产,就是这个带着URL作用域、极性标签和信任权重的问题库。
三个场景,三种验证方式
接下来看实际效果。论文设计了三组实验,分别对应"训练能不能变强""训练出来的知识能不能迁移到更强的模型""完全没训练过的场景能不能直接用"这三个层层递进的问题。
在WAI平台上,研究者用一个31B参数的开源模型Gemma-4做基座,配合CLIFT训练,然后对比了几个业界参考系统,包括Gemini 3 Flash加浏览器工具、Qwen 3.5加浏览器工具、Kimi K2.5。结果是CLIFT训练出来的Gemma-4再加上CTS(K=3,也就是跑3条候选轨迹选一条),在9个应用的综合成绩上达到了74.6分,超过了所有对比系统,包括表现最好的Gemini 3 Flash的70.1分。而且这个胜利不是靠某一个应用项目硬撑出来的,在9个应用里赢了7个,剩下2个也差距很小。
更值得注意的数字藏在训练过程的分解里。基础Gemma-4模型(没有任何强化学习训练)的成绩是61.8分。用传统方式训练(也就是裁判打分加GRPO,但没有认证问题库)的"vanilla GRPO"版本只提升到64.7分,涨了2.9个百分点。而加入CLIFT的完整机制后,成绩跳到72.6分,涨了10.8个百分点,是传统训练方式涨幅的将近四倍。最后再加上CTS,达到74.6分。
这组对比数字特别说明问题。如果只靠裁判给出的稀疏总分训练,哪怕用了GRPO这种现代强化学习算法,提升也很有限,只有2.9个点。差距不是训练算法不够先进,而是奖励信号本身太粗糙,没法告诉模型究竟是哪一步做对了、哪一步做错了。CLIFT多出来的10.8个点提升,几乎完全来自于更细粒度的、按URL状态分层的奖励信号,这也印证了论文开篇提出的核心判断:限制智能体表现的瓶颈,往往不在模型本身,而在于怎么给它打分。
论文还提供了一个很有说服力的旁证:vanilla GRPO训练出的模型平均需要18.5步才能完成一个成功任务,而CLIFT训练出的模型只需要16步,加上CTS之后进一步降到15.5步。这说明CLIFT带来的提升不是靠让模型"多试几次碰运气"换来的,而是真正提高了模型每一步决策的准确性,少走了弯路。
接下来是VWA这个迁移测试场景。这里的设计很有意思:训练阶段用的是开源Gemma-4模型加CLIFT学出来的问题库,但测试时换成了闭源的GPT-5.5模型,GPT-5.5本身完全没有被训练过,只是在推理阶段把CLIFT学到的问题库拿来当参考证据。结果GPT-5.5配合CLIFT训练出的问题库加CTS(K=4),在分类广告、购物、论坛三个环境上的加权平均成绩达到53.7分,超过了此前的参照系统WALT的52.9分。
这个结果的分量在于,它证明了CLIFT学出来的那份问题库不是针对某个特定模型的"专属外挂",而是一份真正可迁移的、关于"什么样的网页行为算是靠谱进展"的知识总结。这就好比一位老师长期批改某个班级的作业,总结出了一套"什么样的解题步骤容易出错"的经验规律,这套规律写成讲义后,换一个完全不同的班级、甚至换一个新老师来用,依然能帮助学生少犯错。知识本身和产生它的具体人之间,是可以分离的。
最后是OM2W,这是最严苛的测试,因为这个基准上压根没有训练过任何策略模型。研究者把WAI和VWA训练出来的问题库拿过来,做了翻译和重新校准:删掉不适用于真实网站的问题,补充了一些真实网站特有的失败模式问题,比如遇到机器人验证拦截页面、提取信息造假、筛选条件没完全生效、给出错误的最终答案就草草结束等等。
重新校准的过程不需要重新训练策略模型,只需要在少量真实网站的、有裁判打分的轨迹样本上,重新跑一遍前面说的那套认证流程,给每个翻译过来或新加的问题重新计算信任权重。
最终这个翻译重构后的问题库里,132个问题中有100个通过了认证,其中75个是正向进展信号,25个是负向失败信号。应用到实际测试里,开源Gemma-4基础模型原本成绩是40.0分,加上迁移来的问题库和CTS后提升到45.0分,已经超过了GPT-5.5低算力版本的43.7分基线。而在更强的GPT-5.5高算力版本上,原始成绩是49.7分,加上同样的迁移机制和CTS(K=4)后提升到61.0分,涨了整整11.3个百分点。
这组数字特别能说明一个道理:当策略模型本身已经很强、贪心策略已经接近它能力上限的时候(比如WAI场景里训练本身贡献了大部分提升),测试时选择能带来的额外空间有限;但当没有机会针对特定场景训练、模型只能靠通用能力硬扛的时候(比如OM2W这种完全陌生的真实网站场景),测试时从多条轨迹里精挑细选就变得格外重要,因为这时候模型在不同尝试之间的表现差异会更大,给了选择机制更大的发挥空间。
CLIFT的边界在哪里
论文也很坦诚地讨论了这套方法的局限。在WAI和VWA这两个场景里,大量的URL状态能积累足够多的观测样本,让信任权重估计得比较稳;但在OM2W这种噪声更大的真实网站裁判场景下,更多问题没能通过认证考验,直接被排除在决策之外。论文把这种"拒绝认证"描述成一种诊断信号而不是系统故障,意思是当认证机制发现某个问题不靠谱时,它选择不信任而不是强行使用,这本身是系统设计上的一种克制。
论文还提到了一个未来方向,打算用可执行的浏览器状态断言代替目前的自然语言问题,让一个编程智能体直接写出可以在轨迹运行过程中执行的检查代码,这样可能可以减少对单独一个自我验证模型的依赖,同时提升可审计性。
写在后面
读完这篇论文,我最意外的一点其实是那个"只加分不减分"的奖励截断设计。这个设计初看像是个很简单的工程小技巧,但背后其实藏着一个挺深的洞察:当你往一个已经经过验证的系统里引入一个新的、还没被完全证明可靠的信号源时,最安全的接入方式不是让它拥有和原系统同等的决定权,而是先让它只能做"加法",只能锦上添花,不能釜底抽薪。这其实是个很通用的系统设计原则,不只是适用于强化学习训练,任何涉及多信号融合、而且新信号可信度还没被充分验证的场景,都可以借鉴这个思路。
另一个让我反复琢磨的地方,是CTS那个保守的多数投票机制和它背后体现的态度。很多做测试时优化的论文,骨子里都带着一种"尽量多探索、尽量多尝试"的倾向,追求的是把样本空间撑得越大越好。但CLIFT的CTS机制反过来,它的默认选项永远是"不变",只有证据足够扎实才会被说服去改变。这种设计哲学其实和贝叶斯统计里"先验要保守"的思路有点像:在没有充分新证据之前,不要轻易偏离你已经比较确信的判断。
还有一个细节我觉得挺值得单独拿出来说,就是案例A.3里那个关闭两步验证的例子。贪心轨迹成功了,重试轨迹失败了,CTS最终选择不切换。这个案例的价值不在于CTS做对了,这几乎是必然的,而在于它证明了这套系统确实具备"识别自己已经做对了"的能力,而不是盲目地认为多试一次总比不试好。很多依赖采样和投票的系统容易陷入一种误区,认为更多的候选选项天然意味着更好的结果,但CLIFT的实验记录提醒我们,有时候最好的决策就是什么都不做。
这篇论文留给我的最后一个问题是,当问题库被翻译迁移到一个全新领域时,那25个被认证为"负向信号"的问题到底长什么样?论文提到了机器人验证拦截、信息造假、筛选条件失效这几类,但具体的问题措辞和触发场景,其实比正向信号更值得深挖,因为失败模式往往比成功模式更能反映一个系统真正脆弱的地方在哪里。
Q&A
Q1:CLIFT是什么?
A:CLIFT是Salesforce AI Research提出的一种网页智能体训练与测试方法,核心是让AI通过自我提问和回答生成验证信号,再用统计方法筛选出可信的部分,用于训练阶段的奖励加成和测试阶段的轨迹选择,整个过程不需要测试时调用昂贵的大模型裁判。
Q2:CLIFT训练出来的问题库能用在别的模型上吗?
A:可以。论文验证了用开源Gemma-4训练出的问题库迁移到闭源的GPT-5.5上依然有效,在VisualWebArena测试中帮助GPT-5.5达到了业界领先水平,说明问题库本身是一份可迁移的通用知识,不绑定特定模型。
Q3:CLIFT和传统的GRPO训练方法相比提升有多大?
A:在WebArena Infinity平台上,传统GRPO加裁判打分只比基础模型提升2.9个百分点,而CLIFT的完整机制提升了10.8个百分点,加上测试时的轨迹选择机制后总提升达到12.8个百分点,远超传统方法。











