一、证据闭环不是自评自夸

　　从执行轨迹找问题：Self-Harness 会让 Agent 从自己的执行 Trace 中识别失败模式，提出最小化 Harness 修改，再用回归测试决定是否接受。

　　看行为差异：Google Harness² 不要求任务有标准答案，而是让不同 Harness 实际执行同一任务，比较行为差异后“提出—探测—组合”，只保留有执行证据支持的修改。

　　落到具体脚本：账目汇总演示里，改进版删除错误过滤条件，保存“求和时保留正负符号”的经验，说明证据要能落实到配置或脚本，而不只留一段反思文字。

　　二、安全与评估要并行演化

　　安全独立 KPI：Google 和 CMU 的 Harmony Harness 把功能和安全拆成两个独立目标各自进化，推理时按任务动态拼合。

　　实验数据：在 SecRepoBench 未见崩溃类型上，66.7% 的修复既修好又堵住漏洞，原始 harness 为 36.7%；安全收益保留 55%，DGM 基线为 0%。

　　评估维度扩展：只看最终答案不够，工具调用、Trace、Token 消耗、延迟和成本都开始纳入 Harness Eval。

　　历史失败回归：维护历史失败案例集，每次更新先重跑，过去问题重现就阻止上线。

　　三、沙箱、成本与人的定义

　　沙箱与权限：若 AutoHarness 能修改 Tool、中间件、Shell、记忆和运行时逻辑，就可能在加载阶段执行新代码，沙箱、权限控制和代码审查必须前置。

　　成本预算：每生成候选 Harness 都增加模型调用和完整任务执行，社区提出支持本地 Benchmark、成本上限和人工参与选择。

　　人定义不满特征：在自己业务场景做 Harness 自动优化时，人参与的核心是定义用户可能产生不满的行为特征。

　　任务匹配：一套针对某模型优化的上下文管理和工具策略，未必适合其他模型，统一最优解很难存在。

本文由AI生成