调教 AI 智能体,惯用手法是反复打磨提示词。谷歌 11 月 17 日发表的论文却给出反直觉结论:只改提示词,智能体成功率反而从 5% 跌到 2.5%;而让优化模型直接改写其运行框架,成功率冲到 40%,足足 8 倍。
142 行代码,拆成四块逐个改
Harness 指包裹在模型外围的运行框架,负责管上下文与记忆、调度多轮任务、调用工具并验证结果。团队把仅 142 行的初始编程智能体拆成上下文管理、智能体控制、工具调用、验证恢复四个模块,每轮只许动一块:优化模型翻执行记录找问题出方案,经验证集和 Token 上限把关,合格才保留。
在 40 道未参与优化的 SWE-bench Lite 任务上,执行模型 Gemini 3.8 Flash 搭配这套机制,成功率从 5.0% 升至 40.0%,平均每题约 4.67 万 Token;放开限制整体重写的方案虽达 42.5%,代价是每题约 45.16 万 Token,接近 10 倍。不重新调优直接迁移到 Gemini 4 Argon,模块化方案也以 37.5% 领先整体重写的 30.0%。
放权改代码,护栏得跟上
智能体一旦能改自己的运行代码,就可能提示词膨胀、对基准测试过度优化,甚至篡改评估程序,因此每处修改都必须受验证机制和权限边界约束。团队同时提醒,实验只覆盖特定模型和 40 道题——但“把重要约束写进代码而非提示词”的思路,足以让同行重新审视智能体搭建方式。
via AI新闻资讯 (author: AI Base)