唐龙君AI实验室 | 第9期:自动循环升级之前,先回答四个问题
第 1 期写的是开发侧的 Claude 接上系统接口,使用反馈进来、修复当场发生,版本制变成呼吸制。这篇是续篇,讲放行之前的事。
自动升级最容易被误会的一点,是把它当成速度问题。其实它是治理问题:机器改得越快,人对每一次改动的交代就得越清楚。实验室内部提炼了四个问题,放行前逐个过一遍,答不上来的那一处,就是先补的地方。
· · ·
接口:它能读到什么,读多深
接口不是“接上了”三个字。能读到真实使用数据吗,还是只能读到报错日志?能读到哪一层:点击、会话,还是业务单据?读得越深,修得越准,碰的边界也越多。接口清单要写清:每个端点给什么、不给什么、敏感字段脱敏在前。还有一条:接口是只读,还是可写?只读的回路只能报问题,可写的回路才能改代码,两种回路的审批根本不是一个级别。
图注:接口清单:只读与可写分开列,敏感字段脱敏在前(唐龙君AI实验室制图)
· · ·
权限:能改什么,不能碰什么
给开发智能体开权限,要像给新人开账号:默认什么都不给,按需加。能改业务代码吗,能改配置吗,能动数据库吗,能发版吗?每一项都要有白名单。尤其要划出禁区:账本、计费、权限表、客户数据原文,这些地方哪怕改起来再顺手,也得留在人工手里。权限不是信任问题,是影响面问题:一次改动最坏能坏到哪一步,先算好。
顺带一提:权限要跟人走,还是跟任务走?跟人走,离职、换岗就得回收;跟任务走,任务结束权限自动收回。实验室的倾向是后者:权限跟着一次具体的修复任务来,任务关了,口子就合上。
· · ·
验证:改完怎么知道对了
自动修复最危险的一刻,不是改错,是改完没人知道错没错。每次自动改动都要有自己的验法:跑哪组测试、过哪条业务用例、对照哪份基线。测试过了还不够,还要有人签字,哪怕是抽查签字。Reflexion¹ 的思路值得借:智能体把自己的轨迹写成文字,再对着结果反思一遍,错在哪一步,下一次避开。SWE-agent² 走的也是这条路:不是一次改对,而是改、测、看结果、再改,形成回路。验证,就是把“再改”这一步钉死在流程里。
图注:改动—验证回路:改代码、跑测试、对结果、留记录,一步不过就停下(唐龙君AI实验室制图)
· · ·
留痕与回滚:每一次改动都能找回来
留痕不是写日志凑数,是出事时能回答三个问题:谁改的、为什么改、改之前是什么样。每一次自动修复都要留一条可追溯的记录:改动内容、触发它的反馈、验证结果。回滚同样要事先练过:回滚键在哪、谁有权按、按下去多久能恢复。没练过的回滚,等于没有回滚。
四个问题答完,自动升级才算立住了。答不上来的地方,先别急着放行——慢半拍的回路,比失控的回路值钱。
觉 然 小 注
自动不是目的,回路才是。机器改得再快,也得有人能说清每一次改动为什么发生、凭什么算对、错了怎么回来。治理跟不上速度,速度就不是效率,是欠账。
· · ·
九羲科技|服务器 · 私有 AI · 存力方案
系列目录
第1期:让写代码的 AI,住进系统里
第2期:一只水表的数字一生
第3期:48G 对 48G,为什么不是一回事
第4期:一张配置单,读出买家要干什么
第5期:读一份大清单,先问这四件事
第6期:AI 项目第一轮沟通,先别谈方案
第7期:MCP 之后,Anthropic 又把 Skills 交了出去
第8期:约束逼出的方法:一场 KV Cache 的硬仗
第9期:自动循环升级之前,先回答四个问题
第10期:为什么试用客户只看右边
第11期:一台AI测试机,真正先卡住的往往不是显卡
第12期:671B满血推理,为什么是一台8卡H200的事
第13期:“坏盘不返”四个字,写着买家的行业
第14期:两台服务器不做互备,为什么反而是对的
第15期:需求清单和报价清单之间,隔着一次诚实
第16期:生产端和容灾端,不能是同一批设备
引用与出处
[1] Shinn, N., Cassano, F., Berman, E., 等. Reflexion: Language Agents with Verbal Reinforcement Learning. NeurIPS, 2023. https://arxiv.org/abs/2303.11366
[2] Yang, J., Jimenez, C. E., Wettig, A., 等. SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering. NeurIPS, 2024. https://arxiv.org/abs/2405.15793
文中“四个问题”框架为实验室内部提炼(推演),尚待更大范围验证;具体反馈案例未公开,本文不引用个案;开发侧接系统与 Muse 侧连接器是两件事,本文只讲前者。
下一篇|第10期:为什么试用客户只看右边 —— 对话入口藏在哪,第一眼就决定了它会不会被用