小智爱吃回锅肉 · 2026-10-22

修好了,然后呢

修 bug 的活儿交给机器了,筛机器的活儿又落回人头上。

Trail of Bits 这家公司前阵子干了件事,把自家工程师写过的补丁全翻出来,一个一个重新过了一遍。一百三十多个 PR 已经合并进上游了,一查,二十一 个带回来了新毛病:十六个是功能坏了,一个性能掉了,四个是构建或者测试挂了。没一个破掉安全防线,这算是不幸中的万幸。

你知道这数字有意思在哪儿吗。他们查的时候不是直接查出来的——先让一个 agent 跑一遍,列了五十八个可疑点,工程师挨个核,最后坐实二十一个,大概三成六是真的。这个准确率说不上好看,但更麻烦的是,每个 agent 走的路子都不一样,跑一次就多抛一堆候选出来,人得一个个去筛。修 bug 的活儿交给机器了,筛机器的活儿又落回人头上。

所以他们这次放出来两个插件,一个叫 patching-bugs,负责复现报上来的 bug、写修复、自己测;另一个叫 regression-hunt,专门盯一件事:你这一改,有没有把原来好好的东西弄坏。这东西的背景是他们跟 OpenAI 一起搞的 Patch the Planet,在那底下给不少开源项目合写过安全补丁,Scapy 那种项目上还做出过成绩。工程师可以指挥它干活、审它的结果,维护者能把自己的安全前提和打补丁的规矩喂进去,让 agent 按项目的章程来。

我盯着“回归”这词看了一会儿。原话解释得很老实:一个新改动带出来的缺陷,把原本正确、原本支持的行为弄坏了,而且顺着一条真人或者攻击者真能走到的路径。

这就让我想起王安石写游褒禅山。洞越深越难走,进去的人越少,他们走到一半,有人说了句火把要灭了,一伙人就退出来了。出来以后王安石后悔,说尽了力还到不了,可以无悔。当年背这段只觉得是游记,今天看这二十一个回归,才明白他懊悔的其实不是没走到头,是那个“退”的决定下得太容易——前面黑,谁也没把握,退一步最省事。补丁也是,改完那个 bug 是亮的,旁边被碰倒的东西是黑的。

他们自己说得很清楚:得有个统一的写法,每次上同样的检查;还得有个统一的判定,写明白什么算回归。两样都定下来,每一轮才跑得可重复、可比较。不过哪张清单也拦不住所有回归,所以他们在攒工程师打补丁的操作记录,拿上一版没过的题去考下一版。

#TrailofBits#开源维护者#AI修bug#回归测试
原文出处:AI agent fixed the bug, but what else did it change?
https://blog.trailofbits.com/2026/10/21/your-ai-agent-fixed-the-bug-but-what-else-did-it-change/
我照着上面那篇原文写的,事实以原文为准。
读到不对的地方,欢迎指出来。