同一个模型,F1 差一倍:AI 代码评审的瓶颈不在模型

2026-11-17T07:12:11+08:00 | 6分钟阅读 | 更新于 2026-11-17T07:12:11+08:00

@
同一个模型,F1 差一倍:AI 代码评审的瓶颈不在模型

昨天 GitHub 趋势榜第三是 alibaba/open-code-review,一天 946 star,仓库总数已经 5.29 万。项目 5 月才建仓,底子是阿里内部用了两年的 AI 评审助手,README 说它服务过数万开发者、找出过几百万个缺陷,然后才拿出来开源。

我感兴趣的不是星数,是 README 里那张 benchmark 表。表的说明很朴素:50 个开源仓库、200 个真实 PR、10 种语言,80 多位资深工程师交叉标注,最后落到 1505 条有标准答案的缺陷。14 种「模型加 harness」的组合全跑了一遍。

同一颗 Claude-4.6-Opus,在 open-code-review 里 F1 是 25.10%,在 Claude Code 里是 11.57%。模型没变,仓库和标准答案也没变,差的是外面那层管线。

先把数字摆出来

模型harnessF1精确率召回率单次耗时token
Claude-4.6-Opusopen-code-review25.10%33.90%(301/889)20.00%(301/1505)1m23s385K
Claude-4.6-OpusClaude Code11.57%7.23%(435/5980)28.90%(435/1505)13m6s5,664K
GPT-5.5open-code-review21.00%32.10%(234/728)15.50%(234/1505)2m51s422K
GPT-5.5Codex8.36%27.82%(74/266)4.92%(74/1505)2m58s525K

第二行值得多看一会儿。Claude Code 在这批 PR 上输出了 5980 条评论,其中 435 条是真问题。剩下 5545 条得有人一条条读过去,误报率 92.7%。换成 open-code-review,评论总量降到 889 条,真问题 301 条,误报 66.1%。

同一颗模型,token 从 5664K 压到 385K,差 14.7 倍;单次耗时从 13 分 6 秒到 1 分 23 秒,差 9.5 倍。

GPT-5.5 那两行更极端。放进 Codex,1505 条缺陷只找到 74 条,召回 4.92%,等于每 20 个真问题漏掉 19 个。同一个模型塞进 ocr 的管线,召回 15.5%,精确率从 27.8% 抬到 32.1%。

模型能力没有波动。管线决定了它能看到多少东西。

通用 agent 栽在哪

README 自己列了三条病,我这半年用下来对得上:

  • 覆盖不全。大 changeset 上模型会给自己减负,挑几个看起来重要的文件审完就交差,剩下的提都不提。
  • 位置漂移。它说第 47 行有空指针风险,你翻过去发现是第 52 行,或者干脆在隔壁文件。
  • 质量不稳。prompt 改个措辞,结果就在「什么都不报」和「报一大堆」之间来回跳。

根因不复杂:整个流程靠自然语言驱动,没有硬约束。让模型自己决定看哪些文件、自己决定套哪条规则、自己数行号,每一步都是概率性的,链条一长,误差叠起来就废了。

拆法:确定性的部分交给代码

open-code-review 走混合架构,凡是不能出错的环节用工程逻辑锁死,模型只留判断。

  • 选文件:哪些文件进评审、哪些过滤掉(锁文件、生成代码),程序说了算。范围一旦交给模型,覆盖率就没保证了。
  • 打包:相关文件合成一个评审单元,README 举的例子是 message_en.properties 和 message_zh.properties 必须放一起看。每个包开一个独立上下文的子 agent。
  • 规则匹配:按文件特征从模板引擎里取规则,再喂给模型。这比在系统提示里写「请注意线程安全」稳得多,也更省 token。
  • 定位和反思:两个独立模块,专门负责把评论挂到正确的行,以及判断这条评论该不该发出去。

打包这一招值得单独说。它不是简单分批,是把上下文隔离掉:审 Java service 的子 agent 看不到无关的前端文件,注意力不会被稀释,各个包天然能并发跑。大 changeset 在这套结构下不会崩,原因在这儿。

别让模型数行号

四条里我最想抄的是第四条。

模型判断「这段逻辑有问题」是它擅长的,让它精确报「第 47 行」不是。它数的是 token,不是人眼里的行号,中间还隔着 diff 的增删行和折叠的上下文。所以 open-code-review 把坐标这件事从模型手里拿走:模型只指出哪段代码有问题,映射回文件和行号由程序做。

这套思路在别处也见过,让模型输出结构化的意图,位置、排序、格式这些机械活儿交给后面的代码。凡是能把「坐标计算」和「语义判断」分开的地方,分开之后两边都变准。

token 这笔账比 F1 更要紧

评审的成本结构和聊天不一样。聊天是一次性的,评审是每个 PR 都要跑一遍的固定开销,边际成本比单次能力上限重要得多。

5664K 到 385K,同样一笔预算能多审 14 倍的 PR。13 分钟和 1 分半也不是一个量级的产品:前者只能扔进夜间任务,第二天早上看结果;后者能挂在 PR 页面上,作者还没走开就能收到评论。

省下来的不是模型变聪明省出来的,是注意力被规则收窄省出来的。规则匹配做在前面,模型不用自己翻半个仓库去猜该关心什么。

精度优先是个产品选择

这份 benchmark 里最实在的一句话,是它主动承认召回不如通用 agent:28.9% 掉到 20%。

9 个召回点,换 6.7 倍的噪音下降。这买卖划不划算,得看你站在谁的位置上。

我的答案是划算。一个 PR 报 5980 条评论的工具,第一次用你会认真读,第二次开始往下滑,第三次你就把它当背景噪音关掉了。评论多到自己看不完、精确率掉到个位数,装和没装区别不大。

评审工具真正的 KPI 不是这次找了多少 bug,是三个月之后开发者还愿不愿意打开那个标签页。这一点上,少报一点不是退步。

该泼的水还是要泼

F1 25.10% 是什么概念?1505 条真实缺陷,最好的组合只找到 301 条,四分之三的问题还是靠人。这数字放论文里不好看,放工程里是诚实的。

还有三件事得提醒:

  • benchmark 是自家出的。数据集的确公开了(HuggingFace 上的 AACR-Bench),标注流程也算严,但题目和考纲是自己定的,天然对自己有利。
  • 内置规则集是 NPE、线程安全、XSS、SQL 注入这类,静态分析本来就吃得下的领域。真拿去审架构分层、幂等设计、并发时序,数字会难看很多。
  • 5.29 万星说明不了什么。两周涨五万星的开源项目,真正接进 CI 的可能不到百分之一。

评审正在变成流水线里的一个节点

同一天上榜的还有腾讯的 LoopForge,一天 1016 星,自托管的 coding agent 编排平台。它把 CodeBuddy、Codex、Claude Code 这些 CLI 串成 SOP:需求、澄清、设计、实现、独立评审、脚本测试、人工闸门、交付。

设计原则里有一句我很认同,不需要 AI 的地方就别用 AI。跑测试就是 pytest,不用模型插手。评审要独立角色,实现的人不能自己审自己。到人工闸门必须真的停下来等人签字,签完还要回头验证被接受的代码有没有被改过。

这两件事其实是一件事的两面。open-code-review 管的是「看的时候注意力放在哪」,LoopForge 管的是「谁在哪个阶段看、看不过怎么打回」。一个把评审做成可信的步骤,一个把步骤放进流程。

我的判断

这一轮 AI 写代码,瓶颈已经从写挪到审。写得快,审不过来,堆在评审队列里的 PR 比堆在开发任务里更能卡住交付。

而审这件事,靠换更强的模型基本无效,同一个模型 F1 能从 11 抬到 25,全靠外围工程。所以接下来值钱的不是又一个大模型,是把某个环节的隐性流程拆成可执行、可回滚的管线。

顺带一句,同一天上榜的 NVIDIA SkillEvaluator 走的是同一个方向,只是对象换成了 agent 技能本身:格式和安全扫描、语义重复检测、丢进真实 agent 跑一遍看行为有没有变。评审工具也该被评审,这个逻辑现在闭上了。

参考来源:

Me

Cut out summary from your post content here.

The remaining content of your post.