
昨天 GitHub 趋势榜第三是 alibaba/open-code-review,一天 946 star,仓库总数已经 5.29 万。项目 5 月才建仓,底子是阿里内部用了两年的 AI 评审助手,README 说它服务过数万开发者、找出过几百万个缺陷,然后才拿出来开源。
我感兴趣的不是星数,是 README 里那张 benchmark 表。表的说明很朴素:50 个开源仓库、200 个真实 PR、10 种语言,80 多位资深工程师交叉标注,最后落到 1505 条有标准答案的缺陷。14 种「模型加 harness」的组合全跑了一遍。
同一颗 Claude-4.6-Opus,在 open-code-review 里 F1 是 25.10%,在 Claude Code 里是 11.57%。模型没变,仓库和标准答案也没变,差的是外面那层管线。
先把数字摆出来
| 模型 | harness | F1 | 精确率 | 召回率 | 单次耗时 | token |
|---|---|---|---|---|---|---|
| Claude-4.6-Opus | open-code-review | 25.10% | 33.90%(301/889) | 20.00%(301/1505) | 1m23s | 385K |
| Claude-4.6-Opus | Claude Code | 11.57% | 7.23%(435/5980) | 28.90%(435/1505) | 13m6s | 5,664K |
| GPT-5.5 | open-code-review | 21.00% | 32.10%(234/728) | 15.50%(234/1505) | 2m51s | 422K |
| GPT-5.5 | Codex | 8.36% | 27.82%(74/266) | 4.92%(74/1505) | 2m58s | 525K |
第二行值得多看一会儿。Claude Code 在这批 PR 上输出了 5980 条评论,其中 435 条是真问题。剩下 5545 条得有人一条条读过去,误报率 92.7%。换成 open-code-review,评论总量降到 889 条,真问题 301 条,误报 66.1%。
同一颗模型,token 从 5664K 压到 385K,差 14.7 倍;单次耗时从 13 分 6 秒到 1 分 23 秒,差 9.5 倍。
GPT-5.5 那两行更极端。放进 Codex,1505 条缺陷只找到 74 条,召回 4.92%,等于每 20 个真问题漏掉 19 个。同一个模型塞进 ocr 的管线,召回 15.5%,精确率从 27.8% 抬到 32.1%。
模型能力没有波动。管线决定了它能看到多少东西。
通用 agent 栽在哪
README 自己列了三条病,我这半年用下来对得上:
- 覆盖不全。大 changeset 上模型会给自己减负,挑几个看起来重要的文件审完就交差,剩下的提都不提。
- 位置漂移。它说第 47 行有空指针风险,你翻过去发现是第 52 行,或者干脆在隔壁文件。
- 质量不稳。prompt 改个措辞,结果就在「什么都不报」和「报一大堆」之间来回跳。
根因不复杂:整个流程靠自然语言驱动,没有硬约束。让模型自己决定看哪些文件、自己决定套哪条规则、自己数行号,每一步都是概率性的,链条一长,误差叠起来就废了。
拆法:确定性的部分交给代码
open-code-review 走混合架构,凡是不能出错的环节用工程逻辑锁死,模型只留判断。
- 选文件:哪些文件进评审、哪些过滤掉(锁文件、生成代码),程序说了算。范围一旦交给模型,覆盖率就没保证了。
- 打包:相关文件合成一个评审单元,README 举的例子是 message_en.properties 和 message_zh.properties 必须放一起看。每个包开一个独立上下文的子 agent。
- 规则匹配:按文件特征从模板引擎里取规则,再喂给模型。这比在系统提示里写「请注意线程安全」稳得多,也更省 token。
- 定位和反思:两个独立模块,专门负责把评论挂到正确的行,以及判断这条评论该不该发出去。
打包这一招值得单独说。它不是简单分批,是把上下文隔离掉:审 Java service 的子 agent 看不到无关的前端文件,注意力不会被稀释,各个包天然能并发跑。大 changeset 在这套结构下不会崩,原因在这儿。
别让模型数行号
四条里我最想抄的是第四条。
模型判断「这段逻辑有问题」是它擅长的,让它精确报「第 47 行」不是。它数的是 token,不是人眼里的行号,中间还隔着 diff 的增删行和折叠的上下文。所以 open-code-review 把坐标这件事从模型手里拿走:模型只指出哪段代码有问题,映射回文件和行号由程序做。
这套思路在别处也见过,让模型输出结构化的意图,位置、排序、格式这些机械活儿交给后面的代码。凡是能把「坐标计算」和「语义判断」分开的地方,分开之后两边都变准。
token 这笔账比 F1 更要紧
评审的成本结构和聊天不一样。聊天是一次性的,评审是每个 PR 都要跑一遍的固定开销,边际成本比单次能力上限重要得多。
5664K 到 385K,同样一笔预算能多审 14 倍的 PR。13 分钟和 1 分半也不是一个量级的产品:前者只能扔进夜间任务,第二天早上看结果;后者能挂在 PR 页面上,作者还没走开就能收到评论。
省下来的不是模型变聪明省出来的,是注意力被规则收窄省出来的。规则匹配做在前面,模型不用自己翻半个仓库去猜该关心什么。
精度优先是个产品选择
这份 benchmark 里最实在的一句话,是它主动承认召回不如通用 agent:28.9% 掉到 20%。
9 个召回点,换 6.7 倍的噪音下降。这买卖划不划算,得看你站在谁的位置上。
我的答案是划算。一个 PR 报 5980 条评论的工具,第一次用你会认真读,第二次开始往下滑,第三次你就把它当背景噪音关掉了。评论多到自己看不完、精确率掉到个位数,装和没装区别不大。
评审工具真正的 KPI 不是这次找了多少 bug,是三个月之后开发者还愿不愿意打开那个标签页。这一点上,少报一点不是退步。
该泼的水还是要泼
F1 25.10% 是什么概念?1505 条真实缺陷,最好的组合只找到 301 条,四分之三的问题还是靠人。这数字放论文里不好看,放工程里是诚实的。
还有三件事得提醒:
- benchmark 是自家出的。数据集的确公开了(HuggingFace 上的 AACR-Bench),标注流程也算严,但题目和考纲是自己定的,天然对自己有利。
- 内置规则集是 NPE、线程安全、XSS、SQL 注入这类,静态分析本来就吃得下的领域。真拿去审架构分层、幂等设计、并发时序,数字会难看很多。
- 5.29 万星说明不了什么。两周涨五万星的开源项目,真正接进 CI 的可能不到百分之一。
评审正在变成流水线里的一个节点
同一天上榜的还有腾讯的 LoopForge,一天 1016 星,自托管的 coding agent 编排平台。它把 CodeBuddy、Codex、Claude Code 这些 CLI 串成 SOP:需求、澄清、设计、实现、独立评审、脚本测试、人工闸门、交付。
设计原则里有一句我很认同,不需要 AI 的地方就别用 AI。跑测试就是 pytest,不用模型插手。评审要独立角色,实现的人不能自己审自己。到人工闸门必须真的停下来等人签字,签完还要回头验证被接受的代码有没有被改过。
这两件事其实是一件事的两面。open-code-review 管的是「看的时候注意力放在哪」,LoopForge 管的是「谁在哪个阶段看、看不过怎么打回」。一个把评审做成可信的步骤,一个把步骤放进流程。
我的判断
这一轮 AI 写代码,瓶颈已经从写挪到审。写得快,审不过来,堆在评审队列里的 PR 比堆在开发任务里更能卡住交付。
而审这件事,靠换更强的模型基本无效,同一个模型 F1 能从 11 抬到 25,全靠外围工程。所以接下来值钱的不是又一个大模型,是把某个环节的隐性流程拆成可执行、可回滚的管线。
顺带一句,同一天上榜的 NVIDIA SkillEvaluator 走的是同一个方向,只是对象换成了 agent 技能本身:格式和安全扫描、语义重复检测、丢进真实 agent 跑一遍看行为有没有变。评审工具也该被评审,这个逻辑现在闭上了。
参考来源:
- alibaba/open-code-review ,含 benchmark 与设计说明
- AACR-Bench 数据集
- Tencent/LoopForge
- NVIDIA/SkillEvaluator ,论文 arXiv:2608.20614