FlawDetector-LLM V1.0：1,000 次重复试验，以及方差告诉我们的事

只报平均值，基准就变成了宣传

安全扫描器的基准通常浓缩成两个数字：检出率和误报率。两者多半来自一次运行，或若干次运行的均值。问题在于，团队在实际工作中承受的痛苦来自方差，而不是均值。

如果周一还是严重级别的缺陷到周五就消失了，那么这个工具的检出率是 94% 还是 97% 已经不重要——团队不会再相信输出。代码没变而判定变了，这种经历有一次就够了。所以 V1.0 试验设计里我们首先确定的，不是“怎么把平均值做高”，而是“怎么测量同一输入是否给出同一答案”。

试验设计：到底重复了什么 1,000 次

重复的单位是“单个样本的一次判定”，而不是“整套基准跑一遍”。我们固定语料、固定采样参数，反复投入同一输入，测量判定分歧的比例。这里的“判定”是一个三元组——是否存在缺陷、CWE 分类、严重级别——三者中任意一项不同就计为不一致。

重复试验的对象是分层抽样得到的 1,200 个样本，每个样本重复 1,000 次以上，判定总数超过 120 万次。之所以需要这个规模，原因很简单：当不一致率降到 1% 以下时，100 次重复无法在任何有用的置信区间内把它和噪声区分开。

FlawDetector-LLM V1.0 总体指标

3.2% 不是原始输出值。引擎一次输出的误报率为 5.8%，经过去重和基于可达性的排序后才降到 3.2%。两个数字都公开，是因为只给后处理值会让对比变得不可能。

方差藏在哪里

99.1% 这个总体值在不同缺陷族之间分布相当不均。下表有意思的地方在于，检出率和一致性是同向变动的：越难检出的缺陷族，判定也越容易摇摆。

规律非常清楚：判断所需的依据是否落在同一个分块内几乎解释了一切。注入类缺陷的查询串拼接发生在一个函数内，模型每次看到的依据都相同；授权类缺陷则把路由、中间件、处理函数散落在不同文件，分块边界落在哪里，模型看到的依据就跟着变。

为什么会摇摆

我们抽取约 1 万条不一致案例做归因，三类原因解释了其中绝大部分。

1. 01分块边界问题（54%） — 校验逻辑和使用点被切进不同分块。模型只能凭看到的那一半下判断，而每次运行看到哪一半会有细微差异。
2. 02上下文截断（29%） — 大文件中开头的 import 和配置被截掉，模型无从得知哪个库已经提供了默认防护。ORM 自动做参数绑定却被误判为原始 SQL 的误报就出在这里。
3. 03顺序敏感性（13%） — 同一组分块只要呈现顺序变化，判定就会翻转，最常见的表现是严重级别上下浮动一档。

我们改了什么

三项改动依次应用，每一步之后都重新跑一遍重复试验协议。

1. 01

   锚点分块 — 让边界贴合代码结构

   不再按固定 token 长度切分，而是以函数、类、路由定义为锚点，并强制把被引用符号的定义放进同一分块。分块大小变成可变的，但判断依据不再被切成两半。一致性 96.4% → 98.0%。

2. 02

   符号图预处理 — 先画地图再阅读

   在调用大模型之前，用静态解析器生成调用图与数据流摘要，作为头部附加到每个分块上。模型始终知道“这个函数有三处调用，其中两处是外部入口”。一致性 98.0% → 98.7%。

3. 03

   三次多数表决 — 吸收残余抖动

   仅对高危及以上的候选项打乱分块呈现顺序判定三次，再取多数。因为范围限定在候选项，总体延迟只增加 9%。一致性 98.7% → 99.1%。

误报率作为副产品也一并下降。预处理让框架自带防护变得可见之后，针对使用 ORM、模板引擎、校验中间件的代码的误报明显减少：一次输出口径从 5.8% 降到 4.1%，后处理口径为 3.2%。

剩下的瓶颈与 V1.1

一致性是用延迟换来的。加入预处理后，扫描时间的构成发生了变化。

文件不变，预处理的结果就不会变——这是一个可缓存的计算，而 V1.0 每次都重做。增量缓存是 V1.1 中最确定的改进项，重复扫描越频繁收益越大，因此 CI 环境获益最多。

读安全模型基准的五个问题

包括我们自己的数字在内，任何基准只要问清下面五点，大部分夸大都会被过滤掉。

• 有没有重复试验结果？只有一次运行的数字，其可复现性无从判断。
• 误报率是后处理前还是后处理后的值？只公开排序去重后的数字是行业惯例，但要做对比就需要原始值。
• 正常代码对照组有多大？只有有漏洞的样本，无法测量误报率。
• 是否包含合成变异集？只用公开语料，无法区分记忆训练数据和真实检测能力。
• 有没有按缺陷族拆解的数值？一个总平均值会掩盖哪一族最薄弱。

小结

V1.0 试验最实用的产出是诊断而不是性能。方差集中的位置就是下个版本要修的位置，而要找到这个位置，就得看拆解后的数值而非平均值。我们花掉 120 万次判定，不是为了拿到一个好看的数字，而是为了知道该往哪里下手。

所有项目都以自有试验基准文档管理，包含语料构成与重复协议的详细报告可按需提供。