指标说明

比较指标前先确认单位、样本和负载条件。延迟更低、吞吐更高通常更好，但需要同时满足实际服务的成功率和延迟目标。

质量指标

指标	含义	方向
eval.accuracy	有效计分样本中的正确比例	越高越好
eval.scorer_error_rate	评分器出错样本占输入样本的比例	越低越好

比例使用 [0,1]，例如 0.95 表示 95%。被排除样本不进入准确率分母，但应保留原因计数。评分器错误不能静默当成普通错误答案。

性能指标

指标	含义	规范单位
benchmark.success_rate	成功且协议完整的请求比例	ratio [0,1]
benchmark.ttft_p50_ms / p95_ms / p99_ms	从请求发出到收到首 token 的延迟	毫秒
benchmark.tpot_p50_ms / p95_ms / p99_ms	首 token 之后，每输出一个 token 的延迟	毫秒/token
benchmark.e2e_p99_ms	请求端到端时延的 p99	毫秒
benchmark.throughput_tokens_per_second	测量窗口内完成的输出 token 吞吐	token/秒
benchmark.request_throughput_per_second	测量窗口内完成的请求吞吐	请求/秒
benchmark.gpu_seconds_per_1m_tokens	每百万输出 token 对应的 GPU 使用时间	GPU 秒/百万 token

表中 TTFT、TPOT 的简写分别代表三个完整指标键，例如 benchmark.ttft_p95_ms。具体实验可展示 AIPerf 提供的更多结果；并非每条记录都有所有指标。

如何阅读百分位

p50 接近中间水平，p95 和 p99 更关注慢请求尾部。不能用 p50 代替交互式服务的尾延迟要求。

固定指标目录的百分位使用 nearest-rank：升序排列 N 个有限值，取第 ceil(p × N) 个样本，不插值。例如 100 个样本的 p99 取第 99 个值。

样本、窗口与缺失值

• 质量目录中的准确率、评分错误率至少需要 40 个样本；性能目录中的指标至少需要 20 个样本。
• 预热请求不进入正式指标。正式测量窗口从第一条正式请求发出，到最后一条正式请求完成或超时。
• TTFT 需要有效流式样本，TPOT 需要至少输出两个 token 的有效请求。
• 没有 GPU 遥测时，GPU 成本指标为 NOT_AVAILABLE，不能自动按零计算。
• 指标只接受有限数字，缺失、NaN、无穷或样本不足不能作为有效 Gate 证据。

以上最小样本数是固定规则目录的证据要求，不表示所有原生 AIPerf 报告都会按同一规则自动判定。

指标与质量门禁

Gate 使用已配置的绝对阈值；GPU 成本指标只允许非阻断警告。规则引用的证据无效时，Gate 为 INVALID，运行归类为 INFRA_FAILED。

跨实验相对变化只用于性能比较，不参与历史质量结论的重算。