比较实验结果
选择实验
跳转到「选择实验」在 性能实验 列表中按关键词、状态或日期筛选,选择 2–6 条成功且有指标的实验。选择可以跨页保留,再进入比较页。
失败、取消或缺少有效指标的实验不能作为正常性能比较的依据。先确认实验本身完成,再分析差异。
指定参照
跳转到「指定参照」在比较页明确选择一个实验作为本次参照。页面显示各指标的分组柱状图、准确值及相对变化。
参照是当前界面的临时选择,不会写入项目默认配置。换一个参照会改变相对变化的表达,但不会改动原始指标。
先检查条件,再解释差值
跳转到「先检查条件,再解释差值」至少核对:
- 模型、服务地址以及实际运行的服务版本。
- GPU、机器、运行时、镜像和启动参数。
- 并发、请求率、输入输出长度和测量窗口。
- 测试数据、预热和其他同时发生的负载。
- 环境快照的采集时间,是否仍对应当时的服务配置。
机器、加速器、运行时、镜像或参数不一致时,页面会提示环境差异。差异不一定使比较无意义,但会限制你能得出的结论。
指标方向
跳转到「指标方向」| 指标类别 | 通常希望 |
|---|---|
| TTFT、TPOT、端到端延迟 | 更低 |
| token 吞吐、请求吞吐、成功率 | 更高 |
吞吐上升但尾延迟显著增加,可能不符合交互式服务的目标。结合指标说明和自己的延迟要求阅读,不要只看一项数值。
性能比较不会改变质量评测结论,也不会生成持久化的项目 Baseline。