跳转到内容

比较实验结果

在 性能实验 列表中按关键词、状态或日期筛选,选择 2–6 条成功且有指标的实验。选择可以跨页保留,再进入比较页。

失败、取消或缺少有效指标的实验不能作为正常性能比较的依据。先确认实验本身完成,再分析差异。

在比较页明确选择一个实验作为本次参照。页面显示各指标的分组柱状图、准确值及相对变化。

参照是当前界面的临时选择,不会写入项目默认配置。换一个参照会改变相对变化的表达,但不会改动原始指标。

先检查条件,再解释差值

跳转到「先检查条件,再解释差值」

至少核对:

  • 模型、服务地址以及实际运行的服务版本。
  • GPU、机器、运行时、镜像和启动参数。
  • 并发、请求率、输入输出长度和测量窗口。
  • 测试数据、预热和其他同时发生的负载。
  • 环境快照的采集时间,是否仍对应当时的服务配置。

机器、加速器、运行时、镜像或参数不一致时,页面会提示环境差异。差异不一定使比较无意义,但会限制你能得出的结论。

指标类别 通常希望
TTFT、TPOT、端到端延迟 更低
token 吞吐、请求吞吐、成功率 更高

吞吐上升但尾延迟显著增加,可能不符合交互式服务的目标。结合指标说明和自己的延迟要求阅读,不要只看一项数值。

性能比较不会改变质量评测结论,也不会生成持久化的项目 Baseline。