运行第一个实验
性能实验基于 NVIDIA AIPerf 测量推理服务。每次实验固定目标和负载,便于在相同条件下复测。
1. 选择推理目标
跳转到「1. 选择推理目标」在 性能实验 中创建新实验,填写名称、OpenAI 兼容地址、模型和需要时的 API Key。使用 API 基础地址,例如 https://model.example/v1,更容易核对;Web 同时支持页面提示的服务根路径或完整端点路径。
如果服务在孔明运行,可展开 从孔明选择服务,按孔明服务与环境快照填入目标。推理 API Key 仍需单独提供。
API Key 不会从旧实验回填。复制或重试时,请重新填写。
2. 设置负载
跳转到「2. 设置负载」| 参数 | 用途 | 首次验证示例 |
|---|---|---|
| 并发 | 同时保持的请求数量 | 1 |
| 请求数 | 这次实验发起的请求总数 | 40 |
| 输入 tokens | 合成请求的输入长度 | 256 |
| 输出 tokens | 请求的输出长度配置 | 64 |
| 请求超时 | 单个请求的等待上限 | 60 秒 |
高级参数可设置请求率、并发爬升、预热和测量时长。请求率 0 使用并发闭环模式。预热不计入正式指标。
先用小负载确认服务可用,再逐步增加并发。参数上限见参数与使用限制;具体值应服从模型服务资源和团队测试计划。
3. 检查并运行
跳转到「3. 检查并运行」仅检查是可选操作,会向目标发送真实请求,便于提前发现地址、鉴权或协议问题。也可以直接点击 开始性能实验。
详情保留有效配置、解析后的请求地址和脱敏失败原因。正式测量最长七天,整个 Job 最长十四天;等待服务、预热和收尾不占正式测量时长。
4. 查看日志
跳转到「4. 查看日志」实验详情约每三秒刷新运行日志,可下载当前保留的输出。平台只保留最近 64 KiB,不是完整日志归档。
取消或异常结束后仍可查看已回传的内容。日志后台回传失败不会改变压测任务本身的结果,旧记录中缺少的日志无法补回。
5. 阅读与复测
跳转到「5. 阅读与复测」实验成功后,查看成功率、延迟、吞吐及目标环境。失败时可带入原参数创建关联的新实验,仍需重新提供凭据。