快速上手
下面以一个已有的 OpenAI 兼容推理服务为例,完成第一次性能实验。无需先配置代码账号或部署新服务。
1. 登录并进入项目
跳转到「1. 登录并进入项目」打开团队提供的 DiscernLens 地址,通过 Authentik 登录。项目入口为 /projects:
- 只有一个项目时,系统会直接进入。
- 有多个项目时,选择这次要使用的项目。
- 没有项目时,创建项目或接受管理员发来的邀请。
如果只能查看列表、不能新建任务,先请管理员检查项目职责。
2. 准备推理目标
跳转到「2. 准备推理目标」| 字段 | 示例 | 如何确认 |
|---|---|---|
| API 基础地址 | https://model.example/v1 |
从性能任务运行环境可达的 OpenAI 兼容地址 |
| 模型名称 | my-model |
服务实际接受的模型名称或 serving alias |
| 推理 API Key | 在密码输入框填写 | 来自推理服务,按需提供 |
示例中的域名和模型都要替换。你电脑上能访问,不代表任务运行环境也能访问。孔明 Platform Secret 与推理 API Key 用途不同,不能互换。
3. 创建并运行实验
跳转到「3. 创建并运行实验」- 打开 性能实验,进入新建页面。
- 填写实验名称、目标地址和模型;需要鉴权时填写 API Key。
- 首次可使用并发
1、请求数40、输入256tokens、输出64tokens,先确认链路正常。 - 如需单独检查连通性,点击 仅检查;也可以直接点击 开始性能实验。
- 进入详情,查看状态和运行日志,等待实验结束。
这些参数用于小规模验证,不代表生产服务的推荐负载。正式测试前请按服务资源和目标调整。
4. 阅读结果
跳转到「4. 阅读结果」先看实验是否成功以及请求成功率,再看首 token 延迟(TTFT)、每 token 延迟(TPOT)和吞吐。确认目标、输入长度、输出长度与实际预期一致。
要测不同并发,创建新的实验或编排多个实验。有至少两个成功且有指标的结果后,即可比较实验。
换一个起点
跳转到「换一个起点」如果界面缺少本文中的入口,先核对功能可用性。