跳转到内容

快速上手

下面以一个已有的 OpenAI 兼容推理服务为例,完成第一次性能实验。无需先配置代码账号或部署新服务。

打开团队提供的 DiscernLens 地址,通过 Authentik 登录。项目入口为 /projects:

  • 只有一个项目时,系统会直接进入。
  • 有多个项目时,选择这次要使用的项目。
  • 没有项目时,创建项目或接受管理员发来的邀请。

如果只能查看列表、不能新建任务,先请管理员检查项目职责。

字段 示例 如何确认
API 基础地址 https://model.example/v1 从性能任务运行环境可达的 OpenAI 兼容地址
模型名称 my-model 服务实际接受的模型名称或 serving alias
推理 API Key 在密码输入框填写 来自推理服务,按需提供

示例中的域名和模型都要替换。你电脑上能访问,不代表任务运行环境也能访问。孔明 Platform Secret 与推理 API Key 用途不同,不能互换。

  1. 打开 性能实验,进入新建页面。
  2. 填写实验名称、目标地址和模型;需要鉴权时填写 API Key。
  3. 首次可使用并发 1、请求数 40、输入 256 tokens、输出 64 tokens,先确认链路正常。
  4. 如需单独检查连通性,点击 仅检查;也可以直接点击 开始性能实验。
  5. 进入详情,查看状态和运行日志,等待实验结束。

这些参数用于小规模验证,不代表生产服务的推荐负载。正式测试前请按服务资源和目标调整。

先看实验是否成功以及请求成功率,再看首 token 延迟(TTFT)、每 token 延迟(TPOT)和吞吐。确认目标、输入长度、输出长度与实际预期一致。

要测不同并发,创建新的实验或编排多个实验。有至少两个成功且有指标的结果后,即可比较实验。

如果界面缺少本文中的入口,先核对功能可用性。