创建质量评测

质量评测使用本次任务固定的输入和规则判断模型表现。Web 的新建页面提供 LLM Benchmark 表单；API 和交付流程还可使用环境中已发布的评测工作流。

准备条件

• 已进入项目并具有创建评测的权限。
• 已有可访问的 OpenAI 兼容推理服务。
• 知道服务实际接受的模型名，以及是否需要 API Key。
• 环境已配置对应的评测运行器、数据集及工作流。

填写模型连接

在 质量评测 的新建入口中填写：

配置	说明
服务线	用于归类评测，使用页面允许的稳定标识
模型标识	推理服务接受的模型名
模型 API 地址	OpenAI 兼容服务地址，例如 https://model.example/v1
API Key	本次任务使用的推理凭据
接口无需鉴权	仅在服务确实无需凭据时选择
Model ID / Channel ID	供应商或网关需要时填写

支持内网或公网 HTTP/HTTPS 地址。服务端仍会校验受保护地址和平台拒绝网段。使用 HTTP 时，页面会提示明文传输风险。

选择数据与生成参数

1. 搜索或按类别选择数据集，最多选择 32 个。
2. 配置样本上限与重复次数；批大小和 Worker 数按需填写。
3. 核对 Max Tokens、Temperature、Top P 和请求超时等参数。
4. 需要时展开高级配置，填写数据集参数或 EvalScope 配置 JSON。

高级配置不能覆盖模型、API、凭据、数据集、所有者或任务路径。目录暂时不可用时，页面可能允许手动填写数据集名称；登录授权过期则先重新登录。

提交并查看记录

点击 提交质量评测 后进入详情页。系统保存本次运行快照；后续配置变更不会改写已经创建的任务。

质量规则来自评测使用的已发布配置。提交前应确认该工作流、数据集、评分配置和绝对阈值符合团队目标；不要假定所有环境都在 Web 表单中提供规则编辑功能。

质量规则如何生效

自动 Gate 读取本次冻结的指标与绝对阈值。没有人工批准步骤，也不需要先选择对照实验。有效证据未达到阻断阈值和证据无效是两种不同结果，见读懂评测结果。