| SLA 条件 | C600 性能指标 (TTFT / TPOT / TGS) | H20 性能指标 (TTFT / TPOT / TGS) |
|---|---|---|
| SLA1 (低延迟) TTFT≤1000ms, TPOT≤30ms |
3K-1K:无数据 63K-1K:无数据 |
3K-1K:无数据 63K-1K:无数据 |
| SLA2 (高吞吐) TTFT≤3000ms, TPOT≤60ms |
3K-1K:无数据 63K-1K:无数据 |
3K-1K:无数据 63K-1K:无数据 |
Tokens Generated per Second。指系统每秒处理的Token总量,评估集群整体并发吞吐能力。
首Token延迟(ms)。指从发出请求到收到第一个响应Token的耗时,主要取决于Prefill计算阶段。
单Token生成延迟(ms)。指输出阶段每生成一个Token的平均间隔耗时,衡量Decode生成流畅度。
交互生成速率(Token/s)。代表单用户感知到的输出流畅度,数值越大用户端打字机效果越流畅。
严格交互体验约束条件:约束 TTFT ≤ 1000ms,TPOT ≤ 30ms,适用于高优先级实时交互场景。
容量优先约束条件:约束 TTFT ≤ 3000ms,TPOT ≤ 60ms,适用于高吞吐批处理与普通并发场景。
| 日期 | 硬件型号 | 场景说明 | 并发 | TTFT (ms) | TPOT (ms) | Interactive (tokens/s) | Output Throughput (TGS, tokens/s) | Total Throughput (TGS, tokens/s) | SLA 状态 |
|---|