| SLA 条件 | C550 性能指标 (TTFT / TPOT / TGS) |
|---|---|
| SLA1 (低延迟) TTFT≤1000ms, TPOT≤30ms |
3K-1K未达标 2949ms / 10.4ms / 22,274Tokens/s 切分: tp1-pp1-dp16 · 并发 96.0 63K-1K未达标 38649ms / 7.0ms / 16,846Tokens/s 切分: tp1-pp1-dp16 · 并发 24.0 |
| SLA2 (高吞吐) TTFT≤3000ms, TPOT≤60ms |
3K-1K达标 2949ms / 10.4ms / 22,274Tokens/s 切分: tp1-pp1-dp16 · 并发 96.0 63K-1K未达标 38649ms / 7.0ms / 16,846Tokens/s 切分: tp1-pp1-dp16 · 并发 24.0 |
Tokens Generated per Second。指系统每秒处理的Token总量，评估集群整体并发吞吐能力。
首Token延迟（ms）。指从发出请求到收到第一个响应Token的耗时，主要取决于Prefill计算阶段。
单Token生成延迟（ms）。指输出阶段每生成一个Token的平均间隔耗时，衡量Decode生成流畅度。
交互生成速率（Token/s）。代表单用户感知到的输出流畅度，数值越大用户端打字机效果越流畅。
严格交互体验约束条件：约束 TTFT ≤ 1000ms，TPOT ≤ 30ms，适用于高优先级实时交互场景。
容量优先约束条件：约束 TTFT ≤ 3000ms，TPOT ≤ 60ms，适用于高吞吐批处理与普通并发场景。
| 日期 | 硬件型号 | 场景说明 | 并发 | TTFT (ms) | TPOT (ms) | Interactive (tokens/s) | Output Throughput (TGS, tokens/s) | Total Throughput (TGS, tokens/s) | SLA 状态 |
|---|