DeepSeek-V4-Flash-0731-W8A8 性能测试报告 C600 测评 vs H20

涵盖短上下文 (3K-1K) 与长上下文 (63K-1K) 性能对比及 NVIDIA H20 标杆基准
C600
NVIDIA H20
H20 模拟数据 (虚线)
测试结论
SLA 指标与场景建议
SLA 条件 C600 性能指标 (TTFT / TPOT / TGS) H20 性能指标 (TTFT / TPOT / TGS)
SLA1 (低延迟)
TTFT≤1000ms, TPOT≤30ms
3K-1K:无数据

63K-1K:无数据
3K-1K:无数据

63K-1K:无数据
SLA2 (高吞吐)
TTFT≤3000ms, TPOT≤60ms
3K-1K:无数据

63K-1K:无数据
3K-1K:无数据

63K-1K:无数据
数据库中无 H20 真实数据,以下 H20 对比数据基于实测数据按典型比例系数推算(图表中为虚线,表格中标注「模拟」),仅供参考。
测试口径说明
专有名词与技术指标定义
Total Throughput (TGS)

Tokens Generated per Second。指系统每秒处理的Token总量,评估集群整体并发吞吐能力。

TTFT (Time To First Token)

首Token延迟(ms)。指从发出请求到收到第一个响应Token的耗时,主要取决于Prefill计算阶段。

TPOT (Time Per Output Token)

单Token生成延迟(ms)。指输出阶段每生成一个Token的平均间隔耗时,衡量Decode生成流畅度。

1000 / TPOT (Interactive Index)

交互生成速率(Token/s)。代表单用户感知到的输出流畅度,数值越大用户端打字机效果越流畅。

SLA1 (低延迟服务等级)

严格交互体验约束条件:约束 TTFT ≤ 1000ms,TPOT ≤ 30ms,适用于高优先级实时交互场景。

SLA2 (高吞吐服务等级)

容量优先约束条件:约束 TTFT ≤ 3000ms,TPOT ≤ 60ms,适用于高吞吐批处理与普通并发场景。

💡 推荐使用场景与部署建议: 3K-1K:推荐用于高并发对话、实时客服与代码生成。C600在SLA1约束下性价比较高,可支撑高流式响应要求。
63K-1K:适用于长文档分析、代码库解析。在长文本场景下Prefill耗时随上下文增加,建议配置 Chunked Prefill 与 Prefix Cache 提升首包响应速度。
3K-1K 性能分析
输入 3,072 Tokens / 输出 1,024 Tokens

TTFT - Throughput Curve

Interactive - Throughput Curve

💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
63K-1K 性能分析
输入 64,512 Tokens / 输出 1,024 Tokens

TTFT - Throughput Curve

Interactive - Throughput Curve

💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
历史性能数据曲线
最近 30 天吞吐趋势

3K-1K 最近吞吐趋势 (TGS)

63K-1K 最近吞吐趋势 (TGS)

💡 鼠标悬浮坐标点可查看该批次并发 / TTFT / TPOT 等详细信息
详细性能数据
日期 硬件型号 场景说明 并发 TTFT (ms) TPOT (ms) Interactive (tokens/s) Output Throughput (TGS, tokens/s) Total Throughput (TGS, tokens/s) SLA 状态