commit 8fa683580add003e6571bffc79086b4494f1eb9d Author: m01451 Date: Mon Oct 19 14:59:40 2026 +0800 上传文件至「/」 diff --git a/20260920-C550-input-3K-63K-output-1024-metax-only.html b/20260920-C550-input-3K-63K-output-1024-metax-only.html new file mode 100644 index 0000000..7c15921 --- /dev/null +++ b/20260920-C550-input-3K-63K-output-1024-metax-only.html @@ -0,0 +1,457 @@ + + + + + + DeepSeek-V4-Flash-0731-W8A8 C550 GPU 性能测试报告 + + + + +
+ +
+
+

DeepSeek-V4-Flash-0731-W8A8 性能测试报告 C550 测评 仅沐曦

+
涵盖短上下文 (3K-1K) 与长上下文 (63K-1K) 性能对比（仅沐曦板卡数据）
+
+
+
+
C550
+ + +
+ +
+
+ +
+
+
+
测试结论
+ SLA 指标与场景建议 +
+ + + + + + + + + + + + + + + + + + + + +
SLA 条件C550 性能指标 (TTFT / TPOT / TGS)
SLA1 (低延迟)
TTFT≤1000ms, TPOT≤30ms
3K-1K未达标
2949ms / 10.4ms / 22,274Tokens/s
切分: tp1-pp1-dp16 · 并发 96.0
63K-1K未达标
38649ms / 7.0ms / 16,846Tokens/s
切分: tp1-pp1-dp16 · 并发 24.0
SLA2 (高吞吐)
TTFT≤3000ms, TPOT≤60ms
3K-1K达标
2949ms / 10.4ms / 22,274Tokens/s
切分: tp1-pp1-dp16 · 并发 96.0
63K-1K未达标
38649ms / 7.0ms / 16,846Tokens/s
切分: tp1-pp1-dp16 · 并发 24.0
+
本报告仅包含沐曦板卡数据，不包含 NV 板卡对比。
+
+ +
+
+
测试口径说明
+ 专有名词与技术指标定义 +
+
+
+ Total Throughput (TGS) +

Tokens Generated per Second。指系统每秒处理的Token总量，评估集群整体并发吞吐能力。

+
+
+ TTFT (Time To First Token) +

首Token延迟（ms）。指从发出请求到收到第一个响应Token的耗时，主要取决于Prefill计算阶段。

+
+
+ TPOT (Time Per Output Token) +

单Token生成延迟（ms）。指输出阶段每生成一个Token的平均间隔耗时，衡量Decode生成流畅度。

+
+
+ 1000 / TPOT (Interactive Index) +

交互生成速率（Token/s）。代表单用户感知到的输出流畅度，数值越大用户端打字机效果越流畅。

+
+
+ SLA1 (低延迟服务等级) +

严格交互体验约束条件：约束 TTFT ≤ 1000ms，TPOT ≤ 30ms，适用于高优先级实时交互场景。

+
+
+ SLA2 (高吞吐服务等级) +

容量优先约束条件：约束 TTFT ≤ 3000ms，TPOT ≤ 60ms，适用于高吞吐批处理与普通并发场景。

+
+
+
+ 💡 推荐使用场景与部署建议： + 3K-1K：推荐用于高并发对话、实时客服与代码生成。C550在SLA1约束下性价比较高，可支撑高流式响应要求。
+ 63K-1K：适用于长文档分析、代码库解析。在长文本场景下Prefill耗时随上下文增加，建议配置 Chunked Prefill 与 Prefix Cache 提升首包响应速度。 +
+
+
+ +
+
+
3K-1K 性能分析
+ 输入 3,072 Tokens / 输出 1,024 Tokens +
+
+
+

TTFT - Throughput Curve

+
+
+
+

Interactive - Throughput Curve

+
+
+
+
💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
+
+ +
+
+
63K-1K 性能分析
+ 输入 64,512 Tokens / 输出 1,024 Tokens +
+
+
+

TTFT - Throughput Curve

+
+
+
+

Interactive - Throughput Curve

+
+
+
+
💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
+
+ +
+
+
历史性能数据曲线
+ 最近 30 天吞吐趋势 +
+
+
+

3K-1K 最近吞吐趋势 (TGS)

+
+
+
+

63K-1K 最近吞吐趋势 (TGS)

+
+
+
+
💡 鼠标悬浮坐标点可查看该批次并发 / TTFT / TPOT 等详细信息
+
+ +
+
+
详细性能数据
+
+ + + +
+
+
+ + + + + + + + + + + + + + + + +
日期硬件型号场景说明并发TTFT (ms)TPOT (ms)Interactive (tokens/s)Output Throughput (TGS, tokens/s)Total Throughput (TGS, tokens/s)SLA 状态
+
+
+ +
+ + + + \ No newline at end of file diff --git a/20260920-C550-input-3K-63K-output-1024.html b/20260920-C550-input-3K-63K-output-1024.html new file mode 100644 index 0000000..a6267c7 --- /dev/null +++ b/20260920-C550-input-3K-63K-output-1024.html @@ -0,0 +1,457 @@ + + + + + + DeepSeek-V4-Flash-0731-W8A8 C550 GPU 性能测试报告 + + + + +
+ +
+
+

DeepSeek-V4-Flash-0731-W8A8 性能测试报告 C550 测评 vs A100

+
涵盖短上下文 (3K-1K) 与长上下文 (63K-1K) 性能对比及 NVIDIA A100 标杆基准
+
+
+
+
C550
+
NVIDIA A100
+
A100 模拟数据 (虚线)
+
+ +
+
+ +
+
+
+
测试结论
+ SLA 指标与场景建议 +
+ + + + + + + + + + + + + + + + + + + + +
SLA 条件C550 性能指标 (TTFT / TPOT / TGS)A100 性能指标 (TTFT / TPOT / TGS)
SLA1 (低延迟)
TTFT≤1000ms, TPOT≤30ms
3K-1K未达标
2949ms / 10.4ms / 22,274Tokens/s
切分: tp1-pp1-dp16 · 并发 96.0
63K-1K未达标
38649ms / 7.0ms / 16,846Tokens/s
切分: tp1-pp1-dp16 · 并发 24.0
3K-1K未达标
1475ms / 7.4ms / 33,411Tokens/s
切分: tp1-pp1-dp16 · 并发 96.0
63K-1K未达标
19324ms / 5.0ms / 25,270Tokens/s
切分: tp1-pp1-dp16 · 并发 24.0
SLA2 (高吞吐)
TTFT≤3000ms, TPOT≤60ms
3K-1K达标
2949ms / 10.4ms / 22,274Tokens/s
切分: tp1-pp1-dp16 · 并发 96.0
63K-1K未达标
38649ms / 7.0ms / 16,846Tokens/s
切分: tp1-pp1-dp16 · 并发 24.0
3K-1K达标
1475ms / 7.4ms / 33,411Tokens/s
切分: tp1-pp1-dp16 · 并发 96.0
63K-1K未达标
19324ms / 5.0ms / 25,270Tokens/s
切分: tp1-pp1-dp16 · 并发 24.0
+
数据库中无 A100 真实数据，以下 A100 对比数据基于实测数据按典型比例系数推算（图表中为虚线，表格中标注「模拟」），仅供参考。（NV 对比仅展示代表切分 tp1-pp1-dp16）
+
+ +
+
+
测试口径说明
+ 专有名词与技术指标定义 +
+
+
+ Total Throughput (TGS) +

Tokens Generated per Second。指系统每秒处理的Token总量，评估集群整体并发吞吐能力。

+
+
+ TTFT (Time To First Token) +

首Token延迟（ms）。指从发出请求到收到第一个响应Token的耗时，主要取决于Prefill计算阶段。

+
+
+ TPOT (Time Per Output Token) +

单Token生成延迟（ms）。指输出阶段每生成一个Token的平均间隔耗时，衡量Decode生成流畅度。

+
+
+ 1000 / TPOT (Interactive Index) +

交互生成速率（Token/s）。代表单用户感知到的输出流畅度，数值越大用户端打字机效果越流畅。

+
+
+ SLA1 (低延迟服务等级) +

严格交互体验约束条件：约束 TTFT ≤ 1000ms，TPOT ≤ 30ms，适用于高优先级实时交互场景。

+
+
+ SLA2 (高吞吐服务等级) +

容量优先约束条件：约束 TTFT ≤ 3000ms，TPOT ≤ 60ms，适用于高吞吐批处理与普通并发场景。

+
+
+
+ 💡 推荐使用场景与部署建议： + 3K-1K：推荐用于高并发对话、实时客服与代码生成。C550在SLA1约束下性价比较高，可支撑高流式响应要求。
+ 63K-1K：适用于长文档分析、代码库解析。在长文本场景下Prefill耗时随上下文增加，建议配置 Chunked Prefill 与 Prefix Cache 提升首包响应速度。 +
+
+
+ +
+
+
3K-1K 性能分析
+ 输入 3,072 Tokens / 输出 1,024 Tokens +
+
+
+

TTFT - Throughput Curve

+
+
+
+

Interactive - Throughput Curve

+
+
+
+
💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
+
+ +
+
+
63K-1K 性能分析
+ 输入 64,512 Tokens / 输出 1,024 Tokens +
+
+
+

TTFT - Throughput Curve

+
+
+
+

Interactive - Throughput Curve

+
+
+
+
💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
+
+ +
+
+
历史性能数据曲线
+ 最近 30 天吞吐趋势 +
+
+
+

3K-1K 最近吞吐趋势 (TGS)

+
+
+
+

63K-1K 最近吞吐趋势 (TGS)

+
+
+
+
💡 鼠标悬浮坐标点可查看该批次并发 / TTFT / TPOT 等详细信息
+
+ +
+
+
详细性能数据
+
+ + + +
+
+
+ + + + + + + + + + + + + + + + +
日期硬件型号场景说明并发TTFT (ms)TPOT (ms)Interactive (tokens/s)Output Throughput (TGS, tokens/s)Total Throughput (TGS, tokens/s)SLA 状态
+
+
+ +
+ + + + \ No newline at end of file diff --git a/20260920-C600-input-3K-63K-output-1024-metax-only.html b/20260920-C600-input-3K-63K-output-1024-metax-only.html new file mode 100644 index 0000000..ca14ee9 --- /dev/null +++ b/20260920-C600-input-3K-63K-output-1024-metax-only.html @@ -0,0 +1,457 @@ + + + + + + DeepSeek-V4-Flash-0731-W8A8 C600 GPU 性能测试报告 + + + + +
+ +
+
+

DeepSeek-V4-Flash-0731-W8A8 性能测试报告 C600 测评 仅沐曦

+
涵盖短上下文 (3K-1K) 与长上下文 (63K-1K) 性能对比（仅沐曦板卡数据）
+
+
+
+
C600
+ + +
+ +
+
+ +
+
+
+
测试结论
+ SLA 指标与场景建议 +
+ + + + + + + + + + + + + + + + + + + + +
SLA 条件C600 性能指标 (TTFT / TPOT / TGS)
SLA1 (低延迟)
TTFT≤1000ms, TPOT≤30ms
3K-1K：无数据
63K-1K：无数据
SLA2 (高吞吐)
TTFT≤3000ms, TPOT≤60ms
3K-1K：无数据
63K-1K：无数据
+
本报告仅包含沐曦板卡数据，不包含 NV 板卡对比。
+
+ +
+
+
测试口径说明
+ 专有名词与技术指标定义 +
+
+
+ Total Throughput (TGS) +

Tokens Generated per Second。指系统每秒处理的Token总量，评估集群整体并发吞吐能力。

+
+
+ TTFT (Time To First Token) +

首Token延迟（ms）。指从发出请求到收到第一个响应Token的耗时，主要取决于Prefill计算阶段。

+
+
+ TPOT (Time Per Output Token) +

单Token生成延迟（ms）。指输出阶段每生成一个Token的平均间隔耗时，衡量Decode生成流畅度。

+
+
+ 1000 / TPOT (Interactive Index) +

交互生成速率（Token/s）。代表单用户感知到的输出流畅度，数值越大用户端打字机效果越流畅。

+
+
+ SLA1 (低延迟服务等级) +

严格交互体验约束条件：约束 TTFT ≤ 1000ms，TPOT ≤ 30ms，适用于高优先级实时交互场景。

+
+
+ SLA2 (高吞吐服务等级) +

容量优先约束条件：约束 TTFT ≤ 3000ms，TPOT ≤ 60ms，适用于高吞吐批处理与普通并发场景。

+
+
+
+ 💡 推荐使用场景与部署建议： + 3K-1K：推荐用于高并发对话、实时客服与代码生成。C600在SLA1约束下性价比较高，可支撑高流式响应要求。
+ 63K-1K：适用于长文档分析、代码库解析。在长文本场景下Prefill耗时随上下文增加，建议配置 Chunked Prefill 与 Prefix Cache 提升首包响应速度。 +
+
+
+ +
+
+
3K-1K 性能分析
+ 输入 3,072 Tokens / 输出 1,024 Tokens +
+
+
+

TTFT - Throughput Curve

+
+
+
+

Interactive - Throughput Curve

+
+
+
+
💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
+
+ +
+
+
63K-1K 性能分析
+ 输入 64,512 Tokens / 输出 1,024 Tokens +
+
+
+

TTFT - Throughput Curve

+
+
+
+

Interactive - Throughput Curve

+
+
+
+
💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
+
+ +
+
+
历史性能数据曲线
+ 最近 30 天吞吐趋势 +
+
+
+

3K-1K 最近吞吐趋势 (TGS)

+
+
+
+

63K-1K 最近吞吐趋势 (TGS)

+
+
+
+
💡 鼠标悬浮坐标点可查看该批次并发 / TTFT / TPOT 等详细信息
+
+ +
+
+
详细性能数据
+
+ + + +
+
+
+ + + + + + + + + + + + + + + + +
日期硬件型号场景说明并发TTFT (ms)TPOT (ms)Interactive (tokens/s)Output Throughput (TGS, tokens/s)Total Throughput (TGS, tokens/s)SLA 状态
+
+
+ +
+ + + + \ No newline at end of file diff --git a/20260920-C600-input-3K-63K-output-1024.html b/20260920-C600-input-3K-63K-output-1024.html new file mode 100644 index 0000000..5b01447 --- /dev/null +++ b/20260920-C600-input-3K-63K-output-1024.html @@ -0,0 +1,457 @@ + + + + + + DeepSeek-V4-Flash-0731-W8A8 C600 GPU 性能测试报告 + + + + +
+ +
+
+

DeepSeek-V4-Flash-0731-W8A8 性能测试报告 C600 测评 vs H20

+
涵盖短上下文 (3K-1K) 与长上下文 (63K-1K) 性能对比及 NVIDIA H20 标杆基准
+
+
+
+
C600
+
NVIDIA H20
+
H20 模拟数据 (虚线)
+
+ +
+
+ +
+
+
+
测试结论
+ SLA 指标与场景建议 +
+ + + + + + + + + + + + + + + + + + + + +
SLA 条件C600 性能指标 (TTFT / TPOT / TGS)H20 性能指标 (TTFT / TPOT / TGS)
SLA1 (低延迟)
TTFT≤1000ms, TPOT≤30ms
3K-1K：无数据
63K-1K：无数据
3K-1K：无数据
63K-1K：无数据
SLA2 (高吞吐)
TTFT≤3000ms, TPOT≤60ms
3K-1K：无数据
63K-1K：无数据
3K-1K：无数据
63K-1K：无数据
+
数据库中无 H20 真实数据，以下 H20 对比数据基于实测数据按典型比例系数推算（图表中为虚线，表格中标注「模拟」），仅供参考。
+
+ +
+
+
测试口径说明
+ 专有名词与技术指标定义 +
+
+
+ Total Throughput (TGS) +

Tokens Generated per Second。指系统每秒处理的Token总量，评估集群整体并发吞吐能力。

+
+
+ TTFT (Time To First Token) +

首Token延迟（ms）。指从发出请求到收到第一个响应Token的耗时，主要取决于Prefill计算阶段。

+
+
+ TPOT (Time Per Output Token) +

单Token生成延迟（ms）。指输出阶段每生成一个Token的平均间隔耗时，衡量Decode生成流畅度。

+
+
+ 1000 / TPOT (Interactive Index) +

交互生成速率（Token/s）。代表单用户感知到的输出流畅度，数值越大用户端打字机效果越流畅。

+
+
+ SLA1 (低延迟服务等级) +

严格交互体验约束条件：约束 TTFT ≤ 1000ms，TPOT ≤ 30ms，适用于高优先级实时交互场景。

+
+
+ SLA2 (高吞吐服务等级) +

容量优先约束条件：约束 TTFT ≤ 3000ms，TPOT ≤ 60ms，适用于高吞吐批处理与普通并发场景。

+
+
+
+ 💡 推荐使用场景与部署建议： + 3K-1K：推荐用于高并发对话、实时客服与代码生成。C600在SLA1约束下性价比较高，可支撑高流式响应要求。
+ 63K-1K：适用于长文档分析、代码库解析。在长文本场景下Prefill耗时随上下文增加，建议配置 Chunked Prefill 与 Prefix Cache 提升首包响应速度。 +
+
+
+ +
+
+
3K-1K 性能分析
+ 输入 3,072 Tokens / 输出 1,024 Tokens +
+
+
+

TTFT - Throughput Curve

+
+
+
+

Interactive - Throughput Curve

+
+
+
+
💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
+
+ +
+
+
63K-1K 性能分析
+ 输入 64,512 Tokens / 输出 1,024 Tokens +
+
+
+

TTFT - Throughput Curve

+
+
+
+

Interactive - Throughput Curve

+
+
+
+
💡 鼠标悬浮曲线坐标点可查看并发 / TTFT / TPOT / 吞吐 / 切分 等详细信息
+
+ +
+
+
历史性能数据曲线
+ 最近 30 天吞吐趋势 +
+
+
+

3K-1K 最近吞吐趋势 (TGS)

+
+
+
+

63K-1K 最近吞吐趋势 (TGS)

+
+
+
+
💡 鼠标悬浮坐标点可查看该批次并发 / TTFT / TPOT 等详细信息
+
+ +
+
+
详细性能数据
+
+ + + +
+
+
+ + + + + + + + + + + + + + + + +
日期硬件型号场景说明并发TTFT (ms)TPOT (ms)Interactive (tokens/s)Output Throughput (TGS, tokens/s)Total Throughput (TGS, tokens/s)SLA 状态
+
+
+ +
+ + + + \ No newline at end of file