Serendipity/CTI-Inference-Opt
1
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: 更新提交记录（消除 GPU 同步，58.49 分，88.1s）

Browse Source
This commit is contained in:
刘航宇
2026-06-13 13:29:21 +08:00
parent da37245a9b
commit b991f9e78e
1 changed files with 3 additions and 1 deletions
Download Patch File Download Diff File Expand all files Collapse all files
CLAUDE.md
+3 -1
View File
@@ -168,6 +168,7 @@ Baseline 数据：推理 229s，AUC 0.759，PCOC 1.110，得分 25.85。
5. ❌ **torch.compile** — reduce-overhead 和 default 模式均因动态 batch 形状反效果，彻底放弃 5. ❌ **torch.compile** — reduce-overhead 和 default 模式均因动态 batch 形状反效果，彻底放弃
6. ❌ **MoE Top-1 gating** — PCOC 从 1.059 炸到 2.075，已回退 6. ❌ **MoE Top-1 gating** — PCOC 从 1.059 炸到 2.075，已回退
7. ❌ **2:4 结构化稀疏** — PCOC 炸到 2.067，耗时反增 265s。to_sparse_semi_structured 与 nn.Linear 不兼容 7. ❌ **2:4 结构化稀疏** — PCOC 炸到 2.067，耗时反增 265s。to_sparse_semi_structured 与 nn.Linear 不兼容
8. ✅ **SMoE 消除 GPU 同步** — 移除 mask.any()（64 次 GPU→CPU 同步/forward），88.1s
CUDA Graph 已评估并放弃（batch 形状不固定，不适用）。 CUDA Graph 已评估并放弃（batch 形状不固定，不适用）。
@@ -190,8 +191,9 @@ CUDA Graph 已评估并放弃（batch 形状不固定，不适用）。
| 日期 | 提交次数 | 得分 | AUC | PCOC | 耗时 | 优化手段 | 备注 | | 日期 | 提交次数 | 得分 | AUC | PCOC | 耗时 | 优化手段 | 备注 |
|------|----------|------|-----|------|------|----------|------| |------|----------|------|-----|------|------|----------|------|
| 06/13 | 12 | **58.49** | 0.7526 | 1.059 | 88.1s | + SMoE 消除 GPU 同步 | **当前最优** |
| 06/13 | 11 | 0 | 0.748 | 2.067 | 265.5s | 2:4 sparse | ❌ 炸毁 | | 06/13 | 11 | 0 | 0.748 | 2.067 | 265.5s | 2:4 sparse | ❌ 炸毁 |
| 06/13 | 10 | **57.45** | 0.7526 | 1.059 | 92.5s | + inference_mode | **当前最优** | | 06/13 | 10 | 57.45 | 0.7526 | 1.059 | 92.5s | + inference_mode | |
| 06/13 | 9 | 51.42 | 0.7525 | 1.059 | 118.4s | + compile(default) | 反效果 | | 06/13 | 9 | 51.42 | 0.7525 | 1.059 | 118.4s | + compile(default) | 反效果 |
| 06/12 | 8 | 0 | 0.736 | 2.075 | 119.6s | MoE k=1 + compile | PCOC 炸毁 | | 06/12 | 8 | 0 | 0.736 | 2.075 | 119.6s | MoE k=1 + compile | PCOC 炸毁 |
| 06/12 | 6 | 56.98 | 0.7526 | 1.059 | 94.5s | + Flash Attention | | | 06/12 | 6 | 56.98 | 0.7526 | 1.059 | 94.5s | + Flash Attention | |