Serendipity/CTI-Inference-Opt
1
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: 更新最终提交记录和优化路线（14次提交，58.49分最优）

Browse Source
This commit is contained in:
刘航宇
2026-06-13 21:22:00 +08:00
parent 531488eb7c
commit ac4c085c40
1 changed files with 14 additions and 9 deletions
Download Patch File Download Diff File Expand all files Collapse all files
CLAUDE.md
+14 -9
View File
@@ -179,14 +179,15 @@ Baseline 数据：推理 229s，AUC 0.759，PCOC 1.110，得分 25.85。
2. ✅ **FP16 量化** — `model.half()`，Embedding 保留 FP32，152s 2. ✅ **FP16 量化** — `model.half()`，Embedding 保留 FP32，152s
3. ✅ **Flash Attention** — 替换 `scaled_dot_product` 为 `F.scaled_dot_product_attention`，94.5s 3. ✅ **Flash Attention** — 替换 `scaled_dot_product` 为 `F.scaled_dot_product_attention`，94.5s
4. ✅ **inference_mode()** — 替代 `no_grad()`，92.5s（+2s 小幅提升） 4. ✅ **inference_mode()** — 替代 `no_grad()`，92.5s（+2s 小幅提升）
5. ❌ **torch.compile** — reduce-overhead 和 default 模式均因动态 batch 形状反效果，彻底放弃 5. ❌ **torch.compile** — 四种模式全验证（reduce-overhead/default/Expert default/dynamic），均反效果
6. ❌ **MoE Top-1 gating** — PCOC 从 1.059 炸到 2.075，已回退 6. ❌ **MoE Top-1 gating** — PCOC 从 1.059 炸到 2.075，已回退
7. ❌ **2:4 结构化稀疏** — PCOC 炸到 2.067，耗时反增 265s。to_sparse_semi_structured 与 nn.Linear 不兼容 7. ❌ **2:4 结构化稀疏** — 两次尝试（全局/Expert 级）均炸 PCOC，to_sparse_semi_structured 不兼容
8. ✅ **SMoE 消除 GPU 同步** — 移除 mask.any()（64 次 GPU→CPU 同步/forward），88.1s 8. ❌ **INT8 量化** — CUDA 后端不支持，异常
9. ✅ **SMoE 消除 GPU 同步** — 移除 mask.any()（64 次 GPU→CPU 同步/forward），88.1s
10. ✅ **CTRModel 去冗余 squeeze** — reshape().squeeze() → .squeeze()（微优化）
11. ❌ **RepEncoder 批量 embedding** — 94.3s vs 92.5s，略慢
CUDA Graph 已评估并放弃（batch 形状不固定，不适用）。 CUDA Graph / torch.compile / 2:4 稀疏 / INT8 均已评估并放弃。
每步完成后必须在 AI Studio 提交验证，AUC/PCOC 不达标立即回退。
## 关键文件 ## 关键文件
@@ -197,6 +198,8 @@ CUDA Graph 已评估并放弃（batch 形状不固定，不适用）。
| `代码/code/build_env.sh` | 环境构建脚本（目前为空壳） | | `代码/code/build_env.sh` | 环境构建脚本（目前为空壳） |
| `代码/任务提交接口说明.md` | 官方接口规范 | | `代码/任务提交接口说明.md` | 官方接口规范 |
| `推理优化方案.md` | 完整优化方案（含合规审查） | | `推理优化方案.md` | 完整优化方案（含合规审查） |
| `论文/GRAB.pdf` | GRAB 论文 OCR markdown |
| `论文/HSTU.pdf` | HSTU 论文 OCR markdown |
| `论文/GRAB_*.pdf` | GRAB 论文（baseline 模型） | | `论文/GRAB_*.pdf` | GRAB 论文（baseline 模型） |
| `论文/HSTU_*.pdf` | HSTU 论文（架构基础） | | `论文/HSTU_*.pdf` | HSTU 论文（架构基础） |
| `.gitignore` | 排除 ckpt.pt, dataset/, *.zip, .venv/ | | `.gitignore` | 排除 ckpt.pt, dataset/, *.zip, .venv/ |
@@ -205,9 +208,11 @@ CUDA Graph 已评估并放弃（batch 形状不固定，不适用）。
| 日期 | 提交次数 | 得分 | AUC | PCOC | 耗时 | 优化手段 | 备注 | | 日期 | 提交次数 | 得分 | AUC | PCOC | 耗时 | 优化手段 | 备注 |
|------|----------|------|-----|------|------|----------|------| |------|----------|------|-----|------|------|----------|------|
| 06/13 | 12 | **58.49** | 0.7526 | 1.059 | 88.1s | + SMoE 消除 GPU 同步 | **当前最优** | | 06/13 | 14 | 58.47 | 0.7526 | 1.059 | 88.1s | 回退到稳定版 | **最终提交** |
| 06/13 | 11 | 0 | 0.748 | 2.067 | 265.5s | 2:4 sparse | ❌ 炸毁 | | 06/13 | 13 | 55.10 | 0.7525 | 1.059 | 102.6s | compile dynamic=True | 反效果 |
| 06/13 | 10 | 57.45 | 0.7526 | 1.059 | 92.5s | + inference_mode | | | 06/13 | 12 | 53.71 | 0.7524 | 1.059 | 108.6s | compile Expert default | 反效果 |
| 06/13 | 11 | 0 | 0.751 | 1.345 | 307.4s | 2:4 sparse Expert | ❌ 炸毁 |
| 06/13 | 10 | 58.49 | 0.7526 | 1.059 | 88.1s | + SMoE 消除 GPU 同步 | **当前最优** |
| 06/13 | 9 | 51.42 | 0.7525 | 1.059 | 118.4s | + compile(default) | 反效果 | | 06/13 | 9 | 51.42 | 0.7525 | 1.059 | 118.4s | + compile(default) | 反效果 |
| 06/12 | 8 | 0 | 0.736 | 2.075 | 119.6s | MoE k=1 + compile | PCOC 炸毁 | | 06/12 | 8 | 0 | 0.736 | 2.075 | 119.6s | MoE k=1 + compile | PCOC 炸毁 |
| 06/12 | 6 | 56.98 | 0.7526 | 1.059 | 94.5s | + Flash Attention | | | 06/12 | 6 | 56.98 | 0.7526 | 1.059 | 94.5s | + Flash Attention | |