docs: 更新最终提交记录和优化路线(14次提交,58.49分最优)

This commit is contained in:
2026-06-13 21:22:00 +08:00
parent 531488eb7c
commit ac4c085c40
+14 -9
View File
@@ -179,14 +179,15 @@ Baseline 数据:推理 229sAUC 0.759PCOC 1.110,得分 25.85。
2.**FP16 量化**`model.half()`Embedding 保留 FP32152s
3.**Flash Attention** — 替换 `scaled_dot_product``F.scaled_dot_product_attention`94.5s
4.**inference_mode()** — 替代 `no_grad()`92.5s+2s 小幅提升)
5.**torch.compile** — reduce-overheaddefault 模式均因动态 batch 形状反效果,彻底放弃
5.**torch.compile**四种模式全验证(reduce-overhead/default/Expert default/dynamic),均反效果
6.**MoE Top-1 gating** — PCOC 从 1.059 炸到 2.075,已回退
7.**2:4 结构化稀疏**PCOC 炸到 2.067,耗时反增 265s。to_sparse_semi_structured 与 nn.Linear 不兼容
8. **SMoE 消除 GPU 同步** — 移除 mask.any()64 次 GPU→CPU 同步/forward),88.1s
7.**2:4 结构化稀疏**两次尝试(全局/Expert 级)均炸 PCOCto_sparse_semi_structured 不兼容
8. **INT8 量化** — CUDA 后端不支持,异常
9.**SMoE 消除 GPU 同步** — 移除 mask.any()64 次 GPU→CPU 同步/forward),88.1s
10.**CTRModel 去冗余 squeeze** — reshape().squeeze() → .squeeze()(微优化)
11.**RepEncoder 批量 embedding** — 94.3s vs 92.5s,略慢
CUDA Graph 已评估并放弃batch 形状不固定,不适用)
每步完成后必须在 AI Studio 提交验证,AUC/PCOC 不达标立即回退。
CUDA Graph / torch.compile / 2:4 稀疏 / INT8 均已评估并放弃。
## 关键文件
@@ -197,6 +198,8 @@ CUDA Graph 已评估并放弃(batch 形状不固定,不适用)。
| `代码/code/build_env.sh` | 环境构建脚本(目前为空壳) |
| `代码/任务提交接口说明.md` | 官方接口规范 |
| `推理优化方案.md` | 完整优化方案(含合规审查) |
| `论文/GRAB.pdf` | GRAB 论文 OCR markdown |
| `论文/HSTU.pdf` | HSTU 论文 OCR markdown |
| `论文/GRAB_*.pdf` | GRAB 论文(baseline 模型) |
| `论文/HSTU_*.pdf` | HSTU 论文(架构基础) |
| `.gitignore` | 排除 ckpt.pt, dataset/, *.zip, .venv/ |
@@ -205,9 +208,11 @@ CUDA Graph 已评估并放弃(batch 形状不固定,不适用)。
| 日期 | 提交次数 | 得分 | AUC | PCOC | 耗时 | 优化手段 | 备注 |
|------|----------|------|-----|------|------|----------|------|
| 06/13 | 12 | **58.49** | 0.7526 | 1.059 | 88.1s | + SMoE 消除 GPU 同步 | **当前最优** |
| 06/13 | 11 | 0 | 0.748 | 2.067 | 265.5s | 2:4 sparse | ❌ 炸毁 |
| 06/13 | 10 | 57.45 | 0.7526 | 1.059 | 92.5s | + inference_mode | |
| 06/13 | 14 | 58.47 | 0.7526 | 1.059 | 88.1s | 回退到稳定版 | **最终提交** |
| 06/13 | 13 | 55.10 | 0.7525 | 1.059 | 102.6s | compile dynamic=True | 反效果 |
| 06/13 | 12 | 53.71 | 0.7524 | 1.059 | 108.6s | compile Expert default | 反效果 |
| 06/13 | 11 | 0 | 0.751 | 1.345 | 307.4s | 2:4 sparse Expert | ❌ 炸毁 |
| 06/13 | 10 | 58.49 | 0.7526 | 1.059 | 88.1s | + SMoE 消除 GPU 同步 | **当前最优** |
| 06/13 | 9 | 51.42 | 0.7525 | 1.059 | 118.4s | + compile(default) | 反效果 |
| 06/12 | 8 | 0 | 0.736 | 2.075 | 119.6s | MoE k=1 + compile | PCOC 炸毁 |
| 06/12 | 6 | 56.98 | 0.7526 | 1.059 | 94.5s | + Flash Attention | |