Serendipity/CTI-Inference-Opt
1
1
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

docs: 更新提交记录和优化路线（MoE k=1 失败回退）

Browse Source
This commit is contained in:
刘航宇
2026-06-13 11:50:54 +08:00
parent faedab5245
commit 62421d7862
1 changed files with 4 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files
CLAUDE.md
+4 -3
View File
@@ -129,9 +129,9 @@ Baseline 数据：推理 229s，AUC 0.759，PCOC 1.110，得分 25.85。
1. ✅ **接口对齐** — 确认能在评测系统跑通（得分 > 0）
2. ✅ **FP16 量化** — `model.half()`，Embedding 保留 FP32，152s
3. ✅ **Flash Attention** — 替换 `scaled_dot_product` 为 `F.scaled_dot_product_attention`，94.5s
4. 🔲 **torch.compile(default)** — 纯算子融合，不用 CUDA Graph，待验证
4. 🔲 **torch.compile(default)** — 纯算子融合，不用 CUDA Graph，待验证（与 inference_mode 同包提交）
5. ✅ **inference_mode()** — 替代 `no_grad()`，关闭版本追踪
6. ⚠️ **MoE Top-1 gating** — 已提交，人工审核判定中（k=2→1，未改层数/维度/shape）
6. ❌ **MoE Top-1 gating** — 已回退：PCOC 从 1.059 炸到 2.075，输出校准崩坏
7. 🔲 **2:4 结构化稀疏** — A800 原生加速，权重形状不变（显式允许）
CUDA Graph 已评估并放弃（batch 形状不固定，不适用）。
@@ -155,5 +155,6 @@ CUDA Graph 已评估并放弃（batch 形状不固定，不适用）。
| 日期 | 提交次数 | 得分 | AUC | PCOC | 耗时 | 优化手段 | 备注 |
|------|----------|------|-----|------|------|----------|------|
| 06/12 | 6 | **56.98** | 0.7526 | 1.059 | 94.5s | + Flash Attention | build_env.sh 预热脚本导致第5次异常 |
| 06/12 | 8 | **0** | 0.736 | 2.075 | 119.6s | MoE k=1 + compile(default) | PCOC 炸毁，已回退 MoE |
| 06/12 | 7 | **56.98** | 0.7526 | 1.059 | 94.5s | + Flash Attention | build_env.sh 预热脚本导致第5次异常 |
| 06/12 | 3 | **43.55** | 0.7525 | 1.059 | 152s | 接口对齐 + FP16 量化 | 第 1、2 次因 requirements.txt 异常 |