From 62421d78621b84f271785e3cccd87b666d297c6b Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?=E5=88=98=E8=88=AA=E5=AE=87?= <3364451258@qq.com> Date: Sat, 13 Jun 2026 11:50:54 +0800 Subject: [PATCH] =?UTF-8?q?docs:=20=E6=9B=B4=E6=96=B0=E6=8F=90=E4=BA=A4?= =?UTF-8?q?=E8=AE=B0=E5=BD=95=E5=92=8C=E4=BC=98=E5=8C=96=E8=B7=AF=E7=BA=BF?= =?UTF-8?q?=EF=BC=88MoE=20k=3D1=20=E5=A4=B1=E8=B4=A5=E5=9B=9E=E9=80=80?= =?UTF-8?q?=EF=BC=89?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- CLAUDE.md | 7 ++++--- 1 file changed, 4 insertions(+), 3 deletions(-) diff --git a/CLAUDE.md b/CLAUDE.md index cc6b121..2f077ab 100644 --- a/CLAUDE.md +++ b/CLAUDE.md @@ -129,9 +129,9 @@ Baseline 数据:推理 229s,AUC 0.759,PCOC 1.110,得分 25.85。 1. ✅ **接口对齐** — 确认能在评测系统跑通(得分 > 0) 2. ✅ **FP16 量化** — `model.half()`,Embedding 保留 FP32,152s 3. ✅ **Flash Attention** — 替换 `scaled_dot_product` 为 `F.scaled_dot_product_attention`,94.5s -4. 🔲 **torch.compile(default)** — 纯算子融合,不用 CUDA Graph,待验证 +4. 🔲 **torch.compile(default)** — 纯算子融合,不用 CUDA Graph,待验证(与 inference_mode 同包提交) 5. ✅ **inference_mode()** — 替代 `no_grad()`,关闭版本追踪 -6. ⚠️ **MoE Top-1 gating** — 已提交,人工审核判定中(k=2→1,未改层数/维度/shape) +6. ❌ **MoE Top-1 gating** — 已回退:PCOC 从 1.059 炸到 2.075,输出校准崩坏 7. 🔲 **2:4 结构化稀疏** — A800 原生加速,权重形状不变(显式允许) CUDA Graph 已评估并放弃(batch 形状不固定,不适用)。 @@ -155,5 +155,6 @@ CUDA Graph 已评估并放弃(batch 形状不固定,不适用)。 | 日期 | 提交次数 | 得分 | AUC | PCOC | 耗时 | 优化手段 | 备注 | |------|----------|------|-----|------|------|----------|------| -| 06/12 | 6 | **56.98** | 0.7526 | 1.059 | 94.5s | + Flash Attention | build_env.sh 预热脚本导致第5次异常 | +| 06/12 | 8 | **0** | 0.736 | 2.075 | 119.6s | MoE k=1 + compile(default) | PCOC 炸毁,已回退 MoE | +| 06/12 | 7 | **56.98** | 0.7526 | 1.059 | 94.5s | + Flash Attention | build_env.sh 预热脚本导致第5次异常 | | 06/12 | 3 | **43.55** | 0.7525 | 1.059 | 152s | 接口对齐 + FP16 量化 | 第 1、2 次因 requirements.txt 异常 |