Serendipity
da37245a9b
1. SMoE: 移除 if not mask.any()（64次GPU→CPU同步/forward） - k=2时每个expert都分到token，检查从不跳过 - 改用 token_idx.numel()==0 判断（元数据操作，不同步） 2. SMoE: out_flat reshape 提到循环外（省7次重复） 3. CTRModel: encoder_output.reshape().squeeze() → .squeeze()
CTI-Inference-Opt
百度商业AI技术创新大赛 (CTI) 2026 — 生成式推荐广告排序推理性能优化
赛题
给定基于 Transformer 的生成式推荐广告排序模型（GRAB），在不改变模型结构、不在测试集上训练的前提下，极致优化推理性能。
量化、稀疏、剪枝明确允许。
模型架构
RepEncoder (28 slots × 512d Embedding)
→ 8 层 Transformer (512d, 8 heads, Pre-LN)
→ Multi-Head Attention
→ SMoE FFN (8 experts, Top-2 gating)
→ Linear → Sigmoid → CTR
6.5M11.3M 参数，基于 GRAB / HSTU 论文。
评分规则
详见 比赛规则
| 维度 | 要求 | 不达标 |
|---|---|---|
| 推理效率 | ≤ 5min，环境构建 ≤ 20min | 总分 0 |
| 模型效果 | AUC ≥ 0.65，PCOC ∈ [0.85, 1.15] | 总分 0 |
优化路线
| 步骤 | 方案 | 预期加速 |
|---|---|---|
| ✅ 第一版 | 接口对齐 + FP16 量化 | 229s → ~120s |
| 🔲 第二版 | Flash Attention + torch.compile | ~120s → ~65s |
| 🔲 第三版 | MoE 剪枝 + INT8 量化 | ~65s → ~30s |
提交
cd 代码/code
zip submit.zip infer.py requirements.txt build_env.sh
约束：不包含 dataset/、ckpt.pt，每天最多 10 次提交。
环境
- 本地:
.venv(Python 3.13, uv), 仅装numpy+tqdm+aistudio-sdk - 服务端: PyTorch 2.6.0 + CUDA 12.4，完整依赖见
代码/code/requirements.txt
许可证
MIT License