OwnerSunshine530
cb2913cda8
dense MoE 去掉MoE的nonzero同步省了评测20s；embedding融合(无同步)只省1s ->真正的杠杆是消同步点。mask构造的repeat_interleave(lengths张量)是model(batch) 内最后一个同步点，改用searchsorted求doc_id(输出size已知,无同步)。等价测试已加。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
CTI-Inference-Opt
百度商业AI技术创新大赛 (CTI) 2026 — 生成式推荐广告排序推理性能优化
赛题
给定基于 Transformer 的生成式推荐广告排序模型（GRAB），在不改变模型结构、不在测试集上训练的前提下，极致优化推理性能。
量化、稀疏、剪枝明确允许。
模型架构
RepEncoder (28 slots × 512d Embedding)
→ 8 层 Transformer (512d, 8 heads, Pre-LN)
→ Multi-Head Attention
→ SMoE FFN (8 experts, Top-2 gating)
→ Linear → Sigmoid → CTR
6.5M11.3M 参数，基于 GRAB / HSTU 论文。
评分规则
详见 比赛规则
| 维度 | 要求 | 不达标 |
|---|---|---|
| 推理效率 | ≤ 5min，环境构建 ≤ 20min | 总分 0 |
| 模型效果 | AUC ≥ 0.65，PCOC ∈ [0.85, 1.15] | 总分 0 |
优化路线
| 步骤 | 方案 | 预期加速 |
|---|---|---|
| ✅ 第一版 | 接口对齐 + FP16 量化 | 229s → ~120s |
| 🔲 第二版 | Flash Attention + torch.compile | ~120s → ~65s |
| 🔲 第三版 | MoE 剪枝 + INT8 量化 | ~65s → ~30s |
提交
cd 代码/code
zip submit.zip infer.py requirements.txt build_env.sh
约束：不包含 dataset/、ckpt.pt，每天最多 10 次提交。
环境
- 本地:
.venv(Python 3.13, uv), 仅装numpy+tqdm+aistudio-sdk - 服务端: PyTorch 2.6.0 + CUDA 12.4，完整依赖见
代码/code/requirements.txt
许可证
MIT License