OwnerSunshine530
4ea6d57a07
collate_rep 评测端回退(疑num_workers>0子进程无模型)。move_batch_to_device官方明确不计入、 在主进程model(batch)之前调用→有CUDA+_MODEL_REF+batch数据,避开数据访问/调用顺序/子进程三大坑。 rep逐位等价。bench --no-movedev-rep 对照。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
CTI-Inference-Opt
百度商业AI技术创新大赛 (CTI) 2026 — 生成式推荐广告排序推理性能优化
赛题
给定基于 Transformer 的生成式推荐广告排序模型（GRAB），在不改变模型结构、不在测试集上训练的前提下，极致优化推理性能。
量化、稀疏、剪枝明确允许。
模型架构
RepEncoder (28 slots × 512d Embedding)
→ 8 层 Transformer (512d, 8 heads, Pre-LN)
→ Multi-Head Attention
→ SMoE FFN (8 experts, Top-2 gating)
→ Linear → Sigmoid → CTR
6.5M11.3M 参数，基于 GRAB / HSTU 论文。
评分规则
详见 比赛规则
| 维度 | 要求 | 不达标 |
|---|---|---|
| 推理效率 | ≤ 5min，环境构建 ≤ 20min | 总分 0 |
| 模型效果 | AUC ≥ 0.65，PCOC ∈ [0.85, 1.15] | 总分 0 |
优化路线
| 步骤 | 方案 | 预期加速 |
|---|---|---|
| ✅ 第一版 | 接口对齐 + FP16 量化 | 229s → ~120s |
| 🔲 第二版 | Flash Attention + torch.compile | ~120s → ~65s |
| 🔲 第三版 | MoE 剪枝 + INT8 量化 | ~65s → ~30s |
提交
cd 代码/code
zip submit.zip infer.py requirements.txt build_env.sh
约束：不包含 dataset/、ckpt.pt，每天最多 10 次提交。
环境
- 本地:
.venv(Python 3.13, uv), 仅装numpy+tqdm+aistudio-sdk - 服务端: PyTorch 2.6.0 + CUDA 12.4，完整依赖见
代码/code/requirements.txt
许可证
MIT License