CTI-Inference-Opt/README.md

CTI-Inference-Opt

百度商业AI技术创新大赛 (CTI) 2026 — 生成式推荐广告排序推理性能优化

赛题

比赛主页 · 大赛官网 · 提交结果

给定基于 Transformer 的生成式推荐广告排序模型（GRAB），在不改变模型结构、不在测试集上训练的前提下，极致优化推理性能。

量化、稀疏、剪枝明确允许。

模型架构

RepEncoder (28 slots × 512d Embedding)
  → 8 层 Transformer (512d, 8 heads, Pre-LN)
    → Multi-Head Attention
    → SMoE FFN (8 experts, Top-2 gating)
  → Linear → Sigmoid → CTR

6.5M11.3M 参数，基于 GRAB / HSTU 论文。

评分规则

详见 比赛规则

维度	要求	不达标
推理效率	≤ 5min，环境构建 ≤ 20min	总分 0
模型效果	AUC ≥ 0.65，PCOC ∈ [0.85, 1.15]	总分 0

优化路线

步骤	方案	预期加速
✅ 第一版	接口对齐 + FP16 量化	229s → ~120s
🔲 第二版	Flash Attention + torch.compile	~120s → ~65s
🔲 第三版	MoE 剪枝 + INT8 量化	~65s → ~30s

提交

cd 代码/code
zip submit.zip infer.py requirements.txt build_env.sh

约束：不包含 dataset/、ckpt.pt，每天最多 10 次提交。

环境

• 本地: .venv (Python 3.13, uv), 仅装 numpy + tqdm + aistudio-sdk
• 服务端: PyTorch 2.6.0 + CUDA 12.4，完整依赖见 代码/code/requirements.txt

许可证

MIT License