61 lines
1.9 KiB
Markdown
61 lines
1.9 KiB
Markdown
# CTI-Inference-Opt
|
||
|
||
百度商业AI技术创新大赛 (CTI) 2026 — **生成式推荐广告排序推理性能优化**
|
||
|
||
[](https://gitea.liuhangyv.top/Serendipity/CTI-Inference-Opt)
|
||
|
||
## 赛题
|
||
|
||
> [比赛主页](https://aistudio.baidu.com/competition/detail/1461) · [大赛官网](http://cti.baidu.com) · [提交结果](https://aistudio.baidu.com/competition/detail/1461/0/submit-result)
|
||
|
||
给定基于 Transformer 的生成式推荐广告排序模型（GRAB），在**不改变模型结构、不在测试集上训练**的前提下，极致优化推理性能。
|
||
|
||
量化、稀疏、剪枝明确允许。
|
||
|
||
## 模型架构
|
||
|
||
```
|
||
RepEncoder (28 slots × 512d Embedding)
|
||
→ 8 层 Transformer (512d, 8 heads, Pre-LN)
|
||
→ Multi-Head Attention
|
||
→ SMoE FFN (8 experts, Top-2 gating)
|
||
→ Linear → Sigmoid → CTR
|
||
```
|
||
|
||
~6.5M~11.3M 参数，基于 [GRAB](https://arxiv.org/abs/2602.01865) / [HSTU](https://arxiv.org/abs/2402.17152) 论文。
|
||
|
||
## 评分规则
|
||
|
||
> 详见 [比赛规则](https://aistudio.baidu.com/competition/detail/1461/0/rules)
|
||
|
||
| 维度 | 要求 | 不达标 |
|
||
|------|------|--------|
|
||
| 推理效率 | ≤ 5min，环境构建 ≤ 20min | **总分 0** |
|
||
| 模型效果 | AUC ≥ 0.65，PCOC ∈ [0.85, 1.15] | **总分 0** |
|
||
|
||
## 优化路线
|
||
|
||
| 步骤 | 方案 | 预期加速 |
|
||
|------|------|----------|
|
||
| ✅ 第一版 | 接口对齐 + FP16 量化 | 229s → ~120s |
|
||
| 🔲 第二版 | Flash Attention + torch.compile | ~120s → ~65s |
|
||
| 🔲 第三版 | MoE 剪枝 + INT8 量化 | ~65s → ~30s |
|
||
|
||
## 提交
|
||
|
||
```bash
|
||
cd 代码/code
|
||
zip submit.zip infer.py requirements.txt build_env.sh
|
||
```
|
||
|
||
约束：不包含 `dataset/`、`ckpt.pt`，每天最多 10 次提交。
|
||
|
||
## 环境
|
||
|
||
- **本地**: `.venv` (Python 3.13, uv), 仅装 `numpy` + `tqdm` + `aistudio-sdk`
|
||
- **服务端**: PyTorch 2.6.0 + CUDA 12.4，完整依赖见 `代码/code/requirements.txt`
|
||
|
||
## 许可证
|
||
|
||
MIT License
|