Serendipity
3e1d5b8e59
- 贪心聚类：并查集按相似度降序合并 - 合并策略：fc1/fc2 权重+bias 取平均，gate 对应行取平均 - k 保护：合并后 expert 数 < k 时自动降 k - 属 Q&A 允许的删除冗余度高操作，不改变层数/维度/head/FFN channel
CTI-Inference-Opt
百度商业AI技术创新大赛 (CTI) 2026 — 生成式推荐广告排序推理性能优化
赛题
给定基于 Transformer 的生成式推荐广告排序模型（GRAB），在不改变模型结构、不在测试集上训练的前提下，极致优化推理性能。
量化、稀疏、剪枝明确允许。
模型架构
RepEncoder (28 slots × 512d Embedding)
→ 8 层 Transformer (512d, 8 heads, Pre-LN)
→ Multi-Head Attention
→ SMoE FFN (8 experts, Top-2 gating)
→ Linear → Sigmoid → CTR
6.5M11.3M 参数，基于 GRAB / HSTU 论文。
评分规则
详见 比赛规则
| 维度 | 要求 | 不达标 |
|---|---|---|
| 推理效率 | ≤ 5min，环境构建 ≤ 20min | 总分 0 |
| 模型效果 | AUC ≥ 0.65，PCOC ∈ [0.85, 1.15] | 总分 0 |
优化路线
| 步骤 | 方案 | 预期加速 |
|---|---|---|
| ✅ 第一版 | 接口对齐 + FP16 量化 | 229s → ~120s |
| 🔲 第二版 | Flash Attention + torch.compile | ~120s → ~65s |
| 🔲 第三版 | MoE 剪枝 + INT8 量化 | ~65s → ~30s |
提交
cd 代码/code
zip submit.zip infer.py requirements.txt build_env.sh
约束：不包含 dataset/、ckpt.pt，每天最多 10 次提交。
环境
- 本地:
.venv(Python 3.13, uv), 仅装numpy+tqdm+aistudio-sdk - 服务端: PyTorch 2.6.0 + CUDA 12.4，完整依赖见
代码/code/requirements.txt
许可证
MIT License