OwnerSunshine530
9d5a5a52f2
- infer.py: 模块级 CONFIG（fp16/keep_fp32_modules/expert_merge/ merge_threshold/signid_mode/sync_timing），默认值=当前最优行为； load_model 按 CONFIG 控制半精度/FP32敏感层/expert合并； RepEncoder 支持 clamp/modulo 两种 sign-id 处理； 新增 _force_fp32_io 钩子让敏感层在FP16模型里以FP32 IO 计算。 - bench.py: 设置 CONFIG → 跑推理 → cuda.synchronize 真实计时 → _cal_score 打印 AUC/PCOC/延迟/总分，支持配置/batch扫描。不进提交包。 - EXPERIMENTS.md: 实验记录表。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
CTI-Inference-Opt
百度商业AI技术创新大赛 (CTI) 2026 — 生成式推荐广告排序推理性能优化
赛题
给定基于 Transformer 的生成式推荐广告排序模型（GRAB），在不改变模型结构、不在测试集上训练的前提下，极致优化推理性能。
量化、稀疏、剪枝明确允许。
模型架构
RepEncoder (28 slots × 512d Embedding)
→ 8 层 Transformer (512d, 8 heads, Pre-LN)
→ Multi-Head Attention
→ SMoE FFN (8 experts, Top-2 gating)
→ Linear → Sigmoid → CTR
6.5M11.3M 参数，基于 GRAB / HSTU 论文。
评分规则
详见 比赛规则
| 维度 | 要求 | 不达标 |
|---|---|---|
| 推理效率 | ≤ 5min，环境构建 ≤ 20min | 总分 0 |
| 模型效果 | AUC ≥ 0.65，PCOC ∈ [0.85, 1.15] | 总分 0 |
优化路线
| 步骤 | 方案 | 预期加速 |
|---|---|---|
| ✅ 第一版 | 接口对齐 + FP16 量化 | 229s → ~120s |
| 🔲 第二版 | Flash Attention + torch.compile | ~120s → ~65s |
| 🔲 第三版 | MoE 剪枝 + INT8 量化 | ~65s → ~30s |
提交
cd 代码/code
zip submit.zip infer.py requirements.txt build_env.sh
约束：不包含 dataset/、ckpt.pt，每天最多 10 次提交。
环境
- 本地:
.venv(Python 3.13, uv), 仅装numpy+tqdm+aistudio-sdk - 服务端: PyTorch 2.6.0 + CUDA 12.4，完整依赖见
代码/code/requirements.txt
许可证
MIT License