 Serendipity
|
574399e8ac
|
feat: Flash Attention + torch.compile（第二版优化方案）
- scaled_dot_product 替换为 F.scaled_dot_product_attention（自动启用 Flash Attention）
- load_model 中添加 torch.compile(mode='reduce-overhead')
- build_env.sh: 预热 torch inductor，避免编译耗时计入推理
|
2026-06-12 21:39:43 +08:00 |
|
|
Serendipity
|
97c4cc84a0
|
docs: 更新提交记录（第一版 FP16，得分 43.55，152s）
|
2026-06-12 21:37:59 +08:00 |
|
|
Serendipity
|
c53a936e81
|
revert: requirements.txt 还原为原始完整依赖列表
|
2026-06-12 21:24:22 +08:00 |
|
|
Serendipity
|
47545efd43
|
fix: RepEncoder forward 中 Embedding FP32 输出显式转为后续层 dtype
修复 FP16 量化后 dtype 不匹配：Embedding 保留 FP32 时，forward 输出需 .to(target_dtype) 对齐后续 LayerNorm/Linear
|
2026-06-12 21:22:06 +08:00 |
|
|
Serendipity
|
0d97849813
|
docs: README 添加比赛规则、主页、提交链接
|
2026-06-12 20:58:10 +08:00 |
|
|
Serendipity
|
b252bd7a38
|
docs: 重写 README（项目介绍、架构、评分规则、优化路线）
|
2026-06-12 20:52:46 +08:00 |
|
|
Serendipity
|
03bab0f7e5
|
chore: 更新 notebook 环境和文档
- main.ipynb: 更新 kernel 配置（Python 3.13）
- README.md: 更新项目说明
- 论文/HSTU.md: 移除（已被 PDF 版本替代）
|
2026-06-12 20:51:14 +08:00 |
|
|
Serendipity
|
4ee08adff5
|
feat: 接口对齐 + FP16 量化（第一版优化方案）
- CTRUserDataset → CTRTestSeqDataset，构造参数对齐评测接口
- load_model 签名修正：ckpt_path 作为第一参数
- FP16 量化：model.half() + Embedding 保留 FP32
- move_batch_to_device 自动 FP32→FP16 转换
- 缓存时预转 FP16，减少推理循环开销
- requirements.txt 精简（去除 nvidia-* 包）
- build_env.sh 标准化（set -e + pip install）
- CLAUDE.md 更新开发命令、代码架构、关键接口说明
|
2026-06-12 20:47:12 +08:00 |
|
|
Serendipity
|
b0ea305ad0
|
docs: 添加详细推理优化方案（含合规审查）
基于 baseline 代码分析、GRAB/HSTU 论文研读、官方提交规范的三重审查：
- 发现并记录 baseline 接口与评测规范的 3 处致命不匹配
- 6 个优化方案，按优先级排序，每个方案标注合规性和风险
- 移除不适用于本场景的 CUDA Graph 方案
- 新增 GRAB/HSTU 论文的 markdown 转录文件
|
2026-06-03 14:18:17 +08:00 |
|
|
Serendipity
|
d0bbb8f3e2
|
chore: 初始化 CTI 推理优化项目
- baseline infer.py + requirements.txt + build_env.sh
- GRAB / HSTU 两篇核心论文
- 比赛规则和提交接口说明
- 项目 CLAUDE.md
|
2026-06-03 13:49:30 +08:00 |
|
|
Serendipity
|
0b1037b002
|
Initial commit
|
2026-06-03 13:14:36 +08:00 |
|