 Serendipity
|
61bab9d0e3
|
fix: build_env.sh 简化为纯净版本（避免 CUDA 预热导致异常）
|
2026-06-12 21:55:09 +08:00 |
|
|
Serendipity
|
574399e8ac
|
feat: Flash Attention + torch.compile（第二版优化方案）
- scaled_dot_product 替换为 F.scaled_dot_product_attention（自动启用 Flash Attention）
- load_model 中添加 torch.compile(mode='reduce-overhead')
- build_env.sh: 预热 torch inductor，避免编译耗时计入推理
|
2026-06-12 21:39:43 +08:00 |
|
|
Serendipity
|
c53a936e81
|
revert: requirements.txt 还原为原始完整依赖列表
|
2026-06-12 21:24:22 +08:00 |
|
|
Serendipity
|
47545efd43
|
fix: RepEncoder forward 中 Embedding FP32 输出显式转为后续层 dtype
修复 FP16 量化后 dtype 不匹配：Embedding 保留 FP32 时，forward 输出需 .to(target_dtype) 对齐后续 LayerNorm/Linear
|
2026-06-12 21:22:06 +08:00 |
|
|
Serendipity
|
4ee08adff5
|
feat: 接口对齐 + FP16 量化（第一版优化方案）
- CTRUserDataset → CTRTestSeqDataset，构造参数对齐评测接口
- load_model 签名修正：ckpt_path 作为第一参数
- FP16 量化：model.half() + Embedding 保留 FP32
- move_batch_to_device 自动 FP32→FP16 转换
- 缓存时预转 FP16，减少推理循环开销
- requirements.txt 精简（去除 nvidia-* 包）
- build_env.sh 标准化（set -e + pip install）
- CLAUDE.md 更新开发命令、代码架构、关键接口说明
|
2026-06-12 20:47:12 +08:00 |
|
|
Serendipity
|
d0bbb8f3e2
|
chore: 初始化 CTI 推理优化项目
- baseline infer.py + requirements.txt + build_env.sh
- GRAB / HSTU 两篇核心论文
- 比赛规则和提交接口说明
- 项目 CLAUDE.md
|
2026-06-03 13:49:30 +08:00 |
|