CTI-Inference-Opt

Serendipity/CTI-Inference-Opt

Fork 0

Commit Graph

Author	SHA1	Message	Date
Serendipity	03bab0f7e5	chore: 更新 notebook 环境和文档 - main.ipynb: 更新 kernel 配置（Python 3.13） - README.md: 更新项目说明 - 论文/HSTU.md: 移除（已被 PDF 版本替代）	2026-06-12 20:51:14 +08:00
Serendipity	4ee08adff5	feat: 接口对齐 + FP16 量化（第一版优化方案） - CTRUserDataset → CTRTestSeqDataset，构造参数对齐评测接口 - load_model 签名修正：ckpt_path 作为第一参数 - FP16 量化：model.half() + Embedding 保留 FP32 - move_batch_to_device 自动 FP32→FP16 转换 - 缓存时预转 FP16，减少推理循环开销 - requirements.txt 精简（去除 nvidia-* 包） - build_env.sh 标准化（set -e + pip install） - CLAUDE.md 更新开发命令、代码架构、关键接口说明	2026-06-12 20:47:12 +08:00
Serendipity	d0bbb8f3e2	chore: 初始化 CTI 推理优化项目 - baseline infer.py + requirements.txt + build_env.sh - GRAB / HSTU 两篇核心论文 - 比赛规则和提交接口说明 - 项目 CLAUDE.md	2026-06-03 13:49:30 +08:00

Author

SHA1

Message

Date

Serendipity

03bab0f7e5

chore: 更新 notebook 环境和文档

- main.ipynb: 更新 kernel 配置（Python 3.13）
- README.md: 更新项目说明
- 论文/HSTU.md: 移除（已被 PDF 版本替代）

2026-06-12 20:51:14 +08:00

Serendipity

4ee08adff5

feat: 接口对齐 + FP16 量化（第一版优化方案）

- CTRUserDataset → CTRTestSeqDataset，构造参数对齐评测接口
- load_model 签名修正：ckpt_path 作为第一参数
- FP16 量化：model.half() + Embedding 保留 FP32
- move_batch_to_device 自动 FP32→FP16 转换
- 缓存时预转 FP16，减少推理循环开销
- requirements.txt 精简（去除 nvidia-* 包）
- build_env.sh 标准化（set -e + pip install）
- CLAUDE.md 更新开发命令、代码架构、关键接口说明

2026-06-12 20:47:12 +08:00

Serendipity

d0bbb8f3e2

chore: 初始化 CTI 推理优化项目

- baseline infer.py + requirements.txt + build_env.sh
- GRAB / HSTU 两篇核心论文
- 比赛规则和提交接口说明
- 项目 CLAUDE.md

2026-06-03 13:49:30 +08:00

1 2

53 Commits