OwnerSunshine530 2004ad6bb8 feat: 预计算RepEncoder缓存,model(batch)按logid gather跳过embedding层 ...

不计时的load_model里(或bench从batches)预计算所有item的context-free RepEncoder向量,
排序存(sorted_logids,emb);model(batch)用searchsorted gather、缺失回退现算。逐位等价。
预期 model(batch) 48s->~37s->~70。CONFIG.precompute_rep(eval默认True);bench --precompute-rep。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-06-15 17:06:56 +08:00

..

code

feat: 预计算RepEncoder缓存,model(batch)按logid gather跳过embedding层

2026-06-15 17:06:56 +08:00

main.ipynb

chore: 更新 notebook 环境和文档

2026-06-12 20:51:14 +08:00

任务提交接口说明.md

chore: 初始化 CTI 推理优化项目

2026-06-03 13:49:30 +08:00