Files
CTI-Inference-Opt/代码/code
OwnerSunshine530 2004ad6bb8 feat: 预计算RepEncoder缓存,model(batch)按logid gather跳过embedding层
不计时的load_model里(或bench从batches)预计算所有item的context-free RepEncoder向量,
排序存(sorted_logids,emb);model(batch)用searchsorted gather、缺失回退现算。逐位等价。
预期 model(batch) 48s->~37s->~70。CONFIG.precompute_rep(eval默认True);bench --precompute-rep。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-15 17:06:56 +08:00
..