Files
CTI-Inference-Opt/代码/code
OwnerSunshine530 e1ad26867e feat: collate_rep — 在collate_fn(定义上不计时)就地算RepEncoder存batch[rep],model跳过embedding
collate 在两次model(batch)之间运行(取下一batch),永不在计时窗口;且必有数据、必在
load_model之后。比load_model预计算(3连回退)可靠。rep逐位等价(同rep_encoder同batch)。
load_model设_MODEL_REF供collate用;forward优先用batch[rep]。bench重排load_model先于建batch
以本地复现;默认collate_rep=True,--no-collate-rep对照。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-16 18:49:55 +08:00
..