Files
CTI-Inference-Opt/代码
OwnerSunshine530 2268fa6cf3 feat: dedup_embedding 选项 — 查表前对sign去重(slot19等高重复),减少大表随机访存
profile显示embedding查表现为头号瓶颈(32%)。torch.unique去重后只查唯一sign
再按逆索引展开,数学逐位等价(AUC不变),省最贵的大表随机gather。bench --dedup-emb。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-15 14:07:23 +08:00
..