OwnerSunshine530 cb2913cda8 perf: searchsorted 构造因果mask，消除最后一个同步点(repeat_interleave张量repeats) ...

dense MoE 去掉MoE的nonzero同步省了评测20s；embedding融合(无同步)只省1s
->真正的杠杆是消同步点。mask构造的repeat_interleave(lengths张量)是model(batch)
内最后一个同步点，改用searchsorted求doc_id(输出size已知,无同步)。等价测试已加。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-06-15 12:09:40 +08:00

..

code

perf: searchsorted 构造因果mask，消除最后一个同步点(repeat_interleave张量repeats)

2026-06-15 12:09:40 +08:00

main.ipynb

chore: 更新 notebook 环境和文档

2026-06-12 20:51:14 +08:00

任务提交接口说明.md

chore: 初始化 CTI 推理优化项目

2026-06-03 13:49:30 +08:00