OwnerSunshine530 cb2913cda8 perf: searchsorted 构造因果mask，消除最后一个同步点(repeat_interleave张量repeats) ...

dense MoE 去掉MoE的nonzero同步省了评测20s；embedding融合(无同步)只省1s
->真正的杠杆是消同步点。mask构造的repeat_interleave(lengths张量)是model(batch)
内最后一个同步点，改用searchsorted求doc_id(输出size已知,无同步)。等价测试已加。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-06-15 12:09:40 +08:00

..

tests

perf: searchsorted 构造因果mask，消除最后一个同步点(repeat_interleave张量repeats)

2026-06-15 12:09:40 +08:00

bench.py

feat: 嵌套张量变长 flash 注意力(--attn varlen)，统一 CONFIG.attn 分发

2026-06-15 09:06:11 +08:00

build_env.sh

fix: build_env.sh 简化为纯净版本（避免 CUDA 预热导致异常）

2026-06-12 21:55:09 +08:00

EXPERIMENTS.md

feat: infer.py 接入 CONFIG 实验开关 + 新增 bench.py 测量闭环

2026-06-14 16:48:38 +08:00

infer.py

perf: searchsorted 构造因果mask，消除最后一个同步点(repeat_interleave张量repeats)

2026-06-15 12:09:40 +08:00

requirements.txt

revert: requirements.txt 还原为原始完整依赖列表

2026-06-12 21:24:22 +08:00