cb2913cda8
perf: searchsorted 构造因果mask，消除最后一个同步点(repeat_interleave张量repeats)
...
dense MoE 去掉MoE的nonzero同步省了评测20s；embedding融合(无同步)只省1s
->真正的杠杆是消同步点。mask构造的repeat_interleave(lengths张量)是model(batch)
内最后一个同步点，改用searchsorted求doc_id(输出size已知,无同步)。等价测试已加。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com >
2026-06-15 12:09:40 +08:00
928de22a9b
perf: RepEncoder 融合 28-slot 查表+池化为单次(减per-batch kernel启动,无新增同步)
...
延续 dense MoE 的胜因(消 per-batch 开销在评测端被放大见效)。28次embedding
+28次segment_reduce 融合为1次；用 numel 读shape避免同步；base累加无同步。
保留 _rep_forward_perslot 作等价对照。CONFIG.fuse_embedding 默认 True。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com >
2026-06-15 11:50:11 +08:00
7791674a32
feat: 嵌套张量变长 flash 注意力(--attn varlen)，统一 CONFIG.attn 分发
...
每用户当独立序列、is_causal 块对角因果，一个 flash 内核处理一 batch 内所有
用户，无稠密mask/无padding浪费/开销远低于FlexAttention。CONFIG.attn∈
{sdpa(默认),flex,varlen}；bench --attn varlen；test_equiv 加 varlen 等价测试。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com >
2026-06-15 09:06:11 +08:00
c1d8b91fb2
feat(Phase B): FlexAttention 块对角注意力 + MoE 稠密向量化
...
- scaled_dot_product 分发：block_mask->FlexAttention(每用户仅自身序列内因果，
避免对~14000长拼接序列做O(S²)稠密注意力)；否则SDPA稠密(回退/对照)。
- CTRModel.build_block_mask 构造块对角因果mask；_use_flex 在SM80+自动启用。
- SMoE 稠密向量化(einsum批量算所有expert后按top-k gather)，消除Python循环/同步；
保留 _smoe_forward_loop 作数值等价对照。CONFIG.vectorize_moe 可切。
- load_model 加可选 torch.compile。
- tests/test_equiv.py：MoE稠密vs循环、Flex vs稠密SDPA 数值等价(无pytest依赖)。
- bench.py 加 --attn/--moe/--compile 便于A800上对比测速。
需 A800(SM80) 实测；CPU/V100 自动回退 SDPA。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com >
2026-06-14 23:30:59 +08:00
OwnerSunshine530