Files
CTI-Inference-Opt/代码
OwnerSunshine530 8bae7d93fd revert: 默认退回 sdpa —— varlen 评测端 148s(慢65%),本地快不代表评测快
varlen 嵌套张量构造开销随 batch 数放大,评测 batch 多→反而更慢。
sdpa 仍是评测端验证最优(89.96s/58.86)。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-15 09:32:31 +08:00
..