experiment: chunk_users=8 验证'评测端开销主导→块少更快'(chunk=3评测49.5s更慢的反向推论)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
2026-06-16 23:39:52 +08:00
parent 4c7cbcd9b1
commit 316930219a
1 changed files with 1 additions and 1 deletions
@@ -44,7 +44,7 @@ CONFIG = {
    # sdpa 是评测端验证最快(89.96s/58.86)。flex/compile/小batch/varlen 在评测端都更差。
    # attn: "chunked"(按用户分块SDPA,降O(S²),本地14.25->7.92s) / "sdpa"(稠密mask) / 其它对照
    "attn": "chunked",
-    "chunk_users": 3,         # chunked 每块用户数（扫描 1/2/3/4：chunk=3 最优 4.13s，块对角浪费vs块数开销平衡）
+    "chunk_users": 8,         # 评测端开销主导:块少=调用少。chunk=3评测更慢(49.5s)→反向往大试。chunk=4=47.84s基准
    # 稠密MoE去掉了 model(batch) 内唯一的同步点(MoE循环的.nonzero())。若评测计时不
    # synchronize，去掉同步点可能让被计时的 model(batch) 大幅缩短。本地force-sync看不出，
    # 须靠提交验证。AUC中性、MoE仅占2%算力故风险极低。