Serendipity feb71be5bd feat: MoE Top-1 gating（每个 token 仅激活 1 个 expert，FFN 计算减半） ...

- SMoE 默认 k=2 → k=1（属于稀疏优化，规则允许）
- TransformerEncoder 8 层全部改用 Top-1 gating
- forward 针对 k=1 走快速路径（避免二维 mask 和加权累加）

2026-06-12 22:04:34 +08:00

..

code

feat: MoE Top-1 gating（每个 token 仅激活 1 个 expert，FFN 计算减半）

2026-06-12 22:04:34 +08:00

main.ipynb

chore: 更新 notebook 环境和文档

2026-06-12 20:51:14 +08:00

任务提交接口说明.md

chore: 初始化 CTI 推理优化项目

2026-06-03 13:49:30 +08:00