Files
CTI-Inference-Opt/代码
Serendipity 3e1d5b8e59 feat: Expert 权重相似度合并(余弦相似度>0.97 的 expert 合并,减少冗余计算)
- 贪心聚类:并查集按相似度降序合并
- 合并策略:fc1/fc2 权重+bias 取平均,gate 对应行取平均
- k 保护:合并后 expert 数 < k 时自动降 k
- 属 Q&A 允许的删除冗余度高操作,不改变层数/维度/head/FFN channel
2026-06-14 11:16:04 +08:00
..