Files
CTI-Inference-Opt/代码/code
Serendipity 43b0c6c92a feat: 2:4 结构化稀疏(A800 原生加速,所有 Linear 层权重剪枝)
- 每 4 个连续权重保留幅度最大的 2 个(50% 稀疏度)
- torch.sparse.to_sparse_semi_structured 硬件加速 matmul
- 权重形状不变,属参数级剪枝,合规
- try-except 保护:稀疏化失败时回退 dense 权重
2026-06-13 12:20:40 +08:00
..