至知研究院提出大模型可解释性新路线：拆权重，数据成本不到1%

至知研究院提出一种名为稀疏权重分解（SWD）的新方法，用于提升大模型的可解释性。该方法通过将预训练模型中的稠密权重矩阵直接分解为两个稀疏矩阵，从而在无需额外训练的情况下提供可独立干预的单元。实验表明，SWD不仅显著减少了数据需求，还在多项任务中表现优异，适用于从GPT-2到Qwen3.5-27B等不同规模的模型。

🔗 [论文地址]：https://arxiv.org/abs/2608.03913