OpenAI突然开源新模型，99.9%的权重是0，新稀疏性方法代替MoE

OpenAI开源了一种名为Circuit Sparsity的新模型，该模型通过极大稀疏化（99.9%权重为零）实现了内部计算过程的高度可解释性，直接针对传统稠密Transformer模型的黑箱问题。与MoE模型相比，Circuit Sparsity追求的是原生稀疏性和任务功能解耦，尽管当前面临算力成本高的挑战，但其在提升AI可解释性方面展现出巨大潜力。