12:24
OpenAI突然开源新模型,99.9%的权重是0,新稀疏性方法代替MoE

OpenAI开源了一种名为Circuit Sparsity的新模型,该模型通过极大稀疏化(99.9%权重为零)实现了内部计算过程的高度可解释性,直接针对传统稠密Transformer模型的黑箱问题。与MoE模型相比,Circuit Sparsity追求的是原生稀疏性和任务功能解耦,尽管当前面临算力成本高的挑战,但其在提升AI可解释性方面展现出巨大潜力。










