OpenAI突然开源新模型！99.9%的权重是0，新稀疏性方法代替MoE

OpenAI开源新模型，采用Circuit Sparsity技术实现99.9%权重为零的稀疏性，使模型计算过程可拆解、易理解，解决了传统稠密Transformer的黑箱问题。该模型通过严格约束减少无效连接，保留关键路径，从而提高决策透明度。相比MoE，Circuit Sparsity在特征流形和功能边界上更优，但当前面临高算力成本挑战。未来研究将致力于优化训练机制，提升效率与实用性。