NeurIPS’26：注意力也是FFN？从快权重出发，重新理解高效注意力

北邮团队提出Mixture-of-Top-k Attention（MiTA），重新定义了Transformer中注意力与前馈网络的关系。通过引入可变形、可复用的Top-k专家，MiTA在保持全局信息的同时按需读取细节，显著提升了长序列处理效率。该方法已在NeurIPS 2026上发表。

🔗 [论文地址]：https://arxiv.org/pdf/2602.01219
🔗 [GitHub项目]：https://github.com/QishuaiWen/MiTA