循环Transformer因GPT-6 Astra的发布而受到广泛关注，该技术通过让同一组Transformer层反复运行，在不增加参数的情况下加深计算。然而，学界发现循环模型常面临「计算冗余」问题。阿里团队早在11个月前就针对此问题发表了两篇顶会论文：MeSH和SpiralFormer，分别解决了信息管理和计算粒度问题，显著提升了模型效率。
🔗 [论文地址]：https://arxiv.org/abs/2510.01234
🔗 [论文地址]：https://arxiv.org/abs/2608.05432
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
没有相关内容!
