小团队也能预训练，普罗2B：RTX5090训练成本不到5090美元

面对高昂的预训练成本，清华大学团队推出了Puro-2B方案，通过优化硬件选择、低精度训练、优化器改进等策略，在消费级显卡RTX 5090上实现了20亿参数模型的高效训练。以约4400美元的成本，该模型在15项任务上的表现优于Qwen2-1.5B。

🔗 [论文地址]：https://arxiv.org/pdf/2608.27370
🔗 [工具链接]：https://huggingface.co/collections/thu-pacman/puro-2b