还在为大模型洗数据熬夜?蚂蚁拿下VLDB工业最佳论文,一套宽表搞定35PB语料,效率狂飙5.6倍

2个月前发布 jovi
0 0 0

还在为大模型洗数据熬夜?蚂蚁拿下VLDB工业最佳论文,一套宽表搞定35PB语料,效率狂飙5.6倍

蚂蚁集团推出的OmniTable统一宽表系统,解决了大模型训练中的数据准备难题。该系统通过逻辑统一、物理分离的设计原则,显著提升了PB级数据处理效率,将端到端周期从14天缩短至2.5天,并减少了手工操作步骤。此外,OmniTable还优化了特征计算和异常处理机制,大幅降低了工程成本。

🔗 [论文地址]:https://www.vldb.org/pvldb/vol19/p4276-fu.pdf

来源:量子位

© 版权声明

相关文章

没有相关内容!