阿里巴巴M6

5个月前更新 2,942 0 1

阿里巴巴达摩院推出的超大规模中文预训练模型(M6)

收录时间:
2023-10-24
阿里巴巴M6阿里巴巴M6

简介

M6(全称 Multi-Modality-to-Multi-Modality Multitask Mega-transformer)是阿里巴巴达摩院研发的超大规模多模态预训练模型。作为国产多模态 AI 的先驱项目之一,M6 在单一统一框架下实现了对文本、图像等多种模态数据的联合理解与生成,参数规模最高可达十万亿级别。M6 在电商、搜索、推荐等阿里巴巴核心业务场景中发挥了重要作用。

核心功能

  • 多模态统一预训练:在统一的 Transformer 架构上同时处理文本和图像数据,实现跨模态理解与生成。
  • 超大规模参数:从最初的100亿参数扩展至1万亿乃至10万亿参数级别,曾创下全球最大多模态模型纪录。
  • 中文原生优化:在海量中文语料上预训练(292GB中文文本+1.9TB图像数据),中文理解能力突出。
  • 极低能耗训练:通过创新的训练优化技术,以仅相当于 GPT-3 约1%的能耗完成训练,大幅降低碳足迹。
  • 多任务能力:支持图像描述生成、视觉问答、文本生成图像、商品推荐等多种下游任务。
  • MoE 架构:采用混合专家(Mixture of Experts)稀疏激活机制,在保持效果的同时降低计算开销。

定价

M6 为阿里巴巴内部研究项目,主要通过学术论文和技术报告向社区开放研究成果,部分模型权重通过开源平台发布。目前未提供商业化的直接 API 服务,相关使用需关注阿里巴巴官方的最新开源动态。

适用人群

M6 主要面向多模态 AI 领域的研究人员、学者以及对大规模预训练模型感兴趣的技术团队。对于关注中文多模态理解、电商场景 AI 应用的开发者,M6 的研究成果和技术思路具有重要的参考价值。

总结

阿里巴巴 M6 作为国产多模态大模型的里程碑式项目,在模型规模、训练效率和中文能力方面都取得了突破性成果。它不仅推动了多模态预训练技术的发展,也为国产大模型的崛起奠定了重要基础。虽然 M6 已逐步被更新的模型迭代替代,但其技术贡献仍具有深远影响。

数据统计

相关导航