蚂蚁集团官多模态大模宣开源统一型Ming
5月27日,蚂蚁模态在蚂蚁技能日上,集团蚂蚁集团旗下的官宣百灵大模型(Ling)团队宣告正式开源一致多模态大模型Ming-lite-omni 。据蚂蚁方面介绍 ,开源这是统多一款依据Ling-lite构建的MoE架构的全模态模型,其总参数22B,大模激活参数3B。蚂蚁模态
据悉 ,Ming-lite-omni当时模型权重和推理代码已开源 ,官宣后续会接连开源练习代码和练习数据。开源
https://huggingface.co/inclusionAI/Ming-Lite-Omni。统多
今年以来,大模百灵大模型现已接连开源了多个模型产品 ,蚂蚁模态包含2个MoE架构的集团大言语模型,Ling-lite和Ling-plus,官宣多模态大模型Ming-lite-uni,以及Ming-lite-omni-preview。
其间 ,其间五月中旬开源了Ling-lite-1.5 ,据百灵方面介绍 ,“才能现已挨近同水位SOTA水平,介于千问4B和8B的水平 。”蚂蚁方面称 ,这两个模型在多个算力渠道(包含非Hopper架构的国产算力)进行练习 ,验证了300B尺度的SOTA MoE大言语模型在非高端算力渠道上练习的可行性。
而本次开源的Ming-lite-omni产品在多项了解和生成才能评测中 ,性能与10B量级抢先的多模态大模型适当或更优 。蚂蚁方面以为 ,这是现在已知首个在模态支撑方面可以与GPT-4o相媲美的开源模型