【蚂蚁集团推出新款MoE大语言模型 使用国产AI芯片训练成本进一步降低】财联社3月24日电,近日,蚂蚁集团Ling团队发表了一篇技术成果论文。论文显示,蚂蚁集团推出了两款不同规模的MoE大语言模型——百灵轻量版(Ling-Lite)与百灵增强版(Ling-Plus),前者参数规模为168亿(激活参数27.5亿),Plus基座模型参数规模高达2900亿(激活参数288亿),两者性能均达到行业领先水平。除了自研性能领先的大模型以外,该技术论文最大的突破在于提出了一系列创新方法,以提升资源受限环境下AI开发的效率与可及性。实验表明,其3000亿参数的MoE(混合专家)大模型可在使用国产GPU的低性能设备上完成高效训练,性能与完全使用英伟达芯片、同规模的稠密模型及MoE模型相当。

相关文章:
鹰眼预警:佩蒂股份销售毛利率较为波动04-20
沈祈闻温允(难逃入怀温允)全文免费阅读无弹窗大结局_(沈祈闻温允)最新章节列表_笔趣阁(难逃入怀温允)04-20
希源股份将召开 2024 年年度股东大会04-20
林隅钟沈月绡小说完本章节前文+全篇阅读(情深唯有故人知)连载中04-20
让爱恰逢其时:全文+后续(简荆芥)全文简荆芥阅读无弹窗结局_简荆芥+结局最新章节列表_笔趣阁(让爱恰逢其时:全文+后续)04-20
苔藓爬满旧日诺言:精修版(慕晚夏顾砚廷)已完结,苔藓爬满旧日诺言:精修版已完结04-19
恶毒女配她暗香撩人(孟意如秦隋安)结局+番外新上热文大结局_恶毒女配她暗香撩人小说免费阅读最新章节列表笔趣阁(孟意如秦隋安)04-19