• 官方微信公众号
  • 电子信息产业网
  • 微博
第06版:信息通信

阿里云首次推出千亿级参数模型

本报讯 4月29日,阿里云首次推出千亿级参数模型Qwen1.5-110B,在多项基准测评中都创下当前开源模型最优成绩。目前Qwen1.5系列已累计开源10款大模型,通义千问开源模型下载量超过700万。

记者从阿里云了解到,通义千问1100亿参数模型延续了Qwen1.5系列的Transformer解码器架构,采用了分组查询注意力方法(GQA),使得模型在推理时更加高效。110B模型支持32K上下文长度,具备多语言能力,支持中、英、法、德、西、俄、日、韩、越、阿拉伯等多种语言。

在MMLU、TheoremQA、GPQA等多个基准测评中,Qwen1.5-110B展现出其卓越性能,基础能力可与Meta刚刚发布的Llama-3-70B模型相媲美,相比通义千问720亿参数开源模型也有明显提升。研发团队指出,Qwen1.5-110B的性能提升主要来自参数规模的扩增。研发团队还在MT-Bench和AlpacaEval2.0两个测评集上对1100亿参数模型的Chat版本做了评估,通义千问110B比通义千问72B的效果有显著提升。

据悉,从2024年2月初至今,通义千问团队已陆续开源了8款大语言模型,参数规模涵盖5亿、18亿、40亿、70亿、140亿、320亿、720亿、1100亿,在开源社区收获热烈反响。目前通义千问开源模型下载量超过700万,是最受开发者欢迎的开源大模型之一。

近期,新东方、同程旅行、长安汽车、西部机场集团、亲宝宝等多家企业宣布接入通义千问。本土大模型正加速在千行百业落地生花。(宋 婧)

2024-05-07 1 1 中国电子报 content_10150.html 1 阿里云首次推出千亿级参数模型 /enpproperty-->