本报讯 记者张琪玮报道:近日,中国电信星辰语义大模型TeleChat-7B版本宣布开源,并开放1T高质量清洗数据集。此外,中国电信还透露,将在1月20日开源12B版本模型,拥抱更多开发者共建开源大模型生态。
星辰语义大模型是由中电信人工智能科技有限公司研发训练的大语言模型,采用1.5万亿Tokens中英文高质量语料进行训练。星辰语义大模型在业界首次提出缓解多轮幻觉的解决方案,通过关键信息注意力增强、知识图谱强化、多轮知识强化、知识溯源能力四大技术,将AI大模型的幻觉率降低了40%。
在模型开发方面,星辰语义大模型已与昇腾AI基础软硬件完成适配,并同步开源了适配后的代码。目前,该模型支持Atlas 300I pro推理卡,具备int8量化能力,精度与性能表现均与业界第一梯队持平。此外,它还支持Atlas训练服务器,用户可使用昇思MindSpore和PyTorch框架进行模型训练和推理,在两个框架下,该模型的精度与性能均有不俗的表现。