近日,中国电信明星语义大模型TeleChat-7B版本宣布开源,并开放了1T高质量清洁数据集。此外,中国电信还透露,将于1月20日开源12B版本模型,以拥抱更多开发者,构建开源大型模型生态系统。
星语义大模型是中国电信人工智能科技有限公司开发培训的大型语言模型,采用1.5万亿Tokens中英文优质语料进行培训。星语义大模型首次提出了行业内缓解多轮幻觉的解决方案。通过关键信息注意力、知识地图强化、多轮知识强化、知识追溯能力四大技术,AI大模型的幻觉率降低了40%。
就模型开发而言,星辰语义大模型已经完成了与升腾AI基础软硬件的适配,并同步开源了适配后的代码。目前,该模型支持Atlas 300I pro推理卡具有int8的量化能力,其精度和性能与行业第一梯队相同;此外,它还支持atlas培训服务器。用户可以使用盛思Mindspore和Pytorch框架进行模型培训和推理。在这两个框架下,该模型具有良好的精度和性能。