8月16日,《麻省理工科技评论》中国发布中国大模型评测报告,从研发和商业化能力、外界态度以及发展趋势等维度全方位检测大模型的能力。
据悉,此次评测选取了讯飞星火、百度文心一言、商汤商量、阿里通义千问等中文大模型平台代表展开。
评测使用的测试集包含600道题目,覆盖了语言专项、数学专项、理科综合、文科综合、逻辑思维、编程能力、综合知识、安全性共8个一级大类,126个二级分类,290个三级标签,并针对问题的丰富性和多样性做了优化。
评测整体水平结果显示,前三位分别为:讯飞星火、百度文心一言以及商汤商量,得分率分别为81.5%、75.2%和68.3%,阿里通义千问则以得分率66.9%排名第四。