中文通用大模型评测基准SuperCLUE发布：讯飞星火认知大模型国内第一
2023-05-09 16:12:01来源：快科技编辑：时寒峰
扫一扫
分享文章到微信
扫一扫
关注鹿财经网微信公众号
原标题：中文通用大模型评测基准SuperCLUE发布：讯飞星火认知大模型国内第一
5月9日消息，中文通用大模型综合性评测基准SuperCLUE正式发布。
中文通用大模型基准（SuperCLUE），是针对中文可用的通用大模型的一个测评基准，它尝试在一系列国内外代表性的模型上使用多个维度能力进行测试。
它主要回答的问题是：在当前通用大模型大力发展的情况下，中文大模型的效果情况。包括但不限于：这些模型不同任务的效果情况、相较于国际上的代表性模型做到了什么程度、 这些模型与人类的效果对比如何？
根据首个榜单显示，国内大模型中，近期发布的星火认知大模型最好，总分53.58分，与GPT-4相比有23个百分点的差距，与gpt-3.5-turbo在总分上有13个百分点的差距。
值得一提的是，讯飞星火认知大模型在对话、百科知识、角色模拟、计算能力、语义理解、逻辑推理方面，已经达到GPT 3.5平齐的水准。
在语义理解方面，讯飞星火认知大模型甚至得到100分的满分，超过GPT-4。
而百度文心一言在总榜单中排名最后一名，得分32.61分。
投稿邮箱：lukejiwang@163.com 详情访问鹿财经网：http://www.lucaijing.com.cn
相关推荐
