腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大

2024-11-05 20:45:57来源:快科技编辑:时寒峰

扫一扫

分享文章到微信

扫一扫

关注鹿财经网微信公众号

  原标题:腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大

  11月5日消息,腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。

  Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为7T、最大上下文长度为256K、词表大小为12.8w。

  在技术创新方面,Hunyuan-large通过高质量的合成数据来增强模型训练,弥补了自然数据的不足。

腾讯发布开源MoE大语言模型Hunyuan-large:总参数398B为业内最大

  其中,该模型预训练支持处理高达256K的文本序列,大幅提升了长文本上下文的处理能力,能够更高效地完成长文本任务。

  据了解,Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异,在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先,超越了Llama3.1和Mixtral等一流开源模型。

  此外,腾讯还宣布将推出自研的长文评测集“企鹅卷轴(PenguinScrolls)”,以填补行业在真实长文评测集上的空白。

  企鹅卷轴基于公开的金融、法律、学术论文等长文本构建,文本长度从1K到128K不等,覆盖深度阅读理解和长文推理任务。

     投稿邮箱:lukejiwang@163.com   详情访问鹿财经网:http://www.lucaijing.com.cn

相关推荐
京东发布自研智狼货到人系统:拣货效率提升3倍 京东发布自研智狼货到人系统:拣货效率提升3倍

原标题:京东发布自研智狼货到人系统:拣货效率提升3倍 11月5日消息,今日,

科技说2024-11-05

加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GP 加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GP

原标题:加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI 11月5日消息,近日,

科技说2024-11-05

买它还是苹果16!华为Mate 70下月发布:最贵版本 买它还是苹果16!华为Mate 70下月发布:最贵版本

原标题:买它还是苹果16!华为Mate 70下月发布:最贵版本要破万 10月19日消息,

科技说2024-10-19

奔驰宝马合资发力新能源!逸安启超充站将于1 奔驰宝马合资发力新能源!逸安启超充站将于1

原标题:奔驰宝马合资发力新能源!逸安启超充站将于10月24日发布 10月17日消息

科技说2024-10-17

老用户无缘!Intel官方超频利器XTU 10.0发布:仅支 老用户无缘!Intel官方超频利器XTU 10.0发布:仅支

原标题:老用户无缘!Intel官方超频利器XTU 10.0发布:仅支持酷睿Ultra 200S系列

科技说2024-10-17

向智能家居迈进!苹果明年将发布homeOS及两款大 向智能家居迈进!苹果明年将发布homeOS及两款大

原标题:向智能家居迈进!苹果明年将发布homeOS及两款大屏设备 10月4日消息,

科技说2024-10-04

AMD发布      AI小语言模型:6900亿token、推测解码提 AMD发布 AI小语言模型:6900亿token、推测解码提

原标题:AMD发布 AI小语言模型:6900亿token、推测解码提速3.88倍 10月1日消息

科技说2024-10-01

2024全球电子和家电品牌价值50强发布!苹果、三 2024全球电子和家电品牌价值50强发布!苹果、三

原标题:2024全球电子和家电品牌价值50强发布!苹果、三星、华为蝉联前三 9月

科技说2024-09-29

腾讯、同济大学重磅合作:打造大学教授AI智能体 腾讯、同济大学重磅合作:打造大学教授AI智能体

原标题:腾讯、同济大学重磅合作:打造大学教授AI智能体 9月27日消息,今天在

科技说2024-09-28

闲鱼将首次用上AI技术:“智能发布”“智能托管 闲鱼将首次用上AI技术:“智能发布”“智能托管

原标题:闲鱼将首次用上AI技术:智能发布智能托管年内上线 9月18日消息,据媒

科技说2024-09-18