腾讯发布开源MoE大语言模型Hunyuan
发布时间：2024-12-25 12:41:07 作者：玩站小弟 
我要评论
我要评论11月5日消息，腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为
。
11月5日消息，腾讯腾讯今日宣布推出业界参数规模最大、发布效果最好的开源开源MoE大语言模型Hunyuan-Large。
Huanyuan-large模型的模型总参数量为389B、激活参数为52B、腾讯训练token数量为7T、发布最大上下文长度为256K、开源词表大小为12.8w。模型
在技术创新方面，腾讯Hunyuan-large通过高质量的发布合成数据来增强模型训练，弥补了自然数据的开源不足。
其中，模型该模型预训练支持处理高达256K的腾讯文本序列，大幅提升了长文本上下文的发布处理能力，能够更高效地完成长文本任务。开源
据了解，Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异，在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先，超越了Llama3.1和Mixtral等一流开源模型。
此外，腾讯还宣布将推出自研的长文评测集“企鹅卷轴（PenguinScrolls）”，以填补行业在真实长文评测集上的空白。
企鹅卷轴基于公开的金融、法律、学术论文等长文本构建，文本长度从1K到128K不等，覆盖深度阅读理解和长文推理任务。
相关文章
作为国际知名PC硬件品牌的技嘉AORUS，除了各种高端炫酷的电脑硬件产品，最令人印象深刻的当属旗下的重甜心IP“雕妹”莫属了。以雕妹为主题的技嘉主板、周边还有相关直播活动都非常2024-12-25
2024-12-25
11月04日讯 博格巴妻子晒一家人周末休闲照，三个孩子身穿巴萨球衣。2024-12-25
[流言板]祖巴茨：对文班亚马的唯一办法，只能撞他由篮球资讯发表在篮球资讯 50211月06日讯 美媒Legion Hoops更新动态，转发了祖巴茨赛后采访，采访谈到了该如何对阵文班亚马。祖巴茨：“当他2024-12-25
本赛季场均至少15分10板&命中率60%+的球员：祖巴茨、字母、小萨
以上数据为今天赛前的）2024-12-25
10月26日讯 中甲倒数第二轮，冲超白热化！大连英博客场0-2不敌云南玉昆，广州队主场3-1胜延边龙鼎。中甲末轮将在11月3日14:30分同时开球，届时大连英博主场迎战上海嘉定汇龙，广州对客战南京城市2024-12-25
最新评论