AMD发布 AI小语言模型:6900亿token、推测解码提速3.88倍

2024-10-01 17:19:07来源:快科技编辑:时寒峰

扫一扫

分享文章到微信

扫一扫

关注鹿财经网微信公众号

  原标题:AMD发布 AI小语言模型:6900亿token、推测解码提速3.88倍

  10月1日消息,AMD发布了自己的 小语言模型(SLM),名为“AMD-135M”。

  相比于越来越庞大的大语言模型(LLM),它体积小巧,更加灵活,更有针对性,非常适合私密性、专业性很强的企业部署。

  AMD-135小模型隶属于Llama家族,有两个版本:

AMD发布      AI小语言模型:6900亿token、推测解码提速3.88倍

  一是基础型“AMD-Llama-135M”,拥有多达6700亿个token,在八块Instinct MIM250 64GB加速器上训练了六天。

  二是延伸型“AMD-Llama-135M-code”,额外增加了专门针对编程的200亿个token,同样硬件训练了四天。

  创建与部署流程

  它使用了一种名为“推测解码”(speculative decoding)的方法,通过较小的草稿模型,在单次前向传播中生成多个候选token,然后发送给更大的、更 的目标模型,进行验证或纠正。

  这种方法可以同时生成多个token,不会影响性能,还可以降低内存占用,但因为数据交易更多,功耗也会增加。

  AMD还使用AMD-Llama-135M-code作为CodeLlama-7b的草案模型,测试了推测解码使用与否的性能。

  比如在MI250加速器上,性能可提升最多约2.8倍,锐龙AI CPU上可提升最多约3.88倍,锐龙AI NPU上可提升最多约2.98倍。

  推测解码

  AMD-135M小模型的训练代码、数据集等资源都已经开源,遵循Apache 2.0。

  按照AMD的说法,它的性能与其他开源小模型基本相当或略有领先,比如Hellaswag、SciQ、ARC-Easy等任务超过Llama-68M、LLama-160M,Hellaswag、WinoGrande、SciQ、MMLU、ARC-Easy等任务则基本类似GTP2-124MN、OPT-125M。

     投稿邮箱:lukejiwang@163.com   详情访问鹿财经网:http://www.lucaijing.com.cn

相关推荐
2024全球电子和家电品牌价值50强发布!苹果、三 2024全球电子和家电品牌价值50强发布!苹果、三

原标题:2024全球电子和家电品牌价值50强发布!苹果、三星、华为蝉联前三 9月

科技说2024-09-29

上汽通用联合宁德时代推出行业      6C超快充磷酸 上汽通用联合宁德时代推出行业 6C超快充磷酸

原标题:上汽通用联合宁德时代推出行业 6C超快充磷酸铁锂电池:充电5分钟

科技说2024-09-25

AMD已拿下PS6芯片设计!Intel出局 价格谈不拢 AMD已拿下PS6芯片设计!Intel出局 价格谈不拢

原标题:AMD已拿下PS6芯片设计!Intel出局 价格谈不拢 9月18日消息,据外媒报道

科技说2024-09-18

闲鱼将首次用上AI技术:“智能发布”“智能托管 闲鱼将首次用上AI技术:“智能发布”“智能托管

原标题:闲鱼将首次用上AI技术:智能发布智能托管年内上线 9月18日消息,据媒

科技说2024-09-18

特斯拉全新OTA升级发布!新增家长控制、视觉限 特斯拉全新OTA升级发布!新增家长控制、视觉限

原标题:特斯拉全新OTA升级发布!新增家长控制、视觉限速等功能 9月14日消息

科技说2024-09-14

特斯拉又一颠覆性产品官宣!Robotaxi无人驾驶出租 特斯拉又一颠覆性产品官宣!Robotaxi无人驾驶出租

原标题:特斯拉又一颠覆性产品官宣!Robotaxi无人驾驶出租车将于10月10日发布

科技说2024-09-11

百度地图北斗高精车道级导航3.0发布:覆盖全国 百度地图北斗高精车道级导航3.0发布:覆盖全国

原标题:百度地图北斗高精车道级导航3.0发布:覆盖全国超41000个城乡镇 9月1

科技说2024-09-11

苹果官网上线秋季发布会倒计时:iPhone 16系列、 苹果官网上线秋季发布会倒计时:iPhone 16系列、

原标题:苹果官网上线秋季发布会倒计时:iPhone 16系列、AirPods 4来了 9月8日消息

科技说2024-09-08

终于等到!iPhone 16发布前夕苹果放行微信更新 终于等到!iPhone 16发布前夕苹果放行微信更新

原标题:终于等到!iPhone 16发布前夕苹果放行微信更新 前两天关于iPhone 16系列

科技说2024-09-06

全国      城际轨道分布式光伏发电项目并网:年 全国 城际轨道分布式光伏发电项目并网:年

原标题:全国 城际轨道分布式光伏发电项目并网:年发电可达5万兆瓦时

科技说2024-09-04