加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

2024-11-05 20:39:07来源:快科技编辑:时寒峰

扫一扫

分享文章到微信

扫一扫

关注鹿财经网微信公众号

  原标题:加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

  11月5日消息,近日,摩尔线程上线了大语言模型高速推理框架开源项目vLLM的MUSA移植版本,为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的范例。

  摩尔线程表示,正努力围绕自主研发的统一系统架构GPU、MUSA软件平台,构建完善好用的MUSA应用生态。

  vLLM是一个高效且易用的大模型推理和服务框架,支持创新的PagedAttention内存管理、连续批处理请求、CUDA/HIP图的快速模型执行、CUDA核心优化、分布式推理支持等,可显著提高大语言模型(LLM)的推理性能。

  目前,vLLM已在各种大语言模型中得到广泛应用,成为业界常用的开源大模型推理框架。

  摩尔线程基于vLLM v0.4.2版本,进行了移植适配,使之支持摩尔线程GPU后端Device,并完全开源,开发者可以二次开发、升级vLLM到社区更新版本等。

  加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI加速替代CUDA!摩尔线程开源vLLM-MUSA 加速国产GPU AI

  值得一提的是,得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性,通过MUSIFY代码自动转换工具,用户可以快捷地将原有的CUDA代码迁移到MUSA平台,实现替代。

  同时,CUDA相关库的调用,也可以快速替换为相应的MUSA加速库,如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。

  摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容,大幅提升了应用移植的效率,缩短了开发周期,还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。

     投稿邮箱:lukejiwang@163.com   详情访问鹿财经网:http://www.lucaijing.com.cn

相关推荐
技嘉:锐龙9000全线支持加速模式 最高提升18% 技嘉:锐龙9000全线支持加速模式 最高提升18%

原标题:技嘉:锐龙9000全线支持加速模式 最高提升18% 10月31日消息,可以预料

科技说2024-10-31

Gemini Live免费了:只针对Android用户 替代Google助理 Gemini Live免费了:只针对Android用户 替代Google助理

原标题:Gemini Live免费了:只针对Android用户 替代Google助理 谷歌在Pixel 9系列手机

科技说2024-09-15

科大讯飞刘庆峰:人工智能将形成大量替代 应提 科大讯飞刘庆峰:人工智能将形成大量替代 应提

原标题:科大讯飞刘庆峰:人工智能将形成大量替代 应提前设计社会救援体系

科技说2024-07-05

多地监管机构盯上英伟达:狂占92%的GPU CUDA扼杀了 多地监管机构盯上英伟达:狂占92%的GPU CUDA扼杀了

原标题:多地监管机构盯上英伟达:狂占92%的GPU CUDA扼杀了公平竞争 7月2日消息

科技说2024-07-02

微软、亚马逊领衔!美国科技巨头不断加速全球 微软、亚马逊领衔!美国科技巨头不断加速全球

原标题:微软、亚马逊领衔!美国科技巨头不断加速全球AI布局 随着美国大型科

科技说2024-05-24

零售价近70000元!AMD宣布量产Alveo V80计算加速卡: 零售价近70000元!AMD宣布量产Alveo V80计算加速卡:

原标题:零售价近70000元!AMD宣布量产Alveo V80计算加速卡:板载32GB内存 5月15日

科技说2024-05-15

AI竞赛“剁手不能停”!微软向中东巨头豪掷15亿 AI竞赛“剁手不能停”!微软向中东巨头豪掷15亿

原标题:AI竞赛剁手不能停!微软向中东巨头豪掷15亿美元 加速全球扩张 在日益

科技说2024-04-16

全球      GPU加速向量数据库诞生 这家中国公司联 全球 GPU加速向量数据库诞生 这家中国公司联

原标题:全球 GPU加速向量数据库诞生 这家中国公司联手英伟达推出 向量数

科技说2024-03-22

华为替代小米跻身前五!成2023年Q4中国手机市场 华为替代小米跻身前五!成2023年Q4中国手机市场

原标题:华为替代小米跻身前五!成2023年Q4中国手机市场前5唯一正增长品牌

科技说2024-01-25

全面替代MIUI!小米澎湃OS进军海外:首发机型1月 全面替代MIUI!小米澎湃OS进军海外:首发机型1月

原标题:全面替代MIUI!小米澎湃OS进军海外:首发机型1月11日登场 1月6日消息,

科技说2024-01-06