努力替代CUDA!摩尔线程Torch-MUSA插件升级v1.3.0 完全开源
快科技讯10 月31 日摩尔线程宣布,针对PyTorch深度学习框架的MUSA插件“Torch-MUSA”,迎来重大更新新版本v1.3.0,全面兼容PyTorch 2.2.0。新版本进一步提升了PyTorch 在摩尔线程GPU MUSA 架构上的模型性能和覆盖率,能够更友好地支持模型迁移到摩尔线程GPU。
PyTorch是全球广泛使用的深度学习框架,在自然语言处理、计算机视觉、推荐系统等多个领域展现出强大的应用能力。
摩尔线程Torch-MUSA专为PyTorch提供MUSA后端加速支持,使得用户能够在MUSA架构上流畅运行深度学习模型,充分发挥国产全功能GPU的强大计算能力。Torch-MUSA自发布以来,经历了多个版本的迭代,不断提升兼容性和性能。
从Torch-MUSA v1.0.0开始,率先支持PyTorch 2.0,带来显着的计算加速和易用性。
经过不断的开发和优化,最新版本v1.3.0全面支持PyTorch 2.2.0,极大提升了模型训练和推理的效率,满足更多高性能深度学习任务的需求。
目前,Torch-MUSA已完全开源,开发者可以通过访问GitHub获取源代码。
Moore Thread鼓励开发者积极参与项目的开发和改进,通过提交问题报告(issue)或代码修改申请(pull requests),共同推动Torch-MUSA和MUSA软件生态的持续进步和发展。
Torch-MUSA开源地址:https://github.com/MooreThreads/torch_musa
功能特性在Torch-MUSA 中,用户只需指定torch.device('musa') 即可轻松迁移现有PyTorch 模型以在MUSA 架构GPU 上运行,而无需大幅修改代码。
Torch-MUSA完全兼容PyTorch的自动微分和动态图机制,支持多种常用的神经网络模块和优化算法,加速关键深度学习算子的计算。
此外,Torch-MUSA还支持多种PyTorch功能,包括DDP、JIT、FSDP、Profiler、Extension等。
版本迭代v1.1.0:
第一个版本支持PyTorch 2.0,提供基本的张量运算和常见神经网络层的MUSA加速。
v1.2.0:
算子支持进一步扩展,支持全功能Profiler和MUSA Extension,并添加compare_tool和musa_converter等Torch-MUSA专有功能,帮助用户更快定位模型精度问题。
v1.3.0:
支持PyTorch2.2.0,进一步提升性能,支持FSDP,支持更复杂的模型和更大规模的数据处理。
未来计划Torch-MUSA将持续跟进PyTorch版本更新,计划支持更高版本的PyTorch。