AMD发布新GPU加速卡Instinct MI325X:八卡2TB HBM3E、FP8性能超每秒2亿亿次
快科技10月11日美国旧金山现场报道:在Advancing AI 2024大会上,AMD正式发布了新款GPU加速卡“Instinct MI325X”。
它建立在成功的MI300X 的基础上,主要是增强了HBM 内存部分。
【硬件规格、性能篇】
MI325X配备了多达256GB HBM3E内存,相比于MI300X又增加了64GB,还是八颗,但单颗容量从24GB增至32GB。同时,带宽从5.3TB/s来到了6TB/s也增加了约13%,Infinity Fabric总线的带宽仍为896GB/s。
性能没有变化,FP16 仍为1.3 PFlops(每秒1300 万亿次),FP8 为2.6 PFlops。
当然,核心规格保持不变:5nm XCD模块+6nm IOD模块、3.5D封装、1530亿个晶体管、304个计算单元。
然而,AMD透露MI325X的功耗达到了1000W,相比MI320X增加了750W。
MI325X也支持八块并行组成一个平台,这就有多达2TB HBM3E、48TB/s带宽,总的性能高达FP16 10.4 PFlops(每秒1.04亿亿次)、FP8 20.8 PFlops(每秒2.08亿亿次)。与NVIDIA H200 HGX相比,这个规模分别有80%、30%和30%的优势。
与NVIDIA H200相比,在无论单卡还是八卡平台,不同大模型推理的性能都可以领先20-40。的训练性能方面,单卡可领先H200 10%,而八卡平台则相同。
MI325X加速卡和平台将于第四季度内投产,合作伙伴的完整系统和基础设施解决方案将从明年第一季度开始持续推出。