英特尔宣布MLPerf测试结果验证HabanaGaudi2性能稳超英伟达

，英特尔宣布Habana Gaudi2深度学习处理器在MLPerf行业测试中的表现优于Nvidia A100提交的AI训练时间这些结果突出了在5月英特尔工业创新峰会上发布的Gaudi2处理器在视觉和语言模型培训时间方面的优势

英特尔执行副总裁，数据中心和人工智能事业部总经理桑德拉·里维拉表示:很高兴和大家分享高迪2在MLPerf基准测试中的出色表现我也为英特尔团队在产品发布后短短一个月内取得的成绩感到骄傲我们认为，在视觉和语言模型方面提供领先的性能可以为客户带来价值，并有助于加速他们的AI深度学习解决方案

借助Habana Labs的Gaudi平台，英特尔数据中心团队可以专注于处理器技术的深度学习，使数据科学家和机器学习工程师能够高效地训练模型，并通过简单的代码构建新模型或迁移现有模型，从而提高工作效率，同时降低运营成本。

Habana Gaudi2处理器相比第一代Gaudi大幅提升了训练时间Habana Labs在2022年5月提交的Gaudi2处理器，在视觉和语言模型训练时间上已经超越了Nvidia A100—80G的MLPerf测试结果其中，对于visual model ResNet—50，Gaudi2处理器的TTT结果比Nvidia A100—80GB短36%，Gaudi2的TTT测试结果比带有八个加速器的A100—40GB服务器短45%，这也是针对戴尔提交的ResNet—50和BERT模型

与第一代Gaudi处理器相比，ResNet—50模型中Gaudi2的训练吞吐量提高了3倍，BERT模型的训练吞吐量提高了4.7倍这些都归功于工艺技术从16 nm升级到7 nm，张量处理器核心数量增加了三倍，GEMM引擎的计算能力增加了三倍，封装的高带宽存储容量增加了三倍，SRAM带宽增加了一倍，容量增加了一倍对于视觉处理模型的训练，Gaudi2处理器集成了媒体处理引擎，可以独立完成AI训练所需的压缩图像的数据增强和预处理

两代高迪处理器的性能是由Habana客户的开箱即用的商业软件栈实现的，无需特殊的软件操作。

通过商业软件提供的开箱即用性能，在Habana的8个GPU服务器和HLS—Gaudi2参考服务器上进行了测试和比较其中，训练吞吐量来自NGC和哈瓦那的共同库TensorFlow docker，采用双方推荐的最佳性能参数，在混合精度训练模式下进行测量值得注意的是，吞吐量是影响最终训练时间收敛的关键因素

关于图形测试配置，请参见文本末尾的解释部分。

关于图形测试配置，请参见文本末尾的解释部分。

除了Gaudi2在MLPerf测试中的出色表现，第一代Gaudi在128个加速器和256个加速器的ResNet基准测试中表现出强劲的性能和令人印象深刻的近线性扩展，支持客户的高效系统扩展。

Habana Labs首席运营官Eitan Medina表示:我们最新的MLPerf测试结果证明，Gaudi2在训练性能上具有明显的优势我们将继续深入研究培训架构和软件创新，打造最具性价比的AI培训解决方案

描述:

ResNet—50性能比较中使用的测试配置

A100—80GB:Habana是2022年4月在Azure instance Standard _ nd 96 amsr _ A100 _ v4上测的，用的是A100—80GB，其中应用了NGC的TF docker 22.03—tf2—py3。

A100—40GB:Habana 2022年4月在DGX—A100上测的，用的是A100—40GB，其中应用了NGC的TF docker 22.03—tf2—py3。

v100—32g bnot，:Habana于2022年4月在p3dn.24xlarge上测量，使用V100—32GB，其中应用了NGC的TF docker 22.03—tf2—py3。

Gaudi2:Habana于2022年5月在Gaudi2—HLS系统上测量，使用Gaudi2，其中应用了SynapseAI TF docker 1.5.0。

结果可能会不一样。

BERT性能比较中使用的测试配置

A100—80GB:Habana于2022年4月在Azure instance Standard _ nd 96 amsr _ A100 _ v4上测试，使用A100—80GB，包括NGC的TF docker 22.03—tf2—py3。

A100—40GB:Habana于2022年4月在DGX—A100上进行了测试，使用的是含有NGC的A100—40GB TF docker 22.03—tf2—py3。

V100—32GB:2022年4月Habana在p3dn.24xlarge上测试，用了一个V100—32GB，包括NGC的TF docker 21.12—tf2—py3。

Gaudi2:Habana于2022年5月在Gaudi2—HLS上测试，使用了一个Gaudi2，包括SynapseAI TF docker 1.5.0。

结果可能会不一样。