英特尔全新Gaudi2处理器面世中国市场,加速大规模深度学习训练与推理

作者: 来源: 中关村在线 2023-07-11 17:57:03

 

中关村在线消息,2023年7月11日,英特尔AI产品战略暨Gaudi2新品发布会在京举行。会上,英特尔正式于中国市场推出第二代Gaudi深度学习加速器——Habana Gaudi2。作为英特尔从云到端产品组合的重要组成,Gaudi2致力于以领先的性价比优势,加速AI训练及推理,为中国用户提供更高的深度学习性能和效率,从而成为大规模部署AI的更优解。

英特尔于中国市场推出Gaudi2深度学习加速器

英特尔执行副总裁兼数据中心与人工智能事业部总经理Sandra Rivera指出,“英特尔致力于通过为客户提供广泛的硬件选择,并支持开放的软件环境,加速人工智能技术的发展。凭借包括至强可扩展处理器和Gaudi2深度学习加速器在内的产品组合,英特尔正在降低人工智能的准入门槛,并强化客户在云端通过网络和智能边缘部署这一关键业务技术的能力,从而帮助构建中国人工智能的未来。”


(相关资料图)

为深度学习而生的全新Gaudi2训练加速器

该Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B,以第一代Gaudi高性能架构为基础,以多方位性能与能效比提升,加速高性能大语言模型运行。该加速器具备:

●24个可编程Tensor处理器核心(TPCs)

●21个Gbps(RoCEv2)以太网接口

●96GB HBM2E内存容量

●2.4TB/秒的总内存带宽

●48MB片上SRAM

●集成多媒体处理引擎

Habana Gaudi 2深度学习加速器

Gaudi2加速器的出色性能在6月公布的MLCommons MLPerf基准测试中得到了充分认证,其在GPT-3模型、计算机视觉模型ResNet-50(使用8个加速器)、Unet3D(使用8个加速器),以及自然语言处理模型BERT(使用8个和64个加速器)上均取得了优异的训练结果。与市场上其他面向大规模生成式AI和大语言模型的产品相比,Gaudi2拥有卓越的性能与领先的性价比优势,能够帮助用户提升运营效率的同时,降低运营成本。

此外,Gaudi2可为大规模的多模态和语言模型提供出色的推理性能。在最近的Hugging Face评估中,其在大规模推理方面的表现,包括在运行Stable Diffusion(另一个用于从文本生成图像的最先进生成式AI模型之一)、70亿以及1760亿参数BLOOMz模型时,在行业内保持领先。

满足大语言和多模态模型的需求

Gaudi2深度学习加速器的架构旨在高效扩展,以满足大规模语言模型及生成式AI模型的需求。其每张芯片集成了21个专用于内部互联的100Gbps(RoCEv2 RDMA)以太网接口,从而实现低延迟服务器内扩展。

在Stable Diffusion训练上,Gaudi2展示了从1张卡至64张卡近线性99%的扩展性。此外,MLCommons刚刚公布的MLPerf训练3.0结果,亦验证了Gaudi2处理器在1750亿参数的GPT-3模型上,从256个加速器到384个加速器可实现令人印象深刻的接近线性的95%扩展效果。

具备成熟的软件支持,Gaudi2产品在中国市场正式上市

伴随日益增长的生成式AI及大语言模型需求,英特尔亦致力于打造领先、成熟的软件支持,充分释放Gaudi2深度学习加速器性能。

为支持客户轻松构建模型,或将当前基于GPU的模型业务和系统迁移到基于全新Gaudi2服务器,并帮助保护软件开发投入,SynapseAI软件套件针对Gaudi平台深度学习业务进行了优化,旨在与广泛的软件生态系统一起,帮助简化模型的开发和迁移。SynapseAI集成了对TensorFlow和PyTorch框架的支持,并提供众多流行的计算机视觉和自然语言参考模型,能够满足深度学习开发者的多样化需求。

目前,英特尔正与浪潮信息合作,打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。该服务器集成了8颗Gaudi2加速卡HL-225B,还包含双路第四代英特尔至强可扩展处理器。

基于Gaudi2加速器的浪潮NF5698G7服务器

携手中国产业生态,共启人工智能新篇

多年来,借助强大的AI软硬件基础,英特尔一直致力于为AI领域的各类工作负载提供业界领先的卓越性能,并通过开放的生态、丰富多样的产品选择不断降低AI部署的门槛,并为中国的AI发展提供坚定支持。

本次发布会上,美团、百度与浪潮信息等生态伙伴分别分享了其基于英特尔软硬件产品组合的多样化智能业务进展。百度智能云服务器高级经理何永占表示,集成英特尔AMX加速引擎的第四代英特尔至强可扩展处理器为ERNIE-Tiny模型带来了多倍的性能优化,百度将持续构建领先的AI全栈能力和全面的开放生态,并期待与英特尔在未来的AI领域展开更为广泛、深入的合作。浪潮信息高级产品经理王磊强调,NF5698G7是专为面向生成式AI市场创新开发的新一代AI服务器,支持8颗OAM高速互联的Gaudi2加速器,具备高性能、高扩展、高能效和开放生态等优点,将为AI客户提供强大的大模型训练和推理能力。未来,浪潮信息将继续携手英特尔,为行业打造创新、领先的产品方案。

此外,多家本土生态伙伴亦表明了与英特尔在当下及未来产品合作上的坚定立场与长远展望。新华三集团计算存储产品线副总裁刘宏程指出,新华三智慧计算秉持内生智能的技术理念,基于硬件使能、前瞻技术、绿色低碳等全方位能力,助力AI产业的高速发展。基于英特尔Gaudi2AI加速器,新华三正与英特尔紧密合作,开发适合大模型训练和推理的高性能AI服务器,推动智能算力的普惠创新。与此同时,超聚变数字技术有限公司算力基础设施领域总裁唐启明表示,非常荣幸见证英特尔Gaudi2的发布。作为英特尔的长期战略合作伙伴,超聚变将一如既往地携手英特尔,共同推出基于Gaudi2的全新产品与解决方案,助力企业的AI场景成熟商用和规模落地。

未来,英特尔将持续引领产品技术发展,进一步加速大规模深度学习部署,助力中国本地AI市场发展。

 

相关文章
最近更新
  • 英特尔全新Gaudi2处理器面世中国市场,加速大规模深度学习训练与推理

    英特尔全新Gaudi2处理器面世中国市场,加速大规模深度学习训练与推理

    2023-07-11

  • 从“用上水”到“用好水”——山东加强农村供水保障走访见闻

    从“用上水”到“用好水”——山东加强农村供水保障走访见闻

    2023-07-11

  • “十四五”以来,山东新增绿色建筑4.44亿平方米

    “十四五”以来,山东新增绿色建筑4.44亿平方米

    2023-07-11

  • 为抗议RedditAPI收费 《2077》等讨论区狂刷果体图

    为抗议RedditAPI收费 《2077》等讨论区狂刷果体图

    2023-07-11

  • 贵州检察机关依法对张仕和涉嫌受贿、国有公司人员滥用职权案提起公诉

    贵州检察机关依法对张仕和涉嫌受贿、国有公司人员滥用职权案提起公诉

    2023-07-11

  • 铁路等部门积极保障暑运出行

    铁路等部门积极保障暑运出行

    2023-07-11

  • 宏润建设:中标4.12亿元重大工程项目

    宏润建设:中标4.12亿元重大工程项目

    2023-07-11

  • 直播预告 | “稳增长”叠加“中报行情” 结构性机会怎么抓?

    直播预告 | “稳增长”叠加“中报行情” 结构性机会怎么抓?

    2023-07-11

  • 广东宜传|7月18日首场中国现代金银币专场拍卖会,即将开拍

    广东宜传|7月18日首场中国现代金银币专场拍卖会,即将开拍

    2023-07-11

  • 开启聚合竞争通道 同城即配淘汰赛加速

    开启聚合竞争通道 同城即配淘汰赛加速

    2023-07-11

  • 绍兴市保险行业协会开展 “7.8全国保险公众宣传日”系列宣传活动

    绍兴市保险行业协会开展 “7.8全国保险公众宣传日”系列宣传活动

    2023-07-11

  • 东方电热:上半年净利同比预增13.06%-40.5%

    东方电热:上半年净利同比预增13.06%-40.5%

    2023-07-11

  • 小区长椅旧貌换新颜 ​居民舒适更舒心

    小区长椅旧貌换新颜 ​居民舒适更舒心

    2023-07-11

  • 与世界对话|英国驻重庆总领事馆代总领事施博荣:中英两国力求共同保护生态环境

    与世界对话|英国驻重庆总领事馆代总领事施博荣:中英两国力求共同保护生态环境

    2023-07-11

  • 张兰败诉!5537万美元或将被CVC接管,高价买了个什么教训?

    张兰败诉!5537万美元或将被CVC接管,高价买了个什么教训?

    2023-07-11

  • 【调研快报】南矿集团接待工银瑞信等多家机构调研

    【调研快报】南矿集团接待工银瑞信等多家机构调研

    2023-07-11

  • 首超2亿元!新开源预计今年上半年盈利创历史最佳

    首超2亿元!新开源预计今年上半年盈利创历史最佳

    2023-07-11

  • 张家港:坚守岗位战高温

    张家港:坚守岗位战高温

    2023-07-11

  • “金融十六条”迎优化,支持房企存量融资合理展期

    “金融十六条”迎优化,支持房企存量融资合理展期

    2023-07-11

  • 7月10日东明石化硫磺报价暂稳

    7月10日东明石化硫磺报价暂稳

    2023-07-11

  • 春夏养阳!三伏天晒背最佳时间表:上午9点到10点 下午4点到6点

    春夏养阳!三伏天晒背最佳时间表:上午9点到10点 下午4点到6点

    2023-07-11

  • 郑州字节跳动招人吗

    郑州字节跳动招人吗

    2023-07-11

  • 主力砸盘是什么意思?和洗盘有什么区别?

    主力砸盘是什么意思?和洗盘有什么区别?

    2023-07-11

  • 中梁控股:2023年上半年累计交付5.1万套房屋

    中梁控股:2023年上半年累计交付5.1万套房屋

    2023-07-11

  • 全国人大第五次发展中国家议员研讨班访滇座谈会在昆举行

    全国人大第五次发展中国家议员研讨班访滇座谈会在昆举行

    2023-07-11

  • 理柏:2023年股债双赢?如何在美联储紧缩后寻找增长型股票

    理柏:2023年股债双赢?如何在美联储紧缩后寻找增长型股票

    2023-07-11

  • 比男子第一快20分钟!41岁四孩妈妈夺“恶水135超马”冠军

    比男子第一快20分钟!41岁四孩妈妈夺“恶水135超马”冠军

    2023-07-11

  • AI for 药物研发,新药触手可及

    AI for 药物研发,新药触手可及

    2023-07-11

  • “罚单”落地 平台企业金融业务转入常态化监管

    “罚单”落地 平台企业金融业务转入常态化监管

    2023-07-11

  • “宁波银行杯”全民迎亚运毅行火热开走

    “宁波银行杯”全民迎亚运毅行火热开走

    2023-07-11