微软推出 ZeRO++ 技术,可显著减少 AI 大模型训练时间和成本
(相关资料图)
微软研究人员日前推出了名为 ZeRO++ 的新技术,用于优化在训练大型 AI 模型时,容易遇到的数据传输成本和带宽限制的难题,可显著减少大模型训练时间和成本。
据悉,ZeRO++ 建立在现有的 ZeRO 传输技术基础上,并提供增强的通信策略,可提高训练效率,同时减少训练时间和成本。
▲ 图源 微软
为了减少参数通信量,ZeRO++ 可对权重进行量化,其利用基于块的量化方法来保持训练精度,这种优化的量化过程相对原始 Zero 传输技术更快更准确。为了能够尽量减少通信开销,ZeRO++ 通过在每台机器上保持完整的模型副本,以向 GPU 显存换取通信带宽。而在梯度通信方面,ZeRO++ 引入了一种名为 qgZ 的新的量化梯度通信方式,可以减少跨节点的流量和延迟。
▲ 图源 微软
这些改进的通信技术大大减少了通信量,微软研究人员表示,与 ZeRO 相比,ZeRO++ 减少了高达 4 倍的通信量,提高了训练吞吐量和效率。当在每个 GPU 上使用小批量大小时,在高带宽集群中,ZeRO++ 相比 ZeRO-3 的吞吐量提高了 28% 至 36%。在低带宽集群中,与 ZeRO-3 相比,ZeRO++ 实现了平均 2 倍的加速,使得大模型训练在更多种类的集群上更为可行。
例如 Turing-NLG、ChatGPT 和 GPT-4 这样的大型模型,其训练需要跨多个 GPU 设备占用大量显存和计算资源,而 ZeRO++ 引入了通信优化策略,以克服在低带宽集群上进行训练时原有 ZeRO 传输技术的带宽限制。目前微软已经放出了相关技术文档,研究人员可以利用 ZeRO++ 更有效地训练模型,在 AI 领域探索新的可能性。
标签:
热图推荐
创世纪
通信
最近更新
- 微软推出 ZeRO++ 技术,可显著减少
- 当前头条:科技思变 2023广汽科技日描
- 怎么安装Miflash? ipadflash插件安装
- 福昕阅读器怎么去除pdf水印? 福昕阅
- 世界聚焦:刚刚,微信否认
- win10玩红警卡顿严重解决方法是什么?
- 百度网盘隐藏空间位置介绍 百度网盘隐
- edge浏览器翻译网页的方法是什么? ed
- 爱普生打印机加墨水步骤是什么? 打印
- 今日最新!异天途小说_异天途
- 天猫积分查看方式是什么? 手机看天猫
- xgp如龙0调中文的方法是什么? 如龙极
- 知乎会员取消自动续费的方法是什么?
- 绝地求生1728×1080分辨率设置方法是什
- 崂山风景区:今日14时10分对景区全线暂
- OpenAI计划推出一款“工作助理” 或与
- 贵南高铁贵州段进入运行试验阶段-实时
- 【天天快播报】原创暑期书单|一个没有
- 揭秘云南双胞水厂家|热消息
- 青岛天胶库存小幅增加
- 小米汽车14.99万起售?小米公关称都是
- 环球讯息:三星准备在2023年下半年大规
- 英伟达与云计算巨头Snowflake达成合作
- 芯科科技波士顿办公室设立全新的Connec
- 快资讯:突破3000家! 看必胜客如何在
- 当前热门:“日本闲鱼”Mercari 对 3
- 每日讯息!IPO研究|预计2027年中国B2C
- 浦东、嘉定、闵行位居上海市专精特新“
- 全球快资讯丨固定期限合同最多签几年_
- 世界观热点:信用卡逾期1年怎么协商还
热点
近日,《关于促进职业教育提质升级赋能绿色低碳高质量发展先行区建设的实施意见》发布,总体要求构建省域现代职业教育体系新模式为落脚点,
详细>>团队的凝聚力,是企业迈向辉煌的基石。优秀团队的背后,是大局意识、协作精神和服务精神的集中体现,是个体利益和整体利益的高度统一。为进
详细>>一年一度的618电商大促进入白热化冲刺阶段,很多网友憋足劲准备在618这波大促中购买一部心仪的智能手机。在今年的618换机大潮中,酷派COOL3
详细>>世界名表一比一高仿手表精仿名表。 支持货到付款批发市场一手货源专营各大精仿品牌大厂货:C厂,VS厂,JF厂,MKS厂,KW厂,HBBv6厂,JF厂
详细>>近日,正力新能与法国TIAMAT公司就深入推进钠离子电池研发达成深度合作,在常熟总部签订战略合作协议。此次合作将推进双方联合开发用于动力
详细>>前不久,酷派携三款新机官宣全渠道回归,激起了无数粉丝的青春回忆和购机热情。届时,官方slogan迎锋向上,热爱不止也成为了当下的励志话题。随
详细>>