腾讯发布新一代超强算力集群:面向大模型训练,性能提升3倍
IT之家 4 月 14 日消息,IT之家从腾讯官方获悉,腾讯云发布了新一代 HCC 高性能计算集群,采用最新一代星星海自研服务器,搭载英伟达 H800 Tensor Core GPU。
(相关资料图)
腾讯官方称,该集群基于自研网络、存储架构,带来 3.2T 超高互联带宽、TB 级吞吐能力和千万级 IOPS。实测结果显示,新一代集群算力性能较前代提升 3 倍。
去年 10 月,腾讯完成首个万亿参数的 AI 大模型 —— 混元 NLP 大模型训练。在同等数据集下,将训练时间由 50 天缩短到 11 天。如果基于新一代集群,训练时间将进一步缩短至 4 天。
计算层面,服务器单机性能是集群算力的基础,腾讯云新一代集群的单 GPU 卡在不同精度下,支持输出最高 1979 TFlops 的算力。
针对大模型场景,星星海自研服务器采用 6U 超高密度设计,相较行业可支持的上架密度提高 30%;利用并行计算理念,通过 CPU 和 GPU 节点的一体化设计,将单点算力性能提升至更高。
网络层面,计算节点间,存在着海量的数据交互需求。随着集群规模扩大,通信性能会直接影响训练效率,需要实现网络和计算节点的最大协同。
腾讯自研的星脉高性能计算网络,号称具备业界最高的 3.2T RDMA 通信带宽。实测结果显示,搭载同等数量的 GPU,3.2T 星脉网络相较 1.6T 网络,集群整体算力提升 20%。
同时,腾讯自研的高性能集合通信库 TCCL,融入定制设计的解决方案。相对业界开源集合通信库,为大模型训练优化 40% 负载性能,消除多个网络原因导致的训练中断问题。
存储层面,大模型训练中,大量计算节点会同时读取一批数据集,需要尽可能缩短数据加载时长,避免计算节点产生等待。
腾讯云自研的存储架构,具备 TB 级吞吐能力和千万级 IOPS,支持不同场景下对存储的需求。COS+GooseFS 对象存储方案和 CFS Turbo 高性能文件存储方案,充分满足大模型场景下高性能、大吞吐和海量存储要求。
此外,新一代集群集成了腾讯云自研的 TACO 训练加速引擎,对网络协议、通信策略、AI 框架、模型编译进行大量系统级优化,大幅节约训练调优和算力成本。
腾讯混元大模型背后的训练框架 AngelPTM,也已通过腾讯云 TACO 提供服务,帮助企业加速大模型落地。
通过腾讯云 TI 平台的大模型能力和工具箱,企业可结合产业场景数据进行精调训练,提升生产效率、快速创建和部署 AI 应用。
依托分布式云原生的治理能力,腾讯云智算平台提供 16 EFLOPS 的浮点算力。
标签:
热图推荐
创世纪
通信
最近更新
- “连接”与“计算”——从物联网迈向智
- 腾讯发布新一代超强算力集群:面向大模
- 亚马逊宣布ChatGPT竞品Bedrock,邀请10
- 五指山消防联合辖区派出所开展娱乐场所
- 电脑开机密码忘了怎么进入系统_电脑开
- 世界速递!d盘无法格式化一直提示被占
- GW级产线开工 钙钛矿量产时代要来了?
- 国家能源局:3月份全社会用电量同比增
- 因制动盘螺栓断裂 英伦凯旋召回摩托车
- 因后备厢进水等隐患 奔驰召回GLE/GLS/
- 家电中的常见传感器应用
- 智慧照明的一些常见应用场景-世界今日
- 最高检发布未成年人检察社会支持体系示
- 百度云管家切换账号方法介绍 百度网盘
- 芒果TV自动续费关闭教程是什么? 芒果
- MuMu模拟器安装失败教程是什么? 网易
- MuMu模拟器手柄设置教程是什么? xbox
- MuMu模拟器崩坏学园3教程是什么? mum
- 中国大陆海事部门在台湾岛北部设禁飞区
- 科普丨手掌麻痛无力 “小心”腕管综合
- 航天科研人员留学遭策反,向间谍提供大
- 寿光智慧城市时空大数据平台省级试点项
- 因制动系统问题 五羊-本田召回部分摩
- 世界头条:4月14日城隍珠宝黄金577元/
- 当前资讯!武汉福泰珠宝周五(4月14日)
- 普华永道:中国奢侈品市场呈四大趋势
- 最新消息播报:津门虎官宣杨帆于洋明天
- 全球头条:最新消息播报:俄军官称缴获
- 特写:“核污染水的处理不能由日本政府
- 美篇删除文章教程是什么? 美篇App怎
热点
2023年4月8日(上海)——黑马原力在上海徐汇滨江进行了品牌全球首发。品牌首款MPS产品G60小黑在发布会现场以自动驾驶的方式闪亮登场,点燃
详细>>CB-FH52是爱普生推出的3LCD商务投影机。作为新一代的商务投影机,CB-FH52具有高达4000流明的色彩亮度,投屏画面明亮清晰、色彩鲜艳,一经推
详细>>2023年2月16日,由流媒体网、易目唯文化主办,黑龙江龙网视传媒有限公司协办的第七届金屏奖暨2022年度中国智能视听与科技创新产业盛典在哈
详细>>2月14日,首届华彩杯算力基础设施应用创新大赛(以下简称大赛)在京正式启动。中国工程院邬贺铨院士、张宏科院士,工信部信息通信发展司一级巡
详细>>2023年1月13日,2022(第六届)中国行业数字化年度风云榜(以下简称2022风云榜)评选结果正式发布。本届风云榜由信息化观察网组织发起,以5
详细>>每年过年,必不可少的项目之一,就是发红包。一封封烫金封口、漂亮厚实的红包,带着一句句恭喜发财的欢乐祝福,浓浓的年味瞬间扑面而来。在
详细>>