高能低耗易部署,爱芯元智AX650N成Transformer最佳落地平台|当前资讯
近来,ChatGPT成为社会各界关注的焦点。从技术领域看,ChatGPT的爆发是深度学习领域演进、发展和突破的结果,其背后代表着Transformer结构下的大模型技术的飞速进展。因此,如何在端侧、边缘侧高效部署Transformer也成为用户选择平台的核心考量。
2023年3月,爱芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的优异表现,AX650N受到越来越多有大模型部署需求用户的青睐,并且先人一步成为Transformer端侧、边缘侧落地平台。
(资料图片)
Transformer是当前各种大模型所采用的主要结构,而ChatGPT的火爆让人们逐渐意识到人工智能有着更高的上限,并可以在计算机视觉领域发挥出巨大潜能。相比于在云端用GPU部署Transformer大模型,在边缘侧、端侧部署Transformer最大的挑战则来自功耗,这也使得爱芯元智兼具高性能和低功耗特质的混合精度NPU,成为端侧和边缘侧部署Transformer的首选平台,而其优越性能则决定了Transformer的运行效果。
作为人工智能视觉感知芯片研发及基础算力平台公司,爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的Transformer网络SwinT,在爱芯元智AX650N平台表现出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的极易部署能力,都让AX650N在Transformer的落地中有着领先的优势地位。
具体来看,361帧的高性能,可媲美汽车自动驾驶领域基于GPU的高端域控SoC;而80.45%的高精度成绩同样高于市面平均水平;199 FPS/W的速度则充分体现出低功耗的特点,对比于目前基于GPU的高端域控SoC,有着数倍的优势;更为重要的,AX650N部署方便,GitHub上的原版模型可以在爱芯元智的平台上高效运行,不需要对模型做修改,亦无需QAT重新训练。与此同时,AX650N支持低比特混合精度,用户如果采用INT4,可以极大地减少内存和带宽占用率,达到有效控制端侧、边缘侧部署成本的目的。这些特性都保证了AX650N作为人工智能算力平台,最终落地效果更好用、更易用,且大幅提升了用户效率。
目前,AX650N已适配包括ViT/DeiT、Swin/SwinV2、DETR在内的Transformer模型,在DINOv2也已达到30帧以上的运行结果,这也更便于用户在下游进行检测、分类、分割等操作。基于AX650N的产品目前已在智慧城市、智慧教育、智能制造等计算机视觉核心领域发挥出重要作用。
接下来,爱芯元智AX650N将会针对Transformer结构进行持续优化,并且探索更多的Transformer大模型,例如多模态大模型,不断让Transformer在爱芯元智平台上得到更好的落地效果。值得一提的是,爱芯元智还将推出相应开发板,满足开发者对Transformer深度研究的需求,探寻更丰富的产品应用。
“爱芯元智将继续努力打造基于芯片+软件的端侧、边缘侧人工智能算力平台,让智能落实到生活的真实场景,最终实现普惠AI造就美好生活的企业愿景”,爱芯元智创始人、CEO仇肖莘女士表示。未来,爱芯元智将在成为人工智能算力平台型公司的道路上继续探索,加速基于Transformer的大模型在端侧、边缘侧落地的节奏,让普惠智能真正落地生根,开花结果。
关于爱芯元智:
爱芯元智成立于2019年5月。作为人工智能视觉感知芯片研发及基础算力平台公司,爱芯元智组建了从芯片设计、研发到生产的全功能团队,核心成员均参与过10颗以上芯片的设计和生产,在产品规划和产品落地上具有丰富经验。
目前,爱芯元智已成功研发并量产了三代多颗端侧、边缘侧智能视觉感知芯片,所有芯片产品均具备低功耗优势及优异的图像处理能力。凭借自研核心技术——爱芯智眸®AI-ISP和混合精度NPU,爱芯芯片产品可满足客户不同场景的产品需求,相关产品和解决方案已成功落地华东、华南、华北,广泛应用于智慧城市、智能交通、智慧家居、智慧制造、智能消费等领域。
标签:
2023-05-30 10:54:59
2023-05-30 10:25:35
热图推荐
创世纪
通信
最近更新
- 高能低耗易部署,爱芯元智AX650N成Tran
- 环球关注:山东省副主任医师晋升条件_
- 法媒:梅西父亲接受利雅得新月2年12亿
- win11怎么去除快捷方式小箭头? Win10
- 数据透视表制作教程是什么? 数据透视
- 雷电模拟器卡顿解决方法是什么? 雷电
- wallpaperengine手机版使用方法是什么
- 苹果电脑充不进去电的原因是什么? 苹
- 电脑WiFi功能消失解决方法是什么? 电
- win10开机登录密码取消不掉怎么办? w
- qq更改实名认证的方法是什么? qq已被
- win10玩不了传奇解决方法是什么? win
- 腾讯会议录制视频有声音的方法是什么?
- 环球最资讯丨交警捡货物归还 失主送锦
- 选角大胆掩盖不了内核守旧,《小美人鱼
- 世界观焦点:日本央行行长:2023财年下
- 搭2.0T发动机 大通领地汽油版6月2日上市
- “车联万物”C-V2X将如何改变出行方式
- 当前视讯!现代高性能N品牌电竞挑战赛
- 环球今日讯!全面发力 董友峰/赵景峰
- 捷途百家体验中心落地 全面混动化布局
- SSD大牌被卷到!铠侠RC20史低价:1TB
- 2023中国科幻大会开幕 北京石景山区首
- 天禄科技:向特定对象发行股票申请获深
- 官方通报“男子砍杀柯基并威胁妻子”:
- 安全过“六一”!这些儿童节消费提示需
- hbuilder颜色选择调出教程是什么? HB
- 抖音私信封禁解封方法是什么? 抖音账
- qq转发说说设置权限的教程是什么? qq
- 微星主板恢复出厂设置的方法是什么?
热点
汽车消费的风潮越来越具体化,用户定义产品如今已经演变成圈层定义产品了。合创汽车是积极践行这一理念的车企。上海车展上,合创带来了圈层
详细>>想必每一个电竞玩家都梦想拥有一台可以随时随地开黑的汽车。今年上海车展上,合创亮相了一款移动电竞堡垒合创V09雷蛇版。这款新车是由合创
详细>>MPV这个以往冷清的细分市场正被一大波新车型推向增长轨道,也应验了合创汽车董事、联席总裁杨颖去年成都车展上的预言:电动车时代,SUV份额
详细>>5 月 17 日,2023 阿里云峰会·常州站上,阿里云正式发布第八代企业级计算实例 g8a 以及性能增强性实例 g8ae。两款实例搭载第四代
详细>>4月26日,中国信息通信研究院联合全球知名调研机构IDC发布《全球云游戏产业深度观察及趋势研判研究报告(2023年)》,瑞驰基于ARM架构自研的SoC
详细>>5月12日电 2023世界品牌莫干山大会系列活动5月10日-12日在浙江省湖州市德清县举行。11日,新华社品牌工程与浙江哈尔斯真空器皿股份有限公
详细>>