对话后摩智能CEO吴强:未来90%的数据处理可能会在端边
在后摩智能展台,后摩智能M50系列产品首次亮相,后摩智能M50芯片与力谋®BX50计算盒子、力擎LQ50 Duo M.2卡等旗下核心产品一同位于展台的核心位置。
作为主打端边大模型和存算一体的芯片企业,后摩智能这次带来的M50芯片专为大模型推理设计,主要面向AI PC(人工智能个人电脑)、智能终端等场景。“未来大模型有两个重要发展趋势:一是大模型的重心逐渐从训练向推理迁移。二是逐渐从云端智能逐渐向边端或者端边智能迁移。”7月25日,后摩智能CEO(首席执行官)吴强对观察者网等表示。
他认为,未来的计算格局有可能是端、边、云的混合体,但是90%的数据处理可能会在端和边,只有10%的训练算到云端做更昂贵或者更复杂的任务在云端做。
图源:观察者网
后摩智能创立于2020年,创立早期定位为基于存算一体技术的大算力AI(人工智能)芯片研发企业。创始人吴强拥有美国普林斯顿大学博士学位,曾任地平线CTO(首席技术官)。
M50芯片被视为后摩智能过去两年交出的一份答卷。
据介绍,M50芯片实现了160TOPS INT8、100TFLOPS bFP16的物理算力,搭配最大48GB内存与153.6 GB/s的超高带宽,典型功耗仅10W,相当于手机快充的功率,能让PC、智能语音设备、机器人等智能移动终端高效运行1.5B到70B参数的本地大模型,实现了“高算力、低功耗、即插即用”。
除了M50芯片,后摩智能此次发布的产品矩阵形成了覆盖端侧到边缘的多元算力方案。力擎LQ50 Duo M.2卡以口香糖大小的标准M.2规格,为AI PC、陪伴机器人等移动终端提供“即插即用”的端侧AI能力。
当前,后摩智能通过存算一体技术与大模型的深度融合,推动AI大模型在端边侧实现“离线可用、数据留痕不外露”。
吴强称,M50芯片的发布是后摩智能现阶段迈出的重要的一步,后面会推出更多的芯片去解决端边大模型的算力和功耗问题以及带宽问题。“长期来说,后摩希望定位在端边AI计算。”
在他看来,M50的发布只是一个开始,“我们的目标是让大模型算力像电力一样随处可得、随取随用。”
图源:观察者网
2024年初,后摩智能把第一代芯片调整了一版,推出了M30,针对大模型做了一些调整和优化。
吴强还提到,机器人包括具身智能机器人(特指陪伴机器人),更像是十年前的智能驾驶,是一个新兴的垂直赛道,格局还未定,“大家还有机会”。
“只要是端边,只要对大模型有需要,对功耗敏感,都有可能是我们的客户,需要我们逐步地拓展。目前大方向是消费终端、智能办公、智能工业,机器人也算其中,这是我们重点在布局的几个领域。”他表示。
本文系观察者网独家稿件,未经授权,不得转载。
1、罗马诺:尤文仍推进从巴黎签下穆阿尼,球员亦将斑马军团视为首选,尤文罗马比赛
2、俄警告美国若对采购俄罗斯石油和天然气国家实施二级制裁 后果必将反噬自身
3、对话北京洪水中勇救百余人的铲车司机王天宇:“铲车侠”是一个群体,说我是英雄那是过誉了