Arm发布新一代边缘AI计算平台，可运行超10亿参数模型

2月27日，Arm控股有限公司发布了Armv9边缘人工智能(AI)计算平台。据悉，该平台可支持运行超10亿参数的端侧AI模型。

Arm高级副总裁兼物联网事业部总经理PaulWilliamson表示：“AI的革新已不再局限于云端。随着世界的互联和智能化水平的日益提升，从智慧城市到工业自动化，在边缘侧处理AI工作负载不仅带来显著的优势，其必要性更是不可或缺。专为物联网打造的Armv9边缘AI计算平台的推出，标志着这一发展趋(qū)势(shì)迈(mài)入(rù)了(le)重(zhòng)要(yào)的(de)里(lǐ)程(chéng)碑(bēi)。”

据介绍，Arm此次发布的(de)计(jì)算(suàn)平(píng)台(tái)集成(chéng)了(le)全新(xīn)的(de)超(chāo)高(gāo)能(néng)效Armv9CPU——Cortex-A320和支持Transformer算子网络的Ethos-U85NPU，打造出全球首个专为物联网优化的Armv9边缘AI计算平台。相较于去年推出的基于Cortex-M85的平台，新的边缘AI计算平台的机器学习(ML)性能提(tí)高(gāo)了(le)八(bā)倍(bèi)。Arm表(biǎo)示(shì)，从(cóng)授(shòu)权(quán)该(gāi)技(jì)术(shù)以(yǐ)构(gòu)建(jiàn)SoC芯(xīn)片(piàn)的(de)合(hé)作(zuò)伙(huǒ)伴(bàn)，到(dào)构(gòu)建(jiàn)下(xià)一(yī)代(dài)设(shè)备(bèi)的(de)ODM和(hé)OEM厂(chǎng)商(shāng)，该(gāi)平(píng)台(tái)受(shòu)到(dào)了(le)包(bāo)括(kuò)亚(yà)马(mǎ)逊(xùn)云(yún)科(kē)技(jì)(AWS)、西(xi)门子、瑞萨电子、研华科技和Eurotech在内的多家业界合作伙伴的支持。

记者在现场了解到，该平台能够支持基于智能体的AI应用上运行经过调优的大语言模型(LLM)和小语言模型(SLM)，从而开辟全新类别的边缘应用场景。在未来的场景中，智能决策将更接近数据采集源头，这不仅能显著减少延迟，还能有效提升隐私保护水平。