阿里云联发科手机芯片上部署通义千问大模型,可实现离线环境AI对话 - UWB芯片实验室

阿里云联发科手机芯片上部署通义千问大模型,可实现离线环境AI对话

从阿里云方面获悉,全球最大的智能手机芯片厂商MediaTek联发科,已成功在天玑9300等旗舰芯片上部署通义千问大模型,首次实现大模型在手机芯片端深度适配。

通义千问在离线情况下依然可以流畅运行多轮AI对话。
具体来看,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台,可离线运行即时多轮AI对话应用,连续推理功耗增量不到3W,这是通义大模型首次完成芯片级的软硬适配,仅依靠终端算力便能拥有AI推理性能及功耗表现,标志着Model-on-Chip(芯片上模型)的探索正式从验证走向商业化落地新阶段。

基于天玑9300芯片,通义千问18亿参数大模型在推理时CPU占有率为30%左右,RAM占用少于2GB,推理速度超过20tokens/秒,可在离线环境下流畅实现多轮AI对话。据了解,相关成果将以SDK(软件开发工具包)的形式提供给手机厂商和开发者。

阿里云方面表示,将和联发科深度合作,向全球手机厂商提供端侧大模型解决方案。

联发科是全球智能手机芯片出货量最高的半导体公司,2023年第四季度出货超1.17亿部,苹果以7800万部的出货量位居第二。

来源|阿里云
编辑|UWBLAB芯实验室

欢迎投稿至UWB芯片实验室uwblab.cn

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注