从阿里云方面获悉，全球最大的智能手机芯片厂商MediaTek联发科，已成功在天玑9300等旗舰芯片上部署通义千问大模型，首次实现大模型在手机芯片端深度适配。
通义千问在离线情况下依然可以流畅运行多轮AI对话。
具体来看，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台，可离线运行即时多轮AI对话应用，连续推理功耗增量不到3W，这是通义大模型首次完成芯片级的软硬适配，仅依靠终端算力便能拥有AI推理性能及功耗表现，标志着Model-on-Chip（芯片上模型）的探索正式从验证走向商业化落地新阶段。
基于天玑9300芯片，通义千问18亿参数大模型在推理时CPU占有率为30%左右，RAM占用少于2GB，推理速度超过20tokens/秒，可在离线环境下流畅实现多轮AI对话。据了解，相关成果将以SDK（软件开发工具包）的形式提供给手机厂商和开发者。
阿里云方面表示，将和联发科深度合作，向全球手机厂商提供端侧大模型解决方案。
联发科是全球智能手机芯片出货量最高的半导体公司，2023年第四季度出货超1.17亿部，苹果以7800万部的出货量位居第二。
来源|阿里云
编辑|UWBLAB芯实验室