当前位置： 首页 >> 手机通讯 >> 查看详情

通义大模型落地手机芯片离线环境可流畅运行多轮AI对话

来源： 环球网 日期：2024-03-28 责编： 殷绪江

3月28日，阿里云与半导体公司MediaTek联合宣布，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台，可离线流畅运行即时且精准的多轮AI对话应用，连续推理功耗增量不到3W，实现手机AI体验的大幅提升。这是通义大模型首次完成芯片级的软硬适配，仅依靠终端算力便能拥有极佳的推理性能及功耗表现，标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。
端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理，可大幅降低推理成本、保证数据安全并提升AI响应速度，让大模型可以更好地为用户提供个性化体验。然而，要将大模型部署并运行在终端，需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配，存在技术未打通、算子不支持、开发待完善等诸多挑战。
据了解，通义千问18亿参数开源大模型，在多个权威测试集上性能表现远超此前SOTA模型，且推理2048 token最低仅用1.8G内存，是一款低成本、易于部署、商业化友好的小尺寸模型。天玑9300集成MediaTek第七代AI处理器APU790，生成式AI处理速度是上一代AI处理器的8倍。阿里巴巴通义实验室业务负责人徐栋介绍称，阿里云与MediaTek在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作，实现了基于AI处理器的高效异构加速，真正把大模型“装进”并运行在手机芯片中，给业界成功打样端侧AI的Model-on-Chip部署新模式。
基于天玑9300芯片，通义千问18亿参数大模型在推理方面表现出了极佳的性能与功耗表现，推理时CPU占有率仅为30%左右，RAM占用少于2GB，推理速度超过20tokens/秒，系列指标均达到业界领先水平，可在离线环境下流畅实现多轮AI对话。据了解，相关成果将以SDK的形式提供给手机厂商和开发者。
此外，双方团队也已完成了通义千问40亿参数大模型与天玑9300的适配，未来还将基于天玑适配70亿等更多尺寸大模型，“打样”并支持开发更多AI智能体及应用。

标签：通讯系统通信科技电信

上一新闻：苹果全面反驳美国司法部反垄断指控，坚称用户选择未受限制

下一新闻：一加 Ace 3V 售价 1999 起，打造「年轻人的第一台 AI 手机」

【免责声明】： 凡注明 “环球科技网” 字样的图片或文字内容均属于本网站专稿，如需转载图片请保留 “环球科技网” 水印，转载文字内容请注明来源“环球科技网”；凡本网注明“来源：XXX(非环球科技网)”的作品，均转载自其它媒体，转载目的在于传递更多信息，并不代表本网赞同其观点和对其作品内容的实质真实性负责，转载信息版权属于原媒体及作者。如转载内容涉及版权或者其他问题，请投诉至邮箱；1978751725@qq.com

本网公告
环球科技网从不发布负面新闻资讯，也绝不会发布负面信息。如发现负面信息链接请甄别是否为环球科技网所发。
本网系北京伯乐传媒广告有限公司主办、所有。本网唯一域名（www.hqkjw.cn），其它域名链接均为假冒。望广大网民及企业主认真甄别。

咨询、采访、合作、投稿等请致电：13911566744（含微信）