商汤绝影宣布率先实现原生多模态大模型车端部署

在7月5日举行的WAIC 2024商汤科技“大爱无疆·向新力”人工智能论坛上，商汤科技方面发布了国内首个所见即所得模型日日新5o。据了解，该模型实时流式多模态交互体验对标GPT-4o，展现了采用混合端云协同专家架构商汤日日新5.5大模型的强大实力。

在此次活动中，商汤科技智能汽车平台品牌商汤绝影方面还宣布在行业内率先实现原生多模态大模型的车端部署，并对外展示了在3个不同算力平台上运行2.1B或8B端侧多模态大模型的适配能力。据悉，相较动辄有几秒延迟的云上部署方案，商汤绝影车载端侧8B多模态模型可以实现首包延迟低至300毫秒以内、推理速度40Tokens/秒。

据商汤绝影方面透露，上千TOPS算力的车载芯片将于明年问世，而基于更高算力的计算平台，其多模态大模型车端部署方案的首包延迟将进一步大幅度降低，推理速度将进一步提高，从而为用户带来更加流畅和自然的智能汽车交互体验。

值得一提的是，为解决自回归方式生成token效率较低等问题，商汤绝影方面还专为多模态大模型打造了高性能计算引擎HyperPPL。据了解，HyperPPL综合了大语言模型、多模态模型、CNN模型、前后处理完整的优化能力，是智能汽车领域最广泛的高性能AI芯片异构计算平台，为商汤绝影多模态大模型落地车端提供强大的计算底座。目前，HyperPPL扩展并支持主流车载计算硬件，兼容多种主流操作系统，适配多个车载芯片的部署平台。同时HyperPPL还针对车载多人场景进行了优化，使得车内多人并发情况下，车端多模态大模型的模型推理效率相比单人没有明显降低。

据了解，除在行业内率先实现原生多模态大模型的车端部署外，WAIC 2024期间商汤绝影方面还展示了可解释、可交互的自动驾驶大模型DriveAGI；发布了行业首个车载生成式交互界面随心界面（FlexInterface）、随意操控（AgentFlow）等车载AI Agent应用。此外，商汤绝影自动驾驶小巴也在此次活动中亮相，并成为大会唯一承担接驳任务的L4级别自动驾驶小巴。

对此，商汤科技联合创始人、首席科学家、绝影智能汽车事业群总裁王晓刚在此次活动现场表示，“原生多模态大模型是打开AGI大门的钥匙，商汤绝影正在激发AGI创造力，推动多模态大模型与智能汽车的深度融合，打造一系列全新的车载智能化产品，加速智能汽车向超级智能体进化，引领一场‘以人为本’的智能汽车交互的变革”。

【以上内容转自“三易生活网”，不代表本网站观点。如需转载请取得三易生活网许可，如有侵权请联系删除。】

延伸阅读：

• 商汤绝影高速智驾方案交付，首搭于哪咤S
• 商汤科技移动智能事业群智能驾驶副总裁石建萍：高效解决长尾场景是智驾场景覆盖度提升的前提 |第四届全球智能驾驶峰会