vivo公布自研芯片黑科技 AI-ISP让算力捅破天

科技爱云资讯 2022-10-29 09:38

在讨论一款手机的实力时，影像是其中最重要的评判维度之一。随着手机摄影的发展，许多之前困扰手机的拍照难题，都迎来了行之有效的解决方案。其中，自研影像芯片成为移动影像迭代的一个核心方向，让手机能够在暗光和运动场景等一些高挑战性场景中拍出好照片。

如今，一聊到自研芯片，很多熟悉数码圈的朋友第一时间想到的可能就是蓝厂了。2021年，vivo X70系列携vivo自研芯片V1发布，实现更好的夜景成像效果，加之vivo对影像技术的大力投入，使得X系列获得了极高的市场与消费者口碑。从X70系列之后，手机行业也正式掀起了自研影像芯片的潮流。

在刚刚结束的影像战略发布会上，vivo展示了其完善的影像技术矩阵。作为影像算法升级的最有力保障，vivo宣布将在下一代自研芯片设计中升级全新的架构——从传统ISP架构升级为AI ISP架构，进一步提升影像效果体验。

那么问题来了，AI-ISP是什么？

传统ISP架构虽然能以极低延时处理大量的数据流水，但只能解决已知的、特定的问题，面对复杂、随机问题时则会面临巨大的困难。而AI擅长处理复杂的、未知的问题。因此，将传统 ISP 低延时、高能效的特点进一步带入到 AI 实时处理运算架构中，AI-ISP应运而生。AI-ISP架构结合两者的优势，相当于给传统ISP芯片加一个新的AI大脑。

据vivo介绍，在AI-ISP上集成vivo自研的AI计算单元，让数据吞吐速率、能效比都有了大幅提升，更适合海量的信息处理，因此能实现发散式的信息处理及存储，使得处理与存储的效率大大提高。在此基础上AI-NR降噪、HDR影调融合、MEMC插帧等算法效果可以得到极大的优化。

那么，NPU与AI-ISP又有什么不同？

相较于传统的NPU芯片，AI-ISP架构可加速 10bit高精度 MAC 深度学习加速器，带来了空前强大的AI计算能效，最大降低了软件对 NPU 调度造成的延迟。相比NPU的软件推理做法，推理延迟较传统NPU最多降低96%，能效比最高提升200%。

此外，基于AI-ISP架构，全新自研芯片的片上内存单元实现升级，算力高达1.3万亿bit/s的数据吞吐速率。其次升级AI计算单元，DLA加速器峰值能效比达到每瓦16.3 万亿次运算，这个数据也让vivo的AI ISP架构达到了行业的天花板水平。

AI-ISP能够给手机的拍照体验带来哪些显着的提升？

将夜景、人像和高清视频作为影像三个主要发展领域的vivo来说，新的AI-ISP具备的强大影像识别能力无疑能在这三个应用场景发挥重要的作用。

拿视频举例，借助超高的数据吞吐量和处理能力，视频录制时的MEMC插帧算法进一步降低了延迟，特别对运算能力要求更高的夜景视频。vivo在影像战略沟通会上展示了采用AI-ISP架构的下一代自研芯片机型的视频拍摄成果。拍摄1080p 60帧（fps）的夜景视频时，对比上一代机型，无论是画面的纯净度、细节、亮度、宽容度都比之前有了更大的提升。

可以预见到，搭载全新自研芯片的产品，甚至可以在露营的灯光下，拍到天空中的星点。

从国内几大手机的布局看来，发力自研芯片是所有人都要走的必经之路。而AI ISP的出现，vivo让手机自研芯片进入了一个全新阶段。我们几乎已经可以想象出即将发布的X90系列会在极限环境下会有更好的影像表现，特别是视频录制方面，让我们离全天候轻松拍出表现一致的影像又近一步。