vivo X70的芯,可能是移动影像的未来
来源:
虎嗅网
日期:2021-09-11
责编:
殷绪江
一部手机里芯片包括处理器、存储、基带、图像处理、电源管理、屏幕显示……它们定义了你手机的几乎一切特性,这些年令国产安卓手机消费者受益颇多的快速充电,很大程度上就要归功于电源管理芯片创新应用。
需要注意的是,尽管这些源于芯片的功能,最终是由手机厂商交付给用户,但芯片里的绝大多数机会都不属于手机厂商。芯片需要长时间的积累,对手机厂商来说,能用钱买到合适的芯片,其实是经济上最高效的选择。今天,在终端与上游的采买、研发投入循环中,供应链与终端形成了技术与商业层面的双赢。但也许有一种芯片除外:图像处理芯片。实际上,这正是近期手机厂商们自研芯片的第一个目标,为什么它需要手机厂商亲自下场?自研影像芯片,是移动影像的未来吗?
这与移动影像的特性有密切的关系。我们可以看看昨天发布的vivo X70系列——第一部搭载国产手机厂商自研影像芯片的手机——问题的答案就在这里。
谁需要这颗芯片?
从手机解决了基本的流畅使用问题以来,影像就成了厂商的兵家必争之地。影像的重要性源于“分享”,社交媒体成为每个人的生活方式,影像与创作就必然是长远的需求。可以合理假设:越偏向“熟人社交”的关系链,影像创作设备越重要。在“私域”,比如在晚霞或者一场月食的时候,朋友圈的照片,就基本全靠设备的功力。影像源于社交需求,分享带来增长。我们有理由相信,每一家手机厂商,都早已注意到了这种关系,因此都在向更强的影像表现投入研究。手机摄影总要面对物理事实。更大的传感器获得更多有效的光信号,它当然更好,但往往也要搭配更厚重的镜头,直至拖垮手机的日常使用体验。还有更多的场景,被物理的规律限制住了。比如夜景拍摄需要延长曝光时间,但这与手机通常手持拍摄的习惯形成了天然的矛盾。又比如逆光拍摄,超大光比超出传感器宽容度,还有镜片反光导致的眩光等一系列麻烦。
手机摄影是不可逆的潮流,我们必须为物理限制找到解决方案——就是“算法”。用算法对抗物理规律,倒也不是手机摄影先开的头。大概十年前,在索尼著名的“黑卡“系列便携数码相机里,就加入了多张合成的夜景降噪算法,把原本需要的连续曝光拆分为少量多次,大幅减少了抖动模糊。也正是由于算法的加入,手机拍摄有了越来越强大的能力。比如手持夜景算法。早年数码相机在多张合成时甚至能看出物体位置变化的轨迹,现在手机用的算法早没了这个毛病。算法也可以实现曾经摄影师花大力气后期合成才能实现的效果。譬如早年的HDR和近年来的延时摄影。算法甚至可以“无中生有”。谷歌曾经用主摄镜头拍摄远景——它根本不能拍清楚远处的东西,而是根据模糊的图像计算出来的。感谢算法,我们的手机的拍摄效果好了,但另一方面,手机的拍摄也越来越慢了。你可能对手机拍摄时转圈圈的过程还有印象。伴随着拍照慢的,则是耗电和发热。还有更明显的:今天的手机,拍的都是“薛定谔的夜景”,你永远也不知道取景预览的样子跟最终成片差多少——预览时,你看到的是算法干预前的图像;拍摄后,夜景算法、HDR等一系列操作下来,就与预览相差甚远,往往会过亮。这些问题,绝大多数因为图像处理的计算速度跟不上算法的进步。怎样解决这些个问题?图像处理芯片就要登场了。
最早,我们用手机的CPU直接计算图像,后来,在手机拍照需求越来越明确时,手机CPU厂商开始在SoC中集成了相应的图像处理芯片,这些集成ISP中固化了特定的拍摄场景算法:夜景、人像等等。但ISP的功能提升,往往滞后于消费者的需求。例如,在抖音爆发增长的2016年,那时手机厂商们已经开始重点优化视频,但集成ISP可能不足以让厂商们迅速跟进市场需求。手机厂商们总要站在离消费者更近的地方,那就自己搞芯片吧。这也是今年X70所做的关键突破,vivo成了首个自研图像处理芯片的中国手机厂商。
根据9月6日vivo影像技术分享会公布的信息,V1芯片得益于专为图像处理设计的架构、大缓存、算法适配等特性,我们认为它拥有这三个远超传统计算摄影架构的优势:
首先,V1芯片大幅提升影像计算效率。在夜拍、人像模式等算法复杂的场景,提高运算效率,就可以缩短运算时间,优化拍摄体验。它还会带来另一个好处:省电。需要注意,V1芯片的定位和用途,并不是取代ISP,而是在主芯片ISP强大的运算能力基础上,叠加V1芯片的固化算法,性能上做到1+1>2。它将原本用软件实现的算法,改用硬件芯片实现,这个过程将节约50%的电路功耗。
第二,一些曾经难以实现体验突破的关键场景,V1芯片能做好,这就让vivo有了技术优势。比如夜景视频的实时预览、“所见即所得”,我们就能更准确地把握夜景的曝光参数,实现一次成片、更好出片。既然有了实时预览能力,那给视频也搭载复杂的夜景算法,自然不在话下。这就成了X70系列的另一项重要影像能力:极夜视频。在V1芯片协助下,手机可以低功耗运行4K30FPS的MEMC去噪和插帧,配合原有ISP的降噪功能,实现对夜景视频的二次提亮与降噪。
最后,得益于自研的芯片与算法,vivo有更多可能性,探索更多的场景。开发更灵活、能跑更复杂的算法,自研芯片是诞生新影像算法的沃土,V1芯片可以让vivo自己定义影像的演进方向。
除了芯片,手机摄影就没有别的讲究了?
当然不是。移动影像是一个复杂的系统工程,它不能简单复制我们曾经在专业相机上,用复杂的光学结构、更长的镜头和更大的底片所得到的好效果。但手机的光学结构,在2021年,仍然有巨大的提升空间。经常拍摄的人可能会对逆光拍摄又爱又恨——爱它独特的表现力,恨设备的能力不足。今天手机的HDR算法,已经能比较好地解决逆光场景的运算问题。2019年,vivo在X20上,就推出了“逆光也清晰”的关键算法。但对于眩光、鬼影等负面现象,还是要解决一些物理问题,比如镜头本身的光学特性。
光学巨头蔡司,在这方面就是专业的。它是ASML的股东和光学系统供应商,超高精度的光学器件,就是光刻机的超高门槛之一;而在民用领域,蔡司在镜头结构(比如颠覆传统的Otus系列)和镜头镀膜(经典的T*镀膜)上的经验与创新,保持着长久的生命力。手机当然应该学习。去年vivo与蔡司达成合作,考虑到手机的研发周期,今年的X70上,我们理应能看到更多光学系统改进。比如镜头。根据发布会信息,X70 Pro+的主摄首次使用了低色散超高透玻璃镜片。色散会直接导致影像清晰度下降。因此,顶尖单反镜头里通常加入低色散镜片来解决这个问题,它是单反相机镜头里最值钱的部分之一。vivo与蔡司为X70 Pro+打造的这枚镜片,是目前手机行业里色散最低的。理论上说,它能让拍出来的照片更纯净。
比如镀膜。在X70系列上,我们就一次看到了两种全球唯一的手机镜头镀膜技术。一个是ALD镀膜。ALD,全称“原子层沉积技术”(Atomic layer deposition),是一种通过气体反应物在固体表面发生反应并形成高精度、无针孔、超薄薄膜的技术。根据vivo介绍, ALD镀膜比传统离子溅射镀膜具有更低的反射率、更好的一致性等技术优势。这项技术首先应用于vivo X60系列上,今天vivo仍然是全球唯一使用ALD镀膜的手机厂商。另一个则是全球唯一的双低反镀膜。科学家发现某些夜行昆虫的眼睛反射率非常低,是因为眼睛表面有纳米级的不平整。同理,将镀膜表面做成一群小于可见光波长(几百纳米)的锥形结构,可以显著抑制反射光,它被称作“亚波长结构镀膜”,在上万元的单反相机镜头应用了十多年。
vivo X70系列是目前唯一采用亚波长结构镀膜的手机,它将镜片反射率从0.8%降到0.1%,大幅抑制了手机拍摄中的眩光和鬼影。此外,vivo X70系列还是首个采用色素旋涂工艺的安卓手机,用于抗杂光等。得益于这些新技术,X70系列自然也获得了蔡司T*镀膜的认证。这可能是这些年来,我们第一次在一部手机上看到这么多基础光学领域的升级。我们都知道业界有这么多值得期待的技术,但它何时能成熟、量产,为什么是vivo先拿下来这些关键的创新?某种程度上说,这要感谢技术预研。
可复制的创新“铁三角”
近年来手机产业也面临着诸多新鲜技术的冲击。到底什么技术才是能长远地形成壁垒和差异化、并对市场产生地长期影响的?不妨来看看vivo的回答。2019年vivo就表明了他们认为的四大“长赛道”:设计、影像、系统、性能。今天,这四项仍然是消费者购机决策的关键因素。X70诞生的时刻,已经是vivo在长赛道上有了初步积累后,所诞生的脱胎换骨的新一代旗舰手机。手机行业的公有技术,难以形成长期的竞争力。例如,屏下摄像头非常热闹,但在胡柏山看来,它就不能算作一条“长赛道”:当供应链的技术突破了“可用”阈值,就不再能成为竞争优势。
这样的例子有很多。例如屏下指纹识别、高刷新率屏幕……谁早做、谁晚做,都没有产生决定性的影响。但关键的长赛道,比如影像,成了长达十年来,手机厂商们始终在突破、并且远远没有到达终点的长跑竞赛。
仍然以vivo为例。这两年最大的影像突破之一是微云台技术。它其实可以预见:单反相机的“五轴防抖”、摄像机的防抖云台,都给手机的防抖设计提供了产品规划灵感。但在手机上,所有工程问题都需要重新解决。为了将微云台“塞入”手机,vivo独创了异形磁动框架,X50系列成了全球首部搭载微云台防抖的智能手机,暗光场景的曝光能力大幅提升。在它的下一代X60 Pro+上,超广角微云台主摄,则能实现防抖的大视场范围视频拍摄,解决了传统防抖策略靠“裁切”才能稳定的痼疾。今年X70 Pro+实现了再次升级,推出了超大底微云台双主摄解决方案。
我们可以看到,微云台技术的诞生与量产,走出一条发现需求、确认使用场景、规划技术路线的研发路径,最终强化了vivo的影像优势。vivo高级副总裁胡柏山在上周的沟通会中,曾总结过vivo内部的创新“铁三角”体系,它就是X70系列技术突破的根源。
“铁三角”,分别是产品规划、技术规划、技术预研。胡柏山说,这套创新方法直接服务于未来12-36个月规划的新产品,而X70系列,就是这个方法下诞生的新品,X70系列搭载的新技术实际上就是两年前开始预研的。简单理解,产品规划是搞清楚要做什么,技术规划就是看该如何去实现用户需求,如何将产品规划落地,而最终的技术预研,则是有计划的、针对性的开发。以旁观者视角看,“铁三角“的核心思想,是时间尺度上的预判与预研。假设一部手机的研发周期是8-12个月,那么就要更早搞定技术创新的方向。胡柏山向媒体介绍的两个经验,一个是对用户的洞察能力是否足够?另一个是基于用户洞察和用户研究作为基础的整个创新研发体系,也就是这套“铁三角”。
聚焦于四条长赛道、展开有效的技术预研, vivo的市场占有率节节攀升,直到成为今年4月以来的中国手机市场份额第一的厂商,这是vivo品牌诞生来的首次登顶。某种程度上说,这些经验,绝不仅限于手机行业,它是每个面向用户的创新行业都适用的普适规则。很多人都懂这个道理,但执行起来并不容易。
移动影像的“技术灯塔”
昨天发布的X70告诉我们,自研图像处理芯片,是在当前提升移动影像能力与体验的关键动作。但影像系统的复杂性,则要求手机厂商在镜头、传感器、拍摄软件体验、算法乃至屏幕显示的整个链路上,都力求无短板、有创新。这对终端厂商提出了空前的要求,原本归供应链完成的工作,今天需要终端厂商投入更多的资金和人力配合优化,乃至亲自下场研发。当然,对于产业进步和用户体验,这都是好事情。我们也不应低估自主图像处理芯片的长期影响。它作为一个平台,能成为厂商探索未来智能影像的关键工具:更快速的迭代能力、尝试新的玩法、挖掘用户需求。手机影像将走向何方?创新的需求,不会止步于未来几年的产品规划。
为此,vivo的方法是,成立一个单独的组织,在产品规划之外,进行更长期的未来技术的预判。胡伯山告诉我们,这个组织被命名为“中央研究院”,由胡柏山亲自兼任院长。中央研究院将在四个方面进行长期探索:国内外技术演进的关注和研究;未来科技场景下的产品研究与孵化;平台级能力建设,如芯片、系统等底层技术;人因工程研究。他们要负责超前预判技术趋势,决定技术研究的方式路线,是投资,还是自研,诸如此类。“未来影像”正是vivo中央研究院需要做的事情之一。
某种程度上说,X70系列,用自研芯片给vivo影像新时代开了个头,那未来研究院所做的,就是希望在移动设备领域——当然也包括移动影像——建立一座技术灯塔,能让我们看到未来的技术全景。