第06版:智能终端
3上一版  下一版4
 
亚马逊推自有品牌电视
光伏,家电企业的新赛道
手机摄影硬件和算法一个不能少
编辑:邱江勇
 
版面导航
 
3上一期
3上一篇  下一篇4 2021年9月14日 放大 缩小 默认        

手机摄影硬件和算法一个不能少

本报记者 张心怡
 

在近日举行的影像技术分享会上,vivo围绕自研影像芯片、光学器件优化、软件算法提升,展示了vivo在硬件级算法时代的布局策略。

不只vivo,越来越多手机厂商开启了算法和硬件自研,或与芯片厂商联合定制CMOS、SoC等关键元件。背后原因是摄影成为手机厂商寻求差异化卖点的主要赛道,也是消费者重度使用的功能。随着消费者对个性化场景、复杂化场景的拍摄需求越来越高,对手机的数据处理能力和能效指标也提出了前所未有的要求。

高能力与低功耗兼得

如果说镜头是人类的眼睛,ISP就是视觉神经。镜头捕获的信息需要经过ISP的处理,才能转化为被人眼识别的图像。

在高通、联发科等第三方公版芯片中,ISP往往集成在SoC中以提升与GPU的互联效率及硬件整合度。但集成ISP往往难以满足消费者的个性化或重度拍摄需求。

为此,vivo推出了自研独立ISP芯片V1。作为独立ISP,V1在主芯片集成ISP成像能力的基础上,叠加专业影像处理能力,从而释放了主芯片的算力和能效。在既定的业务下,V1既可以像CPU一样高速处理复杂运算,也可以像GPU和DSP一样,完成数据的并行处理。

“过去手机拍照处理一张照片需要半秒或一秒,现在的30fps视频,需要一秒处理约30帧画面。对运算密度提升和能耗下降的要求,产生了巨大的技术鸿沟。定制化芯片能释放主芯片的功耗负载,提升用户使用体验。”vivo影像算法总监杜元甲表示。

具体来看,V1为手机摄影带来三个优势。一是将旗舰级桌面电脑吞吐能力搬到手机中。二是支持多个计算成像算法的实时并发处理,实现二次提亮和二次降噪。三是满足用户对性能提升和功耗降低两个看似矛盾的需求。通过将软件算法转移至V1的专用硬件电路中, V1的专用算法硬件电路功耗降低了50%。

突破光学器件

镜头作为手机的眼睛,同样有着复杂的结构。由于手机镜头高度集成化,业内大多数手机型号采用了塑胶镜片。但是,塑胶材料在光学设计优化方面已遇到瓶颈。相比之下,玻璃镜头具有通透性好、折射率高等特点,能拔高手机摄影的上限。

然而,玻璃镜片的制作工艺难度更大,工艺步骤比原先增加了11步,工序复杂,每100片中才能挑选出60片良品。经过与蔡司团队多轮验证,vivo克服工序复杂、工艺步骤多的难点,在手机上搭载了高规格玻璃镜片。

据悉,这种玻璃镜片具有高透光率、超低色散、热稳定强的效果,是目前手机行业中使用过的阿贝数最高的镜片,可明显改善高反差场景的紫边、伪色等问题。

算法升级AI助力

对于追求专业摄影体验的用户来说,“原始素材+严谨后期”才能最大程度地还原拍摄主题及场景。为了还原色彩的自然感,vivo联合蔡司共同研发“蔡司自然色”,以满足专业用户的色彩需求。

同时,vivo基于算法和模型,尝试在手机端还原蔡司经典镜头Biotar和Sonnar的人像风格。vivo采用了深度卷积网络,学习了28万张人像分割、10万张手势分割图片。此外,通过像场分布模型、滤波核生成技术模型,vivo分别对Biotar的口径蚀和光斑进行还原,最终在手机上重现了Biotar和Sonnar的镜头效果。

平台、器件、算法等各方面的共同协作,决定了最终的成像品质,算法与硬件,缺一不可。vivo影像产品经理王兆丰表示,手机摄影已经进入硬件级算法时代,只有结合技术探索与人文思考,在人性化的专业影像道路上不断前行,手机摄影才能为创作带来更大的可能性。

 
3上一篇  下一篇4  
  


电子信息产业网 http://www.cena.com.cn
中国电子报社版权所有。未经许可,不得转载或镜像。
地址:北京市海淀区紫竹院路66号赛迪大厦8层 邮编:100048
订阅电话:010-88558892 | 88558816

 

关闭