新浪新闻客户端

手机直拍10bit照片!AI算法区分“痘”和“痣”,OPPO再发两项黑科技

手机直拍10bit照片!AI算法区分“痘”和“痣”,OPPO再发两项黑科技
2020年11月18日 11:50 新浪网 作者 智东西

  文 | 云鹏

  智东西11月18日消息,OPPO刚刚在未来科技大会技术分论坛上发布了支持全局10bit图片和视频的“全链路色彩管理系统”,同时还推出了FDF全维人像视频技术系统,在视频的人像优化、画质增强方面做了主要升级。

  OPPO这套全链路色彩管理系统可以在拍摄、编码、存储、解码和显示多个环节实现全局10bit,OPPO也是目前安卓阵营中第一家推出该技术的厂商。

  FDF全维人像视频技术系统最突出的特点是利用对自研算法框架的优化和深度神经网络的加入提升了图像检测、识别等环节的准确性和效率。

  结尾时OPPO产品经理透露,明年的最新旗舰OPPO Find X3就将搭载今天发布的这套色彩管理系统。

  一、从拍照到显示,解决安卓手机色彩管理痛点

  OPPO产品经理BAI说,色彩一直是OPPO最重要的研究课题之一,这次浙江大学颜色与图像科学教授罗明首先介绍了颜色科学。

  他提到,颜色的真实和讨喜一直是让大家比较纠结的。罗明教授提到的这点也代表了目前手机行业拍照风格的两种路线:安卓阵营的讨喜优化,iPhone的真实呈现。

  OPPO认为,色彩在手机中,涉及拍摄、编码、存储、解码和显示多个环节,为此OPPO推出了支持全局10bit图片和视频的“全链路色彩管理系统”。

  10bit相比传统的8bit,色彩表现可以更加细腻。

  在拍摄方面,OPPO将会支持10bit静态图片的拍摄,在传感器端,OPPO推出了堆栈式DOL-HDR多重曝光技术。

  在编码和存储侧,OPPO之前已经推出了HEIF格式,相比JPEG格式可以节省50%存储空间。

  不过在解码端,难度还是比较大,OPPO对解码器进行了重构,研发出能够兼容10bit的图像解码方案,并配合推出新的内存结构,最终实现从编码、解码、编辑、渲染10bit。

  最后就是显示方面,OPPO主要在硬件调教和色域映射方面下了功夫。OPPO坦言,这样的较准会给每台手机的流程增加26秒,但他们认为这是值得的。

  色域映射一直是手机显示的痛点之一。不管是DCI-P3还是sRGB,OPPO都会采用D65作为白点色温标准。可以在P3屏幕上更准确的显示sRGB图片。并且这个色彩管理系统后续还会向第三方进行开放。

  BAI特别提到,2021年,OPPO最新的旗舰Find X3系列将首发搭载OPPO全链路色彩管理系统。

  另外她还带来了One More Thing,OPPO这次推出了色彩补偿系统2.0,提升色觉障碍人群使用手机的体验,据称样本量超过6000个,推出了765种补偿方案。

  值得一提的是,这套系统未来可能不仅仅为色觉障碍人群服务,每个人的色觉都是不同的,因此未来想象空间非常大。

  二、深度神经网络加入,提升人脸检测速度和准确性

  OPPO影像产品经理OWEN在开场时说道,目前OPPO已经在影像领域建立了五支主要团队,OPPO在影像领域申请的专利数量已经超过700件,其中发明专利占据80%。

  如今视频拍摄已经成为用户生活中必不可少的一部分,人像拍摄逐渐从照片向视频转化。

  OPPO此次推出了FDF全维人像视频技术系统,主要包括感知人像引擎和画质增强引擎。

  人现象感知引擎主要包括AI人脸关键点检测、AI超清人像、OFL肤质优化和人脸畸变矫正等技术。

  通过深度神经网络,OPPO优化了AI人脸检测的速度和准确性,据称准确率可以达到99.78%,单帧检测耗时仅为25毫秒。

  为了检测更加精准,OPPO在人脸上加入了296个关键点,在移动平台上的运行帧率达到200帧以上。

  在AI超清人像算法上OPPO对于算法架构进行了优化升级,对于眉毛、头发丝等细节表现有明显提升。

  另外在肤质优化方面,OPPO称其本质也是深度神经网络的优化,理想的AI模型要体量小、效率高。OPPO为此重新设计了LOSS收敛函数。

  首先算法会对皮肤区域进行分割,让皮肤的优化更加准确。值得一提的是,OPPO这套皮肤算法可以识别天生特征和后天瑕疵,比如去除痘并留住先天“美人痣”。

  广角人像拍摄上,OPPO主要进行了人脸畸变矫正,他们的方式更加注重人物和背景的区分,这样可以避免优化人像时把背景物体线条处理的失真。

  超级防抖、超级夜景、是OPPO在画质增强方面主要发力的技术。

  据称他们新一代防抖算法架构,会抓取用户手机陀螺仪中的数据,识别用户使用的场景,比如用户是横向环拍,还是跑步向前,都可以给用户提供对应的合适算法。

  移动延时摄影也是防抖应用的重要场景之一,采用OPPO超级防抖算法的视频成片目前已经做到了接近专业相机的表现。在固定拍摄时,可以达到接近云台拍摄的效果。

  这背后,OPPO加入了运动趋势算法,可以对拍摄运动状况进行预判,从而提升防抖效果。

  在超级夜景方面,OPPO采用HDR多帧融合算法,整体画面的通透性和纯净度都有所提升。值得一提的是OPPO也将这个算法加入了前置拍照中。

  OPPO特别提到,他们现在已经将超级防抖等技术开放给了第三方应用,搭载这些技术的产品即将在12月上市。

  结语:从人像优化到色彩管理,软件算法成为关键

  算法框架的优化以及深度神经网络的加入提升了OPPO视频人像算法的效率和准确性,而10bit色彩管理也需要对于编解码器的重构,这其中包含了OPPO对于核心算法技术的突破。

  可以看出,在去年誓要砸重金打造核心技术之后,OPPO在包括AI在内的关键算法技术领域,都已经初见成果落地。

  未来这些软件技术在OPPO的智能手机产品中能有怎样的表现,是否能够成为打出自身特色的关键点,都有待市场的检验。

特别声明:以上文章内容仅代表作者本人观点,不代表新浪网观点或立场。如有关于作品内容、版权或其它问题请于作品发表后的30日内与新浪网联系。
权利保护声明页/Notice to Right Holders

举报邮箱:jubao@vip.sina.com

Copyright © 1996-2024 SINA Corporation

All Rights Reserved 新浪公司 版权所有