不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来


不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

OPPO 在今天召开了一场技术沟通会,展示了在 5G 以及 3D 结构光上的研发进展 。
去年 9 月,苹果在初代 iPhone 上市十周年之际推出的全新 iPhone X 上,大胆地砍掉了沿用多年、在用户中口碑甚佳的 Touch ID 指纹识别,取而代之的是 Face ID 面容识别 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

经过了前期量产中的困难、产品上市后软件上不断的小修小补之后,Face ID 已经具备了很高的完成度 。而根据目前的消息,在今年下半年发布的新一代 iPhone 上,Face ID 将全面取代 Touch ID,成为所有 iPhone 新品的标配 。
不过另一方面,由于 Face ID 所需的传感器非常复杂,对手机内部设计和配套算法也有很高的要求,缺乏「统一战线」的 Android 阵营很难快速跟进 。目前 Android 手机中普遍采用的是基于传统前置摄像头的 2D 数据做的人脸识别,技术难度和安全级别相比起 Face ID 的 3D 结构光都有很大差距 。
在苹果发布 iPhone X 的时候,极客之?。ㄎ⑿藕?GeekChoice)曾采访过一些上游 AI 人脸识别公司的从业人员,得到的消息是 Android 阵营需要 1—2 年的时间才有能力跟进 iPhone X 的 3D 结构光方案 。
不过现在看 , 可能不少人都低估了 Android 阵营的创新能力 。在 iPhone X 上市 7 个月之后 , Android 阵营就拿出来了自己的 3D 结构光方案,而主角是 OPPO 。

Face ID 和 3D 结构光

在看 OPPO 这次展示的 3D 结构光方案之前,我们有必要先复习以下 iPhone X 的 Face ID 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

上面这张图是苹果官方提供的为 Face ID 提供硬件支撑的原深感摄像头结构,图中标注了 3 个核心部件,分别是位于最左侧的红外镜头(infrared Camera)、泛光感应元件(flood illuminator)以及最右侧的点阵投影器(dot projector) 。在用户使用 Face ID 的过程中,这三个部件的工作流程大致如下 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

有人脸或者其他物体靠近时,泛光感应元件首先会先发出非结构性的红外光 , 然后红外镜头收集到反射回来的信息,形成红外图(如上图,来自 iFixit)并传回手机 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

如果检测到人脸,点阵投影器就会被启动 , 发出 3 万 个「结构」光点,光点形成的阵列反射回红外镜头,形成包含脸部不同位置的深度数据的点云图 。
有了红外和深度数据,再使用 A11 Bionic 的 Neural Engine 神经网络专用加速模块,通过深度学习算法将这些数据和用户之前录入的 3D 人脸模型数据进行比对,就可以判断是否是本人了 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

和传统摄像头直接收集自然光不同,3D 结构光的不同之处在于多了可以主动发出「结构」光点的光源,红外镜头收集的是反射经过人脸等物体发射回来的光线 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

图片来自 OPPO
由于这种独特的设计,3D 结构光可以收集到精确的 3D 点云数据 , 这是普通的 RGB 摄像头所做不到的 。同时,由于 3D 结构光拥有主动发光的红外光源,因此在弱光、暗光下不会受到影响 。

不过 3D 结构光也有它的局限 , 相比传统的摄像头,3D 结构光可以工作的距离要短一些,最长距离一般在 1 米左右(这个距离对人脸解锁是足够了) 。另外在强光下 , 自然光中的光束还可能对结构光造成干扰 。

3D 人脸和 2D 人脸

在手机的人脸解锁中 , 由于 3D 结构光可以获得人脸精确的深度信息,因此可以提供超过传统指纹的超高安全级别,这也是基于 3D 结构光的人脸识别和目前 Android 手机上常见的人脸识别根本的区别 。
早在 Android 4.0 的时代,Google 就为 Android 系统增加了原生的人脸识别功能,不过那个时候的算法还很原始,识别速度慢 , 很容易被照片欺骗 。
到去年下半年的时候,通过使用 Face、商汤科技等 AI 公司提供的基于深度学习的人脸识别算法,Android 阵营的人脸识别体验有了一次质的飞跃,识别速度、安全性都比之前有了大幅度的改善 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

支持人脸解锁的 vivo X21
到了 2018 年,几乎所有的新上市的手机都搭载了类似的 AI 人脸识别功能,不少手机厂商还通过软件更新的方式 , 为老机型增加了人脸识别功能 。

不过即便是目前的 AI 人脸识别已经可以做到对人脸几百个特征点进行对比,甚至还能提供一定的活体检测能力,但终究还都是基于手机前置摄像头拍摄的 2D 照片(部分手机加入了使用前置 Dual Pixel 传感器的部景深数据,但精度有限),在保证人脸解锁体验的情况下 , 能实现的安全级别终究还是比较有限 。
结果就是,虽然 Android 手机几乎都有 AI 人脸解锁 , 但没有任何一家厂商敢把人脸解锁用在对安全性要求更高的支付上(三星的虹膜识别可以做支付,但不属于「人脸」) , 不得不额外保留指纹识别模块 。
不过如果有了 3D 结构光的深度数据,就可以实现更高的安全级别,指纹识别也就没有继续存在的意义了 。

OPPO 的 3D 结构光

在这次的沟通会上,OPPO 并没有公布 3D 结构光方案具体的硬件细节,不过从工作原理和现场展示的原型机上看 , OPPO 的 3D 结构光方案应该和 Face ID 的原深感摄像头大同小异 。
核心硬件同样是红外镜头(infrared Camera)、泛光感应元件(flood illuminator)、点阵投影器(dot projector)三个 , 红外镜头用来收集反射光,泛光感应元件和点阵投影器分别用来发射红外线和结构光点 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

和苹果的做法类似,为了获得更大的视差 , OPPO 3D 结构光模组中的红外镜头和点阵投影仪也位于结构光模块的左右两端 。
这里有一个值得关注的地方,根据 OPPO 提供的数据,为了采集到精确的深度数据,红外镜头和点阵投影器的中心间距需要达到 40 毫米 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

考虑到红外镜头和点阵投影器本身还要占据一定的宽度,这意味着 OPPO 3D 结构光模组的长度会比 40 毫米再多一点,比 iPhone X 的「刘海」略长一些 。
此外,OPPO 3D 结构光的点阵投影器可以投出来 1.5 万个物理点,这个数据没有 iPhone X 的 3 万个物理点那个么多,不过理论上应该也足以收集到精度很高的深度信息 。
在安全性上 , OPPO 表示 , 这个 3D 结构光方案的安全级别可以达到百万分之一,和苹果公布的 iPhone X Face ID 的数据相同 , 大大高于传统指纹识别的五万分之一 。
在沟通会的现场,OPPO 准备了几台搭载了 3D 结构光模块并且可以正常使用的原型机 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

【不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来】在我们的现场体验中,结构光原型机的表现非常不错 , 无论是人脸录入还是解锁,速度都很快,特别是解锁,甚至比 iPhone X 还要略快一点 。

不止于人脸解锁

除了用于做高精度的人脸解锁,3D 结构光获取的精确景深数据还也可以用在更多的场景中 。
在 iPhone X 上,苹果就利用 3D 结构光,设计了 Animoji、前置人像背景虚化和 3D 光效等功能 。作为一个后来者,OPPO 在结构光的应用场景方面想得比苹果还要更多一些 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

OPPO 首先展示的一个应用叫做 3D 人像重建,包括 3D 美颜和 3D 光效两个,后者和 iPhone 大同小异 , 而 3D 美颜指的是利用 3D 结构光丰富的深度信息,对美颜从现有 AI 美颜的两三百个特征点提升到几千甚至上万个 , 实现更加立体和精确地美颜效果 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

另外一个应用是 AR,现在有很多拍照和视频 app 已经可以做到智能叠加 AR 特效 , 而有了 3D 结构光的数据,这些 AR 特效可以做得更加精确 。
OPPO 另外一个重点演示的功能是 3D 视频通话 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

通过分别是用手机的传统 RGB 摄像头和 3D 结构光模组来获取色彩和 3D 信息 , 然后将这些数据和 VR、AR、全系显示进行融合,可以在虚拟世界中模拟出身临其境的 3D 视频通话体验 。
不用再羡慕iPhone X,OPPO用3D结构光和5G「秀」了一下手机的未来

在现场的演示中,OPPO 使用了一台内置结构光模组的 R11s 和高通的 5G 新空口原型机,让手机采集的 3D 视频通过 5G NR 传输,实时显示在远端的显示器上 。
值得注意的是,这一过程需要高达 148.44Mbps 的上传速率,而可以实现大幅度提高上传下载速率并且大大缩短了延时的 5G 通讯技术就自然成了 3D 视频的完美载体 。

这不是 PPT , 这不是 PPT,这不是 PPT

看完了技术本身和应用,下面大家最关心的可能就是啥时候能用上了 。
重点来了,和 MWC 上展示的 Super VOOC、五倍光变等「秀肌肉」的技术不同,OPPO 这次发布 3D 结构光是一个实实在在可量产的 。
OPPO 表示,3D 结构光已经做好了商业化的准备,将在未来 6 个月之内进行量产 。
也就是说,最晚在今年年底之前,我们就可以看到搭载 3D 结构光的 OPPO 手机了 , 而这一次,打头阵的将很可能不是大家熟悉的 R 系列 。■

相关经验推荐