早在今年1月份,就有预测称光电传感器在2020年将会成为一大重点发展趋势。很巧合的,本次疫情期间恰巧印证了这一点,我们可以看到红外传感器用于测温的大火。不过,疫情这种天灾人祸不足以说明光电传感器在未来的发展会是如何,但是,我们注意到,一直作为科技风向标的苹果,除了在手机中植入UWB技术,还将会更新其传感器组成。具体说来,根据外媒报道,苹果已经确定将在iPhone 12 Pro和iPhone 12 Pro Max等两款旗舰机中采用ToF传感器,用于开发AR内容和提升AR使用体验。这里需要纠正的一点是,ToF并不是像外界所说的那样,在手机领域的首次应用并不是在iPhone 7上,而是在2014年,黑莓发布的Blackberry Passport智能手机中。
其实ToF传感器在手机中的应用最近几年也是屡见不鲜,它已经逐渐成为手机摄像的潮流,此前三星、华为、小米在其旗舰机后置摄像头上就搭载ToF相机。在工业相机领域,ToF已经被应用在机器人上,配合AI算法可以实现物体识别功能,辅助进行挑拣、打包、堆叠等操作。
ToF、双目、结构光的性能对比
什么是ToF传感器?ToF传感器又名飞行传感器,是一种接近传感器,简单来说,它的主要原理是利用自身发出的对脉冲发射光在某种介质中行进一段时间到达物体并反射回传感器所用的时间来测量传感器与物体之间的距离,进而再通过ToF内部的图像传感器来确定测量的点形成的深度图像(景深)或者3D图像,前面所说的测量飞行时间来确定距离的方法其实有三种,分别为脉冲光法、幅度调制波的相移测量法以及带电电容器的差分电压测量法。
由于是通过发射器发射脉冲,ToF属于主动光探测方案,ToF的发射对脉冲光之前都需要对光进行高频调制后再发射,同时它还属于激光全面照射而非局部区域,所以ToF的功耗较大。当然,ToF最大的优点就是测距的优势,它的算法相对较为简单,对于目标的景深、位置等指标的测量较为精确。作为3D成像传感器,分辨率是ToF的最大问题,TOF相机上每一个像元对入射光往返相机与物体之间的相位分别进行记录,但比一般图像传感器更复杂,它包含2个或者更多快门,用来在不同时间采样反射光线ToF的像素要比一般图像传感器像素尺寸大得多,一般为100um。
除了ToF能够实现3D成像,另外讨论最多的是与双目立体视觉技术和结构光技术,对比起来,这三者的优缺点一目了然。
双目立体视觉技术可以类比为人的两只眼睛,带两个摄像头的手机通常都会使用这种方法获得深度信息,建立三维图像,也就是利用了视差的原理。由于双目立体视觉技术属于被动光探测,所以其功耗较小。但是双目立体视觉的算法较为复杂,在光照或者物体纹理不明显的时候,其工作效果会大受影响,这也是为什么双目立体技术的识别范围、响应速度等方面都不及ToF的原因。
其实结构光的提出是为了解决双目技术存在的问题(如,RGB双目很依赖图像的特征、受光照、纹理等影响),与ToF相似,结构光也是主动光探测,但是原理是基于光学三角测量原理,通过投射器投射编码好的结构光到被测物体表面,然后通过单个或多个相机拍摄被测表面即得结构光图像;最后,基于三角测量原理经过图像三维解析计算从而实现三维重建。正想上面所说,由于是主动投射编码光,结构光与ToF类似,对于光照的需求没有双目那么严格。同时,投影图案是编码好的,所以在一定范围内,结构光的测量精度较高。但是,在远距离测量方面,结构光不如ToF,如果物体离相机越远,编码的图案投射在物体上图案也就越大,精度也就随之降低,所以一般应用在近距离的场景。
ToF的未来究竟如何?
在ToF、双目和结构光对比中,可以了解到,ToF最大的优点在于测距,它的深度计算精度不随距离改变而变化,基本能够保持在厘米级别,在包含大范围运动的场景下,ToF的适用度非常高。
在2010年之前,TOF技术多应用于“宇宙测量”、“高精显微镜”等科研领域。而近几年,随着发光元件性能的大幅提高,在自动驾驶、VR/AR、机器人、物联网行业兴起的形势下,3D应用需求的扩大,2D图像需求也在逐步向3D图像激增,这也带动了ToF传感器的市场发展。就目前来看,ToF匹配度最高的应用场景包括:自动驾驶中行车环境的测距、感知,工业领域人机协同安全距离的监测,机器视觉,物流行业的体积、重量计算,机器人的导航等等。这些应用领域都充分了利用了ToF传感器在精准定位和距离测算上的优势。
不过,ToF要想在这些领域迅速发展,占据一席之地,成本是最大的绊脚石。如果将3D摄像头的产业链进行拆解,可分为:上游为红外传感器、红外光源、光学组件、光学镜头以及图像传感器(CCD和CMOS图像传感器),中游为传感器模组、摄像头模组、光源代工、光源检测以及图像算法,下游即为终端和应用厂商。其中,图像传感器是ToF传感器的核心组件,此前CCD图像传感器一直是ToF的必备组件,但是我们知道CCD图像传感器一直以来都是用在医疗、航空航天等高端领域,用在ToF十分不利于普及。最近几年,随着CMOS图像传感器的迅速发展,在分别率、灵敏度上都有不少提升,ToF传感器成本因此有望能够下降不少。
此前，小米卢伟冰和荣耀发言人“荣耀老熊”就为ToF争论了一番,卢伟冰认为ToF是噱头,实际用处不大。而相反观点则认为，ToF能够突破性地将现实世界物体、人像、空间虚拟化,必将是5G最重要的应用场景之一。其实笔者更倾向于老熊的观点,虽然ToF并没有肉眼可见的发展速度,但是在各大应用场景逐渐增多,技术和硬件成本降低的趋势下,它的测距前景是无需怀疑的,在分辨率、功耗等弱势性能指标上,未来也值得期许!