苹果最新AR专利提出点云压缩图像填充技术

当一束激光照射到对象表面时，所反射的激光会携带方位和距离等信息。若将激光束按照某种轨迹进行扫描，系统可以边扫描边记录反射的激光点信息。由于扫描极为精细，我们能够获得大量的激光点，而它们可以形成激光点云。

新款iPad Pro搭载了激光雷达LiDAR扫描仪，而它显然具有促进AR体验的潜力。如同HoloLens 2或Magic Leap 1中的深度传感器一样，iPad Pro中的LiDAR扫描仪可以用作飞行时间传感器，测量从表面反射而回的光线点云。

苹果曾在一份声明中指出：“LiDAR扫描仪可测量距周围对象的距离(最远5米)，可支持室内和室外，并在纳秒级的光子水平下运行。”

实际上，如果你有留意映维网的专利分享，你应该不会对苹果的点云技术感到陌生，因为这家公司已经提交过数十份相关的技术发明。

日前，美国专利商标局又公布了一份名为“Point Cloud Compression Image Padding”的点云技术专利申请。

苹果在文件中主要描述了点云压缩图像填充技术。

在一些实施例中，系统包括一个或多个配置成捕获共同构成点云的点的传感器，其中每个点包括识别各点空间位置的空间信息，以及定义与各点相关联的一个或多个属性的属性信息。

系统同时包括配置成压缩点的属性和/或空间信息的编码器。为了压缩属性信息和/或空间信息，编码器配置成对于点云确定多个补丁，每个补丁对应于点云的部分。

编码器进一步配置为，对于每个补丁，生成一个补丁图像，所述补丁图像包括与补丁相对应的点的集合。编码器可生成另一个补丁图像，所述补丁图像包括诸如深度信息的几何信息，并用于与补丁相对应的点的集合。其中，几何信息包括垂直于补丁平面的方向上的点的深度。

编码器进一步配置成将生成的补丁图像打包成一个或多个图像帧。而且，所述编码器配置成将一个或多个打包的图像帧提供给视频编码组件。另外，编码器配置成在二维空间中缩小打包的图像帧。

在一些实施例中，解码器配置成接收一个或多个编码图像帧，所述编码图像帧包括用于压缩点云的多个补丁图像。对于每个补丁，一个或多个编码图像帧包括一个补丁图像，所述补丁图像包括：包括投射到补丁平面上的一组补丁点。补丁图像同时包括一组补丁点的深度信息，其中，深度信息说明一组补丁点在垂直于补丁平面的方向上的深度。

在一些实施例中，深度补丁图像可以与其他属性补丁图像一起打包到图像帧中。例如，解码器可以接收由上述编码器生成的一个或多个图像帧。图像帧中的至少一个图像帧可以在编码器缩小比例，并且解码器可以在二维视频域中对缩小后的图像帧进行比例放大。

解码器可以进一步配置为接收或确定关系信息，以说明各属性补丁图像、深度补丁图像和/或图像帧之间的关系信息。例如，解码器可以接收压缩点云文件中的关系信息。在一些实施例中，解码器可以根据包括在压缩点云文件中的信息来确定关系信息。在一些实施例中，解码器可利用接收到的或确定的关系信息来调整用于视频解码视频编码图像帧的一个或多个参数。