在智慧视觉领域,面对横向路段或特别广阔的场景,单摄像头视场角十分有限,故需要多个摄像头才能"看到"整个画面,同时,或需要多个屏幕,或需要不断切换画面,给使用者带来极大不便;如果使用鱼眼镜头,画面变形又太过夸张,因此,基于实际应用中的大场景需求,为旌科技海山系列旗舰产品VS839,可提供单芯片“全景拼接”方案,全领域"观看",感知无盲区。
01 全景视野,大场景感知
为旌科技于6月7日正式发布的为旌海山®旗舰产品VS839,内置全景拼接算法(Any View Stitching,简称AVS),可支持2路或4路sensor拼接,其中,2路拼接支持每路3840*2160@30fps输入,拼接后4320x3840@30fps输出;4路拼接支持每路2688*1520@30fps输入,拼接后6080x2688@30fps输出。(下图示例有图像压缩损失)
4路输入画面
拼接后图像
为旌全景拼接方案可实现多路视频数据采集、曝光均衡和多帧同步,有效克服视频拼接重影和错位现象,将多角度采集的视频数据一体化呈现,视场角超过180°,有效解决信息盲区问题,同时保证了目标对象数据采集的连续性。
采用支持全景拼接方案的为旌海山®VS839,客户可以完全摈弃“一杆多设备”的做法,水平方向视角最大可以支持360°,实现大场景全景感知无盲区。
为旌全景拼接方案包含图像标定和图像拼接两部分,下文将分别阐述。
02 图像标定
AVS可对多路输入图像按照指定模式进行拼接输出。但要保证拼接效果达到最优,拼接前对镜头内参、外参进行标定是最为重要的一步。方案主要针对以下几个方面进行图像标定:
LSC(Lens Shade Correction):由于Lens的光学特性,Sensor影像区边缘区域接收光强比中心小,会造成中心亮、四角偏暗的现象,这就是镜头暗角。在拼接场景下,图像的重叠区一般位于图像边缘,而暗角变化相反,导致相邻两路图像在重叠区的亮度有一定差异。因而完成LSC后,拼接处会获取更加自然的图像效果。
AWB(Automatic White Balance):在不同色温光源下,会对采集图像中物体的真实颜色产生影响,例如:在高色温光源下,白色物体偏蓝,在低色温光源下,白色物体偏红。为了使采集物体的颜色更加接近理想光源下物体的颜色,也更加符合人眼的视觉感知,会对图像进行AWB(自动白平衡)处理。
一般相机中的白平衡模式
CCM(Color Correction Matrix):采集物体的颜色除受光源影响外,还会受到镜头、滤光片、传感器光谱响应等的影响,所以,为了使采集物体颜色信息更接近人眼的期望值,还需要对图像进行CCM(色彩校正)。
拼接标定:完成LSC、AWB、CCM 等处理后,进入拼接标定环节。以下图4路拼接标定为例,1号标定板位于sensor1与sensor2的重叠区,2号标定板位于sensor2与sensor3的重叠区,3号标定板位于sensor3与sensor4的重叠区(一般重叠区占图像比例在10%左右)。上述环境搭建好后,将4路sensor所拍图像与待拼接机器参数一同输入拼接工具,即可得到此拼接机器的标定查找表。查找表会在重叠区域融合时用到,以保证拼缝处无重影,过渡自然。
4路拼接标定示意图
03 图像拼接
AVS方案的第二步是图像拼接,内部处理流程由几何变换(Transform)、相邻重叠区融合(Blend)、亮度矫正(Gain correction)三个部分组成。
几何变换:AVS 按照展开时的投影模式来分可以分成三种投影模式,分别为等距柱面投影、柱面投影、直线投影。为旌科技全景拼接方案支持上述三种投影方式,满足不同应用场景需求。另外在几何变换中完成姿态角(Yaw、Pitch、Roll)与投影中心点调节,可以对图像进行畸变校正,使得拼接图像无错位歪斜。
示例:柱面投影
重叠区融合:经过上述变换并且畸变校正之后,根据标定时的查找表,由硬件对重叠区域进行融合,在目标拼接距离附近,重叠区域融合之后无重影、无错位,图像清晰流畅。
亮度调节:亮度增益控制分为两部分,首先会在为旌瑶光®ISP中调节AE(自动曝光),完成各路图像亮度调节,保证各路图像亮度一致。之后,拼接后的图像亮度会由ISP再进一步调节,以满足不同场景及客户对图像亮度的需求。