文/中国国家博物馆 安全保卫部 高级工程师 杨延京
近年来，随着博物馆的快速建设，大量新理念、新技术、新设备的使用，推动博物馆运营进入到高技术、高标准和高安全性的全新时代。随之而来的安全风险和隐患也逐渐增多，其中博物馆的监控视频存储信息容量大、监控点位数量多，如何有效地管理这些资源，实现视频资源的高效应用是博物馆安全管理与应急指挥建设领域亟待解决的问题。
目前许多博物馆依赖于视频监控系统来实现日常安全运行管理，分镜头模式已成为日常管理水平进一步提升的瓶颈之一。采用三维全景数字智能视频融合系统可以有效地关联融合海量监控视频资源，提供超越传统分镜头监控的全景立体可视化监控的同时，支持快速精准地捕获现场细节，有效地解决一些在单镜头视频分析中所不能解决或不易解决的问题，如跨镜头的盯控、人员徘徊检测、人群汇聚、交通拥堵检测、事故隐患等。实现视频监控从“看得清”到“看的懂”的跨越式提升，有助于切实提高博物馆安全运行管理的效率和快速应对突发事件的综合管控能力。
三维全景数字智能视频融合系统功能特点：
（1）基于博物馆实现大规模广域视频三维场景重构，还原真实场景，解决视频割裂、浏览不直观等问题。
（2）基于三维地理信息的室内室外视频实景拼接，提高了博物馆环境态势无缝掌控、分层浏览和信息综合运用水平。
（3）基于全景画面的高速球机关联细节追视，实现博物馆室内外全景和细节协同把控。
（4）基于博物馆真实三维场景的视频回放拼接还原，实现博物馆三维场景拼接时空回放，提升事件回溯研判能力。
（5）基于三维空间信息的机器视觉分析，实现摄像机三维场景中拌线、禁区闯入等行为数据提取和分析，提升博物馆采集的智能监控价值和告警处置判断力。
（6）基于三维空间信息的全景机器视觉分析，实现跨越摄像机全景人流密度视觉大数据提取和分析，提升博物馆采集的数据价值和决策判断力。
系统拓扑图
三维全景数字智能视频融合系统实现监控视频与三维模型的融合展示，将视频监控与其周边环境进行实时融合展示，解决传统监控方式分镜头画面之间相互孤立的缺陷，实现了分镜头与分镜头之间，分镜头与模块之间的空间位置对应。系统通过对物理世界中安装的监控摄像视频进行自动的多尺度分析，选择出几何突出点，进而通过采用有约束条件下二/三维共形几何映射的算法分析，把这些几何突出点映射到三维模型中对应的几何点。利用先进的算法对所有固定分镜头视频进行分析，检测分离出前景目标，根据自动相机标定技术精确计算出其空间位置，按照其对应的时间序列信息，经三维重建后融合显示至三维全真场景中，实现融合后的系统图像无形变、不失真。此外，将视频场景内球机关联于全景立体监控中，无需以球机为操作对象，系统自动地调度事件目标周边的多个球机协同追视，实现纵览全局和细节把控的有机结合。
三维全景数字智能视频融合系统核心技术包含以下几部分：
1.前景目标检测
在运动目标检测提取中，背景对于前景目标的识别、重建融合和跟踪至关重要。这里前景是指在假设背景为静止的情况下，任何有意义的运动目标。在全景立体视频监控系统中，将运动目标准确重建融合到三维场景中，实现全方位、无失真、无变形的监控尤为重要。为此，将首先进行对前景运动目标的检测，主要包括多层次前景背景建模和运动阴影抑制、噪音消除、目标缺失补偿两部分。
（1）多层次前景背景建模：
背景建模是前景目标提取的一个重要环节。建模的基本思路是从当前视频帧中提取前景，其目的是使背景更接近当前视频帧的背景。即利用当前帧和视频序列中的当前背景帧进行加权平均来更新背景，但是由于光照突变以及其他外界环境的影响，一般建模后的背景并非十分干净清晰。而且，在公共场所上的行人和车辆众多，行进速度随时变化，很有可能出现完全静止，如果将它们更新为背景，会造成对重要目标的遗漏。基于此提出建立一个多层次混合高斯模型，用于实时的、鲁棒的检测各种速度（包括从运动到静止）的目标。利用多层次混合高斯模型来抽取背景的方法，不仅可以鲁棒的克服光线、树枝摇动等造成的影响，而且可以克服运动物体长期静止时的失效状况。
该方法在有复杂视频中构建的背景具有很好的自适应性，能迅速响应实际场景的变化，为智能监控打下良好的基础。
（2）运动阴影抑制、噪音消除、目标缺失补偿：
运动阴影常被误划为目标造成错误的目标分割，综合考虑颜色信息、空间信息和纹理信息，利用阴影的颜色、空间和纹理属性在关注区域中确定其造成的颜色形变，通过使用颜色形变补偿和纹理校正进行阴影抑制。对于产生的噪音和小部分目标缺失，将利用基于数学形态学的图像处理方法，快速的滤除和补偿。
2.三维重建融合
三维重建融合就是将二维视频信息实时的重建到三维模型之上，通过三维虚拟观测，实现对真实场景多角度、全方位的实时立体监控。要实现这一目标，需要首先计算视频参数，然后进行图像重建，从而实现无形变、不失真的全景融合。
在计算机图形学中，物理相机或摄像机可以用透视投影模型描述，借用相机投影矩阵可以算出世界坐标中任意点在最终投影图像上的像素坐标，现实相机或摄像机也是通过投影矩阵的变换将真实场景拍摄成图像和视频的。反之，如果已有图像和视频数据，也可以通过投影矩阵反向投影回三维场景模型上，从而实现不失真的实时三维渲染。通常相机的投影矩阵是未知的，而已知的是视频数据和三维场景模型。
首先，检测出二维视频和三维场景模型的特征点，实时拼接融合就是要选用自动准确的计算算法实现实时图像配准。在基于特征的图像配准中，特征描述符用来对两幅图像的特征进行相似性度量，合适的特征描述符对于建立图像之间的配准映射关系和提高配准精度具有重要意义。为了适应图像的尺度变化，提高配准算法的精度，引入多尺度匹配算法。
其次，通过自动或半自动的特征匹配，反算从三维场景模型到二维视频的投影变化矩阵以及精确三维物理相机参数。在三维场景中虚拟出投影相机，再将视频动态投射到场景的表面从而完成时空的融合。
最后，通过对视频数据进行分析，检测分离出前景目标。借用相机参数，目标的像素坐标可以转化成三维位置信息，从而能在三维位置上对动态目标实施实时动态三维建模。在融合过程中，背景信息只需投影在静态的三维场景模型上，而前景目标投影在三维动态重建的目标模型上，即实现无形变、不失真的全时空融合。该项技术可以实现任意多路的实时视频处理。
3.视频图像归一化
通过上述步骤实现了大规模摄像机视频数据在空间和时间上拼接融合。由于视频数据可能来自于不同品牌的摄像机，或是使用不同的光度参数，例如，曝光时间、白色平衡、伽马校正、传感器的灵敏度等，这些将直接产生不一致的颜色数据。此外，由于视频监控建设时间的不同，必然造成视频图像在色彩、亮度、饱和度和对比度等方面的情况也不同。为了达到更好的视觉拼接融合效果，需要将摄像机图像进行归一化处理，提高视频画面的一致性。具体分以下两个步骤：
（1）视频色彩校准
将Macbeth彩色影像板放置在监控区域内，对每个摄像机的标定参数进行增益和偏移，最大限度地减少对比度和黑度，并确保线性响应和白场景的平衡。
（2）视频的色彩传递
归一化目标是一致的色彩反应，而不是绝对的色彩精确度。因此，无需将每个摄像机视频匹配成标准色彩，而是通过色彩传递对摄像视频进行两两色彩匹配。具体的说，是将一幅视频图像的颜色特征传递给另一幅视频图像，使目标图像具有与源图像相似的色彩。假设两个视频取自不同视角，但有固定的光照和不同的光度参数。在Lambertian假设场景中，两个视频图像之间存在全局一致颜色映射。由于两幅图像中有不同区域，采用自动采集样本的图像颜色传递方法，利用特征点的方法把目标图像和源图像分别分成对应的子块，根据对应的子块颜色直方图匹配，计算出最优的色彩传递函数。对于不同视角、不同光照和光度参数的视频，由于摄像视频之间不存在全局一致颜色映射，给出一组色彩传递函数，以人工辅助的目测方法，选取最优结果。在全局一致颜色映射存在的情况下，在RGB三个色彩通道中，RMS误差预计不超过5%。在全局一致颜色映射不存在的情况下，到达肉眼观察没有明显色差。
4.全时空立体可视化展示
支持重点区域大场景监控、关键路径自动巡航、二维和三维信息关联显示、摄像机反向关联、球机协同追视和历史事件大场景回溯。
（1）重点区域大场景监控：重点区域大场景指不少于两个分镜头视频覆盖区域对应的场景，用户通过预设观测点监控重点区域的大场景，以全局视角观察重点区域动态。通过在三维场景中虚拟投影相机，任意设置观察视点，以当前视角监控重点区域大场景动态。对于同一场景中高低摄像机同时存在的情况，自动将高点摄像机和低点摄像机统一拼接融合显示，针对不同的视点采用不同的视频源进行拼接和显示：一是对于高视点、大视野的情况，采用高点摄像机进行拼接融合显示；二是当视点降低的时候，采用低点摄像机进行拼融合显示；三是支持放大镜功能，对局部区域进行数字变焦显示。
（2）关键路径自动巡航：支持自定义巡航轨迹，并按照设定好的视角、速度进行自动巡航。巡航路径由多个路径控制点组成，通过设置路径控制点，组成直线路径、弧线路径、圆路径或复合路径，系统按照设定好的路径和速度依次进行自动巡航。
（3）二维和三维信息关联显示：全景立体视频与二维地图同步显示，摄像机的位置和覆盖区域以及用户当前观察点的位置均可以显示在二维地图中。
（4）摄像机反向关联：在全景立体视频上选择所需要观测的目标或地理位置，根据目标或地理位置自动关联到所有照射到该目标或地理位置的摄像机。
（5）球机协同追视：在全景立体视频中通过靶标交互选择观测目标或地理位置，根据该目标或地理位置调用周边的多个摄像机照射到该区域，且靶标大小可调，通过调整靶标大小实现摄像机的光学变焦，全方位、多角度快速捕捉细节信息。对于有枪机和球机的监控区域，统一用枪机的视频进行拼接融合显示，当用户交互选择观测目标或地理位置时，自动将枪机和球机协同关联，调用关联的多个球机锁定该目标区域。
（6）历史事件大场景回溯：从存储装置中读入多个摄像机采集的历史视频数据和多维传感数据，将历史视频数据和多维传感数据可视化到三维模型中，在全时空环境下正向或反向播放搜索，即设置回溯的时间段和区域、提供逐帧正播、逐帧倒播、停止播放、快进、快退和随机定位播放，以提升历史事件的查询效率。
5.大场景、多摄像机的时空关联关系
为实现多路监控视频在三维全场景下的关联分析，首先，基于静态贝叶斯网络构建摄像机之间的空间拓扑关系，然后，利用动态贝叶斯网络推理和预测多种行为模式之间的语义关联结构。
贝叶斯网络方法是基于概率分析、图论的一种不确定性知识表达和推理模型，是一种将因果知识和概率知识相结合的信息表示框架。从直观上讲，贝叶斯网络表现为一种赋值的复杂因果关系网络图，网络中每一个节点表示一个摄像机，各摄像机之间的有向弧表示事件发生的直接因果关系。在贝叶斯网络中，定性信息主要通过网络的拓扑结构表达，而定量信息主要通过节点的联合概率密度表示。在贝叶斯网络中，没有有向弧输入的节点称为根节点，对于根节点需要确定其先验概率；有有向弧输入的节点为子节点，对于每个子节点要确定其在父节点不同状态下的条件概率。作为贝叶斯网络推理的基础，根据摄像机之间的空间关系和安保实战经验，对贝叶斯网络参数（先验概率和条件概率）进行赋值。
动态贝叶斯网络是贝叶斯网络随时间变化的一个动态扩展，可以反映各摄像机之间一系列行为模式间的概率依赖关系。由于摄像机网络空间拓扑结构不随时间改变，可以假设各摄像机之间满足一阶马尔可夫性，从而对其中行为模式的时间连续性进行建模。基本思路是全局行为模式是由一系列局部行为构成的。通过对局部行为及其关系的识别，可以有效的预测全局场景和行为。在一个摄像机发现异常行为的情况下，利用动态贝叶斯网络，迅速对相关摄像机和行为模式进行预判，在三维全场景下显示相关视频和信息。
针对博物馆这种人员密集，环境复杂的特殊场合，应以预防为主，打防并举为导向。利用三维全景数字智能视频融合系统实现基于全场景视频智能分析的自动预警功能，对各种异常现象进行预警。在异常报警的情况下，依据目标参数与预定模式进行匹配，对异常行为进行识别和确定优先级别，实时跨镜头智能报警和结果显示。同时，根据异常报警的优先级，选取和该报警信息有时空关联的所有摄像机数据，自动调用球机锁定该区域协同追视，实现全景立体视频自动聚焦显示，从而极大的提高了对视频资源的高效应用和应急指挥效能。