目前主流的视觉定位方法首先构建查询图像的 2D像素与参考地图的 3D 点之间的对应关系，然后使用 PnP
RANSAC 算法求解相机的六自由度位姿。对于大范围的场景，通常采用图像检索作为中间步骤来预先确定场景的哪些部分可能在查询图像中可见。然而，在在一个时间变化的室外环境中，由于照明、季节和结构变化引起的查询图像和参考图像之间的外观差异巨大，使得 2D-3D 匹配变得十分困难，因此在这种具有挑战性条件下的基于图像匹配和姿态估计的相机定位仍是一个具有挑战性的问题。随着配备各种传感器如惯性测量单元（IMU）、重力计、指南针、GPS、WiFi和蓝牙等的移动设备的普及，结合视觉和多传感器的位姿估计法成为实际场景中准确定位的一种新思路。
▍研究方法
首先是图像检索方面的改进。在宽阔的室外环境下，GPS能提供地理位置坐标（经纬高）。一些方法将 GPS 作为先验，以简化视觉定位中的图像检索任务；而另一些方法将 GPS 作为优化中的约束项，以提高视觉里程计和视觉 SLAM 的定位精度。此外，IMU 传感器测量的重力方向具有较高的精度，是一种常用的位姿先验。在可靠的重力方向引导下，以往的工作设计最小求解器（Minimal solvers）或者使用正则化项（Regularizers）约束来提升 PnP 的性能。具体而言就是用一个映射函数把查询图和参考图映射到紧凑的特征空间，再使用最近邻排序查找共视邻居。但由于映射函数的表征能力有限，在时变环境中，这套方法很可能失效。因此，论文提出使用传感器位置和角度信息作为先验，提前缩小图像检索的搜索范围，如图1所示。
图1 利用GPS和指南针进行图像检索
其次是视觉定位方法的2D-3D匹配阶段的改进。HLoc 是一种集成了多种基于深度学习的图像检索和图像匹配方法的六自由度视觉定位框架，目前在该领域取得了最佳性能。然而，HLoc 仍然存在一些局限性。一方面，在检索阶段，全局特征不足以应对场景中的复杂视觉变化，可能会出现误检索的情况。另一方面，在 2D-3D 匹配阶段，需要多次的 2D-2D 图像匹配作为中间过程，导致较低的运行效率和较高的计算开销。论文提出了一种基于自注意力和跨注意力机制的直接 2D-3D 匹配方法，该方法可以直接将二维查询图像与三维局部地图进行一次匹配，从而提高视觉定位的速度和准确度。
具体而言，首先使用多层网络提取查询图和参考图的粗、细两种粒度的特征，然后将局部点云投影到参考特征图上并进行插值、平均，得到点云特征。进而使用带注意力机制的网络匹配查询图与局部点云的粗粒度特征，确定点云是否为查询图像所见，并初步确定它在图像上的位置。最后，对于每一个粗匹配对应的二维像素和三维点云，通过将点云的细粒度特征与细粒度窗口特征进行点乘得到匹配概率和二维位置期望，获得精确对应关系。图2展示了论文提出的结合视觉和多传感器的三阶段方法的整体框架。
图2 视觉和多传感器的三阶段方法
此外，论文构建了一个新的数据集，用于验证所提方法的有效性。该数据集包括一个城市公园（约 31,250 平方米），包含植被、河流、建筑和人行道。作为一个公共区域，其不可避免地会经历各种场景的变化，例如不同光照、季节、天气，运动的行人、车辆，甚至新的基础设施建设。数据集的采集流程如下图所示。
图3 数据集采集流程
▍研究结论
本论文提出了一种名为SensLoc的新方法，基于移动电话上的多模态传感器实现长期视觉定位，利用附加移动传感器（主要是GPS、指南针和重力传感器）来辅助图像检索和姿态估计，克服了在时变的室外环境中图像匹配的困难。还构建了新的室外数据集，提供了各种移动传感器数据和查询与参考图像之间强烈的外观变化。提出的方法在精度和时间成本方面显著优于最先进的定位方法。因此，本论文认为利用移动电话上的多模态传感器可以有效地解决长期视觉定位问题。且该研究成果在民用和军事领域都有广泛的应用。在民用领域，该研究可用于自动驾驶、机器人导航、混合现实等众多应用。在军事领域，该研究可用于支持地面和空中有人/无人装备，通过实景三维数字化战场支撑拒止条件下的高精度自身定位与目标指示。
-----------------END-------------------
更多精彩
＊新品在即！这家正向开发L4级自动驾驶的企业，将展示最新成果
＊普渡科技再获C4轮融资，1个季度融2轮，服务机器人赛道成2023年顶牛？
＊稳准狠! 斯坦福无人机空中捕猎，12毫秒精准捕获，猎鹰附身一抓一个准
＊业界首款全向超广角4D激光雷达来了！
＊南航等高校团队研发新型壁虎机器人中枢神经控制策略
＊劳动的机器人，该交税了吗？
＊尺寸不到一毫米！西北工业大学开发运动速度超快的无线微型机器人
＊像鸭子一样的高尔夫机器人球童，正展现出移动机器人的新可能？
＊河北发展机器人产业，这次决心有点大
＊手也太巧了！腾讯首次展示自研灵巧手与机械臂，可像人手一样灵活操作
＊走向半室外，VSLAM助力服务机器人再进化
＊北理工团队用机器学习分析大鼠在跑步机上“遮目”双足行走
＊国产自研，首个髋膝一体机器人获批亮相，机器人技术本土化再度注入新动能
＊IP68防尘防水，性能“狂飙”，协作机器人筑牢制造业守护“结界”
＊爆发前夕 | 工人缺失与老龄化正在倒逼环卫行业走向无人化
＊重磅！高动态仿人机器人又添一员猛将，关键技术取得重大突破！
＊AI“入侵”CG？制作全流程一键搞定，随时随地生成高品质吸睛大片
＊效率更高、更安全可靠？大负载为何成为协作机器人必争之路？
＊“神”回复！ChatGPT“化身”佛祖解答尘世烦恼
＊一场属于机器鱼的“奇幻漂流”，可在细小血管中“逆流而上”！
加入社群
欢迎加入【机器人大讲堂】读者讨论群， 共同探讨机器人相关领域话题，共享前沿科技及产业动态。
教育机器人、医疗机器人、腿足机器人、工业机器人、服务机器人、特种机器人、无人机、软体机器人等专业讨论群正在招募， 关注机器人大讲堂公众号，发送“ 交流群 ”获取入群方式！
招募作者
机器人大讲堂正在招募【兼职内容创作者】，如果您对撰写机器人【科技类】或【产业类】文章感兴趣，可将简历和原创作品投至邮箱： LDjqrdjt@163.com
我们对职业、所在地等没有要求，欢迎朋友们的加入！
看累了吗？戳一下“在看”支持我们吧！