自动驾驶汽车需要传感器（例如摄像头和雷达）才能“看到”周围的世界。但是仅传感器数据是不够的。自动驾驶汽车还需要计算能力和先进的机器智能来分析多个有时相互冲突的数据流，以创建其环境的单个准确视图。很明显，这被称为“传感器融合”，这是自动驾驶汽车的重要先决条件，但要实现这一目标则是一项重大技术挑战。
在开车前，他们必须知道自己的位置，前进的方向以及可能会遇到的问题。如今的一级和二级自动驾驶汽车都装有传感器，可以帮助查找汽车，骑车人或行人等危险。最新的三级车辆（能够在有限的情况下驾驶自己）也集成了高分辨率地图数据，以更全面地了解道路。
但是，要采取下一步措施，车辆需要能够更详细地了解和了解其环境。至关重要的是，他们需要能够对动态因素做出反应，例如至少像人类一样对行人踏入道路。足够准确地感知世界以做出安全驾驶决策依赖于使用三个主要技术的组合的多个重叠传感器。
自动驾驶三大传感器技术比较
相机是自动驾驶汽车中最能理解的传感器。它们价格便宜且可靠，可用于提供车辆周围的360度视野。但是，就像我们自己的眼睛一样，照相机在夜间或恶劣的天气下会难以获得可见性。至关重要的是，它们也不记录深度信息。虽然计算机可以解决问题，例如，通过识别特定的汽车模型，知道汽车的大小，然后推断汽车必须走多远，但结论可能不够迅速或可靠，无法实现自动驾驶。
为了解决这个问题，车辆可以使用雷达。无线电检测和测距通过探测无线电波并测量环境反射回来的东西来工作。雷达是一种用于测量诸如汽车之类的固体物体的距离和速度的高精度方法，并且雷达的价格便宜，可靠性高，并且对于自动巡航控制和自动紧急制动等系统已经至关重要。最新的77GHz mmWave雷达传感器也足够小，可以集成到任何类型的车辆中，并提供足够的分辨率，以区分放置在一起的单个物体，精度不超过4厘米。
雷达在夜间工作良好，并且在大多数天气条件下都是可靠的，但是传感器的视场有限，其分辨率远低于摄像机。激光雷达解决了这两个限制，激光雷达的工作原理与雷达类似，但使用的是不可见激光而不是无线电波。激光雷达可以生成汽车环境的高度详细且极其精确的地图，但该技术会受到天气的影响。此外，尽管下一代固态激光雷达有望解决这一问题，但目前的传感器价格昂贵且相对脆弱。
来自传感器的感知
三种主要的传感器技术各有优缺点，没有哪一种能够提供自动驾驶所需的完整而可靠的数据。自动驾驶汽车的常见方法是使用计算机视觉，根据摄像头所看到的东西来创建世界视图，就像人类用眼睛所做的一样。但是，摄像机的局限性（尤其是在测量距离方面）使得有必要使用其他地方的深度信息来进行备份。
尽管特斯拉仅为此目的使用雷达，但大多数其他组织都认为激光雷达提供了重要的额外数据，可帮助防止计算机视觉效果不佳，因此他们将摄像头与雷达和激光雷达结合使用。在所有情况下，车辆所面临的挑战是使用可利用的最佳数据来建立准确，最新的环境模型。
为了实现这一目标，自动驾驶汽车利用多个传感器，并通过强大的边缘AI系统实时解释数据。传感器的排列方式使它们的视野重叠，并使用不同的技术产生相同区域的“图像”。这提供了冗余，例如，意味着即使摄像机太暗而无法正常工作，也可能会有有用的雷达数据。这也意味着可以将来自多个传感器的视图进行比较，以排除错误的读数并得出可信赖的测量结果。
尽管所有传感器都有一定程度的误差，但此过程涉及恒定的测量和预测周期，将来自多种传感技术的数据整合在一起。目的是消除每种干扰的噪声，并尽可能准确地估算出所发生的情况。
机器学习源自错误
这是传感器融合的本质。通过将其与导航和其他信息相结合，自动驾驶汽车可以非常精确地对周围的世界建模，但这只是工作的一半。汽车的系统需要解释环境-识别路线，障碍物和潜在危险-并做出明智的驾驶决策。
为车辆编写软件以识别其环境并与之交互是一项巨大的挑战。制造商面临着向市场寻求解决方案的压力，但制造商还承担着额外的责任，即他们的错误可能导致人员受伤甚至死亡。
与许多复杂的计算挑战一样，机器学习是解决方案的关键，这就是为什么在公共道路上开发自动驾驶汽车的原因。通过从实际驾驶情况中收集数据并训练汽车正确反应，开发人员可以创建最有效的驾驶算法，并继续在现实世界中对其进行测试和完善。
随着系统的成熟，它们将变得更加可靠，可以在各种驾驶条件下更好地应对，直到它们与最佳的人类驾驶员相媲美。听起来可能有些幻想，但许多当局希望在未来10到15年内，将在道路上使用全自动驾驶汽车，而传感器融合技术将是开启这一激动人心的未来的关键。