芯东西（公众号：aichip001）
作者 | ZeR0
编辑 | 漠影
当你用手机抓拍某个精彩瞬间，一旦拍糊了，可能会令人相当郁闷。
一家法国创企正从根源上解决这个问题。
这家机器视觉创企名为普诺飞思（Prophesee），是神经拟态视觉系统的发明者。它通过模仿人眼和大脑的工作方式，开发了突破性的事件视觉（EBV，Event-Based Vision）技术，让摄影设备能够高效捕捉到清晰画面，而且几乎不受光线影响。
▲采用Prophesee事件视觉技术，手机在动态过程中拍摄的照片变清晰（图源：Prophesee）
总的来说，Prophesee的神经拟态事件视觉解决方案可以帮助有效解决三个痛点：一是实现高速跟踪，二是降低算力需求，三是优化整体功耗。
Prophesee的全球总部位于法国巴黎，中国总部位于上海，拥有100多位科研人员、50多项国际专利，国际智能手机芯片巨头高通、国际图像传感器巨头索尼均是它的合作伙伴。
今年1月，Prophesee完成五千万欧元C轮融资，成为欧盟获融资最多的无晶圆厂半导体公司。其历代投资阵容相当吸睛，包括英特尔、博世、雷诺集团、小米、韦尔股份等战略投资者，以及欧洲投资银行EIB、创新工场、韦豪创芯、Prosperity7 Ventures等产业投资人。
这家创企为何被如此多科技大厂看好？事件视觉技术与传统基于帧的传感器技术有何不同？它通过什么原理让手机摄影质量大幅提升？近日，Prophesee联合创始人兼执行总裁卢卡·维雷（Luca Verre），Prophesee副总裁兼大中华区总经理杨雪飞来到北京，与芯东西等媒体进行了深入交流。
一、模拟人眼捕捉动态信息，暗光环境下也能抓拍清晰影像
人类对世界的认识，并非是基于栅格或基于帧的。传统基于帧的传感器，目标是尽可能捕捉空间的信息，在数据处理量、处理速度、周遭光线条件不理想时，瓶颈问题会日益突出。
从自然界汲取灵感的Prophesee产品和技术，则能很好地解决这些问题。
▲传统传感器与Prophesee传感器处理Luca Verre讲话影像的对比（图源：Prophesee）
在生物界中，当视野中的人或物不动时，人眼是没有向大脑传送图像信号的，只有发生变化时，眼睛才会开始工作。
受此启发，Prophesee开发了事件视觉传感器。在拍摄一些移动物体时，该传感器更关注动作信息，其像素不会在一个固定的时间节点（帧率）记录整个画面的信息，仅记录关键的动态场景信息，因此像素反应速度极快，能捕捉到亚毫秒级的瞬间，而且几乎不受光线条件的影响。
相比传统方法，这样能大幅减少系统需处理的信息量，实现更好的能效。
▲事件视觉传感技术的四项能力（图源：Prophesee）
对于解决摄影模糊问题来说，事件视觉传感器尤其有用。以前用常规普通摄像头拍照时，如果被拍摄对象移动速度很快，或是因场景光线不足导致曝光时间延长，都可能会导致照片发生模糊。
而Prophesee的事件视觉传感器，收集到的事件数据在时间上具有连续性，可以借助这些信息来重构和修复常规摄像机拍摄的模糊图像，使得照片中的人或物恢复到接近人眼视觉看到的状态。
▲手机原相机与Prophesee技术加持后的抓拍清晰度对比（图源：Prophesee）
Luca Verre说，就成本而言，事件视觉传感器与传统基于帧的传感器没有太大的区别，遵循一样的技术趋势，使用一样的生产工艺。
这对手机厂商们相当有吸引力。毕竟手机摄影功能是许多消费者在购买手机时会重点考虑的因素之一，在暗光环境随手抓拍清晰照片的功能会令不少摄影爱好者为之心动。
智能手机也是Prophesee当前的一大战略高地。在全球，每年有超过10亿台的手机在销售，一台手机有越来越多的摄像头，市场潜力非常大。
二、与高通、索尼、中国手机大厂密切合作
Luca Verre分享说，当前手机占据了60%以上的图像传感器市场。在手机端，Prophesee当前的应用是将其事件视觉传感器与传统基于帧的图像传感器进行结合，提高手机后置主摄的摄影质量。
索尼在传统基于帧的图像传感器方面占据了超过40%的市场份额，拥有可靠的供应链和强大的供应能力。Prophesee正与索尼积极合作，将事件视觉技术推广到工业、物联网（IoT）、手机等不同的应用领域。Prophesee的事件视觉传感器也是由索尼来帮助完成生产供应的。
在上个月举行的世界移动通信大会MWC 2023期间，高通公布了与小米、荣耀等手机大厂的战略合作，Prophesee也名列其中。在技术层面，高通将Prophesee的事件视觉传感器和软件整合到骁龙移动平台上，相关开发套件将于今年上市；在业务发展层面，高通将会和Prophesee一起向手机OEM推广这个解决方案。
目前全球60%以上的旗舰手机和高端手机都采用由高通提供的处理器。Prophesee进一步巩固了和高通的长期战略合作关系。双方一致认为，在计算摄影、传感应用等方面，神经拟态技术将会为未来智能手机带来非常多的附加价值。
▲高通在MWC 2023公布与Prophesee的战略合作
Prophesee现阶段和高通合作的重点是提高手机影像成像质量，首推功能是很多手机OEM厂商一个主要诉求——照片的运动去模糊功能。
除此之外，Prophesee也在与高通以及中国知名手机OEM厂商进行密切接洽，去开发更多的功能，以将事件视觉技术推向更广阔的市场。
除了高通和索尼外，Prophesee公布的合作伙伴还有中国台湾的芯鼎科技（iCatch）、日本的DMP公司等。Prophesee也一直和英特尔保持积极合作，并在AMD赛灵思上搭建了参考系统。
除了手机之外，IoT监控安防也是一个很好的应用场景。Prophesee的技术不但能够保护隐私，而且能够节省数据流量和资源，让整个方案变得更便捷、安全。今年Prophesee在该领域就会有相应的量产产品落地。
三、降低延迟与功耗，优化AR/VR沉浸式体验
除了手机领域外，Prophesee也在可穿戴设备及AR/VR领域进行探索和突破。
Luca Verre相信未来AR/VR将成为我们与世界进行交互的方式，因此，Prophesee正努力尽可能地提升AR/VR技术的沉浸式体验，比方帮助位姿跟踪、手势追踪、目光跟踪等减少延迟和降低功耗。这些是提升沉浸式体验的关键。
▲Prophesee在VR应用方面的储备（图源：Prophesee）
使用AR/VR设备，如果延迟非常严重，使用者可能会感到头晕、产生晕眩感；如果设备功耗比较高的话，相应的AR/VR设备成本可能会提升，难以在消费市场推广普及。
而Prophesee的事件视觉技术可以精准检测目标对象的轮廓，并进行高速追踪，同样几乎不受光线条件的影响。
以眼球追踪为例，如果使用传统摄像头，通常需要达到500帧/秒以上的速度，对算力的要求非常高。与传统的解决方案相比，事件视觉技术只关注画面中动态变化的信息，可以大大降低数据量，实现非常高速的追踪。
去年，Meta公司也发布了基于与Prophesee合作取得的成果和数据，在有限的功耗内实现了高性能的眼球追踪。
由于事件视觉技术很适合用于捕捉运动的物体信息，Luca Verre说，有人把电动汽车比喻成四个轮子的智能手机，未来Prophesee也将会关注汽车领域。
四、看重在中国投资：团队规模最大，正在高速增长
在神经拟态视觉技术上，Prophesee核心团队的研究已经长达25年。大约在8年前，Luca Verre与其合作伙伴们共同成立了Prophesee公司。
他们最初是希望能够用这项技术来帮助视力受损的人恢复视觉，工作原理有点像用硅做的视网膜，这项工作在2016年取得了成功。从那之后，他们希望能够把人眼视觉也赋能到一些设备上，特别是在人工智能（AI）和机器视觉领域的物联网设备、机器人、无人机、智能手机上。
从创建起初，Prophesee团队就决定要在中国进行投资。Luca Verre非常看好中国市场的巨大市场潜力和丰富的市场资源，以及来自公共和私人领域的投资和良好的生态。
Prophesee副总裁兼大中华区总经理杨雪飞说，中国是Prophesee非常重要的战略投资和业务拓展方向。目前Prophesee的全球布局中，中国团队规模最大，增长速度也非常快。
Prophesee的中国总部位于上海，在北京、香港、台北等各地均有设立支持合作伙伴和客户的团队。深圳也是其未来的一个重要布局点。
除了销售外，Prophesee团队同样非常重视开发，去年夏天专门从法国邀请了创始团队中的一位成员担任中国区CTO，以带动中国区市场客户所需的支持与开发。Prophesee还在加强本地化团队的技术开发能力及快速地响应能力。
▲在中国，Prophesee截至2022年的工作进展和2023年的计划（图源：Prophesee）
到2022年为止，Prophesee的很多工作都是铺垫性的。
Prophesee与中国区合作伙伴进行了大量合作，包括如清华大学在内的超过30所大学院校、大专院校以及研究所单位。面向工业类、应用类，它与小米、索尼等大量的ToB企业进行合作，开发不同产品系列上的可能应用。去年Prophesee还在中国找到了相机合作厂商。
进入2023年，Prophesee逐渐开始收获：首先会推出Prophesee的中文版官方网站，并将建立以中文交流为主的开发者社区，方便与中国合作伙伴一起把技术交流和研发推向一个更广阔的前景。
在大量前期研发合作的基础上，今年，Prophesee有两大应用进入到了成熟阶段，除了在MWC巴塞罗那展上获奖的手机Deblur应用方案外，IoT方案也将于今年量产落地。
Prophesee正在加快与中国区合作伙伴开发部署很多潜在的优秀应用场景，包括VR眼球追踪、真人动作捕捉等技术。Prophesee今年还会推出针对高速3D深度信息获取的解决方案，将大幅提升捕捉速度，在更高速运动过程中进行3D信息传输。
结语：解锁成像与机器视觉的更多可能
随着AI、工业自动化、物联网、VR/AR、自动驾驶等新兴产业加速发展，新时代的算力需求亟待更强大的芯片来承担更高的视觉处理需求。
事件视觉技术通过模拟人眼感知处理信息的方式，为重新定义当今的成像和机器视觉、解锁更多应用创造了全新可能。