Prophesee对视觉市场的颠覆会很快到来吗？

Prophesee就像一台动力十足的小马达。这家由Luca Verre经营的法国初创公司推出了第五代基于事件的成像传感器，并开始进军大众消费市场，显示了其顽强的生命力。没有什么能阻止Verre和他的团队不遗余力地寻找适合其神经形态视觉系统的市场。目前的未知数是，AR/VR是否是能为Prophesee打开批量市场的领域，如果是，可能需要多长时间。

2014年，一项独特的生物启发（bio-inspired）视觉技术是一笔巨大的财富，足以说服一个学者团队和一位商人成立Prophesee公司。

Prophesee并没有发明神经形态（neuromorphic）计算。但它已成为在商业上实现其原理的先驱：人类不是根据一系列帧来记录视觉信息。相反，他们捕捉感兴趣的东西（空间和时间的变化），并将这些稀疏的信息高效地发送给大脑。

Prophesee在推广基于事件的（event-based）传感器方面做了大量的工作，但其努力尚未建立起规模市场。

由于大多数公司都习惯于拍摄基于帧的电影和视频，要求他们改用完全陌生的技术是一个颠覆性的提议。这家初创公司的腾飞需要一些时间，因为它的商业影响力还很小，业务发展历史也很短。

一方面，Prophesee有充分的机会将其基于事件的技术应用到各行各业的许多产品中。这家初创公司涉足的行业包括医疗、工业、汽车和智能手机等。

另一方面，拥有如此广泛的机会也可能成为初创公司的致命伤，会把团队拉向过多的方向，有可能造成资源紧张。

虽然Prophesee已经在工业市场占有一席之地，但它仍然需要一种能够产生大量需求的产品。

为了实现这一目标，Prophesee推出了第五代基于事件的传感器，名为GenX320 Event-Based Metavision。该公司透露，其GenX传感器体积小、功耗超低，有助于首次进入“边缘”消费类设备市场，包括AR/VR头戴设备、安全和监控/检测系统以及始终在线的智能连接设备。

踏入消费类市场‍‍

十年前，当Ryad Benosman、Bernard Gilly、Christoph Posch和Luca Verre创立这家初创公司时，AR/VR可能还不在他们的考虑范围之内。

但今天，Prophesee认为AR/VR与其基于神经形态计算的微型图像传感器“完美契合”。CEO Verre最近解释说，Apple即将推出的Vision Pro等产品，内部使用了十几个微型摄像头，这引发了AR/VR市场的成熟，微型、超低功耗摄像头能够进行高速眼球追踪，创造低延迟的沉浸式体验。头戴式显示器的系统设计师需要能够“减少散热和降低计算负荷”的摄像头。

Prophesee进军消费市场反映了这家初创公司三年来将基于事件的视觉技术引入智能手机的努力。

Prophesee首先与Sony建立了合作关系，生产其第四代基于事件的图像传感芯片。Prophesee为智能手机市场带来的价值来自于将事件数据与帧RGB信息相结合，从而提高图像质量。

因此，Prophesee与Qualcomm合作开发了一款去噪软件应用，该应用可在Qualcomm Snapdragon移动平台内的DSP上运行。

与Sony和Qualcomm两家智能手机领域巨头的合作显然改变了Prophesee的发展态势，也为其向消费者推广产品壮了胆。有了这样的合作伙伴，Prophesee得到了业界的关注。

Verre承认：“消费者对这项技术的兴趣让我们大吃一惊。随后，我们开始关注IoT、AR、VR和头戴式显示器的应用。在Apple和Meta的带领下，许多公司正在进入AR/VR领域。但是，Prophesee为智能手机设计的第四代基于事件的传感器却无法进入这一消费类市场。

同一知识树‍‍

值得注意的是，在开发基于神经形态技术的视觉系统方面，并非只有Prophesee一家公司。

正如Yole Intelligence的首席分析师Pierre Cambou所解释的那样，Prophesee“成长于一棵知识树”，80年代加州理工学院的Carver Meed团队和Misha Mahowald随后发明的神经形态硅视网膜。

Cambou解释说，在这棵知识树上成长起来的其它初创公司还包括IniVation（苏黎世）、Celepixel（上海）、Insightness（苏黎世）和Alpsentek（苏黎世）。Cambou补充说，Samsung也在2014年涉足神经形态技术，推出了DVS（Dynamic Vision Sensor）。

Cambou预测，Prophesee有望成为其中最成功的公司，这主要归功于其IP、由Verre领导的“一流”团队以及与行业领导者建立合作关系的商业模式。

芯片生产‍‍

Prophesee不仅仅是一家应用公司。芯片生产至关重要，因为该公司基于神经形态计算的成像传感器不能继续作为小众精品技术。这种传感器必须更便宜，并以更小的占地面积和更低的功耗批量生产。

在这方面，从与Tower Jazz合作开发第三代VGA传感器到与Sony联合开发第四代高清传感器，Prophesee走过了不平凡的道路。Verre表示，与Sony的合作使Prophesee得以使用Sony的wafer-to-wafer堆叠工艺。这家初创公司能够将基于事件的传感器缩小10倍。

Verre说：“自从我们在2021年底推出第四代成像传感器以来，我们看到了更多的机会。不仅在我们已经使用第三代传感器活跃的工业市场，而且在消费领域也有越来越多的机会。”

Prophesee最新推出的GenX320芯片尺寸为3x4mm，由ST在法国生产。这家初创公司解释说，320×320 6.3μm像素BSI（Back-side Illuminated）堆叠事件视觉传感器提供了极小的1/5英寸光学格式。Verre说，虽然Sony制造Prophesee第四代基于事件的传感器时，“堆叠”是一种新的工艺技术，但现在它已广泛应用于CMOS传感器。ST将其用于ToF传感器。

让技术切换更容易‍‍‍

在拥有颠覆性技术的初创公司必须完成的任务中，有一项在业内鲜有讨论：初创企业是否做好了准备，让客户能够用新技术取代旧技术。

Verre说，让潜在客户惊叹于新的颠覆性技术是一回事。在“惊艳”之后做出承诺则完全是另一回事。Verre解释说，无论是Tier 1还是汽车OEM，大客户希望初创公司能够做到一切，以便他们能够轻松、没有任何麻烦地进行切换。

对于GenX320，Prophesee认为已经做足了功课。

首先，它在GenX中集成了片上电源管理模式，将传感器的功耗降至36μW以下，并启用了“智能唤醒事件（smart wake-on-events）”。Verre说，通过允许传感器按顺序唤醒像素，GenX将从μW至3mW的超低功耗模式开始。

其次，Prophesee试图让GenX 320“为AI做好准备”。Prophesee配置了额外的“智能块（smart blocks）”，对事件数据进行预格式化，因为基于事件的传感器产生的数据必须能够轻松地与主流AI处理器配合使用。

Verre解释说：“理想情况下，你希望有一个神经形态计算平台来处理我们基于事件的传感器数据。”虽然Prophesee一直在与Intel的Loihi以及Brainchip和其他神经形态计算公司合作，但Verre指出，这些平台还不是主流。

因此，为了让GenX能够与“大多数使用AMD、Renesas、NXP或Qualcomm等主流平台（这些平台都针对处理帧进行了优化）”协同工作，Verre说，“我们需要预先格式化基于事件的数据”。

第三，Prophesee正在提供MIPI（Mobile Industry Processor Interface）或 CPI（Common Programming Interface）数据输出接口，实现与嵌入式处理器平台的低延迟连接。Verre解释说：“这是我们为促进基于事件的图像传感技术与现有生态系统的整合所做的尝试。”

批量生产‍‍‍‍‍‍‍

Prophesee GenX320的批量生产已经开始，已开始批量发货。

Verre说：“Prophesee几乎一年前就收到了工程样品，并与30至40家客户分享了这些样品，这些客户已经在评估我们的技术。”

除了推出GenX成像传感器，Prophesee还提供摄像头模组和评估套件。

在这30-40家客户中，Prophesee主要依靠Zinn Labs、Xperi和Ultraleap等早期采用者。

Zinn Labs（加州Menlo Park）正在开发基于Prophesee Metavision事件传感器的先进视线追踪系统（移动和汽车头戴式显示器）。据Zinn Labs称，新型GenX320传感器可满足以毫秒级时间尺度变化的眼球和注视运动的需求。Verre解释说，Zinn Labs使用基于事件的传感器，可以达到1KHz或更高的眼球追踪速度，功耗低于20mW。Verre补充说，相比之下，基于帧传感器的最先进的眼球追踪速度仅为60-120Hz，功耗高达2W。

作为GenX320的另一个早期采用者，Xperi已承诺使用Prophesee基于事件的传感器，Verre指出，此外还有之前展示过的DMS。他说：“他们目前还在为基于GenX320的智能消费类设备做一些原型开发工作，这些设备更多地与家用电器有关。”

Prophesee还与手部追踪系统领域的领先企业Ultraleap建立了合作关系。Verre解释说，Ultraleap使用Prophesee基于事件的技术的主要优势是高速追踪和低功耗。

Verra说，在手部追踪和眼部追踪中，基于事件的图像传感器可以同时实现高速和低功耗，解决了“帧基相机面临的一个基本挑战”。他指出，每秒运行500-600帧的相机会产生大量数据，在有限的功耗预算下很难进行实时处理。

创新者的窘境‍‍‍

Yole的Cambou分析说，Prophesee在2019年决定与Sony合作使用芯片堆叠工艺技术时，就已经播下了成功的种子。随后开发的两款传感器实现了业界最小的像素尺寸（4.86μm）。

Cambou说：“有了这样的分辨率和光学格式，移动、汽车和工业等许多市场都在Prophesee的触及范围之内。”

然而，Cambou说：“如此激进的创新（生成一个非冯诺依曼异步设备），以微秒级分辨率产生图像数据，其速率只有每秒10,000帧的科学相机才能达到，就像外星技术登陆时代广场一样。”他解释说，换句话说，业界看到的是一种纸面上看起来很酷的技术，但对于需要时间来摸索如何利用这种技术的市场来说，这种技术却显得很遥远。

这就像Clayton Christensen的“创新者的窘境”所描述的那样，拥有颠覆性技术的初创公司必须追求现有市场，否则就必须通过创造一个新市场来实现这一目标。Cambou认为，Prophesee一直在“尽可能快地教育生态系统，为自己创造空间”。

Prophesee目前有130名员工，大部分在法国。Verre解释说，该公司还在上海设立了办事处。该公司获得了Intel、Bosch、小米和雷诺等公司的投资。

与专注于制造摄像头的竞争对手不同，Prophesee专门开发传感器，其主要追求的应用领域是边缘市场。Verre说：“现在市场上有超过500亿颗摄像头，每年出货量达约是30亿。大多数被用于传感类型的应用，包括工业设备中的计算摄影、监控或机器视觉。”在这些领域，Prophesee看到了其技术的更多机会。

Prophesee所商业化并引入成像市场的颠覆性技术让许多公司惊艳，但让他们买账却是另一回事。然而，如果神经形态成像传感器最终开始影响各行各业的相机，就像AI影响各行各业一样，Yole的Pierre Cambou相信，有朝一日Prophesee的收入可能会达到10亿美元，在CMOS成像传感器市场占据5%的份额。他说：“这一天可能会比许多人预测的来得更早。”