“边缘AI”是席卷IoT、嵌入式和AI市场的最新趋势，我们也需要更多了解这些边缘AI方法之间底有什么区别。一家名为AONDevices的初创公司正在走一条务实的道路，它的ASIC在功耗、处理能力和识别精度方面表现出色。
光说AI是不够的。“边缘AI”被认为是减少延迟和带宽、提高可靠性、增加数据安全和隐私，同时削减边缘计算功耗的关键。
但不是所有的“边缘AI”都是一样的。
关于在何处以及如何将AI置于边缘的问题，方法各不相同。一些供应商使用自己的MCU，另一些则将AI嵌入到无线SoC中。许多AI初创公司希望将其AI处理器设计到终端系统中。
AON的CEO Mouna El Khatib提醒说，问题是，由于对OEM们很重视实施结果，所以其结果在功耗、处理速度和AI算法性能方面可能会让系统OEM失望。
特定应用的AI处理器
AON是一家位于加州Irvine的fabless公司，专门从事特定应用的边缘AI处理器。AON将其使命描述为“在电池供电的设备中实现语音激活和声音识别的边缘AI”。
许多AI芯片初创公司的主要目标是在探索应用之前设计神经网络处理器，与此不同，El Khatib从一开始就知道她的处理器必须解决的问题。她说：“我想创造一种解决方案，保证任何模式识别都是开箱即用的。”
对于AON来说，AI不是目标，而是解决特定应用问题的手段。
在创建AON之前，El Khatib曾在Connexant和Qualcomm从事语音、音频和硬件DSP SoC领域担任首席工程师，此外还曾在Brainchip短暂任职。她的亲身经历让她了解到边缘AI的局限性和陷阱。
她说，边缘AI往往会引发“硬件、软件和算法开发者之间彼此推责”。它可以由需要大量手工编码软件的音频DSP处理器和功耗很大的通用CPU实现。一个带有神经网络加速器的混合方法可能需要复杂的调整。处理器和算法之间的不匹配（硬件不够强大，无法运行算法，或者第三方算法太大，无法在通用处理器上运行）并不罕见。
最糟糕的结果是识别性能不佳。El Khatib说：“如果它不能一直工作，或者它不准确，人们就不会信任边缘AI。”
因此，她解释说，AON已经开发了将算法嵌入ASIC的解决方案。她指出，“我们认为算法和硬件的共同设计对于在超低功耗下提供高性能语音和声音识别至关重要。”
AON的产品
AON以两种形式提供其边缘AI处理器，IP和机器学习芯片。神经处理ASIC与深度学习算法紧密耦合。
AON声称，其超低功耗和多模态芯片可以同时处理多个语音指令、声音事件和传感器融合。通过添加另一个传感器（如加速度计）AON的多核AI可以处理手势识别，为识别的声音添加上下文。
AON的神经处理ASIC称为AON1100，实现了“通过使用单个麦克风，而不是像许多公司那样依赖两个麦克风，在0dB信噪比下的命中率达到90%”。
该芯片采用40nm工艺制造，功耗为260µW。当被问及在产品中添加AON的SoC的成本时，El Khatib表示，根据数量，AON1100的成本为1-2美元。
AON的经营状况
在一个习惯于用融资能力来衡量AI芯片初创公司的价值和技术的行业氛围中，AON一直未受关注。
事实证明，2018年以260万美元种子资金成立的AON不需要融资，因为它已经有了三个付费的大客户，两个芯片供应商和一个大型移动OEM。
其中一个客户是Dialog Semiconductor。根据AON网站上的介绍，Dialog正在将AI集成到该公司的先进无线通信IC中，以“在边缘为所有应用提供语音活动和热词检测”。
当被问及那个大型移动OEM客户时，El Khatib解释说，它正在授权AON的IP，计划集成到自己的SoC中。
这位CEO指出，AON目前正在进行A轮融资，目标是1000万-1500万美元。
AON的管理团队由经验丰富的高管组成，他们曾在Connexant、Qualcomm、Intel和Broadcom等公司工作。例如，COO Ziad Mansour曾担任工程高级副总裁，领导Qualcomm的CDMA技术（QCT）部门的数字硬件组。Khatib说服他在退休后加入AON。
语音/声音识别的演变
Fortune Business Insights预测，语音/声音识别市场将从2018年的69亿美元增长到2026年的2830亿美元。
在这一两位数的年复合增长率背后，是促使其发展的一系列创新。从“Hey Siri”、“OK，Google”等智能音箱和智能手机开始，语音识别技术已经发展到耳机、智能手机和IoT等设备上的声音识别。现在，该技术可以在遥控器或耳机上提供有或无唤醒词的设备语音指令。
AON认为，未来的方向是支持“同时使用多个唤醒词、语音指令、声音识别和传感器融合”的设备。这类设备包括hearables、可穿戴设备、机器、机器人，甚至是车辆。
鉴于语音识别技术的快速发展及其迅速发展的应用，El Khatib为边缘AI解决方案将变得无处不在的未来提出了一些基本规则。“首先，它必须永远开着，而且必须以超低功耗工作。”
其次，她说，“我们需要在不使用降噪的情况下实现语音和声音识别。”现实世界是混乱和嘈杂的。语音和声音识别必须能够经受住这种现实。更重要的是，耳机和hearables的声音识别应该能够通过自动禁用降噪和降低音量来提醒用户注意外部危险，如鸣笛和婴儿的苦恼，用音乐质量换取安全。
竞争格局
除了一大批新的AI处理器公司，许多MCU供应商也在寻求在边缘实现AI。
一批SoC供应商正在考虑将机器学习集成到边缘设备中，并称这种趋势是“IoT中备受期待的发展之一”。例如，Silicon Labs正在提供内置AI/ML硬件加速器的无线SoC。
添加一个硬件加速器作为协处理器来减轻MCU负载是实现AI/ML的一个流行方法。但也有需要留意的地方。
El Khatib解释说：“一般来说，这些硬件加速器仍然需要在MCU中进行大量的处理，造成更高的功耗和更高的延迟。”她说，主要的问题是，这是一个通用系统，需要OEM厂商寻找和嵌入自己的算法。芯片公司要求OEM从第三方采购工具，同时继续对最终系统负责。El Khatib说：“基本上，购买了这些部件的系统公司必须确保他们组合起来的解决方案有效。”
AON的任务是通过提供完整的解决方案来避免复杂化：硬件、算法、工具和软件被设计为协同工作。El Khhatib声称：“客户只需定义用例，向工具组提供数据，并迅速启动和运行。”
同时，像Apple这样的智能手机公司正在其应用处理器上运行AI/ML软件。例如，iPhone可以运行声音识别，检测玻璃破碎、烟雾警报或婴儿哭闹等情况。在一个视频演示中，AON将自己的解决方案与基于iOS15的iPhone进行了对比，虽然iPhone在检测声音，但用户无法使用语音识别功能（嘿，Siri）。在演示中，iPhone在声音检测和识别方面也出现了延迟。但最大的问题是功耗，El Khatib指出，“在应用处理器中运行软件对电源来说不是最好的选择。”
AON尚未对外透露其处理架构的细节。但在AI初创公司中，这家公司与众不同，因为它没有专注于激烈的TOPS竞争或追逐资金。AON明确专注于特定的应用（以超低功耗进行语音和声音识别），正在采取实用的边缘AI路线。
