CEVA：保持AI处理器的功耗和性能优势，为OEM厂商提供DSP全方案

随着技术的升级，AI从云端走向终端，终端AI迎来巨大发展机遇，并且该趋势必将继续扩大到更多的终端设备上。手机、机器人、无人机等智能设备对低延迟、低功耗和低成本人工智能的需求日益增长。需求的出现催生出市场，越来越多IP提供商推出自家的AI处理器。

2018年10月31日,我爱方案网受邀参加CEVA于深圳威斯汀酒店举行的媒体见面会，有机会在第一时间了解这家专注于移动设备的人工智能处理器IP提供商。

据了解，CEVA于今年推出了用于前端设备深度学习的AI处理器IP NeuPro。该处理器由NeuPro引擎和NeuPro VPU组成。NeuPro引擎是深度神经网络推理硬件引擎，用以处理卷积、全连结、活化与池化层；NeuPro VPU是可编程矢量DSP，用于处理CDNN软件，同时为AI负载的新进展提供基于软件的支持。

NeuPro AI处理器如何保持功耗和性能优势？

移动设备对功率及面积有较高的要求，功耗、性能和面积的可行性设计至关重要。据CEVA营销副总裁Moshe Sheier介绍，NeuPro AI 处理器降低功耗有多这种方式。

其中一种是对数据进行压缩处理。由于数据处理在AI处理器中能量的消耗会占比较大的比重，其中卷积层部分占了整个计算量的近80%。因此NeuPro会把连续的层在Engine单元内部进行处理，无需一层一层地进行数据加载和存储处理。 而且，NeuPro VPU单元和 Engine单元 中间是直连的通道，两个单元之间的层和层之间的数据交换可以直接进行，不需要通过Soc总线做交换，大大减少中间的处理过程。

另外一种是在嵌入式SoC芯片上，优先采用更有效的定点计算。当将网络从浮点转换为定点时，会不可避免的损失掉一些精度。最小化精度损失的方法之一是在8位和16位整数精度之间做出选择。8位精度可以节省带宽和计算资源，但如果要确保准确性，还是要采用16位精度。NeuPro引擎能让这些混合操作达到平衡，减少工作量，进而减少功率的消耗，因而让各层都达到最理想的执行，让性能最佳化。

尤其是在功耗控制方面，CEVA基于对应用的深入理解和长期的积累，来判断什么样的组件应该来做什么任务，完成处理器内部任务分配最佳化。比如哪些任务得通过软件，哪些工作得通过硬件，哪些工作得通过DSP来实现等等。

另外，无论是新出现的层还是模型，都可以放到CEVA的VPU（Vision DSP）上处理，既能保持DSP很强的功耗和性能优势，也能让NeuPro不断适应新的变化。由于机器学习尚未成熟，还在持续发展，因此为了设计能因应未来的解决方案，灵活性就至关重要。所以，这也是CEVA的AI方案的一大优势。

AI硬件性能差距小，软件才是当下制胜的关键

“AI最大的变化是很多领域已经从传统的算法全面转变成应用的处理，而这种算法和软件的更新使得整个产业发生根本性的变化：整个产业的硬件计算性能提高了，进入产业的门槛降低了，因此给了很多算法公司涌现和冒头的机会。” Moshe Sheier如此说道。

他表示，目前AI还处于早期发展阶段，很多公司的AI处理器的IP都不小，未来将不断演进。 现在每一家厂商的AI处理器IP的设计都非常相似，相同功率之下，处理器的面积和功耗也不会有很大的差别。所以目前来看，软件发挥着更加重要的作用。这种情况下，对各个厂商来说，最终不管是比拼成本还是比拼产品生命周期，更重要的是看软件能否适应oem厂商的变化。无论是面积还是功耗，十年后再回过头来看现在AI处理器显得很庞大。但由于要考虑到盈利问题，所以在产品的演进过程中，厂商要通过多用软件少用固件的方法尽量延长产品的生命周期。否则，产品的寿命如果过短，将对自身以及产业发展不利。

在应用广泛的音频领域，比如智能语音包括唤醒，关键字识别等等的处理已经从传统的算法全面转变成应用的处理。厂商需要做的就是不断往神经网络和人工智能的方向去更新算法。另外，语音芯片也会往这个方向去发展，不断演进出新的算法和新的平台。

Moshe Sheier指出，技术本身没有什么难度，只是时间投入的问题。未来AI的演进路线将会类似通讯技术，能活得比较好的有两类公司：一种是大厂商通过自主研发或者收购来自己掌握技术，另一种是像CEVA在通讯领域这样几乎是唯一一家提供通用平台的DSP方案的厂商。

现在做算法的厂商有很多，未来将会在数量上减少，部分公司会被合并，部分公司会被市场淘汰。而CEVA将在长期的竞争当中，围绕DSP技术，持续去演进和发展。

结语

总的来说，CEVA的核心优势是基于性能、功耗和成本等因素等考虑对AI处理器进行详细的架构设计。该公司最终的目标是帮助OEM厂商做全方案处理。比如，在音频领域，绝大多数厂商都只能提供一部分音频处理所需的模块，包括科大讯飞，云之声等都只能提供自己擅长的一部分模块，而CEVA想针对不同厂商的需求，给他们提供他们擅长领域之外的模块，形成产业互补。