新的图像传感器如何满足最新的基于人工智能的视觉系统的需求

支持人工智能（AI）和机器学习的技术在过去三年已进入工业电子的主流。在 21 世纪的大部分时间里，实施人工智能一直是一项高成本、高强度的工作，只有少数世界上最富有、最强大的公司和政府机构才能实现。  

然而，现在低成本的微处理器和 FPGA 已经获得了足够的计算能力来运行 AI 推理引擎，并且互联网的超大规模使得其能够生成大量标记数据，以用作机器学习的训练数据集。  

因此，几乎所有工业 OEM 厂商（包括初创公司）都可以考虑部署人工智能技术来增强现有产品的应用，甚至创造全新的应用。  

图像处理已经成为人工智能技术最有效的应用之一。例如，在智能交通系统 (ITS) 中，成像系统可用于评估交通流量并自动调节交通信号，或向附近车辆提供有关空闲停车位位置的实时信息（见图 1）。在智能农业中，相机可以测量树上或灌木上果实的颜色，并指示自动收割设备只采摘成熟的果实。在安防和监控方面，成像可以支持自动访问控制设备，可以识别授权用户的面部。 

图 1：自动提供给附近汽车的可用停车位位置的实时信息可以节省司机的时间并减少局部拥堵（图片来源：Rachmaninoff，知识共享许可协议）  

这些是已经在使用或正在开发中的应用，还有数以千计的尚未被设计或发现的智能成像潜在应用  

这意味着 CMOS 图像传感器的部署模式，以及其嵌入到的相机即将彻底改变。自半导体图像传感器发明以来，市场一直为使用大量器件的少数制造商供货，即：少数几家相机和摄像机制造商，以及后来的智能手机制造商。用于工业、专业或消费用途的相机制造商是成像专家：他们拥有自己的专有开发工具和技术，可在相机设计中应用图像传感器，并且图像传感器制造商提供专门的甚至定制的产品来满足他们确切的规格需求。  

最新的人工智能驱动的图像传感器市场非常不同：农场收割机、交通控制信号或智能门锁的制造商自身通常几乎没有成像专业知识。由于与相机制造商相比，他们需要的图像传感器数量很少，因此他们希望从一系列标准产品中进行选择，以便从较低的单价中受益。  

现在，图像传感器制造商正在开发新产品，以满足希望将智能成像添加到其产品功能中的嵌入式系统制造商的这一新兴需求。他们发现这些新用户的需求与大型相机制造商的需求不同。图像传感器技术评估的传统重点是光学性能特性，例如：  

· 分辨率

· 动态范围

· 帧率

· 灵敏度和弱光性能

· 噪音  

然而，本文认为嵌入式系统开发人员将对新一代传感器的两个重要特性同样感兴趣：平台功能以及用户友好的开发工具和资源的可用性。  

用于开发多功能终端产品系列的平台  

ITS、智能农业、安全和其他领域的利基应用对标准图像传感器产品的新兴需求正在促使少数占主导地位的图像传感器制造商扩展其产品范围，提供新的标准产品。  

安森美半导体已经认识到，许多这些新的利基客户希望开发多种产品以满足不同的性能或应用要求，并以不同的价格进行销售。因此，安森美半导体的 XGS 图像传感器系列提供分辨率从 2百万像素到 45百万像素的器件。  

XGS 系列中的这些传感器基于相同的平台，具有两种封装选项：分辨率为 2百万像素、3百万像素、5百万像素、8百万像素、9.4百万像素、12百万像素或 16百万像素的 XGS 传感器共享同一个通用封装，并与行业标准（紧凑的 29mm x 29mm 相机尺寸）兼容。分辨率为 20百万像素、30百万像素、32百万像素或 45百万像素的 XGS 传感器支持 Super 35mm 光学格式。  

XGS 系列足够广泛，可以支持各种价格和性能要求。在高性能端，XGS 45000 以高达 60 帧/秒的速度生成 8K（8192 像素 x 4320 像素）视频输出。成本最低的器件 XGS 2000 以高达 220 帧/秒的速度生成单色或拜耳色配置、全 1920 像素 x 1200 像素分辨率的 12 位输出。  

所有 XGS 系列传感器都受益于包含全局快门的先进像素设计，在捕捉快速移动的图像时不会产生模糊或图像伪影。该像素架构提供高带宽，同时以低功耗和低噪声运行。  

为新的相机设计者提供完成工作所需的工具  

对开发人工智能驱动成像系统的新客户的需求的一个回应是提供灵活的图像传感器产品平台。  

但是，这群新兴客户与成熟的相机制造商还有另一种不同之处：他们没有内部可用的复杂的专有光学开发工具套件和原型开发平台。如果没有这些工具，开发新的、面向应用的相机的任务将非常困难且耗时。  

安森美半导体通过提供自己的资源套件来支持从评估到软件开发再到相机设计的每个开发阶段，从而满足这一新兴需求。  

DevWare 基于 PC 的应用软件支持复杂的图像传感器评估。当与 USB3 成像基板和 XGS 图像传感器板结合使用时，它提供了高捕获率和灵活的评估选项。当开发人员希望能够自由地评估 XGS 图像传感器性能和像素操作的各个方面，并访问所有寄存器设置时，DevWare 平台是理想的选择。  

X-Celerator 支持系统软件开发：它包含一个 FPGA 夹层卡 (FMC) 形式的摄像头，提供了与标准 FPGA 开发环境的直接连接（见图 2）。X-Celerator 由公共 FPGA 代码支持，因此使用它不需要软件许可协议。这个开发平台的一个重要优势是开发团队可以在他们自己的硬件设计最终确定之前编写相机软件，使硬件和软件团队能够并行工作，缩短上市时间。

图 2：X-Celerator 相机套件支持在基于 FPGA 的硬件环境中进行软件开发（图片来源：安森美半导体）  

使用安森美半导体的 X-Cube 参考设计可以加速相机硬件的设计，该参考设计是一个具有 MIPI 接口的完整的端对端相机方案（见图 3）。X-Cube 设计支持采用行业标准的 29mm x 29mm 外形、分辨率高达 16M百万像素的所有 XGS 图像传感器，可使用 C 接口或 S 接口透镜。  

图 3：X-Cube 参考设计提供基于分辨率高达 16百万像素的 XGS 图像传感器的完整相机系统（图片来源：安森美半导体）  

适配器板提供了连接至 USB3 基板的接口，将参考设计链接到 DevWare 软件，从而在 PC 上实现图像捕获、处理和分析。安森美半导体提供所有设计文件，包括原理图、布局和透镜安装 CAD，供客户使用和修改。  

支持构建完整的基于人工智能的成像系统  

安森美半导体的 XGS 图像传感器可与市场上传统光学方面的最佳产品相媲美，提供高分辨率、快速帧速率和低功耗。工业客户的重大突破是安森美半导体以新方式支持没有或几乎没有相机专业知识的OEM厂商，提供丰富的开发资源和灵活的图像传感器平台。  

安森美半导体的授权分销商富昌电子可为非视觉专家的嵌入式系统 OEM 厂商提供支持。富昌电子可以通过其在英国和欧洲的区域成像专家，以及为图像传感器买家提供行业领先的供应链服务，为新相机的开发提供深入的技术支持。富昌电子还为基于 AI 的成像应用提供全方位的支持组件，包括来自 Microchip、Lattice 和 Quicklogic 的一系列用于 AI 后端的 FPGA 产品