GTI智能驾驶深度解读（三）：AI机器视觉、5G将在全无人驾驶中起关键作用

汽车行业正在经历关键的技术转型，朝着更高的自动化水平迈进。智能驾驶需要更高效，更强大的 汽车行业正在经历关键的技术转型，朝着更高的自动化水平迈进。智能驾驶需要更高效，更强大的 AI 处理器。根据 HorizonRobotics 对 OEM 需求的总结，更高水平的无人驾驶需要更多数量级的每秒兆操作（TOPS），即 L2，2 TOPS;L3 ,24TOPS ; L4 ,320 TOPS 和 L5,4,000 + TOPS（表 2）[7]。

表2 - AI 汽车性能OEM需求，适用于不同级别的无人驾驶汽车

汽车处理器通常分为三大类(图 7):

1.基于 CPU 和 GPU 的处理器：往往具有良好的灵活性，但通常功耗高。

2.FPGA（现场可编程门阵列）：与 GPU 相比，需要更少的计算资源，但成本更高且可编程性有限。

3.ASIC（专用集成电路）芯片：通常采用定制设计，在性能，成本和功耗方面更高效。

图 7 - CPU vs. GPU vs. FPGA vs. ASIC

传统的 CPU 和 GPU 正在努力满足 L4 和 L5 无人驾驶级的高计算需求，其中 FPGA / ASIC都是优于 CPUs /GPUs，无人驾驶汽车将需要足够的计算能力来成为“车轮上的数据中心”。 考虑到汽车应用程序的复杂性，单靠计算能力是不够的。人工智能汽车处理器的能效、性能和成本效益也应该考虑在内。全定制 ASIC 在低功耗、性能和成本方面远远优于 FPGA。这就是为什么在无人驾驶计算平台上集成特定于 AI 的 ASIC 加速器正在蓬勃发展。

GTI 的推理加速器芯片采用卷积神经网络领域特定架构(CNNDSA)，具有专用的矩阵处理引擎(MPE)和高效的人工智能内存处理(APiM)技术。例如，GTI 的 LightSpeeur2803S 提供了 24TOPS/Watt 的功耗能效，所有 CNN 处理都在内部内存中完成，而不是外部 DRAM。 它可以将 448x448 RGB 图像输入分类为 16.8TOPS 以上，峰值功耗小于 700mW，精度可与VGG 基准相媲美。Gyrfalcon 的 CNN-DSA 加速器可重新配置，以支持各种层大小和类型的CNN 模型系数。

对于计算密集度更高的边缘计算应用，例如无人驾驶汽车人工智能平台，GTI 基于 PCIe的 AI 加速器卡使用 16x2803S 芯片，可提供 270 TOPS 和 9.9 TOPS / W 功率效率，可用于4 级 AI 汽车性能需求（ 图 8-a）。 使用 4x GTI 2803S PCIe 卡（64 芯片）可为 L5 AI 自动性能提供 1080 TOPS 的最高性能，如图 8-b 所示。

（a）                                                  （b）

图8 - 高性能GTI PCIe加速卡(a) 16x2803s 芯片，270 TOPS (b) 4xPCIe，1080 TOPS

GTI 的基于 AI 的芯片具有灵活且可扩展的架构，可以轻松地以并联或级联方式处理，适用于任何既定的性能/型 号应用，如图 9（a，b）所示。级联功能可提供灵活性并减少主机工作负载，支持更大和更复杂的模型（即 ResNet-101，ResNet-152，......）。

（a）                                                       （b）

图 9 - GTI AI 加速器，架构可扩展（a）并行架构，性能更高（b）级联架构适用于大模型

许多无人驾驶汽车应用的潜在功能是深度学习技术，比如卷积神经网络(CNNs)，它通常用于车辆和行人检测、路面跟踪、标识和信号识别以及语音命令解释。GTI 基于 AI 的架构是“硅验证”的独立加速器技术，可以用于任何类型的传感器输出，如可视、音频和其他形式的数据。这包括来自机器学习摄像机和高分辨率激光雷达的高速率数据，以及来自雷达和超声波传感器的低速率数据。

无人驾驶功能

汽车生态系统结合了多种先进技术(图 10):

5G 连接：车辆到车辆（V2V），车辆到网络（V2N），车辆到基础设施（V2I），车辆到行人（V2P）和车辆 到万物（V2X）的通信 传感:融合无线电探测与测距(雷达)、超声波、光探测与测距(激光雷达)、视觉传感与定位像机 信号预处理：集成信号处理，去噪和高清（HD）地图以及高精度导航的高速信息系统感知和规划:用于视觉和本地化的强大的人工智能（AI）处理器/加速器决策和控制:驱动程序辅助(ACC，刹车)，路径规划和情境感知5G 连接在保持车辆、基础设施和行人的整个网络同步方面发挥着关键作用。V2X 技术通过共享和接收关键的安全信息、其他车辆和行人的移动、交通信息和道路状况来降低风险。这些数据有助于无人驾驶汽车和 ADAS 系统展现他们的最佳性能。

传感技术和人工智能为安全可靠的无人驾驶系统提供最先进的 360 度视觉感知。传感器用于收集信息并从环境中提取相关的感知。 感知是指对车辆环境进行视觉和情境理解。它提供关于车辆周围障碍物，物体/车道检测，其未来状态的路线预测以及按其语义对数据进行分类的关键信息。 为了模仿人类反应的时间安排，无人驾驶汽车需要令人难以置信的数据处理能力和速度来分析数十个传感器产生的前所未有的数据量。 基于所实现的传感器类型，可以通过使用摄像机，激光雷达或这两个设备之间的融合来解决 感知任务。 诸如雷达和超声波传感器的其他传统方法通常用于增强定位，以及车辆对环境位置的能力。 无论传感器是否被实现，感知任务的两个关键因素是视觉处理和定位。 最后，车辆基于由更高处理生成的决策和控制来执行特定的动作。

图10 - 无人驾驶车辆的功能与技术

机器视频编码的兴起 (VCM)

视频数据已成为全球消费的最大数据来源。 人们越来越意识到大多数视频流量都将由机器使用。 根据 Cisco 在 2019 年发布的信息[8]，机器到机器（M2M）连接和人机视觉将是互联网视频流量的最大使用者 。到 2022 年，将会有超过一半的全球连接设备和连接，这已经成为多媒体计算，传输和存储的最严峻挑战。通过将视频压缩到更小的尺寸进行视频编码是关键解决方案之一。然而，在近三十年压缩比不断增长的同时，其发展已在一定程度上饱和。 机器学习算法，尤其是深度学习（DL），已能够从非结构化海量数据中提取关键特征并提供数据驱动的预测。 由于其优越的数据学习性能，许多新兴的机器学习算法可以应用到视频编码中，进一步提高编码性能。智能处理和编码机器使用的视频数据，将会成为商业化，大规模采用和基于视觉的应用创新的关键驱动和有效方式，如人工智能汽车。

图 11 显示了过去三十年来发布的五种主要编码标准(H.261、MPEG-4、H.264/AVC、H.265 /HEVC 和 H.266/VVC，红色矩形为[10])的发展情况。新兴的 MPEG-VCM 技术与前五种领先的编码标准不同，它有望对提取的特征进行智能操作，而不是对原始的视觉数据进行操作，具有更高的压缩效率。VCM 标准可以帮助主流视觉数据应用，并扩大其在无人驾驶汽车、智慧城市、智能传感器网络、智能产业、沉浸式娱乐等领域的应用，特别是在 5G 车联网(IoV)生态系统的新兴时代。

图 11 - 视频编码标准的演变

由于对大规模视频分析的需求越来越大，受 CN-VGG16 的显著成功启发，提出了基于深度学习特征提取的 MPEG 标准来 标准化视频分析压缩描述符(Compact Descriptor for video analysis, CDVA)。MPEG-VCM 的特征提取方法[11]可以看作使用深度学习方法类似于 CDVA 技术。CDVA 的深度学习主干。用于可视数据的 MPEG 工业系统主要基于“压缩后分析（CTA）” 范例（图 12-a）。 基于 CDVA 的视频分析[12]正在解决将 CTA 范例逆转为“分析后压缩（ATC）”的挑战。 图 12（b-e）示出了 MPEG-CDVA 视频编码的变形。传输压缩的提取特征向量取代原始文本数据将大大减少视频传输或存储的数据量，并实现各种应用程序和设备之间的互操作性,特别是在新兴的 5G IoT 和 V2X 标准中图 13 (a - b)显示了 MPEG-CDVA标准 ，使用特征图取代原始文本数据，显著减少了传输带宽。

12- （a）传统的MPEG，（b-e）基于CDVA的MPEG

图 13 - (a) CDVA“分析后压缩”(ATC)，(b)使用特征图取代原始文本数据显著降低 BW

今天，无人驾驶汽车主要有以下两种方式：（1）LiDAR 激光雷达，它是一种先进的短程雷达（2）通过连续采集视觉数据，使用一系列摄像头让所有的注意力都集中到道路上 。一些公司同时使用摄像头和激光雷达（LiDAR）。近来，大多数无人驾驶汽车公司使用的激光雷达（LiDAR），他们神经网络的深度学习引擎不够强大，无法处理多个摄像头的输入。然而，神经网络的发展已经逐渐变得更加富有经验和成熟，有潜力比激光雷达更好地处理现实世界的输入信息。

特斯拉(Tesla)是最著名的公司之一，它在纯摄像头视觉计算上押下了重注，将 8 个摄像头与强大的神经网络 SoCs 整合到每辆车上。 鉴于基于相机的视觉传感成本较低，随着人工智能的最新进展，我们很可能会看到相机系统的激增，主要是在消费汽车上。无人驾驶中的相机与我们人类视觉工作的方式相同，通过大多数数码相机中发现的类似技术。
 
虽然相机在理论上和实践上都能增强自动驾驶汽车的能力，但其他传感器(激光雷达是否能规模应用还有待观察)将继 续添加到感知网络中，以帮助增强环境感知能力。与此同时，大规模的机器式可视化计算正在兴起。新兴的MPEG-VCM标准、5G低延迟和V2X是人工智能汽车行业实现海量视觉数据流的关键技术——这将机器视觉传感提升了个新的高度。

智能汽车作为关键应用案例的三个关键任务(图14):

 对地图环境的感知

高清(HD) 地图

即时定位与地图构建 (SLAM)

图 14 -智能车辆的关键任务

VCM 有望在人工智能汽车的感知、高清地图和即时定位与地图构建(SLAM)领域发挥重要作用。 感知包括目标检测和跟踪、车道和车辆跟踪、交通标志、汽车和行人识别，以及使用车载传感器的流畅人机交互(HMI)。这些用于深度学习模型的大计算量应用必须实时而准确地处理大量(可视化)数据，这些信息可为机器快速可靠地做出决策。高清（HD）地图和 SLAM 通常使用多车众包测绘或边缘/路边辅助方法[13]。新兴的 MPEG-VCM 标准将有助于在车辆和 5G 基础设施之间以协作的方式传输可视化数据聚合、传播和压缩。人工智能、5G-V2X 以及包括 VCM 在内的新兴智能视觉传感技术的进步，正在为安全可靠的自动驾驶和 ADAS 系统提供最先进的 360 透视视野。

5G 无人驾驶愿景

车联网和无人驾驶汽车的设计和部署极具挑战性。对乘客安全的高期望、前所未有的通信可靠性(99.999%以上)和端到端延低迟(3ms 以下)，甚至在超高机动驾驶场(250km/h以上)，都使得无人驾驶汽车行业更加艰难。此外，汽车将配备越来越多的传感器，这将要求提高数据速率(每小时的数量级为 TB 级)[14]。国际电信联盟无线电通信（ITU-R）确定了 5G 的三种主要使用场景：增强型移动宽带（eMBB），海量机器类通信（CmMT）和超可靠的低延迟通信（URLLC））。这些方案中的标准，通过提供无人驾驶系统所需的峰值数据速率，延迟和连接密度，为驾驶体验带来了巨大的好处。5G 的超低延迟（≤1ms）可实现更好的事故预防能力; 特别是在非视距（NLOS）情况下，因为基于摄像机，激光雷达或雷达的大多数当前传感器融合技术只能检测视线（LOS）中的物体。5G 的峰值数据速率最高可达 20 Gbps，它将使无人驾驶汽车能够进行实时高清视频和音频娱乐，或近乎实时地下载复杂的高清地图。除了传感器融合技术，无人驾驶汽车在很大程度上依赖于最新、准确和高度详细的三维地图导航[15]。然而，将一个州或是一个国家的海量地图数据存储在汽车本身将是一个挑战。一个自然的解决方案是利用最近的 MPEG-CDVA 和新兴的 MPEG-VCM 标准，在本地和 5G 边缘计算单元的协助下，近距离地捕捉、压缩、下载和分析高清视频/地图。

标准和交互性在5G连接汽车中发挥着重要作用。如今，专用短程通信（DSRC）和蜂窝V2X（C-V2X）是两种领先的技术，能够支持车载应用，如表3所示.DSRC（IEEE 802.11p）和C-V2X（5G NR V2X） ）可以补充今天的车载传感器，以实现自动驾驶。 C-V2X可以实现车辆之间的信息共享和RSU的计算卸载[16]。 因此，V2X不仅减轻了边缘计算系统的压力，还为感知，察觉和决策提供了冗余。

表3 - DSRC和Cellular V2X技术的优点和局限性

虽然 DSRC 和 4G C-V2X (LTE-V)相互竞争、相互补充，但都不能满足关键任务无人驾
驶和 ADAS 系统的严格要求。最终，5G 将提供无人驾驶汽车和 ADAS 系统所需的 eMBB、mMTC和 URLLC 的优势。

5G 无线汽车将在部署全无人驾驶汽车方面发挥关键作用。这包括合作驾驶，与其他车辆和/或路边基础设施共享道路信息 和交通状况，列队，提前发出危险警告，更好地预测路线上的潜在风险或延误。

总结

未来的人工智能自动驾驶汽车将比现在的汽车需要更多的传感器、更高的计算能力、更节能、更智能的车载视觉的人工智能处理器。 5G，边缘计算，计算机视觉和深度学习以及机器（VCM）技术的视频编码的融合将是完全自主驾驶车辆的关键。标准和交互的技术，如 V2X，新兴的 VCM 准，强大的边缘和板载计算推理加速器芯片，可以满足 AI 汽车行业的苛刻要求，具有低延迟，高能效，低成本和安全的优势。虽然标准推动了行业的兼容性，但行业需要产品来推动其业务发展。

GTI 提供一系列 ASIC，支持基于视觉的行业的 MPEG-CDVA 标准，如 AI 汽车，智慧城
市，智能传感器等。

GTI 针对机器视觉，人机视觉和无人驾驶汽车应用的高性能边缘推理芯片解决方案以更高性价比提供更多服务和功能。GTI 提供符合 MPEG-CDVA 标准的生产级芯片和平台，加速了视频编码的创新和功能，为机器（MPEG-VCM）带来了许多行业优势。

 GTI 的解决方案是可授权的，可直接集成到 SoC 中或集成在系统平台上。

3 参考文献

[1] Tractica, "Artificial Intelligence for Automotive Applications," https://www.tractica.com/research/artificial- intelligencefor-automotive-applications/, 2019.
[2] McKinsey, "McKinsey estimates that, by 2030, fully autonomous cars," auto 2030 report jan 2016.ashx , 2016.
[3] MPEG-VCM, "MPEG-VCM: Video Coding for Machine," https://lists.aau.at/mailman/listinfo/mpeg-vcm, 2019.
[4] F. Qi, "The Data Science Behind Self-Driving Cars," A Medium Corporation, 2019. [Online]. Available:
https://medium.com/@feiqi9047/the-data-science-behind-self-driving-cars-eb7d0579c80b.
[5] K. B. L. Jun Zhang, "Mobile Edge Intelligence and Computing for the Internet of Vehicles," inarXiv:1906.00400v1
[cs.NI], Jun 2, 2019.
[6] R. show, "Toyota, Intel and Ericsson team up to collect Big Data from cars,"
https://www.cnet.com/roadshow/news/toyota-intel-and-ericsson-team-up-to-collect-big-data-from-cars/, Aug 11, 2017.
[7] ReportLinker, "ADAS and Autonomous Driving Industry Chain Report, 2018-2019- Automotive Processor and
Computing Chip," https://finance.yahoo.com/news/adas-autonomous-driving-industry-chain-200900835.html, April 23,
2019.
[8] Cisco, "Cisco Visual Networking Index: Forecast and Trends, 2017–2022," February 27, 2019.
[9] J. Ozer, "Video Compression for Machines: The Next Frontier,"
https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=133860, September 3, 2019.
[10] Y. K. S. W. S. Zhang, "Machine learning based video coding optimizations: A survey," Information Sciences, Elsevier,
2019.
[11] GTI, "Video for Machines (V4M)," Gyrfalcon Technology - https://www.gyrfalcontech.ai/video-for-machines/.
[12] L.-Y. Duan, "Compact Descriptors for Video Analysis: the Emerging MPEG Standard," IEEE MultiMedia,
arXiv:1704.08141v1 [cs.CV], Apr 26, 2017.
[13] K. B. L. Jun Zhang, "Mobile Edge Intelligence and Computing for the Internet of Vehicles," arXiv:1906.00400v1 [cs.NI],
Jun 2, 2019.
[14] 5. Americas, "5G – The Future of IoT," 5G Americas, July 2019.
[15] NAI, "5G and the Future of Self-Driving Cars," https://www.nai-group.com/5g-self-driving-car/, 2019.
[16] "How 5g will improve v2x and autonomous driving," https://www.coursehero.com/file/p501rd8/How-5G-Will- ImproveV2X-and-Autonomous-Driving-Systems-5G-is-taking-cellular/, 2019.

我爱方案网是GTI的授权代理商，欢迎联络我们采购GTI的AI芯片，共同推动AI应用落地。更多元器件采购需要，欢迎来中电快购！

查看相关文章

GTI智能驾驶深度解读（一）：边缘计算，机器视觉，5G 车辆的融合

GTI智能驾驶深度解读（二）：边缘计算对于无人驾驶的关键优势