为智能车辆加速！边缘计算，机器视觉，5G 车辆的融合

内容

1. 摘要....................................................................5
2. 介绍................................................................... 6
2.1 智能车辆的定义....................................................... 7
2.2 无人驾驶边缘计算.................................................. 9
2.2.1 AI无人驾驶边缘计算优势........................................... 10
2.2.1.1 低延迟.........................................................11
2.2.1.2 速度...........................................................12
2.2.1.3 可靠性.........................................................13
2.2.1.4 安全性.........................................................13
2.2.1.5 扩展性.........................................................13
2.2.1.6 成本 ...........................................................14
2.2.2 AI 汽车处理器技术................................................. 14
2.2.3 无人驾驶功能...................................................... 17
2.3 机器视频编码的兴起 (VCM) ............................................. 18
2.4 5G 无人驾驶愿景....................................................... 22
2.5 总结.................................................................. 23
3. 参考文献.............................................................. 24

1、摘要

人工智能（AI）为车辆提供了查看，思考，学习和驾驭各种驾驶场景的能力。

Gyrfalcon Technology Inc.（GTI）利用人工智能和深度学习为无人驾驶提供突破性的解决方案 -– 为设备、边缘端、云端提供无与伦比的算力、功效和可扩展性能。

近年来，无人驾驶系统引起了人们极大的兴趣。汽车行业的领导者正在自动驾驶汽车领域投入大量资金和工程资源。由于在实时安全操作决策和响应严格性能要求，构建自动驾驶系统尤其具有挑战性。尽管近年来技术不断进步，但这类系统在很大程度上仍处于无人驾驶汽车的试验和架构评估阶段。在过去的几年里，深度学习(DL)在解决感知、规划、定位和控制等领域的机器任务方面取得了显著成效。DL 具有从真实环境中获取复杂数据学习的出色能力，因此非常适合于多种机器自动化的应用。此外，机器的视觉计算和视频分析将很快承担起无人驾驶汽车(AV)、智能传感器、智慧城市、安全和监控、仓库管理等领域的大数据分析。

本文介绍了人工智能推理在AV中的应用，并对其深度学 习体系结构、机器视频(VFM)的创新和支持5G技术进行了详细的说明。最后，我们描述了在基于AV的解决方案中应用深度学习的主要挑战和解决方案。

2、介绍

当今社会逐渐以多媒体为中心，数据的依赖和自动化。无人驾驶系统正在占领我们的道 路，海洋和空域。在某些应用领域，自动化，分析与智能正在超越人类。计算机视觉和机器视 频将在我们未来的数字世界中发挥着重要作用。数百万智能传感器将嵌入汽车，智慧城市，智 能家居甚至仓储。此外，5G技术将成为一个完全连接的智能世界数据的高速公路，有望承担起 从人到机器甚至机器人的一切连接--需求将是巨大的。

一个多世纪以来，汽车工业一直是一个重要的经济部门，它正在朝着无人驾驶和车联网的方向发展。汽车变得越来越智能，对人类操作的依赖也越来越少。车辆与车辆(V2V)和车辆与物 链接(V2X)，其中来自传感器和其他来源的信息通过高带宽、低延迟和高可靠性来传播，为完全 无人驾驶铺平道路。无人驾驶技术推广背后的主要引人注目的因素是减少死亡和事故。无人驾 驶汽车将在实现汽车行业“零事故”、“零排放”、“零拥堵”的宏伟愿景中发挥至关重要的作用。

根据Tractica的预测[1]，到2025年汽车人工智能硬件，软件和服务市场将达到265亿美元，高于2017年的12亿美元（图1）。这包括机器学习，深度学习，NLP，计算机视觉，机器推理和强大的AI。麦肯锡估计，到2030年[2]，完全无人驾驶汽车可占全球机动车销量的15％，到2040年这一数字将上升至80％，这些都取决于车辆监管方面，消费者接受度和安全记录等因素。无人驾驶仍然是一个相对新生的市场，在市场扩大之前，许多系统的优势将无法体现出来。

图1-2017~2025年期间AI汽车市场预测

2.1智能汽车的定义

通过复杂的传感器和摄像头网络，重建外部环境，为智能汽车实现全无人驾驶体验。

无人驾驶车辆处理由摄像机，激光雷达，雷达和超声波传感器收集的信息，以告知汽车与周围物体的距离，路边，车道标记，交通信号和行人的可视化信息。

与此同时，随着嵌入式系统，导航，传感器，可视化数据和大数据分析的最新进展，我们正在目睹车辆和移动边缘计算能力的日益增长，将首先应用于高级驾驶辅助系统（ADAS），包括紧急制动，备用摄像头，自适应巡航控制和自动泊车系统。
 
在引入由汽车工程师协会（SAE）定义的六级自动化之后，完全无人驾驶汽车将逐渐成为现实，如图 2 所示。这些级别包括无自动化，有条件自动化（人工参与）到全自动汽车。随着自动化程度的提高，车辆将从驾驶员手中接管更多 任务。ADAS 主要属于自动化的 1 级和 2 级。汽车制造商和技术公司，如 Waymo、优步(Uber)、特斯拉(Tesla)，以及一些一级汽车制造商，正在大举投资提高驾驶自动化水平。

图 2-无人驾驶汽车的 SAE 标准

随着人工智能技术创新的快速增长，人们越来越多地接受 4 级解决方案，主要针对在高速公路条件下行驶的车辆。虽然目前 3 级和 4 级之间的障碍主要是控制方面的，但 4 级和 5 级之间的门槛要大得多。后者要求具备驾驭复杂路线和不可预见环境的技术能力，而这些目前都需要人类的智慧和控制。

随着自动化水平的提高，将需要更多的传感器、处理能力、内存、高效功耗和网络带宽管理。图 3 显示了各种 AV 功能，图 4 显示了基于顶级汽车制造商设计的不同级别 AV 自主所需的传感器数量。

图 3 - 无人驾驶所需的传感器

图4 - SAE定义的AV等级及传感器数量

汽车和车载通信的最新进展推动了深度学习，边缘计算和车辆互联网的融合。机器视频编码（MPEG-VCM）的标准[3]，是另一种面向机器的视频处理和编码可视化数据应用新兴技术。

强大的人工智能加速器在边缘进行推理、基于标准的机器视频压缩和分析算法 (MPEG- I 汽车和车载通信的最新进展推动了深度学习，边缘计算和车辆互联网的融合。机器视频编码（MPEG-VCM）的标准[3]，是另一种面向机器的视频处理和编码可视化数据应用新兴技术。

在随后的章节中，将讨论以下关键的驾驶汽车技术：

1. 智能边缘计算  2. 机器视频编码（(VCM)

图 5 - 高性能的边缘推理、机器处理视频和 5G V2X 是实现无人驾驶汽车的关键因素

2.2 无人驾驶边缘计算

无人驾驶汽车所需的大量传感器，海量数据，不断增加的计算能力，实时操作和安全问题，正在推动在云端计算的核心，往边缘端发展。无人驾驶车辆不断感应并发送有关道路状况，位置和周围车辆的数据。无人驾驶汽车每秒产生大约 1GB 的数据[4] - 由于网络带宽和延迟，即使是将部分数据发送到云端服务器分析也是不切实际的。

由于大量的数据传输、延迟问题和安全问题，现行的云计算服务架构阻碍了为无人驾驶汽车提供实时人工智能处理的实现。因此，深度学习作为人工智能的主要代表，可以将这些问题集成到边缘计算框架中。边缘计算解决了延迟敏感的控制，如对象跟踪和检测、位置感知以及云计算中面临的隐私保护等问题。

只有在不依赖于远程资源的情况下，对采集到的数据进行本地处理，实时做出决策和预测，才能实现边缘计算的真正价值。只有当边缘计算平台能够加载预先训练好的深度学习模型，并且拥有本地执行实时推断的计算资源时，这才可能发生。延迟和本地化是边缘计算的关键因素，因为数据传输延迟和上游服务中断是不可容忍的，并引发了无人驾驶汽车的安全问题(ISO26262)。例如，车辆上的摄像头传感器应该能够在不依赖云计算资源的情况下，在 3ms 内探测并识别周围环境并且有高可靠性(99.9999%)。例如，对于速度为120km/h 的车辆，1ms 的往返延迟相当于车辆与静态对象之间的 3cm 或两辆移动车辆之间的6cm。

3. 5G (V2X)连接的车辆

目前，无人驾驶车辆应用中现有的车载 AI 计算任务，包括目标检测、语义分割、路面跟踪、标志和信号识别等，主要依赖于 CPU、GPU 或 FPGA 等通用硬件。然而，对于无人驾驶和嵌入式应用程序，应该考虑功耗、速度、精度、内存开销、芯片尺寸和 BOM 成本。虽然高功耗的 GPU 可以通过冷却来满足散热，但同时也显著降低行驶里程和车辆的燃油效率。因此，这需要更经济、更高效、基于人工智能加速优化的芯片，如领域特定的基于人工智能推理的 ASIC，实现在边缘端对深度学习推理能力的加速。

2.2.1 AI 无人驾驶边缘计算优势

最近无人驾驶在提高车辆安全和效率方面作出了重大努力。车辆通信和 5G C-V2X 技术的进步，为车辆之间、车辆与基础设施网络之间提供可靠的通信连接。边缘计算最适合于带宽紧张和延迟敏感的应用，例如无人驾驶汽车，因为安全原因需要立即采取行动和作出反应。

无人驾驶系统极其复杂，它们紧密集成了许多技术，包括传感、定位、感知、决策，以及与云平台的流畅交互，用于高清地图生成和数据存储。这些复杂性给无人驾驶边缘计算系统的设计带来了诸多挑战。

车辆边缘计算(VEC)系统需要实时处理大量的数据。由于 VEC 系统是移动的，它们通常有非常严格的能耗限制。因此，即使是在高速[5]上也要以合理的能耗提供足 够的计算能力，来保证无人驾驶汽车的安全。

为无人驾驶汽车设计一个边缘计算生态系统的首要挑战是提供实时处理、足够的计算能力、可靠性、可伸缩性、成本和安全性，从而保证无人驾驶汽车用户体验质量和用户安全。

表 1 为车辆边缘计算与车辆云计算比较。

在接下来的几节中，我们将介绍智能边缘计算对于无人驾驶的一些关键优势。

表 1 - 车辆边缘计算与车辆云计算的比较

2.2.1.1 低延迟

零(低)延迟对汽车安全是至关重要的。许多无人驾驶汽车制造商都在设想，传感器数据将流入云端，用于无人驾驶汽车所需的进一步数据处理、深度学习、训练和分析。这使得汽车制造商能够收集大量驾驶数据，并能够使用机器学习来改进人工智能自动驾驶实践和学习。据估计，在网络上收发数据至少需要 150-200ms。考虑到汽车是在运动并且需要实时决策需要做出有关汽车的控制，这个延时比较大。

根据丰田的说法，到 2025 年，汽车和云之间传输的数据量将达到 10exabytes/月,也就是当前数据量的 10000 倍。云计算的设计初衷并不是让无人驾驶汽车快速处理大量数据。无人驾驶汽车将实时执行时间敏感的处理任务，例如车道跟踪，交通监控，目标检测或本地（边缘）级别的语义分割，并相应地采取驾驶行动。

同时，对于长期的任务，它将传感器数据发送到云端进行数据处理，最终将分析结果发
送回无人驾驶汽车。

因此，边缘计算技术将提供一个端到端系统架构框架，用于将计算过程分布到本地网络。一个精心设计的人工智能无人驾驶汽车和车联网将是一个协作的边缘云计算系统，高效的视频/图像处理，以及多层分布式(5G)网络——本地和云端处理的混合网络(图 6)。边缘计算是为了补充云计算，而不是完全取代云计算。

 图6 边缘·云协同计算.

2.2.1.2 速度

考虑到在网络上来回传输的大量数据，出于安全原因，大部分处理都必须在车上进行。车辆在不需要传输数据的情况下，计算连续数据的速度有助于减少延迟，并提高准确性。 因此车辆不再依赖连接和数据的传输速度。

人与机器之间的相互依赖意味着信息的实时传输速度是至关重要的。利用边缘计算，包括拥有足够的本地化计算处理和内存量，以确保无人驾驶汽车和人工智能处理器能够执行各自所需的任务。

2.2.1.3 可靠性

无人驾驶汽车的安全性至关重要。边缘计算减少了阻塞云网络的压力，并通过减少数据处理和车辆之间的延迟提供了更好的可靠性。无人驾驶汽车制造商很快就意识到云计算的局限性。虽然云计算是必要的，但无人驾驶汽车需要一种更加分散的方式。

由于边缘计算和边缘数据中心的位置离车辆更近，在较远的位置发生网络问题影响本地车辆的可能性更小。即使在附近数据中心发生故障的情况下，无人驾驶汽车的车载智能边缘推断系统也将继续有效地独立运行，因为它们有自主处理的能力。

今天，汽车制造商为电力故障、网络故障甚至计算机故障提供了多层保护和冗余。汽车还能够动态 地改变路线，为网络交通提供动力，甚至能够做出决策，让无人驾驶汽车安全停车。拥有边缘计算的无人驾驶汽车可以支持带有预测分析功能的车载诊断，这是一个可以在其生命周期中不断发展和演变的系统。由于有如此多的边缘计算车辆连接到网络，数据可以通过多个路径重新规划路线，以确保车辆保留对所需信息的访问，有效地将车联网(IoV)和边缘计算集成到一个全面的分布式边缘架构中，提供无与伦比的可靠性和可用性。

2.2.1.4 安全性

安全性是无人驾驶汽车最首要要求。为自动驾驶汽车设计边缘计算生态系统的最终挑战是提供足够的计算能力，冗余和安全性，以保证无人驾驶汽车的安全。因此，保护无人驾驶边缘计算系统免受感知网络和计算网络的不同层次的攻击是关键考虑因素。无人驾驶车辆的安全性应考虑到边缘计算网络的不同层次。这些包括传感器、操作系统、控制系统和通信安全性。 此外，边缘端的 AI 计算，减少了日常通信，这样会提高数据安全性。

2.2.1.5 扩展性

可扩展性车辆边缘计算天生具有分布式架构，可以帮助将数据带到网络的边缘，在那里车辆可以进行实时分析和与数据交互，如同本地数据一样。 虽然云计算对于特定的任务来说很有必要，但无人驾驶汽车需要一种更加分散的方法。例如，智能传感器可以分析视频动态，确定视频的哪些帧需要注意，并只将这些数据发送到服务器。这种分散的体系结构减少了数据传输过程中的网络延迟，因为数据不再需要跨网络到云中进行处理。人工智能汽车配备了比过去更多的机载计算能力，可以独自完成更多的任务。最终的结果是一个可伸缩的、分布式的、更扁平化的网络，具有更少的跳数，支持更多的可预测性和更少的延迟。

2.2.1.6 成本

越来越多的端侧(RSUs)配备了强大的本地人工智能处理器，这有助于降低能耗、维护和运营成本以及数据传输到云计算相关带宽的成本。与此同时，使边缘计算在今天变得更加可行的一个关键驱动因素是计算和传感器的成本持续下降。
 
2.2.2 AI 汽车处理器技术

汽车行业正在经历关键的技术转型，朝着更高的自动化水平迈进。智能驾驶需要更高效，更强大的 AI 处理器。根据 HorizonRobotics 对 OEM 需求的总结，更高水平的无人驾驶需要更多数量级的每秒兆操作（TOPS），即 L2，2 TOPS;L3 ,24TOPS ; L4 ,320 TOPS 和 L5,4,000 + TOPS（表 2）[7]。

表2 - AI 汽车性能OEM需求，适用于不同级别的无人驾驶汽车

汽车处理器通常分为三大类(图 7):

1.基于 CPU 和 GPU 的处理器：往往具有良好的灵活性，但通常功耗高。

2.FPGA（现场可编程门阵列）：与 GPU 相比，需要更少的计算资源，但成本更高且可编程性有限。

3.ASIC（专用集成电路）芯片：通常采用定制设计，在性能，成本和功耗方面更高效。

图 7 - CPU vs. GPU vs. FPGA vs. ASIC

传统的 CPU 和 GPU 正在努力满足 L4 和 L5 无人驾驶级的高计算需求，其中 FPGA / ASIC都是优于 CPUs /GPUs，无人驾驶汽车将需要足够的计算能力来成为“车轮上的数据中心”。 考虑到汽车应用程序的复杂性，单靠计算能力是不够的。人工智能汽车处理器的能效、性能和成本效益也应该考虑在内。全定制 ASIC 在低功耗、性能和成本方面远远优于 FPGA。这就是为什么在无人驾驶计算平台上集成特定于 AI 的 ASIC 加速器正在蓬勃发展。

GTI 的推理加速器芯片采用卷积神经网络领域特定架构(CNNDSA)，具有专用的矩阵处理引擎(MPE)和高效的人工智能内存处理(APiM)技术。例如，GTI 的 LightSpeeur2803S 提供了 24TOPS/Watt 的功耗能效，所有 CNN 处理都在内部内存中完成，而不是外部 DRAM。 它可以将 448x448 RGB 图像输入分类为 16.8TOPS 以上，峰值功耗小于 700mW，精度可与VGG 基准相媲美。Gyrfalcon 的 CNN-DSA 加速器可重新配置，以支持各种层大小和类型的CNN 模型系数。

对于计算密集度更高的边缘计算应用，例如无人驾驶汽车人工智能平台，GTI 基于 PCIe的 AI 加速器卡使用 16x2803S 芯片，可提供 270 TOPS 和 9.9 TOPS / W 功率效率，可用于4 级 AI 汽车性能需求（ 图 8-a）。 使用 4x GTI 2803S PCIe 卡（64 芯片）可为 L5 AI 自动性能提供 1080 TOPS 的最高性能，如图 8-b 所示。

（a）                                                  （b）

图8 - 高性能GTI PCIe加速卡(a) 16x2803s 芯片，270 TOPS (b) 4xPCIe，1080 TOPS

GTI 的基于 AI 的芯片具有灵活且可扩展的架构，可以轻松地以并联或级联方式处理，适用于任何既定的性能/型 号应用，如图 9（a，b）所示。级联功能可提供灵活性并减少主机工作负载，支持更大和更复杂的模型（即 ResNet-101，ResNet-152，......）。

（a）                                                       （b）

图 9 - GTI AI 加速器，架构可扩展（a）并行架构，性能更高（b）级联架构适用于大模型

许多无人驾驶汽车应用的潜在功能是深度学习技术，比如卷积神经网络(CNNs)，它通常用于车辆和行人检测、路面跟踪、标识和信号识别以及语音命令解释。GTI 基于 AI 的架构是“硅验证”的独立加速器技术，可以用于任何类型的传感器输出，如可视、音频和其他形式的数据。这包括来自机器学习摄像机和高分辨率激光雷达的高速率数据，以及来自雷达和超声波传感器的低速率数据。

2.2.3 无人驾驶功能

汽车生态系统结合了多种先进技术(图 10):

5G 连接：车辆到车辆（V2V），车辆到网络（V2N），车辆到基础设施（V2I），车辆到行人（V2P）和车辆 到万物（V2X）的通信 传感:融合无线电探测与测距(雷达)、超声波、光探测与测距(激光雷达)、视觉传感与定位像机 信号预处理：集成信号处理，去噪和高清（HD）地图以及高精度导航的高速信息系统感知和规划:用于视觉和本地化的强大的人工智能（AI）处理器/加速器决策和控制:驱动程序辅助(ACC，刹车)，路径规划和情境感知5G 连接在保持车辆、基础设施和行人的整个网络同步方面发挥着关键作用。V2X 技术通过共享和接收关键的安全信息、其他车辆和行人的移动、交通信息和道路状况来降低风险。这些数据有助于无人驾驶汽车和 ADAS 系统展现他们的最佳性能。

传感技术和人工智能为安全可靠的无人驾驶系统提供最先进的 360 度视觉感知。传感器用于收集信息并从环境中提取相关的感知。 感知是指对车辆环境进行视觉和情境理解。它提供关于车辆周围障碍物，物体/车道检测，其未来状态的路线预测以及按其语义对数据进行分类的关键信息。 为了模仿人类反应的时间安排，无人驾驶汽车需要令人难以置信的数据处理能力和速度来分析数十个传感器产生的前所未有的数据量。 基于所实现的传感器类型，可以通过使用摄像机，激光雷达或这两个设备之间的融合来解决 感知任务。 诸如雷达和超声波传感器的其他传统方法通常用于增强定位，以及车辆对环境位置的能力。 无论传感器是否被实现，感知任务的两个关键因素是视觉处理和定位。 最后，车辆基于由更高处理生成的决策和控制来执行特定的动作。

图10 - 无人驾驶车辆的功能与技术

2.3 机器视频编码的兴起 (VCM)

视频数据已成为全球消费的最大数据来源。 人们越来越意识到大多数视频流量都将由机器使用。 根据 Cisco 在 2019 年发布的信息[8]，机器到机器（M2M）连接和人机视觉将是互联网视频流量的最大使用者 。到 2022 年，将会有超过一半的全球连接设备和连接，这已经成为多媒体计算，传输和存储的最严峻挑战。通过将视频压缩到更小的尺寸进行视频编码是关键解决方案之一。然而，在近三十年压缩比不断增长的同时，其发展已在一定程度上饱和。 机器学习算法，尤其是深度学习（DL），已能够从非结构化海量数据中提取关键特征并提供数据驱动的预测。 由于其优越的数据学习性能，许多新兴的机器学习算法可以应用到视频编码中，进一步提高编码性能。智能处理和编码机器使用的视频数据，将会成为商业化，大规模采用和基于视觉的应用创新的关键驱动和有效方式，如人工智能汽车。

图 11 显示了过去三十年来发布的五种主要编码标准(H.261、MPEG-4、H.264/AVC、H.265 /HEVC 和 H.266/VVC，红色矩形为[10])的发展情况。新兴的 MPEG-VCM 技术与前五种领先的编码标准不同，它有望对提取的特征进行智能操作，而不是对原始的视觉数据进行操作，具有更高的压缩效率。VCM 标准可以帮助主流视觉数据应用，并扩大其在无人驾驶汽车、智慧城市、智能传感器网络、智能产业、沉浸式娱乐等领域的应用，特别是在 5G 车联网(IoV)生态系统的新兴时代。

图 11 - 视频编码标准的演变

由于对大规模视频分析的需求越来越大，受 CN-VGG16 的显著成功启发，提出了基于深度学习特征提取的 MPEG 标准来 标准化视频分析压缩描述符(Compact Descriptor for video analysis, CDVA)。MPEG-VCM 的特征提取方法[11]可以看作使用深度学习方法类似于 CDVA 技术。CDVA 的深度学习主干。用于可视数据的 MPEG 工业系统主要基于“压缩后分析（CTA）” 范例（图 12-a）。 基于 CDVA 的视频分析[12]正在解决将 CTA 范例逆转为“分析后压缩（ATC）”的挑战。 图 12（b-e）示出了 MPEG-CDVA 视频编码的变形。传输压缩的提取特征向量取代原始文本数据将大大减少视频传输或存储的数据量，并实现各种应用程序和设备之间的互操作性,特别是在新兴的 5G IoT 和 V2X 标准中图 13 (a - b)显示了 MPEG-CDVA标准 ，使用特征图取代原始文本数据，显著减少了传输带宽。

12- （a）传统的MPEG，（b-e）基于CDVA的MPEG

图 13 - (a) CDVA“分析后压缩”(ATC)，(b)使用特征图取代原始文本数据显著降低 BW

今天，无人驾驶汽车主要有以下两种方式：（1）LiDAR 激光雷达，它是一种先进的短程雷达（2）通过连续采集视觉数据，使用一系列摄像头让所有的注意力都集中到道路上 。一些公司同时使用摄像头和激光雷达（LiDAR）。近来，大多数无人驾驶汽车公司使用的激光雷达（LiDAR），他们神经网络的深度学习引擎不够强大，无法处理多个摄像头的输入。然而，神经网络的发展已经逐渐变得更加富有经验和成熟，有潜力比激光雷达更好地处理现实世界的输入信息。

特斯拉(Tesla)是最著名的公司之一，它在纯摄像头视觉计算上押下了重注，将 8 个摄像头与强大的神经网络 SoCs 整合到每辆车上。 鉴于基于相机的视觉传感成本较低，随着人工智能的最新进展，我们很可能会看到相机系统的激增，主要是在消费汽车上。无人驾驶中的相机与我们人类视觉工作的方式相同，通过大多数数码相机中发现的类似技术。
 
虽然相机在理论上和实践上都能增强自动驾驶汽车的能力，但其他传感器(激光雷达是否能规模应用还有待观察)将继 续添加到感知网络中，以帮助增强环境感知能力。与此同时，大规模的机器式可视化计算正在兴起。新兴的MPEG-VCM标准、5G低延迟和V2X是人工智能汽车行业实现海量视觉数据流的关键技术——这将机器视觉传感提升了个新的高度。

智能汽车作为关键应用案例的三个关键任务(图14):

 对地图环境的感知

高清(HD) 地图

即时定位与地图构建 (SLAM)

图 14 -智能车辆的关键任务

VCM 有望在人工智能汽车的感知、高清地图和即时定位与地图构建(SLAM)领域发挥重要作用。 感知包括目标检测和跟踪、车道和车辆跟踪、交通标志、汽车和行人识别，以及使用车载传感器的流畅人机交互(HMI)。这些用于深度学习模型的大计算量应用必须实时而准确地处理大量(可视化)数据，这些信息可为机器快速可靠地做出决策。高清（HD）地图和 SLAM 通常使用多车众包测绘或边缘/路边辅助方法[13]。新兴的 MPEG-VCM 标准将有助于在车辆和 5G 基础设施之间以协作的方式传输可视化数据聚合、传播和压缩。人工智能、5G-V2X 以及包括 VCM 在内的新兴智能视觉传感技术的进步，正在为安全可靠的自动驾驶和 ADAS 系统提供最先进的 360 透视视野。

2.4 5G 无人驾驶愿景

车联网和无人驾驶汽车的设计和部署极具挑战性。对乘客安全的高期望、前所未有的通信可靠性(99.999%以上)和端到端延低迟(3ms 以下)，甚至在超高机动驾驶场(250km/h以上)，都使得无人驾驶汽车行业更加艰难。此外，汽车将配备越来越多的传感器，这将要求提高数据速率(每小时的数量级为 TB 级)[14]。国际电信联盟无线电通信（ITU-R）确定了 5G 的三种主要使用场景：增强型移动宽带（eMBB），海量机器类通信（CmMT）和超可靠的低延迟通信（URLLC））。这些方案中的标准，通过提供无人驾驶系统所需的峰值数据速率，延迟和连接密度，为驾驶体验带来了巨大的好处。5G 的超低延迟（≤1ms）可实现更好的事故预防能力; 特别是在非视距（NLOS）情况下，因为基于摄像机，激光雷达或雷达的大多数当前传感器融合技术只能检测视线（LOS）中的物体。5G 的峰值数据速率最高可达 20 Gbps，它将使无人驾驶汽车能够进行实时高清视频和音频娱乐，或近乎实时地下载复杂的高清地图。除了传感器融合技术，无人驾驶汽车在很大程度上依赖于最新、准确和高度详细的三维地图导航[15]。然而，将一个州或是一个国家的海量地图数据存储在汽车本身将是一个挑战。一个自然的解决方案是利用最近的 MPEG-CDVA 和新兴的 MPEG-VCM 标准，在本地和 5G 边缘计算单元的协助下，近距离地捕捉、压缩、下载和分析高清视频/地图。

标准和交互性在5G连接汽车中发挥着重要作用。如今，专用短程通信（DSRC）和蜂窝V2X（C-V2X）是两种领先的技术，能够支持车载应用，如表3所示.DSRC（IEEE 802.11p）和C-V2X（5G NR V2X） ）可以补充今天的车载传感器，以实现自动驾驶。 C-V2X可以实现车辆之间的信息共享和RSU的计算卸载[16]。 因此，V2X不仅减轻了边缘计算系统的压力，还为感知，察觉和决策提供了冗余。

表3 - DSRC和Cellular V2X技术的优点和局限性

虽然 DSRC 和 4G C-V2X (LTE-V)相互竞争、相互补充，但都不能满足关键任务无人驾
驶和 ADAS 系统的严格要求。最终，5G 将提供无人驾驶汽车和 ADAS 系统所需的 eMBB、mMTC和 URLLC 的优势。

5G 无线汽车将在部署全无人驾驶汽车方面发挥关键作用。这包括合作驾驶，与其他车辆和/或路边基础设施共享道路信息 和交通状况，列队，提前发出危险警告，更好地预测路线上的潜在风险或延误。

2.5 总结

未来的人工智能自动驾驶汽车将比现在的汽车需要更多的传感器、更高的计算能力、更节能、更智能的车载视觉的人工智能处理器。 5G，边缘计算，计算机视觉和深度学习以及机器（VCM）技术的视频编码的融合将是完全自主驾驶车辆的关键。标准和交互的技术，如 V2X，新兴的 VCM 准，强大的边缘和板载计算推理加速器芯片，可以满足 AI 汽车行业的苛刻要求，具有低延迟，高能效，低成本和安全的优势。虽然标准推动了行业的兼容性，但行业需要产品来推动其业务发展。

GTI 提供一系列 ASIC，支持基于视觉的行业的 MPEG-CDVA 标准，如 AI 汽车，智慧城
市，智能传感器等。

GTI 针对机器视觉，人机视觉和无人驾驶汽车应用的高性能边缘推理芯片解决方案以更高性价比提供更多服务和功能。GTI 提供符合 MPEG-CDVA 标准的生产级芯片和平台，加速了视频编码的创新和功能，为机器（MPEG-VCM）带来了许多行业优势。

 GTI 的解决方案是可授权的，可直接集成到 SoC 中或集成在系统平台上。

3 参考文献

[1] Tractica, "Artificial Intelligence for Automotive Applications," https://www.tractica.com/research/artificial- intelligencefor-automotive-applications/, 2019.
[2] McKinsey, "McKinsey estimates that, by 2030, fully autonomous cars," auto 2030 report jan 2016.ashx , 2016.
[3] MPEG-VCM, "MPEG-VCM: Video Coding for Machine," https://lists.aau.at/mailman/listinfo/mpeg-vcm, 2019.
[4] F. Qi, "The Data Science Behind Self-Driving Cars," A Medium Corporation, 2019. [Online]. Available:
https://medium.com/@feiqi9047/the-data-science-behind-self-driving-cars-eb7d0579c80b.
[5] K. B. L. Jun Zhang, "Mobile Edge Intelligence and Computing for the Internet of Vehicles," inarXiv:1906.00400v1
[cs.NI], Jun 2, 2019.
[6] R. show, "Toyota, Intel and Ericsson team up to collect Big Data from cars,"
https://www.cnet.com/roadshow/news/toyota-intel-and-ericsson-team-up-to-collect-big-data-from-cars/, Aug 11, 2017.
[7] ReportLinker, "ADAS and Autonomous Driving Industry Chain Report, 2018-2019- Automotive Processor and
Computing Chip," https://finance.yahoo.com/news/adas-autonomous-driving-industry-chain-200900835.html, April 23,
2019.
[8] Cisco, "Cisco Visual Networking Index: Forecast and Trends, 2017–2022," February 27, 2019.
[9] J. Ozer, "Video Compression for Machines: The Next Frontier,"
https://www.streamingmedia.com/Articles/ReadArticle.aspx?ArticleID=133860, September 3, 2019.
[10] Y. K. S. W. S. Zhang, "Machine learning based video coding optimizations: A survey," Information Sciences, Elsevier,
2019.
[11] GTI, "Video for Machines (V4M)," Gyrfalcon Technology - https://www.gyrfalcontech.ai/video-for-machines/.
[12] L.-Y. Duan, "Compact Descriptors for Video Analysis: the Emerging MPEG Standard," IEEE MultiMedia,
arXiv:1704.08141v1 [cs.CV], Apr 26, 2017.
[13] K. B. L. Jun Zhang, "Mobile Edge Intelligence and Computing for the Internet of Vehicles," arXiv:1906.00400v1 [cs.NI],
Jun 2, 2019.
[14] 5. Americas, "5G – The Future of IoT," 5G Americas, July 2019.
[15] NAI, "5G and the Future of Self-Driving Cars," https://www.nai-group.com/5g-self-driving-car/, 2019.
[16] "How 5g will improve v2x and autonomous driving," https://www.coursehero.com/file/p501rd8/How-5G-Will- ImproveV2X-and-Autonomous-Driving-Systems-5G-is-taking-cellular/, 2019.

我爱方案网是GTI的授权代理商，欢迎联络我们采购GTI的AI芯片，共同推动AI应用落地。更多元器件采购需要，欢迎来中电快购！