火爆3年之后，AI加持，5G普及，自动驾驶的新变量在哪？

【编者按】“让人们彻底告别方向盘”，未来，但我们看到穿梭在大街小巷的自动驾驶汽车，可能并不会觉得是什么稀奇古怪的事。当下科技巨头纷纷跨界自动驾驶领域，跑马圈地。

随着数据的积累、人工智能的加持和5G的普及，自动驾驶的性能逐步提升，人工干预指数逐渐降低。尽管近年来技术不断进步，但构建自动驾驶系统尤其具有挑战性，目前仍处于实验阶段。全球几百家企业申请自动驾驶试验手续，在各种公共道路上测试。

在过去的几年里，深度学习(DL)在解决感知、规划、定位和控制等领域的机器任务方面取得了显著成效。本文素材来自GTI，详细解说基于AV的解决方案中应用深度学习的主要挑战和解决方案。

边缘计算在自动驾驶中越来越重要

汽车和车载通信的最新进展推动了深度学习，边缘计算和车辆互联网的融合。

无人驾驶汽车所需的大量传感器，海量数据，不断增加的计算能力，实时操作和安全问题，正在推动在云端计算的核心，往边缘端发展。

无人驾驶车辆不断感应并发送有关道路状况，位置和周围车辆的数据。无人驾驶汽车每秒产生大约 1GB 的数据[4] - 由于网络带宽和延迟，即使是将部分数据发送到云端服务器分析也是不切实际的。
由于大量的数据传输、延迟问题和安全问题，现行的云计算服务架构阻碍了为无人驾驶汽车提供实时人工智能处理的实现。因此，深度学习作为人工智能的主要代表，可以将这些问题集成到边缘计算框架中。边缘计算解决了延迟敏感的控制，如对象跟踪和检测、位置感知以及云计算中面临的隐私保护等问题。

只有在不依赖于远程资源的情况下，对采集到的数据进行本地处理，实时做出决策和预测，才能实现边缘计算的真正价值。只有当边缘计算平台能够加载预先训练好的深度学习模型，并且拥有本地执行实时推断的计算资源时，这才可能发生。延迟和本地化是边缘计算的关键因素，因为数据传输延迟和上游服务中断是不可容忍的，并引发了无人驾驶汽车的安全问题(ISO26262)。例如，车辆上的摄像头传感器应该能够在不依赖云计算资源的情况下，在 3ms 内探测并识别周围环境并且有高可靠性(99.9999%)。例如，对于速度为120km/h 的车辆，1ms 的往返延迟相当于车辆与静态对象之间的 3cm 或两辆移动车辆之间的6cm。

目前，无人驾驶车辆应用中现有的车载 AI 计算任务，包括目标检测、语义分割、路面跟踪、标志和信号识别等，主要依赖于 CPU、GPU 或 FPGA 等通用硬件。然而，对于无人驾驶和嵌入式应用程序，应该考虑功耗、速度、精度、内存开销、芯片尺寸和 BOM 成本。虽然高功耗的 GPU 可以通过冷却来满足散热，但同时也显著降低行驶里程和车辆的燃油效率。因此，这需要更经济、更高效、基于人工智能加速优化的芯片，如领域特定的基于人工智能推理的 ASIC，实现在边缘端对深度学习推理能力的加速。

最近无人驾驶在提高车辆安全和效率方面作出了重大努力。车辆通信和 5G C-V2X 技术的进步，为车辆之间、车辆与基础设施网络之间提供可靠的通信连接。边缘计算最适合于带宽紧张和延迟敏感的应用，例如无人驾驶汽车，因为安全原因需要立即采取行动和作出反应。

无人驾驶系统极其复杂，它们紧密集成了许多技术，包括传感、定位、感知、决策，以及与云平台的流畅交互，用于高清地图生成和数据存储。这些复杂性给无人驾驶边缘计算系统的设计带来了诸多挑战。

车辆边缘计算(VEC)系统需要实时处理大量的数据。由于 VEC 系统是移动的，它们通常有非常严格的能耗限制。因此，即使是在高速[5]上也要以合理的能耗提供足 够的计算能力，来保证无人驾驶汽车的安全。

为无人驾驶汽车设计一个边缘计算生态系统的首要挑战是提供实时处理、足够的计算能力、可靠性、可伸缩性、成本和安全性，从而保证无人驾驶汽车用户体验质量和用户安全。

车辆边缘计算与车辆云计算的比较

自动驾驶面临的五大挑战

安全性是无人驾驶汽车最首要要求。为自动驾驶汽车设计边缘计算生态系统的最终挑战是提供足够的计算能力，冗余和安全性，以保证无人驾驶汽车的安全。因此，保护无人驾驶边缘计算系统免受感知网络和计算网络的不同层次的攻击是关键考虑因素。无人驾驶车辆的安全性应考虑到边缘计算网络的不同层次。这些包括传感器、操作系统、控制系统和通信安全性。 此外，边缘端的 AI 计算，减少了日常通信，这样会提高数据安全性。

低延迟对汽车安全是至关重要的。许多无人驾驶汽车制造商都在设想，传感器数据将流入云端，用于无人驾驶汽车所需的进一步数据处理、深度学习、训练和分析。这使得汽车制造商能够收集大量驾驶数据，并能够使用机器学习来改进人工智能自动驾驶实践和学习。据估计，在网络上收发数据至少需要 150-200ms。考虑到汽车是在运动并且需要实时决策需要做出有关汽车的控制，这个延时比较大。

根据丰田的说法，到 2025 年，汽车和云之间传输的数据量将达到 10exabytes/月,也就是当前数据量的 10000 倍。云计算的设计初衷并不是让无人驾驶汽车快速处理大量数据。无人驾驶汽车将实时执行时间敏感的处理任务，例如车道跟踪，交通监控，目标检测或本地（边缘）级别的语义分割，并相应地采取驾驶行动。

同时，对于长期的任务，它将传感器数据发送到云端进行数据处理，最终将分析结果发送回无人驾驶汽车。

因此，边缘计算技术将提供一个端到端系统架构框架，用于将计算过程分布到本地网络。一个精心设计的人工智能无人驾驶汽车和车联网将是一个协作的边缘云计算系统，高效的视频/图像处理，以及多层分布式(5G)网络——本地和云端处理的混合网络(图 6)。边缘计算是为了补充云计算，而不是完全取代云计算。

 边缘·云协同计算.
 

人与机器之间的相互依赖意味着信息的实时传输速度是至关重要的。考虑到在网络上来回传输的大量数据，出于安全原因，大部分处理都必须在车上进行。车辆在不需要传输数据的情况下，计算连续数据的速度有助于减少延迟，并提高准确性。 因此车辆不再依赖连接和数据的传输速度。利用边缘计算，包括拥有足够的本地化计算处理和内存量，以确保无人驾驶汽车和人工智能处理器能够执行各自所需的任务。

无人驾驶汽车的安全性至关重要。边缘计算减少了阻塞云网络的压力，并通过减少数据处理和车辆之间的延迟提供了更好的可靠性。无人驾驶汽车制造商很快就意识到云计算的局限性。虽然云计算是必要的，但无人驾驶汽车需要一种更加分散的方式。

由于边缘计算和边缘数据中心的位置离车辆更近，在较远的位置发生网络问题影响本地车辆的可能性更小。即使在附近数据中心发生故障的情况下，无人驾驶汽车的车载智能边缘推断系统也将继续有效地独立运行，因为它们有自主处理的能力。
  
可扩展性车辆边缘计算天生具有分布式架构，可以帮助将数据带到网络的边缘，在那里车辆可以进行实时分析和与数据交互，如同本地数据一样。 虽然云计算对于特定的任务来说很有必要，但无人驾驶汽车需要一种更加分散的方法。例如，智能传感器可以分析视频动态，确定视频的哪些帧需要注意，并只将这些数据发送到服务器。这种分散的体系结构减少了数据传输过程中的网络延迟，因为数据不再需要跨网络到云中进行处理。人工智能汽车配备了比过去更多的机载计算能力，可以独自完成更多的任务。最终的结果是一个可伸缩的、分布式的、更扁平化的网络，具有更少的跳数，支持更多的可预测性和更少的延迟。
  
越来越多的端侧(RSUs)配备了强大的本地人工智能处理器，这有助于降低能耗、维护和运营成本以及数据传输到云计算相关带宽的成本。与此同时，使边缘计算在今天变得更加可行的一个关键驱动因素是计算和传感器的成本持续下降。

对AI 处理器有更高的要求

汽车行业正在经历关键的技术转型，朝着更高的自动化水平迈进。智能驾驶需要更高效，更强大的 AI 处理器。根据 HorizonRobotics 对 OEM 需求的总结，更高水平的无人驾驶需要更多数量级的每秒兆操作（TOPS），即 L2，2 TOPS;L3 ,24TOPS ; L4 ,320 TOPS 和 L5,4,000 + TOPS。
 

AI 汽车性能OEM需求，适用于不同级别的无人驾驶汽车

汽车处理器通常分为三大类(图 7):
 
1.基于 CPU 和 GPU 的处理器：往往具有良好的灵活性，但通常功耗高。
2.FPGA（现场可编程门阵列）：与 GPU 相比，需要更少的计算资源，但成本更高且可编程性有限。
3.ASIC（专用集成电路）芯片：通常采用定制设计，在性能，成本和功耗方面更高效。
 

CPU vs. GPU vs. FPGA vs. ASIC

 
传统的 CPU 和 GPU 正在努力满足 L4 和 L5 无人驾驶级的高计算需求，其中 FPGA / ASIC都是优于 CPUs /GPUs，无人驾驶汽车将需要足够的计算能力来成为“车轮上的数据中心”。 考虑到汽车应用程序的复杂性，单靠计算能力是不够的。人工智能汽车处理器的能效、性能和成本效益也应该考虑在内。全定制 ASIC 在低功耗、性能和成本方面远远优于 FPGA。这就是为什么在无人驾驶计算平台上集成特定于 AI 的 ASIC 加速器正在蓬勃发展。
 
GTI 的推理加速器芯片采用卷积神经网络领域特定架构(CNNDSA)，具有专用的矩阵处理引擎(MPE)和高效的人工智能内存处理(APiM)技术。例如，GTI 的 LightSpeeur2803S 提供了 24TOPS/Watt 的功耗能效，所有 CNN 处理都在内部内存中完成，而不是外部 DRAM。 它可以将 448x448 RGB 图像输入分类为 16.8TOPS 以上，峰值功耗小于 700mW，精度可与VGG 基准相媲美。Gyrfalcon 的 CNN-DSA 加速器可重新配置，以支持各种层大小和类型的CNN 模型系数。
 
对于计算密集度更高的边缘计算应用，例如无人驾驶汽车人工智能平台，GTI 基于 PCIe的 AI 加速器卡使用 16x2803S 芯片，可提供 270 TOPS 和 9.9 TOPS / W 功率效率，可用于4 级 AI 汽车性能需求（ 图 a）。 使用 4x GTI 2803S PCIe 卡（64 芯片）可为 L5 AI 自动性能提供 1080 TOPS 的最高性能，如图b所示。

（a）                                                  （b）
 高性能GTI PCIe加速卡(a) 16x2803s 芯片，270 TOPS (b) 4xPCIe，1080 TOPS
 

许多无人驾驶汽车应用的潜在功能是深度学习技术，比如卷积神经网络(CNNs)，它通常用于车辆和行人检测、路面跟踪、标识和信号识别以及语音命令解释。GTI 基于 AI 的架构是“硅验证”的独立加速器技术，可以用于任何类型的传感器输出，如可视、音频和其他形式的数据。这包括来自机器学习摄像机和高分辨率激光雷达的高速率数据，以及来自雷达和超声波传感器的低速率数据。

结语 

未来的人工智能自动驾驶汽车将比现在的汽车需要更多的传感器、更高的计算能力、更节能、更智能的车载视觉的人工智能处理器。 5G，边缘计算，计算机视觉和深度学习以及机器（VCM）技术的视频编码的融合将是完全自主驾驶车辆的关键。标准和交互的技术，如 V2X，新兴的 VCM 准，强大的边缘和板载计算推理加速器芯片，可以满足 AI 汽车行业的苛刻要求，具有低延迟，高能效，低成本和安全的优势。虽然标准推动了行业的兼容性，但行业需要产品来推动其业务发展。