自动驾驶汽车的端到端学习

将使用udacity提供的模拟器，模拟车前部配有3个摄像头，可记录视频以及与中央摄像头对应的转向角。行为克隆的本质是克隆了驱动程序的行为。的实验思路是根据驾驶员驾驶的训练数据训练卷积神经网络（CNN）以模拟驾驶员。

收集数据

模拟器有2个通道：第一个通道非常容易，曲线较小且很少，第二个通道很难，有许多曲线和陡峭的山坡。

将使用来自两个轨道的训练数据：

1．将驾驶两条车道，将车保持在车道的中心位置。每人开车2圈。

2．将在两条车道上各开一圈，并试图漂移到两侧，或试图转向车道的中心。这将为提供模型校正的训练数据。

图分别为左、中、右视角

捕获的数据包含左图像，中心图像和右图像的路径，转向角度，油门，中断和速度值。

注意：将使用所有左，中，右图像。将通过一些调整来矫正left＿image的转向角度。同样，将通过一些调整来矫正right＿image的转向角度。

数据不平衡

转向角直方图

上面的直方图显示了训练数据的不平衡。左转弯的数据多于右转弯的数据。将通过随机翻转训练图像并将转向角度调整为steering＿angle来补偿这一点。

此外，大多数转向角集中在0－0．25左右，没有太多的数据来获得更大的转向角。将通过一些像素水平和垂直地随机移动图像并相应地调整转向角来补偿这一点。

数据扩充

使用以下增补：

1．随机翻转一些图像并将转向角度调整为steering＿angle

2．通过一些像素水平和垂直地随机移动图像，并使用小的调整因子调整转向角度。

3．路上有树木，柱子等阴影。因此，将为训练图像添加一些阴影。

4．会随机调整图像的亮度。

用增强后，下面是一些训练图像的输出。

前处理

期望图像的输入尺寸为66 ＊ 200 ＊ 3，而来自训练的图像尺寸为160 ＊ 320 ＊ 3。此外，纸张期望将输入图像从RGB转换为YUV颜色空间。因此，将从输入图像裁剪上部40像素行和下部20像素行。此外，作为预处理的一部分，将裁剪的图像大小调整为66 ＊ 200 ＊ 3大小并将其转换为YUV色彩空间。

模型

这是中描述的PilotNet模型：

模型具有以下层：

①标准化层（硬编码）除以127．5并减去1。

②3个卷积层，24个，36个，48个过滤器，5 ＊ 5内核和2个步幅。

③2个卷积层，64个滤波器，3 ＊ 3内核和步幅1。

④展平层

⑤3个完全连接的层，输出尺寸为100，50，10

⑥和输出转向角的最终输出层。

将使用Mean Squared Error（MSE）作为损失函数和优化器，并进行EarlyStopping回调。试图训练它40个epoch，它在36个epoch停止。

训练60个epoch的模型，结果如下：

突出的特点：

1． 在每个图层中，对要素图的激活进行平均。

2．最平均的地图按比例放大到下面图层的地图大小。使用反卷积完成放大。

3．然后将来自较高级别的放大的地图与来自下层的平均地图相乘。

4．重复步骤2和3直到达到输入。

5．具有输入图像大小的最后一个掩模被标准化为0．0到1．0的范围。

以下是可视化图，显示输入图像的哪些区域对网络的输出贡献最大。

在应用上述方法之后，下面是显著的特征结果：

图突出的车道标记

PilotNet是一个非常强大的网络，从驾驶员学习输出正确的转向角度。对显著物体的检查表明，PilotNet学习了对人类“有意义”的特征，同时忽略了与驾驶无关的摄像机图像中的结构。此功能源自数据，无需手工标记。

推荐阅读：

智能照明未来市场前景

智能照明在智能家居的场景化实现

智能家居之智能照明跨界创新市场分析

智能音箱到底会做成什么？

带屏幕的智能音箱产品设计论证