0
2024年3月26日-28日，2024中国商用车论坛在湖北省十堰市举办。本届论坛由中国汽车工业协会主办，以“新步伐 新成效 新提高，助力商用车产业高质量发展”为主题，基于行业高质量发展要求、国家“双碳”目标实现、汽车产业转型和创新需要，以创新促改革、促转型、促发展，助力商用车产业高质量发展。其中，在3月28日上午举办的“主题论坛二：智能网联技术赋能，加速商用车行业发展”上，湖北汽车工业学院汽车工程师学院院长、教授陈宇峰发表精彩演讲。以下内容为现场发言实录：
各位专家，各位嘉宾，线上的朋友们，大家上午好。
我是湖北汽车工业学院的一位老师，首先向大家宣传一下我们学校。我们学校是全国唯一一所以汽车命名的公办普通高等院校，国内相关的企业都有我们学校的毕业生，也非常欢迎大家到我们学校招聘毕业生。我所在的汽车工程师学院围绕智能汽车开展人才培养。
我今天给大家带来的报告是车联网环境下结合换道意图识别的碰撞预警研究。
我将分四部分：
第一部分，背景。
其实咱们国家连续15年汽车产销数量位居全球第一，可以看到我们的车辆，特别是汽车的保有量是逐年上升的。根据国家统计年鉴2023年发布 ，2022年，汽车交通事故所带来的损失也是巨大的，包括对人民生命财产安全的影响，应该说也是对社会安全也是产生了影响。
我们就说了，如果说能够提前识别驾驶意图，也有研究来表明，如果能够提前1.5秒钟识别它车的驾驶意图，将能够降低90%的交通事故。在这些交通事故当中，有一类的驾驶行为是非常危险的，也就是随意变更车道。刚才杨秘书长也介绍了，随意变更车道，不仅会影响其他车辆的正常运行，也是交通事故产生的很大的一个引发诱因。城市道路，随意变更车道很容易产生刮蹭问题，而在高速公路上会产生车毁人亡的后果。我们有转向灯，但是实际情况是什么呢，在换道过程中开转向灯的概率是比较低的，特别有人开车的时候，他会随意的，他想起来的时候才打转向，甚至不打转向，等他想起来打转向延迟已经很大了。另外来讲，有的时候驾驶人就算开了转向灯，其实有时候也是误操作，这样对驾驶人员的意图识别产生了很大的影响。
在我们现在的很多研究中，也就是说在我们车联网还没有进行大规模的普及之前，单车智能能起到很大的作用，通过自身传感器获取周围车辆信息，摄像头，毫米波雷达，超声波雷达能够获取周围车辆信息，但是毕竟有遮挡存在、天气影响，使单车智能对复杂交通环境状况的识别还是不足。现在车联网，车路协同、车车通信、V2X的技术，就能够为我们的车辆提供更多的周围车辆的信息，从而为自车能够去识别周围车辆的驾驶意图提供一个很好的通信基础。
那我们说了，如果用车联网识别换道意图的时候会面临什么问题呢，这是我第二块的研究内容。
首先看问题和动机。
如果用车联网进行 交换的时候，一定会面对一个丢包问题，这个在通信中不能避免。现在问题来了，如果丢包了，车联网场景中，对驾驶意图识别到底有多大的影响？另外我们如果说是用人工智能的算法，特别是现在深度学习也比较火，如果说用深度学习的算法来做，对于算力负载需求能否能有合理的降低呢，这就是我们需要考虑的两个问题。这里面，我们就希望通过对深度学习算法的研究，从两个角度，一个是降低我们的 采样频率，能够实现对算力负载的要求降低。另外，我们还要考虑，如果有 丢包了，我们这样的算法是否能够适应这样车联网的场景。
基于这样的问题和动机，我们进行了相应的一些研究。首先来看 集，NGSIM 集。
我们以US-101路段 来进行训练和测试，包含了车辆各种信息，这也是公开 。提前要做一些 滤波处理，101 集是摄像头采集的，需要把摄像头信息转变为车辆结构 信息，这里转变以后，我们用一个滤波算法，就是Savitzky-Golay算法，来平滑原始 。
这里可以看到，蓝色是自车，需要识别周围的车辆是否有换道意图。目标是尽早识别换道意图，而且通过车辆交互的信息来识别它的换道意图。所有车辆定时公开或者发布自己的信息，这里被预测车辆是红色车辆，绿色车辆是其环境车辆。我们在深度学习模型里面，输入的 ，包括S和E，S代表被预测车辆信息，E代表被预测车辆的周围车辆信息。
下面我们对车辆的驾驶行为序列进行提取。这里面分两位类，一类是直行序列，一类是换道序列，怎么识别换道序列？当车辆轨迹和车道有交点，我们定义为换道点。通过对换道点前面的轨迹点的车辆航向角和阈值比对，如果出现连续三个采样点都小于这个值，意味着这里出现了一个换道的起点，这个图里面，绿色的点往左，因为车辆往右行驶，往左的三个黑点达到了这个条件，绿色的点被定义为换道起点，红色点是换道点，蓝色是换道过程点，一系列的换道序列作为测试序列和训练序列。
在这里面，因为深度学习的LSTM模型是比较经典也是比较常用的，能够进行长短时记忆的网络，这个网络因为是一个比较常见的网络模型，我就简单介绍一下。分为三个门，一个是遗忘门，一个输入门，一个输出门。这里面有相应的公式计算出长时网络记忆，以及短时网络记忆，以及输出门 ，一起最终得到了当前状态。
我们有了这样的一个基本的LSTM模型以后，再用双向LSTM。为什么用双向呢？其实双向意思就是既能代表前向，也能代表后向。前向来讲，是能够通过前向的LSTM结构提取车辆的历史特征。但是呢，我们又可以通过后向网络来提取这个车辆未来时刻的特征。最终把这些特征信息进行拼接输出。我们引入双向特征以后，就能够更好的识别输入序列的一个相互依赖关系，从而增强模型的泛化能力。当然我们说光双向还不够，为什么呢？因为整个输入中，有不同的序列，得到的每个输出时刻特征序列的权重是不一样的，所以可以引入注意力机制。注意力机制是在众多信息当中选出你觉得哪些更重要的信息，赋予其更高的权重。我们引用了Attention注意力机制，可以捕捉每一个输出时刻重要的状态信息。这里呢，通过对每一个输出时刻的重要性程度给它赋予不同的权值，提高模型的识别性能。
这是我们一个总的模型，在这个模型里面，我们有一个输入模块，这里边是一个全连接，就是输入做了全连接。这里识别网络就是刚才的双向网络作为输出，另外用一个函数进行归一化，最终形成左转，右转和直行三种概率，这三个概率判断我们选择其中最大一种作为一个最终的识别类。
这里评估方法，是通用的混淆矩阵。这里面用一个指标F1macro来做总体评价。回到我们刚才的问题，如果我们想降低车载计算平台的算力需求，我们希望能够降低采样频率。我们首先以LSTM作为一个基准模型来进行一个测试，这里我们看到的，如果说采样频率是1、3、5、10这样一个频率，另外我们丢包率设置为无丢包、30%到60%丢包。如果采用5Hz或者10Hz，性能相似，差距不太大，而且不太受丢包的影响。采样率为3的时候，受丢包影响也不太大，但是采样为3，整个识别效果比我们频率为5，频率为10要低一些，也是符合直观感受，所以后面分析当中，我们采用5Hz的采样频率进行后续性能的对比分析实验。
先对无丢包的情况进行了一个对比分析，这里面做了一个消融实验，LSTM、BiLSTM等等机制。通过这样一个消融实验，我们可以看到这四个模型的效果不一样的。总体来看，就是我们所提出的双向LSTM+Attention获得最好的效果。当我们用曲线来看，也可以看到AUC曲线的面积也是最大的，因此从无丢包的情况来看，我们提出的模型效果是最好的。
当我们有30%丢包的时候效果怎么样，在30%丢包的情况下，频率还设定是5Hz，在这样的情况下，我们的模型取得的效果依然是最好的。但是我们还对比了30%丢包的情况和无丢包的情况、四个模型的表现，我们可以看到和无丢包的情况对比，这四个模型里面，它的F1macro值降了多少，分别是0.4%多，0.5%多，0.5%多和0.1%多，这意味着我们所提出的模型降低最小。通过这样一个模型对比，通过仿真实验可以得出基本的结论，就是我们的模型对丢包场景的适应性是比较好的。
第三、结合换道意图识别的碰撞预警。
这样一个结合策略来讲，其实也比较简单，也是通用的，是一个基于距离的分级预警策略。这里面前面先通过，把我们刚才的这样一个换道识别的模型融入到碰撞预警的分级策略中去，先通过换道意图识别模型得到周围车辆、被预测车辆的一个换道意图，然后再来判断我们跟它碰撞的风险有多大，这样分别就实现了初级预警、二级预警和三级预警，当然级别越高，风险越大，说明距离越短。
这是我们取了两辆车，是在7:50到8:05这样一段时间中，选了两辆车，一个是左转，一个右转车道，上面三条线，是换道概率识别出一个左转、一个右转。第一个图最右边是4秒，意味着在4秒的时候，这个车进入到了车道线的换道点，我们能够识别出的时间大约在不到2秒，因此能够提前2秒左右能够判断出这个车在换道了。右边这个图换道比较急，我们可以看到进入换道点大概2秒多一点，但是1秒左右识别出来了，因此我们能够提前1秒左右判断出它有换道的意图，这个是自车判断周围车辆什么时候换道可以有一个提前预警。
这里分别各选了左转、右转的150组 ，共300组里面进行预警评估，这里面确实没有达到100%的换道意图识别，有25组没有识别，但是剩余换道意图识别里面，有120组是在车道线，就是到车道线之前的3秒内完成了换道意图识别，有62组是2秒到3秒区间能够识别了，还有56组是在1秒到2秒范围内完成识别，当然也有在1秒内识别的，就是31组，也就是说这31组应该是在1秒内识别，它的紧急程度是比较高的。但是根据我们刚才的分级预警策略里面，在二级预警和三级预警分别是10次和3次，这也说明我们整个预警策略是能够有一定的提前量，能够及早预警，这是碰撞预警的验证。
第四，总结。
总结一下我们的工作，因为相比企业界做的工作来讲，我们做得比较初步，我们也希望在我们基础上，能够通过深度学习的人工智能算法，为道路交通安全提供模型基础，但是我们也希望在实际过程中，结合工程实践，能够解决一些算力问题，同时结合我们车联网的实践，对丢包问题能够有很好的应对策略。我们提出的算法在适当降低采样频率、场景有丢包的情况下保持了良好性能。有了这样一个意图识别，能够为我们交通事故碰撞预警有一个提前量，从而提升道路交通安全性。
未来还会考虑几个因素做一些改进，比如说通信时延问题，因为这里没有考虑时延，时延比较小、如果是车车通信的话，后面要做车路协同，或者车云协同，车路协同跟路侧交互，那时延会变大，如果通过车云交互，这样时延会更大，时延的影响又怎么样。另外在丢包的策略中，现在选择的是随机丢包，但是通信网络还有很多突发性的丢包，在不同的丢包模型下，我们的模型是否还有适配性，甚至未来的网络攻击下，我们模型是否还能更好的识别。这是未来需要研究的地方。
我的汇报就到这里，谢谢大家。
