一种融合UWB和视觉信息的行人预警方法

在先进驾驶辅助系统中， 基于视觉的行人检测只能对摄像头视野范围内的无遮挡行人进行检测， 并且易受天气的影响， 在极端天气下无法工作。针对视觉检测的缺陷， 提出了一种利用超宽带（Ultra Wideband，UWB）通信模块检测行人位置信息的方法， 并对其进行卡尔曼滤波以减小误差， 同时将得到的行人位置信息与基于视觉的行人检测信息融合， 设定匹配规则防止多报警和误报警的情况。测试结果表明，融合方法能够增加对视野外以及被遮挡行人的危险预警，提高了行人检测预警系统的可靠性。

先进驾驶辅助系统（Advanced Driver Assistance System，ADAS） 是目前汽车安全领域的研究热。在ADAS中， 采用基于视觉的方法进行行人检测的缺点是只能对摄像头视野范围内的无遮挡行人进行检测， 而很多行人碰撞事故的发生正是由于驾驶员或摄像机受到局部或者全部遮挡时无法及时发现前方行人造成的，同时摄像头工作环境易受天气影响，在极端天气下无法工作， 导致基于视觉的主动安全设备的适应性比较差。近年来， 随着无线通信技术的发展，   车用无线通信（Vehicle to Everything，V-X）技术的应用可降低交通事故发生率或避免此类碰撞交通事故的发生。

行人检测是计算机视觉比较有挑战性的问题，基于HOG+SVM的行人检测算法，采用了滑动窗口技术，对每一个窗口进行前景和背景的二分类，并对图像进行缩放。基于HOG特征扩展出来的HOG+AdaBoost方法进行了分类器级联， 通过强分类器排除没有人的候选区域以加快检测速度。针对行人检测中的遮挡问题，DPM+latent SVM方法采用部件检测进行优化。深度卷积神经网络在目标检测算法方面取得了巨大突破，以区域卷积神经网络（Regions with CNN，RCNN）为代表的Fast-RCNN、Faster-RCNN等系列网络， 在行人检测任务上取得了较好的检测效果， 但在速度方面仍有不足。REDMON等基于深度卷积神经网络提出单次检测框架（YOLO系列框架），实现了端对端实时目标检测， 在保证检测效果的同时提高了检测速率。

车联网在智能交通系统和车辆安全等领域的相关应用逐渐成为研究热点。王野秋等将UWB通信模块置于车身上来进行车辆间的相对定位。蒋梦琴等将UWB通信模块用于车辆跟驰距离检测，跟驰距离超过某一阈值时就对驾驶员进行报警提示。赵佳乐等通过UWB通信模块进行车对车的信息传输， 从而实现了辅助车辆跟驰、 车辆换道以及车辆超车等功能。澳洲智能网联汽车智能型运输系统开发商与澳洲电信合作， 使用4G移动通信网络成功完成了行人防撞预警测试， 而随着5G技术的发展， 基于无线通信的行人安全应用将逐渐得到普及。

本文将视觉技术与V-X技术相结合， 实现车载式与网联式主动安全设备的信息融合。用UWB通信模块做测试， 并提升基于UWB通信的行人定位精度， 通过UWB和视觉分别得出行人与车辆间的相对位置信息， 根据碰撞时间模型判断危险行人， 以提高ADAS系统中车辆-行人碰撞预警的可靠性。

1结合运动模型的UWB行人定位

UWB通过纳秒至微秒级的非正弦波窄脉冲传输数据， 具有传输速率高、 抗干扰能力强、 多径分辨率高、 系统容量大等优点， 适用于精确测距及定位，因此， 选用UWB通信模块进行无线通信行人检测定位测试。行人携带UWB定位标签， 将UWB定位基站布置于车身上， 选取基于到达时间的双边测距算法， 依据三边定位方法测得行人相对于车辆的位置坐标。为了减少误差， 对行人的运动状态进行估计，以提升行人的定位精度。

1.1UWB行人测距、定位原理

1.2 行人运动状态估计

卡尔曼滤波是目前在定位系统中广泛应用的方法。卡尔曼滤波器能够综合传感器输出值和依据先验知识所得出的状态估计值，从而得到更为贴近真实值的结果。

2 基于视觉的行人检测及测距

深度学习目标检测模型YOLOv3 在准确率和速度方面得到了很好的平衡，对小目标有很好的检测效果，适用于自动驾驶场景下的多目标快速检测。

对COCO 和KITTI 数据集进行清洗，获得只有行人的一类目标标注数据集，在此数据集上使用YOLOv3 模型训练得出以行人为检测目标的权重文件及配置文件。使用摄像头获取到车辆前方的图像信息，并利用训练的检测权重实现行人检测。

使用双目实现检测目标的测距，双目测距通过两个摄像头从不同角度采集同一目标物体图像信息，经匹配计算得出目标点在两个摄像头中的成像视差测得目标物的深度信息，可计算得到行人深度值Z，如式（4）所示。

3 UWB 及视觉信息融合预警方法

3.1 预警原理

碰撞时间（Time to Collision，TTC）指车辆与目标物体间的跟驰距离除以两者的相对速度，即在此时刻预计两者的碰撞剩余时间值，是常用的评价车辆行车安全的指标。根据连续两个时刻内行人相对位置的变化计算出行人与车辆间的相对速度，通过测出的距离值计算得到的TTC 值来评估行人、车辆的碰撞风险。计算原理如图3 所示，TTC 计算公式如式（5）所示。

3.2 坐标系转换与信息融合

为了将UWB 无线通信系统的行人检测预警结果与视觉的行人检测预警结果相融合，首先需要建立一个世界坐标系，并将UWB 检测结果与视觉检测结果分别转换到世界坐标系中。由于预警只需要进行行人平面定位，因此只考虑平行于地面的二维坐标系。

3.3 预警融合算法

3.3.1 基于欧式距离的危险行人位置匹配

3.3.2 预警决策流程

得到UWB 危险行人位置点与视觉危险行人位置点的匹配结果后，若UWB 检测的危险点无法找到对应匹配的视觉危险点，则判定该行人为被障碍物遮挡或在摄像机视野外的行人，依据UWB 检测结果给予预警并标识出遮挡的危险行人相应位置。若视觉危险点无法找到对应的UWB 检测危险点进行匹配，则判定为非携带UWB 模块的行人，给出视觉预警结果。若匹配成功，则为视觉和UWB 共同检测判定出的危险点，给出视觉预警提示。具体预警融合流程如图5 所示。

4 测试结果分析

4.1 测试平台搭建

本文选取某型号UWB 芯片进行测试，测距芯片的主要参数见表1。

选取ZED 双目摄像机来进行视觉检测测试，该双目立体摄相机同步获取到空间物体的双目图像，并在计算机中通过对应的软件开发包来计算分析。双目摄相机参数见表2。

4.2 定位误差测试

4.2.1 基于UWB 通信的行人定位误差测试

为衡量行人运动情况下的定位误差，对UWB行人定位算法进行动态误差测试。在天气晴朗的条件下分别在车速为20 km/h、30 km/h、40 km/h 的情况下对行人在0 ～ 15 m 及15 ～ 30 m 的距离段进行定位测试，并对结果进行误差分析。UWB 车辆安装及UWB 行人携带如图6 所示，所得到的不同车速及距离下的定位平均误差及最大误差见表3。

由上述检测结果可知，UWB 定位误差随着车速的增加而增加，并随着检测距离的增加而增加，在行人与车辆相距0 ～ 15 m 的范围内，动态测距平均误差较低，整体在不同车速下该距离范围内的误差较为稳定。一般情况下，对于车辆有碰撞危险的行人大部分处于这个距离范围。因此，可认为该定位适用于本文的碰撞危险行人检测。

4.2.2 基于视觉的行人定位误差测试

在不同天气和光照的情况下进行多组视觉行人检测定位误差测试，将双目摄像机安装在车内后视镜位置处，其具体的安装位置如图7 所示。分别针对晴天、雨天以及不同的距离段进行了多组测试，并分析定位误差，得到不同天气及距离段下的定位平均误差和最大误差，其定位误差结果见表4。

从定位检测结果可以看出，晴天时，在15 m以内的平均定位误差在0.74 m，而15 ～ 30 m 的定位误差超过1 m；雨天时，由于行人检测准确率受到影响，出现跳变的情况，导致15 m 内误差超过1 m。在夜晚也进行了测试，然而由于夜晚光照度很低，能检测出行人的帧数较少，所以夜晚检测定位效果不佳。

4.3 UWB 通信和视觉融合的行人预警测试

根据试验结果，全程漏标或错标危险点的次数为0，说明本融合预警系统可以有效检测出被遮挡的危险行人，具有很强的可靠性。同时，全程正确标识出危险点的情况达到了96.7%，说明本系统具有较强的稳定性。有两次间断性漏标或错标危险点的情况，经分析是某时刻由于外界影响UWB 定位时突然发生较大跳变所致。

再进行无遮挡行人预警测试，检验本系统对不同传感器信息的融合效果。在上述同样试验条件下设定一个无遮挡行人危险点，进行30 次试验，试验结果见表6。

根据试验结果，预警失败的次数为0，说明本融合预警系统可以有效检测出危险行人，同时匹配成功的情况达到了93.3%，说明本系统可以有效匹配UWB 危险行人点和视觉危险行人点，危险行人点多报、误报的概率较低。

5 结论

（1）开发了一种融合UWB 和视觉信息的行人预警系统。试验表明，本系统能够用来检测视觉被遮挡状态下的危险行人，并提高行人碰撞预警系统的可靠性。

（2）通过误差分析对UWB 车载基站的布置方式进行了优化，在采用双边测距和三点定位法时，使用等腰三角形布置下的最大误差值为0.90 m，对不同车速条件下的UWB定位误差进行了量化分析。

（3） 在被遮挡行人试验中， 融合UWB 和视觉信息的行人定位系统全程检测准确率达到了96.7%，在无遮挡行人试验中，本系统匹配成功正确率达到了93.3%，验证了该行人预警系统的有效性。

文章转载自公众号：智能汽车设计