预测挑战：人类对变道的预测能力如何？

在高速公路上行驶时，每个司机都尽量注意周围车辆的行为，包括可能发生的紧急制动、试图避开障碍物的规避动作、意外的车道变化或其他可能导致事故的紧急情况。在本文中，通过使用从 PREVENTION 数据集中提取的视频序列来分析人类在高速公路场景中预测车道变化的能力，该数据集是一个专注于车辆意图和轨迹预测研究发展的数据库。因此，用户必须指出他们认为目标车辆正在发生变道动作的时刻，随后指出其方向：左边或右边。检索到的结果经过仔细分析，并与地面真实标签进行比较，评估统计模型，以了解人类是否真的能预测。该研究显示，大多数参与者无法预测变道机动车，在变道开始后才发现它们。这些结果可能作为人工智能预测能力评估的基线，对这些系统是否能通过分析似乎未被注意到的隐藏线索，提高检测时间，甚至在某些情况下预测机动动作，来超越人类技能进行分级。

简介和相关工作

欧盟约有8%的道路死亡事故发生在高速公路上，这意味着涉及人数超过2千。这个数字必须在未来几年内减少，以实现提议的目标，努力将重伤人数减半。变道事故是高速公路事故的主要原因之一。当车辆从一条车道横向进入另一条车道时，就会发生变道事故，与之前已经在目的地车道的车辆相撞。如今，许多制造商开发了驾驶辅助系统，例如，可以确定车辆是否处于盲点，从而避免可能的紧急情况。由于配备这些系统的车辆和未配备这些系统的车辆被迫共存，因此需要进行一项研究，分析人类是否能够提前发现和避免变道事故。

转向信号的使用是用于推断驾驶员是否希望开始变道操作的另一个主要提示。不同司机对转向灯的使用可能有很大的不同，对转向灯的数据进行评估可以改进预测方案。在某些情况下，使用转向灯的司机会在开始变道动作后激活转向灯。研究仔细评估了PREVENTION数据集中包含的变道数据，其中包括最常见的机动类型的例子，包括当司机改变车道超过较慢的领先车辆以保持当前速度时，这是西班牙高速公路上的典型情况。

图1 PREVENTION 挑战概述

为了检测车道变化，驾驶员应识别接近的风险区域并关注它们，例如，在繁忙的高速公路上进行并道操作。观察其他车辆运动的细微变化以识别驾驶员的意图，例如在车道上漂移或前轮轻微倾斜，可以帮助驾驶员避免危急情况。车辆驾驶员将预测其他交通参与者的意图，以预测和规避潜在的危险冲突。因此，正确的预测便于快速反应，但不正确的预测可能有潜在的危险。

如果变道操作是斟酌决定的、预期的或强制性的（由路况初始化），则它是可取的。研究中包括的序列显示了不同的变道动作，包括双三联同时变道、危险动作、交通堵塞中的紧急车辆和其他情况。

A.  态势感知和场景理解

态势感知 (SA) 可以定义为扫描环境并感知危险、挑战和机遇的能力，同时保持进行正常活动的能力。交通中的驾驶包括识别潜在的危险情况并作出反应，在交通中有效地操纵，并在解决其他问题的同时实现更高层次的目标。

通过接受高级驾驶培训，驾驶员可以发展和改善他们的SA，但不一定是以预期的方式。因此，很明显，一种识别和理解特定情况下存在的每一个线索的整体方法可以帮助司机在那些即将发生事故的极端条件下做出反应。

关于与周围车辆观察到的交互方式，车道变化分为五类。本研究中分析的大多数变道动作都是自我驱动的，没有观察到与其他车辆的明显互动。SA 是理解复杂情况并做出反应的必要条件，例如多辆汽车同时变道或拥堵的高速公路上一辆快速驶近想要超车的车辆。

关于新手司机的驾驶技能，年轻司机似乎认识到他们不如普通司机熟练。此外，过度自信的司机更不善于根据交通状况调整自己的行为，表现得更加激进。对年轻和年长的司机的行为进行了比较，结果是年长的司机在进行变道之前需要检查他们的周围环境。在动态驾驶中。环境对检测、感知线索和分析驾驶人员的未来状态至关重要，根据这些线索驾驶人员做出适当反应和预测危险操作。对于老司机来说，驾驶后的反馈有助于提高他们的态势感知能力。

B.  车辆意图预测

除了对场景本身进行分析外，在这项研究中，还通过比较驾驶情况的理解能力来评估每个用户的整体形象，在大量的序列中预测其他车辆的车道变化。超车后期（车道交叉）和超车早期（初始横向运动）的操作与用户认为变道操作开始的那一刻进行比较。

在本文中，PREVENTION数据集已经被用来评估人类在高速公路场景中检测和预测车道变化的能力。该数据集提供了超过356分钟、400万次车辆检测和3000个轨迹，由多达8个传感器收集，包括LiDAR、RADAR、DGNSS和摄像头，获取周围车辆的信息，最远范围达100米。在其他数据中，正面摄像机信息，人工和CNN检测，以及车道变更说明都被用来创建挑战赛。必须注意的是，参与者评估的是周围车辆的变道动作，而不是自我的车辆的变道动作。这项工作的主要目的是证明参与者是否能够预测变道操作。

本文组织如下：第二部分详尽描述了用于创建预防挑战赛的方法，通过选择和调整序列来进行试验，以及开发一个问卷来评估用户关于调查的人口统计信息。在第三部分，描述了几个结果，

创建一个回归模型，分析人类是否能够预测高速公路场景下的车道变化。第四部分通过评估内容、试验和对最新技术的贡献，讨论了结果和挑战本身。最后，第五节结束本文，提供了从挑战赛中提取的结论，并提出了预测车辆意图的一些未来发展。

方法

本节描述了进行调查所采用的方法，从选择参与者开始，设计架构，修改和调整所使用的材料和试验过程，对数据进行后处理，最后通过提取一些可能的预测因素和关于人类能力的统计数据与以前的标签数据进行比较。

A.  参与者

参与者是在工程学院中招募的，从学生到教师和其他研究人员，以及家人、朋友和同事。因此，在参与者的专业知识方面实现了更大的差异性。

B.  架构

这项研究是通过一个基于Qt的应用程序进行的，其中向参与者展示了 30 个随机选择的序列，以选择变道的起始瞬间或在没有变道的情况下不做任何事情。所关注的车辆在一个红色的框内；参与者被要求在注意到该车辆即将进行的变道动作时立即按任意键。自变量被定义为是否存在变道及其方向（三个可能的选项：左变道、右变道或无变道）。如果参与者没有发现任何变道，则该序列将继续到其终点，并且该答案被标记为“无”。因变量被定义为预测正确性和预测确定性。在图2中可以看到一些关于应用的见解。

C.  材料: 修订和微调

从PREVENTION数据集中共选出794个不同的序列。该数据集提供了在不同情况和地点记录的不同序列，并对车道变化进行了精确标注。这些序列是从前置摄像头拍摄的视频片段，以10赫兹的速度记录，并方便地裁剪成1920x600，去除包含不相关信息的顶部和底部带。录音是以自然的方式进行的，在中心时段在真实的交通环境中行驶，避开繁忙的道路。由于车道变化已经被标明，包括操作过程中的闪光灯使用，所有的车道变化操作都被仔细修改，那些对人类来说似乎不清楚的，如远处的车辆或模糊的ID，都从试验集中删除了。 

图2 应用纲要

表 I 中描述了试验中使用的 LC 操作的总量及其性质。尽管如此，该调查还需要有车辆保持其轨迹在车道上的场景，即没有特定车辆变道操作的序列。为了完成这项任务，作者修订了每份记录，对不同车辆的适当片段进行了标注，获得了表I中描述的无变道操作的序列。

由于总共有多达800个序列，因此有必要为每次试验随机选择其中的几个序列。因此，所有的车道变化注释都被堆叠、排列和随机洗牌，每种类型选择10个来组成单个参与者的问题。为了避免显示同一序列的视频（以增加变异性），随机显示了一些以前的帧（在50和100之间）。操作类型的平衡及其选择在第 IV-A 节中讨论；在图 3 中显示了各种序列示例。

关于让参与者关注选定的车辆，首先，开发了高级标签，包括相对于自我的车道参考和选定车辆的颜色。经过几位志愿者的测试，这个想法被弃用了，选择了另一种基于边界框的方法：选定的车辆被标记为一个厚度为一个像素的红色边界框，使场景几乎保持不变，以识别一个可能的线索，使用户推断出一个变道操作。

图3 各种序列的主框架

D.  收集人口统计资料

参与者被要求提供人口统计细节，如年龄、性别、职业，以及是否有驾驶执照。如果有驾照，他们还被问及他们的经验（不到一年、一至两年或两年以上），他们的驾驶频率（每天、只在周末或偶尔）和他们的典型驾驶区域（城市场景或主要是高速公路和双向道路）。此外，如果他们希望收到有关研究结果的通知，他们可以选择输入他们的全名和电子邮件地址。关于驾驶执照的问题对于区分能够识别典型交通状况的实际驾驶员和不能识别的实际驾驶员至关重要，包括关于他们的经验、驾驶频率和驾驶情景。例如，熟悉高速公路情景并且经常驾驶的有经验的司机很可能会比没有驾驶执照的参与者更早预测到并线的动作。

E.  试验

针对每个志愿者制定了一个固定的程序。

1)  在填写完统计表后，每个用户都被赋予一个单一的ID，这将被引入挑战赛的应用程序中，如图2所示。

2) 点击 "开始测试 "后，会出现一个提示窗口，向用户解释这一过程。参与者被要求告诉工作人员需要做什么操作，以及是否有任何问题。

3)  在每个序列之前提示窗口都会出现，等待用户单击“接受”以启动第一个序列。

4)  该序列显示出来，选定的车辆被红框标注。。如果用户察觉到即将进行换道操作,就会按下任意键(鼓励志愿者使用空格键)。

5)  序列停止，出现变道选择画面，由"左侧车道变更"和"右侧车道变更"两个按钮组成。用户可单击选中的选项。

6)  每个序列之前，提示窗口都会显示，要求用户接受并开始下一个序列。

7) 当所有序列完成后，会出现一个结果窗口，其特点是：

  准确率(%)。

  检测改变车道的延迟 (s)。

  变道预测 (s)。

8)  出现启动窗口，等待一个新的用户ID开始测试。

挑战赛应该在可控环境下进行，因此工作人员在每次测试中都使用相同屏幕分辨率和控制器的笔记本电脑。他们被告知要一丝不苟地遵循这个过程，确保参与者已经理解了每一个步骤和测试的目的。为了减少不必要的等待时间，使用了一个平行线程来加载序列帧，这使得用户体验更加流畅。

1)  标注方法：在数据集中对变道动作进行了如下标注：

f0:  驾驶员开始操纵的帧，要么是激活转向灯，要么是显示车辆轨迹的变化。这些标签已经经过反复检查，以确保它们是正确的，代表了车道变化的初始点。

f1: 车辆的后部中间部分正好在车道之间的帧；此时，从司机的角度来看，变道的操作实际上已经结束。

f2: 车辆位于新车道内的帧，变道动作已经完成。

F.  数据分析

每个参与者的测试结果都被编码在一个文本文件中，以便于后期处理和分析。其中，每一个变道步骤、机动类型和测试结果（用户选择的框架和机动类型）的地面实际情况注释都包括在内。因此，后期处理阶段包括从测试应用程序和人口统计表中提取数据，执行统计模型的创建，包括用MATLAB绘制直方图和曲线。

结果

挑战赛从2020年1月开始进行，历时数周。共有72名参与者接受了测试，他们评估了30个随机选择的高速公路场景序列。本节介绍了有关预测成功率、回归模型、线索分析和预测变道机动的个人因素所造成的不同结果。

A.  预测成功率

本次挑战赛所采用的数据集是在西班牙中部的马德里周围记录的，因此，从逻辑上讲，当地有些每天通勤去工作或上学的用户，他们可能对这些数据很熟悉。他们中的一些人说，在试验过程中，他们对记录区域感到好奇。在对结果进行处理后，我们发现,为了避免偏倚或随机变化，应该去除每个参与者的最差和最好的试验结果。延迟和预期的衡量标准只包括命中（即当用户的反应与地面实况相同时），所以本节也分析了准确性和误动作。考虑到序列的记录频率为10赫兹，预期和延迟从帧折算为秒。

图4 到变道起点的延迟

1)  到变道起点的延迟:   用户决定开始机动的帧与实际帧f0的差值，被定义为用户对变道起始点的延迟。图4是用户关于延迟的直方图，其中t为正态分布(µ = 1.198, σ = 0.634)，均值大于1.19秒;大多数用户在车辆明显改变轨迹时才察觉到车道变化。

2) 对变道中间点的预测:  用户对变道中间点的预测为用户决定开始机动的帧与实际f1帧之间的差值。

图5显示了用户关于预测的直方图，其中t为正态分布 (µ = 1.680, σ = 0.632)。如图所示，用户至少可以在合理的时间内检测到变道动作。

图5 对变道中间点的预测

3)  延迟-准确率: 为了得出结论，必须分析到变道起点的延迟和准确性之间的比率。直观上，人类倾向于挑战自己，以降低准确性为代价来提高自己的反应反射。这种行为在本研究中得到了验证，结果可见图6。更为保守的用户准确性更好，而那些预测时间较长的用户在一些序列中往往会出现错误的答案。

4)  误动作:  检测上的错误主要是由于在NLC序列中思考时间太短。当目标车辆在车道内稍微移动时，用户倾向于点击按钮，将其标记为LLC/RLC，导致每个用户平均错误1.85次（SD = 1.59）。在LLC序列中，平均错误为0.6次（SD = 0.78），RLC序列也一样，平均错误为0.60次（SD = 1.02）。

 B.  参与者

共有72名参与者完成了调研，观看了每一个选定的序列（794个序列中选出的30个）。参与者的平均年龄为24.22岁（SD=10.08），其中74%是男性。大多数参与者都有驾照（79%），49%的人经常在高速公路上驾驶。在图7中，详细列出了关于参与者的统计资料。

 C.  统计分析

零假设指出，到变道起点的延迟均值为0，也就是说，参与者可以准确地检测到机动车而没有任何滞后。

进行显著值为1%的学生t检验，拒绝了零假设，当检验平均值不为0时，p值为 p = 5.1615 × 10^−70，当检验备择假设均值大于0时，p = 1.4184 × 10^−25因此，分析表明人类不能系统地预测变道动作。

图6 参与者的延迟-准确率(r = 6.86x + 80.62)

图7 用户数据的饼状图

讨论

A.  试验内容及设计

这项调查是由研究人员进行的，他们在INVETT研究小组所在的理工学校寻找志愿者。此外，教授和研究所同事、学生和其他助理工作人员，以及与研究人员有关的个人(家人、朋友)都被要求参加此挑战。挑战的设计受到可用资源的限制，并牢记每次试验所需的个人监督的性质。如前所述，操作略有不平衡(表I)，其中47.61%为RLC, 29.85%为LLC, 22.54%为NLC。  尽管如此，我们还是决定以相同的比例为每个测试引入数据（33.33%），以使其对用户来说是公正的。该数据集种序列提供了可变性的合理数量，因此考虑到用户的数量以及每次试验的随机选择，这个决定是充分可行的。

B.  用户群体

在群体中对承担风险的行为进行了分析，男性是在预测变道动作时承担更多风险的群体。也就是说，他们能更好地预测机动，准确性比较低。如图6所示，不开车的参与者（即没有驾驶执照）在延迟和准确性方面的结果最差。在驾驶经验方面，拥有两年以上经验的用户效果最好，特别是在准确性方面。新手司机的成绩比他们差。考虑驾驶区域，在高速公路场景中驾驶过的志愿者的表现优于在城市场景中习惯于在城市地区驾驶的志愿者。该分析得到的结论与先验判断一致，特别是在驾驶经验和驾驶区域等方面。

结论及未来的工作

有72人参与了这项研究，试图从多达800个序列中选择30个不同的序列来预测车辆的行驶方向。在每个序列中选择的车辆将进行左侧变道、右侧或保持在当前车道内。总体而言，与GT数据相比，该研究中参与者无法预测车辆的方向。某些因素，如前轮倾斜、合并动作或使用转向灯，增加了参与者的可靠性，使他们在这些情况下更好地预测方向，这是定性观察。

在未来的工作中，主要的任务是改进挑战赛，通过增加线索标签和扩大参与者的数量，甚至可以使用外部调研参与服务，如Amazon Mechanical Turk。在研究中加入更多有经验的司机会提高预测的正确性和确定性，从而可以将其与高级预测算法进行比较，以开发更好的架构，并了解什么是成功预测车道变化的最佳方法。另一个令人兴奋的研究工作是在完成调查时用正面摄像机监控参与者的眼睛和面部，并分析他们的反应和线索提取的能力。最后，未来，可以通过使用模拟器（如CARLA）和沉浸式驾驶舱来开发新方法，该模拟器可以评估用户在驾驶时避免危险情况的能力，他们可以在之前的一些试验中对追尾动作、避免追尾碰撞和驾驶时遇到障碍物的规避动作进行编程。

文章转载自公众号：智能汽车开发者平台