基于专利分析的自动驾驶汽车虚拟场景库构建技术研究

利用专利分析方法，从专利公开态势、专利技术构成方面分析了自动驾驶汽车虚拟场景库构建技术的专利布局重点方向，梳理了数据处理、仿真、场景库搭建及功能开发等方面的关键技术点，从宏观、微观角度剖析了自动驾驶汽车虚拟场景库构建技术发展现状。

1 前言

自动驾驶汽车在真正商业化应用前，需要经历大量的道路测试，但采用路测来优化自动驾驶算法耗费的时间与成本很高，自动驾驶相应交通法规及保险理赔机制的缺失也制约了自动驾驶汽车路测的大范围开展，极端交通条件和危险场景复现困难且测试安全存在隐患，形成全球认可的自动驾驶汽车产业链体系比较困难，这些问题都给自动驾驶汽车系统研发测试带来了诸多困难[1]。

目前，基于场景库的仿真测试是解决自动驾驶路测问题的重要路线。仿真测试主要通过构建虚拟场景库，实现自动驾驶感知、决策规划、控制等算法的闭环仿真测试，满足自动驾驶测试的要求。仿真测试可以在一定程度上替代实际道路测试，提升测试效率，缩短开发周期[2-3]。

本文采用专利分析方法，分析自动驾驶汽车虚拟场景库构建技术的专利布局情况和重点研发方向，梳理其在关键技术点的技术发展路线。

2 自动驾驶汽车虚拟场景库构建技术专利分析

2.1 数据采集范围及相关说明

本文使用的专利检索数据库为中国汽车技术研究中心自主研发的全球汽车专利数据库，收录了全球104个国家1.5亿余条汽车及相关领域的专利，对全球汽车领域重要企业的专利按照技术领域、技术效果、技术手段3 个维度进行人工标引。在数据库的技术领域模块选取自动驾驶汽车节点，并用虚拟场景、场景构建、场景建模、传感器仿真、要素提取、场景测试、场景库等关键词进行检索，检索截止日期为2022年6月30日，得到虚拟场景库构建领域的相关专利。由于专利公开时间的滞后，2021～2022年的数据仅供参考。

2.2 专利公开趋势分析

截至2022年6月，国内虚拟场景数据库构建技术专利公开趋势如图1所示，可划分为2个阶段：第1个阶段为2011～2016年，此阶段为虚拟场景数据库构建技术的萌芽期，专利公开量每年不足200 件，且大多进行探索性基础研究；第2个阶段为2017年至今，随着国家出台一系列政策和规划，促进自动驾驶汽车产业的发展，专利公开量增长速度明显提升，年增长率超过50%，此阶段技术进入快速发展期，但专利公开量总体不大。结合相关专利的增长势头与公开量级情况可以推测，自动驾驶汽车虚拟场景库构建技术具有较大的布局潜力。

图1 自动驾驶汽车虚拟场景库构建技术专利公开态势

2.3 专利技术构成及发展态势分析

如图2所示，自动驾驶汽车虚拟场景库构建按技术层次分为场景库构建、场景库应用以及场景库运维3个层面。其中，场景库构建技术作为自动驾驶汽车场景库的基础共性技术，是专利布局的重点。场景库应用是基于已建成的智能网联汽车虚拟场景库开展的进一步深入的研究应用。

图2 自动驾驶汽车虚拟场景库构建技术专利技术构成

如图3所示，智能网联汽车虚拟场景库前期相关专利以数据采集与数据处理为主，其他技术处于零星申请状态，从2018年开始，仿真技术、场景构建、功能开发等技术发展势头强劲。从应用层面看，仿真技术与场景构建技术是基于场景库的车辆测试与功能开发的前提，此类技术申请量快速提升反映出场景库领域的参与者数量逐步提升，技术的发展存在较大的空间。

图3 自动驾驶汽车虚拟场景库构建技术趋势

2.4 专利申请人研发点布局

如图4所示，自动驾驶汽车虚拟场景库构建技术专利申请人自身的研发侧重点存在较大差异。其中：百度主要进行布局的研发点为数据处理及车辆仿真技术方面；腾讯关注的重点在于场景测试用例生成与自然场景下车辆的测试评价；当家移动关注的重点在于数据处理中的场景环境的建模与仿真。高校方面：同济大学研发关注点主要在基于场景库的算法开发与典型工况测试；吉林大学研发关注点与同济大学基本一致，同时还较为关注仿真技术；清华大学研发关注点较多，有多个团队在该领域展开研究，研究方向集中在数据处理及功能测试评价领域。中汽数据主要关注场景库构建及测试用例的开发与应用；福特在场景库搭建中主要布局了数据处理技术。

图4 申请人研发点专利布局情况

2.5 关键技术分析

为保证自动驾驶汽车仿真测试时的场景类型足够丰富，需要收集大量的典型场景数据并建立仿真测试场景库。本文将重点研究数据处理、仿真技术、场景库构建及基于场景库的功能开发4个方面的相关专利，通过阅读专利文献，梳理上述各技术的发展路线。

2.5.1 数据处理技术

数据处理技术包含静态数据提取和动态数据提取2个方面。其中，静态数据提取主要为虚拟场景库构建过程中高精度地图的构建部分内容，具体包括路网数据、路口数据、路面数据、路面标识数据、车道线数据等多个方面。动态数据提取则主要包括动态指示设备、交通参与者等。数据处理技术的难点主要集中在提高静态数据构图效率及动态数据信息零散方面。

2.5.1.1 提高地图构建工作的自动化率

针对现行技术方案对于高精度地图的构建存在的负荷大、生产效率低的问题，腾讯在专利CN110796714A[4]中提出一种使得地图要素的整体编辑工作更加高效、准确和便捷的地图构建方法，如图5 所示：基于目标场景的第一地图进行图像分割而获得深度图，再通过反投影法获得第一地图点云分布；第二地图进行点云分割进而提取特征点形成第二点云分布；对第一、第二点云分布进行矢量化，完成目标场景的三维地图。该方法将图像分割法和点云分割法相结合，针对不同特征的地图要素采用不同的分割算法获得不同地图要素的点云分布，从而使得地图要素的整体编辑工作更加高效、准确和便捷，进而辅助编辑人员更好地完成地图构建工作，提升地图构建工作的自动化率。

图5 图像数据及点云数据结合方式示意^[4]

2.5.1.2 提高动态数据完整性

针对利用固定位置信息采集设备进行移动轨迹获取方案存在的数据零散问题，51WORLD 在专利CN112131327A[5]∕CN111780774A[6]中提出一种运动轨迹的生成方法，如图6 所示，通过道路模拟图和运动物体初始轨迹点序列（通过数组储存），利用寻路算法生成样条曲线后进行插值补点处理，生成目标物体的运动轨迹，尤其是在采集到的初始轨迹点的数量较少时，生成有效的运动轨迹，提高了运动轨迹的准确度。该方法基于真实路网数据，针对每对相邻的初始运动轨迹点确定物体在路网矢量图中的目标路径，从目标路径中选取目标运动轨迹点，从而拟合完整的运动轨迹，解决了固定位置信息获取装置获取的车辆位置信息零散不易形成车辆运动轨迹的问题。

图6 运动轨迹生成示意

2.5.2 仿真技术

仿真技术主要是指场景环境仿真和车辆仿真，重点在于模拟真实环境中的道路场景要素、交通流信息及周边车辆运动行为。其中交通流信息仿真技术伴随人工智能、云计算、大数据技术的发展，从微观交通流仿真的机理型解析模型发展到通过强化学习得到最优驾驶策略的机器学习模型，具体技术路线如图7所示。

图7 仿真技术路线图

2.5.3 场景库构建技术

场景构建技术将场景数据传到场景重构工具链中，经过坐标转换、3D 渲染等步骤在虚拟仿真平台中自动实现场景的复现。作为仿真测试技术的关键，传统基于专家经验的场景枚举生成方法已无法满足大规模仿真测试的需求，如图8所示，2019年开始，场景自动生成及泛化技术进入快速发展期，成为场景库构建技术发展的重点。此技术侧重于解决现阶段场景多样性、交互性、生成效率等方面的不足。

图8 场景库构建技术研发趋势

2.5.3.1 提高场景多样性，实现多工况覆盖

基于高精度地图的虚拟场景构建过程中，侧重于道路信息而自动生成的场景比较单一，还需要额外手工添加丰富的场景元素。针对这一问题，腾讯在专利CN110795819A[7]中提出一种自动驾驶仿真场景的生成方法，如图9 所示：获取预先确定的高精度地图中目标区域上的道路信息，根据道路信息生成目标区域上的自动驾驶仿真场景中的虚拟路面；获取预先确定的自动驾驶车辆在目标区域上感测到的点云感知数据和图像感知数据，其中，点云感知数据用于表示目标区域上的场景元素的空间信息，图像感知数据用于表示场景元素的颜色信息；将点云感知数据与和图像感知数据进行融合，得到第一融合感知数据，用于表示场景元素的空间信息和类别信息，类别信息是根据场景元素的颜色信息确定得到的；将第一融合感知数据与虚拟路面进行融合，得到目标区域上的自动驾驶仿真场景，其中，目标区域上的自动驾驶仿真场景用于显示虚拟路面以及由空间信息和类别信息表示的场景元素，达到了根据高精地图中的道路信息生成自动驾驶场景中的虚拟路面，根据点云感知数据和图像感知数据确定自动驾驶仿真场景中的场景元素的目的，从而实现了将自动驾驶仿真场景中虚拟路面和场景元素融合的技术效果。

图9 高精度地图和场景元素融合后的仿真场景的示意^[7]

现有自动驾驶虚拟场景库建设中，多采用原始数据进行标注、场景生成与导入，存在场景库建设不够完备、不能完全覆盖所有可能工况的问题。中汽数据在专利CN111967124A[8]中提出一种重组场景通用扩增的生成方法，包括：根据测试需求确定场景生成的关键要素，包括静态要素（道路信息和环境信息）和动态要素（本车信息和交通参与者信息），每种信息均设定相关字段；基于自然驾驶数据库历史数据，使用统计分析方法确定每个要素字段的取值域及各要素字段之间是否具有相关性，对于没有相关性的要素，取值域内随机选取遍历，对于具有相关性的要素，利用统计分析方法得到约束条件，在字段的约束条件对应取值域内选取；根据遍历得到的静态要素信息和动态要素信息，对场景元素进行排列重组。该方案基于自然驾驶数据库中的历史数据，在统计学基础上对不同要素进行重组排列，实现快速生成重组场景及场景扩增，以达到覆盖所有可能工况的目的。

2.5.3.2 优化场景中车辆交互模式，提高虚拟测试契合程度

自动驾驶汽车工作环境和状态复杂多样，具有强不确定性特征，现有的场景生成及泛化技术大多采用离线生成方式，被测对象不参与生成过程，因此无法运用动态反馈实时修正场景状态来提高测试场景的契合度。华为在专利CN114139329A[13]中提出，首先根据静态本体的设计约束（按照道路规范来设计）、动态本体的行为（车辆与车道间位置关系、车辆间位置关系、车辆限速、车辆行驶方向约束等）和场景设计需求，确定动态本体的初始状态，再结合交通流仿真模型（跟驰模型、换道模型、信号灯反应模型、汇入模型等）确定动态本体的行驶轨迹，最终生成测试场景模型。以换道模型为例，车辆存在进入匝道的动机时，且临近匝道口的第一车道为期望车道：如果车辆位于第三车道上，该车辆在与匝道口间的距离大于80 m时完成换道，方能确保行车安全，如果车辆位于第二车道上，则该车辆需换道时与匝道路口间的最小换道距离为40 m（图10）。动态本体在不同交通流仿真模型的控制下行驶，即可以确定动态本体的行驶轨迹。通过确定动态本体的初始状态和行驶轨迹，在动态场景中可以体现各交通参与者间复杂的动态交互。

图10 车辆换道模型示意

2.5.4 场景库的功能开发

场景库的功能开发是基于已建成的自动驾驶汽车虚拟场景库开展的进一步深入的研究应用。针对当前仿真测试中，人车冲突场景中的行人模型简单，只能进行简单的场景测试，无法满足自动驾驶测试需求的问题，清华大学在专利CN112131756A[14]中提出一种考虑个体激进度的行人穿行场景仿真模型，为体现行人在交通场景中的个体差异性，需要赋予行人单独的内在逻辑，逻辑的主要功能为复现人车交互过程中的一系列决策，通过元胞自动机的行人模拟机制，将道路划分为网格，行人具有基础的属性，该属性决定平均意义下该个体的速度、加速度等特点，具体的运动则通过对周围8 个方格的具体情况进行实时判定来产生，如果预测在某个方格会与其他个体产生碰撞，便通过交互函数产生一个占据潜在冲突区域的概率。此方法充分体现了行人在真实场景中的决策连续性以及对侧向来车距离的敏感性，能够较好地还原人车交互的过程。以色列初创公司Autobrains 在专利US16867107 中提出针对特定地形或情形下的场景仿真生成技术，采用深度神经网络多模型推理方法，可解决在恶劣天气条件下，繁忙交通区域内高违法点的仿真场景生成技术，通过不同仿真引擎之间的相互关联，对多个对象的行为模式进行推导（车辆是否闯红灯、行人是否在斑马线处过马路、行人是否携带手提包或推车、车辆在未打信号等情况下改变车道等）。

3 结束语

本文从专利公开态势、专利技术构成、关键技术点等方面剖析了自动驾驶汽车虚拟场景库构建技术的专利布局和技术发展路线。虽然近几年场景库构建技术进入快速发展期，专利公开量持续增长，但研究多集中在简单的数据处理及场景生成等方面，无法完全满足高级别自动驾驶的测试需求。未来研究应着力突破动静态数据融合重构技术，提高动态数据识别速度以及场景自动生成效率。

参考文献

[1]朱冰,张培兴,赵健,等.基于场景的自动驾驶汽车虚拟测试研究进展[J].中国公路学报,2019,32(6):1-19.ZHU B,ZHANG P X,ZHAO J,et al.Review of Scenario-Based Virtual Validation Methods for Automated Vehicles[J].China Journal of Highway and Transport,2019,32(6):1-19.

[2]徐向阳,胡文浩,董红磊,等.自动驾驶汽车测试场景构建关键技术综述[J].汽车工程,2021,43(4):610-619.XU X Y,HU W H,DONG H L,et al.Review of Key Technologies for Autonomous Vehicle Test Scenario Construction[J].Automotive Engineering,2021,43(4): 610-619.

[3]邓伟文,李江坤,任秉韬,等.面向自动驾驶的仿真场景自动生成方法综述[J].中国公路学报,2022,35(1):316-333.DENG W W,LI J K,REN B T,et al.A Survey on Automatic Simulation Scenario Generation Methods for Autonomous Driving[J].China Journal of Highway and Transport,2022,35(1):316-333.

[4]江旻.一种地图构建方法、装置、终端以及计算机可读存储介质:201910780296.6[P].2021-11-26.JIANG M.Map Construction Method,Device,Terminal and Computer Readable Storage Medium: 201910780296.6[P].2021-11-26.

[5]李熠,吴亚光,李振涛.一种运动轨迹的生成方法及装置:202010809488.8[P].2020-1225.LI Y,WU Y G,LI Z T.Motion Trail Generation Method and Device:202010809488.8[P].2020-12-25.

[6]李振涛,郭宋.运动轨迹的生成方法、装置、存储介质和电子设备:202010526872.7[P].2022-05-03.

LI Z T,GUO S.Motion Trajectory Generation Method and Device,Storage Medium and Electronic Equipment:202010526872.7[P].2022-05-03.

[7]宋科科.自动驾驶仿真场景的生成方法和装置、存储介质:201910872331.7[P].2022-05-20.SONG K K.Method and Device for Generating Automatic Driving Simulation Scene and Storage Medium:201910872331.7[P].2022-05-20.

[8]仝湘媛,赵帅,宝鹤鹏,等.一种用于智能汽车重组场景通用扩增的生成方法:202010615614.6[P].2020-11-20.TONG X Y,ZHAO S,BAO H P,et al.Generation Method for Universal Amplification of Intelligent Automobile Recombination Scene:202010615614.6[P].2020-11-20.

[9]鲍彦莅,管时华,周云柯.自动驾驶的动态交通流场景的仿真方法:201811491215.2[P].2022-02-01.BAO Y L,GUAN S H,ZHOU Y K.The Emulation Mode of the Dynamic Traffic Flow Scene of Automatic Pilot:201811491215.2[P].2022-02-01.

[10]敬明,李东珂,倪宏杰,等.交通流仿真方法、装置、存储介质及电子设备:201910415313.6[P].2020-04-14.JING M,LI D K,N H J,et al.Traffic Flow Simulation Method and Device,Storage Medium and Electronic Equipment:201910415313.6[P].2020-04-14.

[11]刘端阳,范鑫烨,阮中远,等.基于含长程连边的曼哈顿城市网络的路网交通流特性仿真方法:202010438973.9[P].2021-06-08.LIU R Y,FAN X Y,RUAN Z Y,et al.Road Network Traffic Flow Characteristic Simulation Method Based on Manhattan City Network with Long-range Continuous Edges:202010438973.9[P].2021-06-08.

[12]胡太群.自动驾驶模型的训练方法、评测方法、控制方法及装置:202110774790.9[P].2021-10-22.HU T Q.Training Method,Evaluation Method,Control Method and Device of Automatic Driving Model:202110774790.9[P].2021-10-22.

[13]张良壮,杨林,余本德,等.虚拟测试场景构建方法及装置:202010917524.2[P].2022-03-04.ZHANG L Z,YANG L,YU B D,et al.The Invention Discloses a Virtual Test Scene Construction Method and a Virtual Test Scene Construction Device: 202010917524.2[P].2022-03-04.

[14]许庆,王裕宁,黄荷叶,等.一种考虑个体激进度的行人穿行场景仿真方法:202011077309.2[P].2021-04-30.XU Q,WANG Y N,HUANG H Y,et al.Pedestrian Crossing Scene Simulation Method Considering Individual Shock Rate:202011077309.2[P].2021-04-30.

文章转载自公众号：智能汽车设计