MotionTrack：基于端到端Transformer的激光雷达-相机融合多目标跟踪

• ​论文链接：​​https://arxiv.org/pdf/2306.17000.pdf​​

摘要

本文介绍了MotionTrack：基于端到端Transformer的激光雷达-相机融合多目标跟踪。多目标跟踪（MOT）对自动驾驶感知至关重要。基于端到端的Transformer算法同时检测并跟踪目标，在多目标跟踪任务中展现出巨大潜力。然而，大多数现有的方法着重于基于图像的单目标类别跟踪。在本文中，我们提出了一种基于端到端Transformer的多目标跟踪算法（MotionTrack），其使用多模态传感器输入来跟踪多类目标。本文的目标是为自动驾驶环境中的多目标跟踪建立一个transformer基准。所提出的算法由基于transformer的数据关联（DA）模块和基于transformer的查询增强模块组成，以同时实现多目标跟踪和多目标检测（MOD）。与其它的经典基准模型（例如AB3DMOT、CenterTrack和概率3D卡尔曼滤波器）相比，MotionTrack及其变体在nuScenes数据集上实现了更好的结果（AMOTA得分为0.55）。此外，我们证明了改进的注意力机制可以用于数据关联来完成多目标跟踪，并且融合历史特征来增强多目标检测性能。

主要贡献

本文的主要贡献总结如下：

1）本文使用多模态传感器输入为数据关联设计了一个基于transformer的模块，以实现无需运动预测（MP）和状态估计的跟踪；

2）本文开发了一个查询增强模块（QEM），通过结合历史跟踪特征来提高检测性能；

3）本文为自动驾驶环境中的端到端transformer多目标检测和多目标跟踪算法建立了基准。

论文图片和表格

总结

本文提出了一种新型的自动驾驶环境下使用多模态传感器输入的同时检测和跟踪基线算法MotionTrack。MotionTrack证明了基于transformer的算法适合于自动驾驶环境下的多目标跟踪。此外，MotionTrack验证了自注意力机制和交叉注意力机制能够将目标与多个类别相关联。最后，我们提出了一种基于transformer的查询更新算法QEM，以从历史帧中优化潜在的目标候选，从而提高整体的检测性能。

MotionTrack的跟踪结果在nuScenes数据集上优于其它基准算法。我们相信，MotionTrack可以作为自动驾驶环境中基于深度学习的端到端跟踪算法的新基线算法。

文章转载自公众号：自动驾驶专栏