用于三维单目标跟踪的相关性金字塔网络

摘要

本文介绍了用于三维单目标跟踪的相关性金字塔网络。随着基于三维激光雷达的单目标跟踪（SOT）在自动驾驶等三维应用中发挥着至关重要的作用，其越来越受到广泛关。单目标跟踪的核心问题为如何从稀疏且非完整的点云中学习目标感知表示。在本文中，我们提出一种新型的相关性金字塔网络（CorpNet），其包含一个统一的编码器和一个运动分解解码器。具体而言，编码器在其主干分支上引入多级自注意力和交叉注意力，以丰富模板和搜索区域特征，并且分别实现它们的融合和交互。此外，考虑到点云的稀疏特性，我们为编码器设计一种横向相关性金字塔结构，以通过集成分层相关特征来保留尽可能多的点。来自编码器搜索区域的输出特征可以直接传给解码器，用于预测目标位置，而无需任何额外的匹配器。此外，在CorpNet的解码器中，我们设计了一种运动分解head来显式地学习z轴和x-y平面的不同运动模式。在两个常用数据集上进行的大量实验表明，本文所提出的CorpNet在实时运行时取得了最先进的结果。

主要贡献

本文的主要贡献总结如下：

1）本文提出一种新型的相关性金字塔网络，称为CorpNet，它集成了多级自注意力来丰富表示以及多尺度交叉注意力来增强它们之间的充分交互/匹配；

2）本文通过一种新的相关性金字塔结构来解决下采样操作的稀疏性问题，该结构融合了分层相关特征，以保留不同阶段内所有点的特征；

3）本文设计一种新的运动分解解码器，以针对不同的运动模式显式地解耦x-y平面和z轴的预测。

论文图片和表格

总结

本文提出了一种新型的用于三维单目标跟踪任务的相关性金字塔网络（Corp-Net），它融合了传统流程中的提取器和匹配器以联合学习目标感知表示，使得提取器和匹配器能够相互受益。特别地，CorpNet集成了多级自注意力和交叉注意力来丰富模板和搜索区域特征，并且充分实现了它们的融合和交互。此外，在编码器中设计了一种横向相关性金字塔结构，以通过结合编码器中存在的所有点的分层相关特征来处理来自下采样操作的稀疏性问题。本文方法的解码器具有一种新的z轴分离结构，其显式地学习z轴和x-y平面的运动。最后，本文方法在两种常用数据集（KITTI和NuScenes）上取得了最先进的结果。

文章转载自公众号：自动驾驶专栏