摘要目标跟踪(OT)旨在估计视频序列中目标目标的位置。根据目标的初始状态是由第一帧中提供的注释指定还是由类别指定,OT可以被分类为实例跟踪(例如,SOT和VOS)和类别跟踪(例如MOT、MOTS和VIS)任务。结合两个社区开发的最佳实践的优势,本文提出了一种新的trackingwithdetection范式,其中跟踪补充了检测的外观先验,而检测提供了具有候选关联边界框的跟踪。配备了这样的设计,进一步提出了一个统一的跟踪模型OmniTracker...
2023-04-11 21:33:13 5070浏览 5点赞 5回复 4收藏
摘要本文介绍了SegmentAnything(SA)项目:一个用于图像分割的新任务、模型和数据集。在数据收集循环中使用论文的高效模型,本文建立了迄今为止最大的分割数据集(到目前为止),在1100万张许可和尊重隐私的图像上有超过10亿个mask。该模型被设计和训练为可提示的,因此它可以将零样本转换为新的图像分布和任务。作者评估了其在许多任务上的能力,发现其零样本性能令人印象深刻,通常与之前的完全监督结果相竞争,甚至优于这些...
2023-04-11 21:27:58 1407浏览 5点赞 4回复 2收藏
摘要最近激光雷达感知领域出现了一种趋势,即将多个任务统一在一个强大的网络中,从而提高性能,而不是为每个任务使用单独的网络。本文介绍了一种新的基于Transformer的激光雷达多任务学习范式。所提出的LiDARFormer利用跨空间全局上下文特征信息,并利用跨任务协同作用,在多个大规模数据集和基准上提高LiDAR感知任务的性能。论文新颖的基于Transformer的框架包括跨空间Transformer模块,该模块学习2D密集鸟瞰图(BEV)和3D稀...
2023-04-09 08:51:22 1869浏览 1点赞 0回复 1收藏
点云序列通常用于在自动驾驶等应用中准确检测3D目标,当前性能最好的多帧检测器大多遵循DetectandFuse框架,该框架从序列的每一帧中提取特征并将其融合以检测当前帧中的目标。然而,这不可避免地导致许多冗余的计算,因为相邻帧是高度相关的。本文提出了一种高效的运动引导序列融合(MSF)方法,该方法利用目标运动的连续性来挖掘当前帧中用于目标检测的有用序列上下文。首先在当前帧上生成3Dproposal,并基于估计的速度将其传...
2023-04-09 08:51:11 1245浏览 1点赞 0回复 0收藏
摘要自动驾驶汽车中确保驾驶员和乘客安全环境的重要系统之一是高级驾驶员辅助系统(ADAS)。自适应巡航控制、自动制动转向离开、车道线保持系统、盲点辅助、车道线偏离警告系统和车道线检测是ADAS的代表。车道线检测向车辆的智能系统显示车道线线结构的几何特征的特定信息,以显示车道线标注的位置。本文综述了用于自动驾驶汽车车道线检测的方法。已经进行了系统的文献综述(SLR),以分析检测道路车道线的最精细方法,从而为自...
2023-04-08 10:56:06 4549浏览 4点赞 3回复 2收藏
摘要智能汽车(IVs)凭借其增强的便利性、安全性优势和潜在的商业价值而受到广泛关注。尽管一些自动驾驶独角兽断言,到2025年,IVs将实现商业部署,但由于各种问题,它们的部署仍然局限于小规模验证,其中安全性、可靠性和规划方法的通用性是突出的问题。由于复杂环境下的感知缺陷,通过规划方法精确计算控制命令或轨迹仍然是IVs的先决条件,这对IVs的成功商业化构成了障碍。本文旨在回顾最先进的规划方法,包括模块化规划和端到...
2023-04-08 10:54:42 2896浏览 3点赞 2回复 2收藏
作者笔名:石头基于传感器的环境感知,对于自动驾驶系统是关键的一步,其中多传感器之间精确标定起着关键作用。对于激光雷达和相机标定,现存的方法通常是先标定相机内参,然后再标定激光雷达和相机的外参。如果第一阶段相机的内参标定不够准确,也就不能准确的标定激光雷达和相机的外参。由于相机复杂的内部结构和相机内参标定缺乏有效的定量评估方法,在实际标定中,由于相机内参的微小误差,往往会降低外参数标定的精度。为...
2023-04-05 14:53:03 2852浏览 4点赞 3回复 4收藏
1.目标跟踪ReferringMultiObjectTracking研究背景:多目标跟踪(MOT)是指在视频中检测并跟踪多个感兴趣的对象,并为它们分配唯一的ID。现有的MOT方法通常依赖于视觉信息来进行跟踪,但忽略了语言信息的作用。语言信息可以提供更丰富和更具辨识度的语义线索,帮助区分不同的对象和处理遮挡等情况。因此,本文提出了一种新颖且通用的指代理解任务,称为指代多目标跟踪(RMOT)。其核心思想是利用语言表达作为语义提示来指导多目...
2023-04-01 18:46:01 9697浏览 2点赞 1回复 1收藏
导读:V2V4Real是首个大规模真实世界多模态车对车(V2V)协同感知数据集,旨在解决自动驾驶感知系统对遮挡物敏感和长距离感知能力不足的问题,为实现L5级自动驾驶提供支持。数据集涵盖了410公里的驾驶区域,包括激光雷达帧、RGB帧、带注释的3D包围盒和高清地图,涉及协同3D物体检测、协同3D物体跟踪和基于协同感知的Sim2Real领域自适应等任务。V2V4Real有望推动协同感知技术的发展,为自动驾驶领域带来革新。欢迎关注国内首个以...
2023-04-01 18:41:31 1640浏览 1点赞 0回复 1收藏
简介3D车道检测在自动驾驶轨控中起着至关重要的作用,最近成为自动驾驶领域一个快速发展的话题。之前的工作由于其复杂的空间转换模块和不灵活的三维车道表示很难真正在实际业务中应用。面对这些问题,本文提出了一个高效且简单的单目3D车道线检测方法,称为BEVLaneDet,有三个主要贡献。首先,引入了VirutalCamera,统一了安装在不同车辆上的相机的内外参数,以保证相机之间空间关系的一致性。由于统一的视觉空间,它可以有效地...
2023-03-28 22:02:52 1350浏览 1点赞 0回复 1收藏
最近,多相机三维占据预测(3DOccupancyPrediction)受到了广泛关注。作为自动驾驶中的基石任务,三维目标检测天然存在无法识别任意形状以类别的物体。相较于三维目标检测,三维占据预测可以对周围环境进行稠密重建,从而更好地进行感知。本文提出SurroundOcc方法,我们利用多帧稀疏LiDAR点云自动生成稠密三维占据标签,并以此作为监督信号训练得到基于多相机图像的稠密占据预测网络。相关代码已经开源,除了公开数据集外,也支...
2023-03-28 21:59:56 2846浏览 6点赞 4回复 4收藏
摘要自动驾驶的轨迹预测必须不断推理路上智能体的随机运动并遵守场景约束。现有方法通常依赖于一阶段轨迹预测模型,该模型根据观察到的轨迹结合融合的场景信息来确定未来轨迹。然而,他们经常与复杂的场景约束作斗争,例如在十字路口遇到的约束。为此,论文提出了一种称为LAformer的新方法。它使用时间上稠密的车道感知估计模块仅选择HD地图中最有潜力的车道段,从而有效且连续地将运动动态与场景信息对齐,通过过滤掉不相关的...
2023-03-25 10:12:09 2917浏览 2点赞 1回复 1收藏
融合激光雷达和相机信息对于在自动驾驶系统中实现准确可靠的3D目标检测至关重要,由于难以将来自两种截然不同的模态的多粒度几何和语义特征结合起来,这是一个很大挑战。最近的方法旨在通过将2D相机图像中的提升点(称为“seed”)引入3D空间来探索相机特征的语义密度,然后通过跨模态交互或融合技术来结合2D语义。然而,当将点提升到3D空间时,这些方法中的深度信息研究不足,因此2D语义不能与3D点可靠地融合。此外,这些多模...
2023-03-22 20:53:05 667浏览 1点赞 0回复 1收藏
摘要本文对过去十年中进行的主动SLAM(ASLAM)研究进行了新的回顾。论文讨论了基于信息理论的方法在ASLAM中用于轨迹生成和控制动作选择的公式、应用和方法。本文广泛的定性和定量分析强调了ASLAM研究的方法、场景、配置、机器人类型、传感器类型、数据集使用和路径规划方法。最后,论文提出了局限性并提出了未来研究的可能性。论文认为这项调查将有助于研究人员了解应用于ASLAM的各种方法和技术。欢迎关注国内首个以自动驾驶技...
2023-03-22 20:49:59 2096浏览 2点赞 1回复 1收藏
0.摘要近年来,车路协同感知越来越受到关注,激光雷达在该研究领域发挥着关键作用。但是,很少研究如何优化车路协同场景中激光雷达的最佳部署位置。在本工作中,我们研究了路端传感器放置问题,并提出了一种可以在仿真环境中高效且有效地找到车路协同场景中激光雷达最佳安装位置的技术路线。为了更好地模拟和评估激光雷达的位置,我们建立了一个高一致性的激光雷达仿真库,可以模拟多种主流激光雷达的独特特征,并借助仿真引擎...
2023-03-22 20:46:33 5927浏览 6点赞 6回复 3收藏
基于多视角摄像头的3D目标检测在鸟瞰图下的感知(Bird'seyeviewPerception,BEVPerception)吸引了越来越多的注意力。一方面,将不同视角在BEV下统一与表征是很自然的描述,方便后续规划控制模块任务;另一方面,BEV下的物体没有图像视角下的尺度(scale)和遮挡(occlusion)问题。如何优雅的得到一组BEV下的特征描述,是提高检测性能的关键。量产级自动驾驶需要可扩展的三维世界推理。当自动驾驶汽车和其他交通代理在道路上移动时,...
2023-03-20 14:55:54 2073浏览 5点赞 4回复 3收藏
摘要在基础设施上进行有效的BEV目标检测可以极大地改善交通场景理解和车辆到基础设施(V2I)的协作感知。然而,安装在基础设施上的摄像机具有各种位姿,以前的BEV检测方法依赖于精确的标定,由于不可避免的自然因素(例如,风和雪),这在实际应用中很困难。本文提出了一种无标定BEV表示(CBR)网络,该网络实现了基于BEV表示的3D检测,而无需标定参数和额外的深度监督。具体地说利用两个多层感知器在框诱导的前景监督下将特征...
2023-03-20 14:52:09 1224浏览 0点赞 0回复 0收藏
摘要持久多目标跟踪(MOT)允许自动驾驶车辆在高度动态的环境中安全导航。MOT中的一个众所周知的挑战是当目标在后续帧中变得不可观察时的目标遮挡。当前的MOT方法将目标信息(如目标的轨迹)存储在记忆中,以在遮挡后恢复目标。然而,它们保留了短期记忆,以节省计算时间并避免减慢MOT方法。因此,在某些遮挡场景(特别是长遮挡场景)中,它们会丢失对目标的跟踪。本文提出了DFRFastMOT,这是一种轻型MOT方法,它使用来自相机和...
2023-03-18 19:47:32 2066浏览 3点赞 2回复 2收藏
摘要最近基于DEDetectionTRansformer(DETR)的模型已经获得了显著的性能。如果不在编码器中重新引入多尺度特征融合,它的成功就无法实现。然而,多尺度特征中过度增加的标记,特别是对于大约75%的低级别特征,在计算上效率很低,这阻碍了DETR模型的实际应用。本文提出了LiteDETR,这是一种简单而高效的端到端目标检测框架,可以有效地将检测头的GFLOPs减少60%,同时保持99%的原始性能。具体而言,论文设计了一个高效的编码器块...
2023-03-18 19:44:57 1745浏览 2点赞 2回复 1收藏
摘要:光流估计是自动驾驶应用中的一个研究热点。许多优秀的光流估计方法已经被提出,但在常见的挑战性场景中进行测试时,它们会变得错误(erroneous)。尽管鱼眼相机在自动驾驶中的近场传感(nearfieldsensing)应用越来越多,但关于强透镜畸变(stronglensdistortion)的光流估计的文献非常有限。因此,本文提出并评估训练策略,以改善基于学习的光流算法,通过利用具有光流groundtruth的唯一现有鱼眼数据集。在用合成数据进行...
2023-03-12 20:44:31 858浏览 1点赞 0回复 0收藏