融合图像和激光点云的三维多目标跟踪方法与相关技术

本技术一种融合图像和激光点云的三维多目标跟踪方法，融合激光雷达的点云以及相机的图像数据，充分发挥点云数据和图像数据之间互补的优势，通过提取目标的三维空间位置信息，点云特征、图像特征，对检测目标与跟踪轨迹之间进行匹配，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，得到准确稳定的三维多目标跟踪。本技术可用于各类无人车中的行人、车辆等运动目标的跟踪和预测，也可以用于安防监控以及无人机对地目标侦察等领域。权利要求书1.一种融合图像和激光点云的三维多目标跟踪方法，其特征在于，包括如下步骤：S1.从激光雷达获取点云数据，检测出目标的三维空间位置信息并提取点云特征；S2.从相机获取图像数据，将目标三维边界投影到图像平面，并提取投影区域的图像特征；S3.计算检测到的目标和跟踪轨迹在点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并；S4.将合并的相似度矩阵通过匈牙利算法计算目标和轨迹之间的二分图匹配关系，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，实现对三维目标的跟踪。2.根据权利要求1所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S1还包括如下步骤：S11.对采集的点云通过点云目标检测算法得到目标的三维空间位置信息包括目标中心点(x,y,z)，长宽高(l,w,h)以及朝向θ；S12.对三维边界框内的点云进行特征提取，得到目标的点云特征。3.根据权利要求2所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S12还包括如下步骤：S121.从预先采集的三维点云数据中提取出各个目标对应的点云，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；S122.在标注的数据集上训练点云深度神经网络，训练过程以最小化在标注样本上的分类误差作为目标。4.根据权利要求1所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S2还包括如下步骤：S21.预先对激光雷达和相机进行联合标定，得到三维点云与图像像素之间的投影变换矩阵；S22.采集到图像数据时，使用所述投影变换矩阵，将目标三维边界投影到图像平面，得到目标在图像中的二维边界框；S23.对二维边界框内的图像进行特征提取，得到目标的图像特征。5.根据权利要求4所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S21还包括如下步骤：S211.预先放置若干立方体箱子，箱子的位置和朝向随机摆放；S212.使用待标定的激光雷达采集所述立方体箱子的点云数据，同时使用待标定相机采集所述立方体箱子的图像数据；S213.在采集的点云数据中选取箱子角点上的激光点，获取其三维坐标，并在采集的图像中选取对应角点的像素，得到角点的图像坐标；S214.根据选取的三维点云坐标和对应的二维图像坐标求解出所述的投影矩阵。6.根据权利要求4所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S23还包括如下步骤：S231.从预先采集的图像数据中标注出各个目标所在的区域，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；S232.在标注的数据集上训练深度卷积神经网络，训练过程以最小化在标注样本上的分类误差为目标。7.根据权利要求1-6任一权利要求所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，所述步骤S3还包括如下步骤：S31.用t表示视频图像的帧号，在t＝0时，将检测的每一个目标初始化为一个跟(x,y,z,θ,l,w,h,vx,vy,vz)，其中(x,y,x)为目标的中心点，(l,w,h)为长宽高，θ为朝向，(vx,vy,vz)为目标在x,y,z方向的速度；S32.在t0时，首先通过卡尔曼滤波器，预测t-1帧的轨迹在t帧的三维空间位置信息；S33.计算目标和所述跟踪轨迹预测的点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并所述S4还包括如下步骤：S41.根据所述的合并相似度矩阵，用匈牙利算法求解二分图匹配问题，得到目标与跟踪轨迹的关联结果。S42.对于在所述关联结果中配对成功的目标和轨迹，将其作为卡尔曼滤波器的观测变量，对卡尔曼滤波器的参数进行更新。S43.对于在所述关联结果中未匹配的目标，初始化为新的轨迹，对于未匹配的轨迹，对其未匹配次数进行累加，如果其连续L帧未能匹配成功，将其删除，其中L是一个可以设置的参数。8.根据权利要求7所述的融合图像和激光点云的三维多目标跟踪方法，其特征在于，在第t帧检测的目标为帧跟踪的轨迹表示为{Ttj|j∈[0,m]}，所述步骤S33的具体步骤为：S331.计算目标和跟踪轨迹在三维空间位置上的相似度矩阵S332.计算目标和跟踪轨迹在点云特征上的相似度矩阵S333.计算目标和跟踪轨迹在图像特征上的相似度矩阵S334.对所述相似度矩阵进行合并，得到合并相似度矩阵。技术说明书技术说明书一种融合图像和激光点云的三维多目标跟踪方法技术领域本技术属于信息与通信技术领域，具体涉及一种三维多目标跟踪方法。背景技术目前大多数多目标跟踪方法都是基于单一传感器，如仅依赖激光雷达或者相机。激光雷达的点云数据能提供目标的三维信息，虽然能较好地克服目标相互遮挡问题，但是点云数据只有几何信息，难以对目标属性进行识别，因此很难对跟踪过程中重新出现的目标进行识别。由于图像数据相比点云数据具有更丰富的信息，基于图像及视频数据的多目标跟踪是目前研究得较多的方法，但是图像由于受到光照、阴影的影响比较大，使得跟踪的可靠性大大降低。另外由于图像只有二维平面信息，无法获取被遮挡的目标的信息，容易造成跟踪丢失或错误。基于激光雷达和相机的多传感器融合能充分发挥点云和图像数据的互补性，提高系统的努棒性，但是目前对多传感器融合的目标跟踪研究不多，通常只是将各个传感器各自的跟踪结果进行后期融合，对跟踪性能的提高有限，尤其是对于长时间跟踪过程中消失目标的重新识别的问题难以解决。技术内容本技术目的在于解决目标遮挡造成的跟踪丢失和长时间跟踪过程中消失目标难以识别的技术问题为达到上述目的，本技术提供的技术方案为：一种融合图像和激光点云的三维多目标跟踪方法，包括如下步骤：S1.从激光雷达获取点云数据，检测出目标的三维空间位置信息并提取点云特征；进一步的，所述步骤S1还包括如下步骤：S11.对采集的点云通过点云目标检测算法得到目标的三维空间位置信息包括目标中心点(x,y,z)，长宽高(l,w,h)以及朝向θ；S12.对三维边界框内的点云进行特征提取，得到目标的点云特征。进一步的，所述步骤S12还包括如下步骤：S121.从预先采集的三维点云数据中提取出各个目标对应的点云，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；S122.在标注的数据集上训练点云深度神经网络，训练过程以最小化在标注样本上的分类误差作为目标。S2.从相机获取图像数据，将目标三维边界投影到图像平面，并提取投影区域的图像特征；进一步的，所述步骤S2还包括如下步骤：S21.预先对激光雷达和相机进行联合标定，得到三维点云与图像像素之间的投影变换矩阵；进一步的，所述步骤S21还包括如下步骤：S211.预先放置若干立方体箱子，箱子的位置和朝向随机摆放；S212.使用待标定的激光雷达采集所述立方体箱子的点云数据，同时使用待标定相机采集所述立方体箱子的图像数据；S213.在采集的点云数据中选取箱子角点上的激光点，获取其三维坐标，并在采集的图像中选取对应角点的像素，得到角点的图像坐标；S214.根据选取的三维点云坐标和对应的二维图像坐标求解出所述的投影矩阵。S22.采集到图像数据时，使用所述投影变换矩阵，将目标三维边界投影到图像平面，得到目标在图像中的二维边界框；S23.对二维边界框内的图像进行特征提取，得到目标的图像特征；进一步的，所述步骤S23还包括如下步骤：S231.从预先采集的图像数据中标注出各个目标所在的区域，并标记目标的编号，相同的目标对应相同的编号，创建训练样本集；S232.在标注的数据集上训练深度卷积神经网络，训练过程以最小化在标注样本上的分类误差为目标。S3.计算检测到的目标和跟踪轨迹在点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并；S4.将合并的相似度矩阵通过匈牙利算法计算目标和轨迹之间的二分图匹配关系，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，实现对三维目标的跟踪。进一步的，所述步骤S3还包括如下步骤：S31.用t表示视频图像的帧号，在t＝0时，将检测的每一个目标初始化为一个跟(x,y,z,θ,l,w,h,vx,vy,vz)，其中(x,y,x)为目标的中心点，(l,w,h)为长宽高，θ为朝向，(vx,vy,vz)为目标在x,y,z方向的速度；S32.在t0时，首先通过卡尔曼滤波器，预测t-1帧的轨迹在t帧的三维空间位置信息；S33.计算目标和所述跟踪轨迹预测的点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并进一步的，在第t帧检测的目标为t-1帧跟踪的轨迹表示为{Ttj|j∈[0,m]}，所述步骤S33的具体步骤为：S331.计算目标和跟踪轨迹在三维空间位置上的相似度矩阵S332.计算目标和跟踪轨迹在点云特征上的相似度矩阵S333.计算目标和跟踪轨迹在图像特征上的相似度矩阵S334.对所述相似度矩阵进行合并，得到合并相似度矩阵进一步的，所述S4还包括如下步骤：S41.根据所述的合并相似度矩阵，用匈牙利算法求解二分图匹配问题，得到目标与跟踪轨迹的关联结果。S42.对于在所述关联结果中配对成功的目标和轨迹，将其作为卡尔曼滤波器的观测变量，对卡尔曼滤波器的参数进行更新。S43.对于在所述关联结果中未匹配的目标，初始化为新的轨迹，对于未匹配的轨迹，对其未匹配次数进行累加，如果其连续L帧未能匹配成功，将其删除，其中L是一个可以设置的参数。附图说明图1是激光雷达与相机联合标定的实现流程示意图；图2是本技术融合图像与激光点云进行三维多目标跟踪的实现流程示意图；图3是提取点云特征的深度神经网络结构示意图；图4是提取图像特征的深度神经网络结构示意图。具体实施方式以下结合说明书附图和具体优选实例对本技术作进一步的详细描述，但并不因此而限制本技术的保护范围。如图1所示，本实例融合图像和激光点云的三维多目标跟踪方法，步骤包括：S1.从激光雷达获取点云数据，检测出目标的三维空间位置信息并提取点云特征；S2.从相机获取图像数据，将目标三维边界投影到图像平面，并提取投影区域的图像特征；S3.计算检测到的目标和跟踪轨迹在点云三维空间位置信息、点云特征以及图像特征上的相似度矩阵，并对三个相似度矩阵进行合并；S4.将合并的相似度矩阵通过匈牙利算法计算目标和轨迹之间的二分图匹配关系，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，实现对三维目标的跟踪。本实例融合激光雷达的点云以及相机的图像数据，充分发挥点云数据和图像数据之间互补的优势，通过提取目标的三维空间位置信息，点云特征、图像特征，对检测目标与跟踪轨迹之间进行匹配，并结合卡尔曼滤波器对跟踪轨迹进行状态估计，得到准确稳定的三维多目标跟踪，可用于各类无人车中的行人、车辆等运动目标的跟踪和预测，也可以用于安防监控以及无人机对地目标侦察等领域。本实例在检测目标与跟踪轨迹的数据关联中，结合了目标的三维空间位置信息、点云特征以及图像特征，其中目标的三维空间位置信息能有效区分目标之间的相互遮挡，点云特征能有效区分目标之间的三维形状特点，图像特征能表征目标的颜色、纹理等属性，可以因长时间遮挡或消失的目标的重新识别能带来很大的提高。本实例中，所述步骤S1中从激光雷达获取点云数据，检测出目标的三维空间位置信息并提取点云特征的具体步骤为：S11.对采集的点云通过点云目标检测算法得到目标的三维空间位置信息包括目标中心点(x,y,z)，长宽高(l,w,h)以及朝向θ；S12.对三维边界框内的点云进行特征提取，得到目标的点云特征。本实施例中，点云特征通过点云深度神经网络PointNet提取，其网络结构如图3所示，包括点云特征提取子网络和点云分类子网络。