WO2022147960A1 - 点云的标注方法及标注设备 - Google Patents

Abstract

一种点云的标注方法及标注设备，涉及无人驾驶、自动驾驶的技术领域。该标注方法包括：获取无人车行驶中连续采集的多个点云帧（S110）；对多个点云帧分别进行目标识别，得到识别结果（S120）；根据识别结果，从多个点云帧中提取目标物对应的关键帧，目标物对应的关键帧为识别出目标物的点云帧（S130）；针对目标物，通过从关键帧出发的目标追踪进行多个点云帧内的目标匹配，以在进行目标匹配的多个点云帧中的未识别出目标物的点云帧内标注匹配到的目标物（S140）。

Description

点云的标注方法及标注设备

本申请要求在2021年01月05日提交中国专利局、申请号为202110005211.4的中国专利申请的优先权，该申请的全部内容通过引用结合在本申请中。

技术领域

本申请涉及无人驾驶、自动驾驶的技术领域，例如涉及一种点云的标注方法及标注设备。

背景技术

对于无人车来说，识别周围目标物是必不可少的功能，该功能是基于深度学习模型实现的。为了生成深度学习模型，需要关联有目标物信息的点云数据参与训练深度学习模型，因而，对点云数据进行目标物信息的标注具有重要意义。

无人车行驶中针对周围环境采集的一幅幅点云帧皆为黑白图像，点云帧中的背景为黑色而点云为白色，即点云帧是无颜色信息的图像，这对于本来需要耗费大量时间与人力成本的人工标注来说，无疑加大了标注难度。尤其是，一个点云帧内，不同位置处的目标物对应不同稀疏程度的点云数据，并且距离无人车较远的目标物对应较稀疏的点云数据，因而，距离无人车较远的目标物会因点云信息不足而难以被标注。

发明内容

本申请提供了一种点云的标注方法及标注设备，能够延长标注区域，降低标注难度。

提供一种点云的标注方法，包括：

获取无人车行驶中连续采集的多个点云帧；

对所述多个点云帧分别进行目标识别，得到识别结果；

根据所述识别结果，从所述多个点云帧中提取目标物对应的关键帧，所述目标物对应的关键帧为识别出所述目标物的点云帧；

针对所述目标物，通过从所述关键帧出发的目标追踪进行多个点云帧内的目标匹配，以在进行目标匹配的多个点云帧中的未识别出所述目标物的点云帧内标注匹配到的所述目标物。

还提供一种点云的标注设备，包括：

存储器，被配置为存储计算机指令；

处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现上述的点云的标注方法。

附图说明

图1示出采集点云帧的无人车的示意图；

图2示出无人车在行驶中采集的环境中的一个点云帧；

图3示出本申请实施例一所提供的一种点云的标注方法的流程图；

图4示出本申请实施例二所提供的一种提取关键帧的方法的流程图；

图5示出本申请实施例三所提供的一种提取关键帧的方法的流程图；

图6示出本申请实施例四所提供的一种目标匹配的方法的流程图；

图7示出本申请实施例所提供的一种点云的标注设备的结构框图。

具体实施方式

为了便于理解本申请，下面将参照相关附图对本申请进行描述。附图中给出了本申请的实施例。但是，本申请可以通过不同的形式来实现，并不限于本文所描述的实施例。

图1所示为一辆自动行进的无人车，该自动行进过程得以平稳完成的重要原因在于无人车上安装的多种传感器，例如激光雷达。无人车通过激光雷达的探测获得周围环境的点云数据(点云数据可以是点云帧分割后的一部分)，然后从点云数据中确定目标物的位置以保证行进的平稳完成。

激光雷达探测周围环境对应的点云数据，原理如下：激光雷达包括探测单元和处理单元，其中，探测单元包括发射模块和接收模块，发射模块对周围发射多个激光束，一个激光束对应一个方向；接收模块接收激光束遇到目标物后返回的回波；处理单元是根据回波接收时刻与激光束发射时刻之间的间隔时长以及激光束的发射方向确定激光束的反射点位置，一个反射点位置即为图2所示点云帧中一个云点。一个点云帧是激光雷达对周围一圈的目标物进行探测后采集的数据。

无人车从上述点云数据中确定目标物的位置，是通过训练好的目标物识别模型从点云数据中识别出目标物，为了生成目标物识别模型，需要训练样本参与训练目标物识别模型。这里的训练样本为关联有目标物信息的提前采集的点 云数据；在点云数据被训练中的目标物识别模型识别出一个结果后，与点云数据关联的目标物信息用于确定识别出的结果是否正确以及是否需要继续训练目标物识别模型。因而，对点云数据进行目标物信息的标注具有重要意义。

然而，点云帧无颜色信息，对于本来需要耗费大量时间与人力成本的人工标注来说，无疑进一步加大了标注难度。尤其是，一个点云帧内，不同位置处的目标物对应不同稀疏程度的点云数据，并且距离无人车较远的目标物对应较稀疏的点云数据，因而，距离无人车较远的目标物会因点云信息不足而难以被标注。针对此，本申请提供了一种能够降低标准难度、延长标注区域的标注方法及标注设备。

以下先基于实施例对本申请提供的标注方法进行描述。

实施例一：

图3所示为点云的标注方法的流程图。参照图3，标注方法包括：

步骤S110，获取无人车行驶中连续采集的多个点云帧。

这里通过无人车上安装的激光雷达连续采集了多个点云帧，假设多个点云帧按采集时间的先后排序为P ₁，P ₂，…，P _n，则多个点云帧P ₁，P ₂，…，P _n中不存在目标物位置发生跳变的点云帧，也就是说，点云帧P _i是点云帧P _i-1与点云帧P _i+1之间的过渡点云帧，目标物从点云帧P _i-1所示的位置经过点云帧P _i所示的位置而到达点云帧P _i+1所示的位置。

激光雷达会根据预设规则进行点云帧的连续采集，例如通常在无人车行驶中间隔0.1s进行一次点云帧的采集，这样确保点云帧P _i是点云帧P _i-1与点云帧P _i+1之间的过渡点云帧。

步骤S120，对多个点云帧分别进行目标识别，得到识别结果。

通过运行目标物识别模型(例如点云的三维检测模型Pointpillar)对多个点云帧顺次进行目标物的自动识别，从而快速得到多个关联有目标物信息的点云帧。这里所述点云帧和目标物信息的关联，可以是通过目标物信息和点云帧中目标物对应云点的位置信息建立关联列表而实现，一个关联列表对应一个点云帧；以及，一个关联列表包括一个关联数据或多个关联数据，一个关联数据对应一个目标物且为该目标物和一个云点位置信息或多个云点位置信息之间的关联。

一个关联列表包括一个关联数据的情况下，该关联列表的对应点云帧内识别出一个目标物；一个关联列表包括多个关联数据的情况下，该关联列表的对应点云帧内识别出多个目标物。目标物X _j属于所有点云帧内识别出的目标物的一个，j的取值范围为0-m，m为所有点云帧内识别出的目标物数量，目标物X _j 标识所有点云帧内的同一个目标物。

上述目标物识别模型通过以下方式预先训练：构造点云数据样本集合，所述集合中的点云数据样本包括无人车采集的点云数据且点云数据关联有预先识别出的目标物标签；将所述集合中的点云数据样本输入目标物识别模型，由目标物识别模型识别出点云数据样本中的目标物，并与关联的目标物标签进行比较；如果所述集合中识别出的目标物与目标物标签一致的样本比率超过预定比率阈值，则认为目标物识别模型训练成功；如果所述集合中识别出的目标物与目标物标签一致的样本比率不超过，则调整目标物识别模型的系数，使得所述集合中识别出的目标物与目标物标签一致的样本比率超过预定比率阈值。

由于颜色信息以及远距离目标物点云信息的缺乏，点云标注方法无法对点云数据中存在的远距离目标物进行标注。即，对于训练目标物识别模型的点云数据来说，会存在包含一远距离目标物但缺乏该目标物在远距离状态下的目标物标签的情况，这样上述通过运行目标物识别模型对多个点云帧顺次进行目标物自动识别的过程中，若点云帧P _i中的目标物X _j属于远距离目标物，则目标物识别模型无法识别出来该点云帧P _i内的目标物X _j。

步骤S130，根据识别结果，从多个点云帧中提取目标物对应的关键帧，其中，目标物对应的关键帧为识别出目标物的点云帧。

多个点云帧P ₁，P ₂，…，P _n中不存在目标物位置发生跳变的点云帧，因而点云帧P _i中目标物X _j属于远距离目标物，点云帧P _i之前或之后必有一个点云帧使得目标物X _j属于近距离目标物且能够被识别，这里即选择目标物X _j被识别的点云帧为关键帧。通常情况下，最后选取出的关键帧为点云密度较大的点云帧或者易识别目标物X _j的点云帧，其中，关键帧的点云密度通常大于1000/m ³，也就是说，无人车所在空间内若一区域存在目标物则该区域在关键帧内对应的点云密度大于1000/m ³。

关键帧为一个与目标物对应的点云帧，同一个目标物只有一个关键帧，不同的目标物有可能对应不同的关键帧。若步骤S120中通过关联列表表示点云帧和目标物信息的关联，那么可以通过目标物的目标物信息所在的关联列表来确定关键帧。

步骤S140，针对目标物，通过从关键帧出发的目标追踪进行多个点云帧内的目标匹配，以在进行目标匹配的多个点云帧中的未识别出目标物的点云帧内标注匹配到的目标物。

上述未识别出目标物的点云帧包含在步骤S110采集的多个点云帧内，可以是一帧也可以是多帧。上述目标匹配可以采用目标追踪算法，例如有SORT算 法。

本实施例中，在将目标物所在的点云帧确定为关键帧后，通过目标追踪进行多个点云帧内的目标匹配，这样若该多个点云帧中的一个未识别出目标物的点云帧内存在目标物则能够匹配到目标物进而标注目标物。其中，未识别出目标物的点云帧通过结合关键帧完成了目标物的标注，标注难度有效降低。对于目标物在未识别出目标物的点云帧内属于远距离目标物的情况，该标注方法能够通过结合关键帧的方式对远距离目标物进行标注，使得标注区域得以延长。

实施例二：

本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。

区别之处在于：参照图4，步骤S130，根据识别结果，从多个点云帧中提取目标物对应的关键帧，包括：

步骤S131a，根据识别结果，将多个点云帧中识别出目标物的每个点云帧确定为一个候选帧，得到多个候选帧。

步骤S132a，获取每个候选帧中目标物与无人车的间隔距离，得到多个候选帧对应的多个间隔距离。

步骤S133a，将多个间隔距离中最小值对应的候选帧，确定为关键帧。

上述间隔距离和候选帧之间是一一对应的关系，即每个候选帧对应一个间隔距离，若一候选帧对应的间隔距离是多个间隔距离中具有最小值的间隔距离，则该候选帧被确定为关键帧。

若步骤S120中通过关联列表表示点云帧和目标物信息的关联，那么有多个候选帧的情况下存在多个关联列表中包含目标物的目标物信息，该实施例提供了一种从多个关联列表对应的多个候选帧中选择一个作为关键帧的方法。

本实施例中，将多个间隔距离中最小值对应的候选帧确定为关键帧，因而关键帧内对目标物具有较为丰富的信息，这些信息利于在未识别出所述目标物的点云帧中准确框住属于所述目标物的所有云点。

实施例三：

本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。

区别之处在于：参照图5，步骤S130，根据识别结果，从多个点云帧中提取目标物对应的关键帧，包括：

步骤S131a，根据识别结果，将多个点云帧中识别出目标物的每个点云帧确定为一个候选帧，得到多个候选帧。

步骤S132b，获取每个候选帧与同一未识别出目标物的点云帧在采集时间上的间隔时长，得到多个候选帧对应的多个间隔时长。

步骤S133b，将多个间隔时长中最小值对应的候选帧，确定为关键帧。

上述间隔时长和候选帧之间是一一对应的关系，即每个候选帧对应一个间隔时长，若一候选帧对应的间隔时长是多个间隔时长中具有最小值的间隔时长，则该候选帧被确定为关键帧。

若步骤S120中通过关联列表表示点云帧和目标物信息的关联，那么有多个候选帧的情况下存在多个关联列表中包含目标物的目标物信息，该实施例提供了另一种从多个关联列表对应的多个候选帧中选择一个作为关键帧的方法。

本实施例中，将多个间隔时长中最小值对应的候选帧确定为关键帧，因而能够通过较短时长的路线演变即可得到未识别出所述目标物的点云帧中所述目标物的预测位置。

实施例四：

本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。

区别之处在于：参照图6，步骤S140，通过从关键帧出发的目标追踪进行多个点云帧的目标匹配，包括：

步骤S141，根据目标物在多个候选帧中的位置，确定目标物的行驶参数，其中，候选帧为多个点云帧中识别出目标物的点云帧。

步骤S142，基于目标物的行驶参数和无人车的行驶参数，从关键帧出发推演连续的多个点云帧中未识别出目标物的点云帧内目标物的预测位置。

步骤S143，在预测位置识别目标物，以确定是否在预测位置对应的点云帧内匹配到目标物。

目标物的行驶参数可以包括目标物的线速度、角速度，在得知目标物的线速度和角速度后则能够推知目标物的行驶路线；同样，无人车的行驶参数可以包括无人车的线速度、角速度，在得知无人车的线速度和角速度后则能够推知无人车的行驶路线。

上述多个候选帧为关键帧采集时刻与一未识别出目标物的点云帧的采集时刻之间的过渡时段对应的识别出目标物的点云帧，目标物的行驶参数为关键帧采集时刻与该未识别出目标物的点云帧的采集时刻之间的过渡时段内目标物的行驶参数，同样，无人车的行驶参数也为上述过渡时段内无人车的行驶参数，这样目标物的行驶路线以及无人车的行驶路线皆为上述过渡时段内行驶的路线，根据目标物和无人车各自的行驶路线以及各自在关键帧中的初始位置，则能够推演出未识别出目标物的点云帧内目标物的预测位置。

本实施例中，根据目标物在多个候选帧中的位置确定目标物的行驶参数，然后基于目标物的行驶参数和无人车的行驶参数来推演未识别出目标物的点云帧内目标物的预测位置，这样目标物的行驶参数无需依赖车联网等无人车以外的辅助系统获取，即，预测位置的确定无需依赖车联网，只需及时获取无人车自身的行驶参数即可实现无人车的点云帧的标注，对于无人车来说其点云标注的自主性更强，整个标注过程更加便捷。

实施例五：

本实施例所提供的点云的标注方法基本采用与上述实施例四相同的流程，因此不再赘述。

区别之处在于：步骤S143，在预测位置识别目标物，以确定是否在预测位置对应的点云帧内匹配到目标物，包括：获取预测位置的点云密度；判断点云密度是否大于预定阈值；在点云密度大于预定阈值的情况下，确定在预测位置对应的点云帧内匹配到目标物。

由于目标物具有空间体积，因而上述预测位置是一个空间范围，预测位置的点云密度可以选择预测位置内点云数据的平均密度。

上述预定阈值可以是根据引起噪声数据的干扰物来确定，以较大颗粒灰尘这种干扰物进行示例性说明。较大颗粒的灰尘会使得激光雷达采集的点云帧内出现噪声数据，但达到引起噪声数据的较大颗粒灰尘往往在空间里具有较小的密度，并且这些灰尘多出现在空旷的位置，因而较大颗粒灰尘引起的噪声数据具有较小的点云密度，这样在引起噪声数据的干扰物为较大颗粒灰尘的情况下，可以根据空间内较大颗粒灰尘的密度设置上述预定阈值。预定阈值设定后，若点云密度不大于预定阈值，则说明预测位置的点云为干扰物对应的点云数据，预测位置没有匹配到目标物。

激光束的回波会在光强方面减弱或在传播路线上偏离，这样远距离目标物在点云帧内对应较小密度的点云数据，然而这个较小密度仍然远远大于引起噪 声数据的干扰物在点云帧内对应的点云密度。

本实施例中，在点云密度大于预定阈值的情况下才确定在预测位置对应的点云帧内匹配到目标物，这样有利于将噪声数据和远距离目标物的点云数据区分开，避免在噪声数据处标注远距离目标物对应的目标物信息，即使得标注免受干扰物的影响，标注更加准确。

实施例六：

本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。

区别之处在于：所述标注方法还包括将关键帧输出以接收人工对关键帧进行核验后输入的第一核验结果；其中，若人工核验后确定关键帧对目标物的识别结果不正确，则第一核验结果为人工输入的替换帧，标注方法还包括：将关键帧更新为替换帧。

人工输入的替换帧为多个点云帧中的一个点云帧，且该替换帧内目标物的点云信息较为充足，该替换帧用于替换步骤S130确定的关键帧，步骤S130确定的关键帧更新为替换帧后替换帧作为步骤S140中使用的关键帧。

本实施例中，人工通过第一核验结果干预了关键帧的选择，使得关键帧的选择更精确，继而使得步骤S140中在未识别出目标物的点云帧内对目标物的标注更精确。

实施例七：

本实施例所提供的点云的标注方法基本采用与上述实施例一相同的流程，因此不再赘述。

区别之处在于：所述标注方法还包括：基于目标物的类型，获取目标物的动力学模型；通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合，对每个目标点云帧进行目标物方位的调优，以在每个目标点云帧内对目标物进行方位信息的标注；其中，目标点云帧包括：多个点云帧中识别出目标物的点云帧，以及，未识别出目标物的点云帧中通过目标追踪匹配到目标物的点云帧。

上述方位信息包括目标物的位置和/或目标物的方向。上述动力学模型为与目标物类型对应的动力学模型，若两个目标物的类型相同则该两个目标物能够使用同一动力学模型，若两个目标物的类型不同则该两个目标物的动力学模型 也不同。

以目标物是自行车为例进行示例性说明。首先获取自行车的动力学模型Bicycle model，动力学模型Bicycle model给出了自行车的状态方程，即自行车质心在二维空间内两个相互垂直方向上的速度(标量)以及角速度(矢量)的表达方程，例如是通过车辆质心的线速度(矢量)、车身纵轴与设定正前方的夹角、车辆质心到前后轮的距离来表示，因而在得知自行车质心的线速度(矢量)和角速度(矢量)后，则能够推知车身纵轴与设定正前方的夹角以及车辆质心到前后轮的距离，其中，车身纵轴与设定正前方的夹角表示自行车的方向，车辆质心到前后轮的距离表示了自行车所占的空间位置。Bicycle model是一个理想的模型，车辆质心角速度以及二维空间内两个相互垂直方向上的速度还会受到其它参量的稍许影响，例如表征车辆质心线速度与车辆纵轴夹角的滑移角，即Bicycle model并不能完全精确地确定目标物的方位信息。

通过目标点云帧会中点云数据的分布范围给出目标物的方位信息。由于点云帧内会缺失目标物的一些云点，因而点云帧提供的方位信息也具有不精确性。

本实施例中，通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合，对每个目标点云帧进行目标物方位的调优，是使得最后确定的方位信息与目标物的动力学模型以及目标点云帧都有较高的契合度。其中，目标点云帧为多个，最后确定的方位信息需要与目标物的动力学模型以及所有目标点云帧都有较高的契合度，这样确定的方位信息是经过全局调优后得到的结果，能够准确地表征目标物的实际方位。

实施例八：

本实施例所提供的点云的标注方法基本采用与上述实施例七相同的流程，因此不再赘述。

区别之处在于：所述标注方法还包括：通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合，确定目标物的大小信息，以在每个目标点云帧内对目标物进行大小信息的标注。

通过目标物的动力学模型以及目标物的行驶参数可以推知目标物的大小信息；通过目标点云帧内标注为目标物的云点集合同样可以推知目标物的大小信息。但由于目标物的动力学模型是一个理想模型，因而推知的目标物的大小信息和目标物的实际大小会有偏差；而目标点云帧中目标物的部分云点会缺失，因而通过目标点云帧推知的目标物的大小信息也会与目标物的实际大小有偏差。而通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合，确 定目标物的大小信息，即使得确定的目标物的大小信息与目标物的动力学模型以及多个目标点云帧都有较高的契合度。

本实施例中，通过目标物的动力学模型和多个目标点云帧内标注为目标物的云点集合确定目标物的大小信息，使得确定的目标物大小信息受多个参考条件的综合约束，因而能准确地表征目标物的实际大小。

实施例九：

本实施例所提供的点云的标注方法基本采用与上述实施例八相同的流程，因此不再赘述。

区别之处在于：所述标注方法还包括：将标注了标注结果的目标点云帧输出以接收人工对标注结果进行核验后输入的第二核验结果；其中，若人工核验后确定标注结果不正确，则第二核验结果为人工输入的替换结果，标注方法还包括：将标注结果更新为替换结果。

人工输入的替换结果为对点云帧进行准确标注的标注信息，人工输入的替换结果可以包括类型信息、方位信息和大小信息这些标注信息。

本实施例中，人工通过第二核验结果干预了点云帧的标注，使得点云帧的标注更精确。

本申请还公开了一种点云的标注设备，包括：存储器，被配置为存储计算机指令；处理器，耦合到存储器，处理器被配置为基于存储器存储的计算机指令执行实现如以上任一实施例所述点云的标注方法。

标注设备为执行标注方法的设备，被配置为对无人车行驶中连续采集的多个点云帧进行目标物标注，标注的信息例如有目标物类型、目标物大小、目标物方位，其中，目标物类型例如有行人、自行车、路旁的变电箱等；目标物大小例如有自行车的长；目标物方位包括目标物的朝向和目标物相对于无人车的位置。

标注设备可以不仅包括上述存储器和处理器，还包括以下一个或多个组件：电源组件、输入/输出接口以及通信组件。其中，存储器还被配置为存储多种类型的数据以支持标注设备的操作，存储器可以由任何类型的易失性或非易失性存储设备或者他们的组合实现，如静态随机存储存储器(Static Random Access Memory，SRAM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)，磁盘等。电源组件被配置为对 标注设备的多种组件提供电力，电源组件可以包括电源管理系统、一个或多个电源以及其它与电力生成、管理和分配相关联的组件。输入/输出接口被配置为对标注设备和外围模块之间连接提供接口，上述外围模块可以是键盘和移动硬盘等。通信组件被配置为便于标注设备和其它设备之间进行有线或无线通信，示例性地，通信组件包括近场通信(Near Field Communication，NFC)模块以促进短程通信。处理组件通常被配置为控制标注设备的整体操作，诸如与显示、数据通信以及运算和记录操作相关联的操作；处理组件可以包括一个或多个处理器来执行指令。

图7所示为标注设备的一种可选结构示意图。参照图7，标注设备包括获取单元110、识别单元120、提取单元130和标注单元140，其中，获取单元110被配置为获取无人车行驶中连续采集的多个点云帧；识别单元120被配置为对多个点云帧分别进行目标识别，得到识别结果；提取单元130被配置为根据识别结果，从多个点云帧中提取目标物对应的关键帧；标注单元140被配置为针对目标物，通过从关键帧出发的目标追踪进行多个点云帧内的目标匹配，以在进行目标匹配的多个点云帧中的未识别出目标物的点云帧内标注匹配到的目标物。

标注设备包括的获取单元110可以通过输入/输出接口搭建，这样获取单元110通过输入/输出接口连接的外围模块(例如键盘)录入点云帧；获取单元110也可以通过通信组件搭建，这样获取单元110通过通信组件连接的激光雷达上传点云帧。

标注设备包括的标注单元140可以包括输入/输出接口，这样标注单元140通过输入/输出接口输出标注后的点云帧。

标注设备包括的识别单元120、提取单元130和部分标注单元140可以通过处理器搭建，处理器通过执行指令实现识别单元120和提取单元130的全部功能以及标注单元140的部分功能。

该标注设备包括的获取单元110、识别单元120、提取单元130和标注单元140相结合被配置为执行上述实施例中点云的标注方法，因而这里对获取单元110、识别单元120、提取单元130和标注单元140的功能不再进行描述。

标注设备还可以包括一些其他单元来执行上述实施例中没有被获取单元110、识别单元120、提取单元130和标注单元140执行的功能。

本实施例中，点云的标注设备在将目标物所在的点云帧确定为关键帧后，通过目标追踪进行多个点云帧内的目标匹配，这样若该多个点云帧中的一个未识别出目标物的点云帧内存在目标物则能够匹配到目标物进而标注目标物。其 中，未识别出目标物的点云帧通过结合关键帧完成了目标物的标注，标注难度有效降低。对于目标物在未识别出目标物的点云帧内属于远距离目标物的情况，该标注方法能够通过结合关键帧的方式对远距离目标物进行标注，使得标注区域得以延长。

附图中的流程图、框图图示了本申请实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对申请本身的限制。

在本文中，所含术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1. 一种点云的标注方法，包括：

   获取无人车行驶中连续采集的多个点云帧；

   对所述多个点云帧分别进行目标识别，得到识别结果；

   根据所述识别结果，从所述多个点云帧中提取目标物对应的关键帧，所述目标物对应的关键帧为识别出所述目标物的点云帧；

   针对所述目标物，通过从所述关键帧出发的目标追踪进行多个点云帧内的目标匹配，以在进行目标匹配的多个点云帧中的未识别出所述目标物的点云帧内标注匹配到的所述目标物。
2. 根据权利要求1所述的标注方法，其中，所述根据所述识别结果，从所述多个点云帧中提取目标物对应的关键帧，包括：

   根据所述识别结果，将所述多个点云帧中识别出所述目标物的每个点云帧确定为一个候选帧，得到多个候选帧；

   获取每个候选帧中所述目标物与所述无人车的间隔距离，得到所述多个候选帧对应的多个间隔距离；

   将所述多个间隔距离中的最小值对应的候选帧，确定为所述关键帧。
3. 根据权利要求1所述的标注方法，其中，所述根据所述识别结果，从所述多个点云帧中提取目标物对应的关键帧，包括：

   根据所述识别结果，将所述多个点云帧中识别出所述目标物的每个点云帧确定为一个候选帧，得到多个候选帧；

   获取每个候选帧与同一未识别出所述目标物的点云帧在采集时间上的间隔时长，得到所述多个候选帧对应的多个间隔时长；

   将所述多个间隔时长中最小值对应的候选帧，确定为所述关键帧。
4. 根据权利要求1所述的标注方法，其中，所述通过从所述关键帧出发的目标追踪进行多个点云帧的目标匹配，包括：

   根据所述目标物在多个候选帧中的位置，确定所述目标物的行驶参数，其中，所述候选帧为所述多个点云帧中识别出所述目标物的点云帧；

   基于所述目标物的行驶参数和所述无人车的行驶参数，从所述关键帧出发推演连续的多个点云帧中未识别出所述目标物的点云帧内所述目标物的预测位置；

   在所述预测位置识别所述目标物，以确定是否在所述预测位置对应的点云帧内匹配到所述目标物。
5. 根据权利要求4所述的标注方法，其中，在所述预测位置识别所述目标物，以确定是否在所述预测位置对应的点云帧内匹配到所述目标物，包括：

   获取所述预测位置的点云密度；

   判断所述点云密度是否大于预定阈值；

   响应于所述点云密度大于预定阈值，确定在所述预测位置对应的点云帧内匹配到所述目标物。
6. 根据权利要求1所述的标注方法，还包括：

   将所述关键帧输出以接收人工对所述关键帧进行核验后输入的第一核验结果；

   其中，在人工核验后由人工确定所述关键帧对所述目标物的识别结果不正确的情况下，所述第一核验结果为人工输入的替换帧；

   所述标注方法还包括：将所述关键帧更新为所述替换帧。
7. 根据权利要求1所述的标注方法，还包括：

   基于所述目标物的类型，获取所述目标物的动力学模型；

   通过所述目标物的动力学模型和多个目标点云帧内标注为所述目标物的云点集合，对每个目标点云帧进行所述目标物方位的调优，以在所述每个目标点云帧内对所述目标物进行方位信息的标注；

   其中，所述目标点云帧包括：所述多个点云帧中识别出所述目标物的点云帧，以及，所述多个点云帧中未识别出所述目标物的点云帧中通过目标追踪匹配到所述目标物的点云帧。
8. 根据权利要求7所述的标注方法，还包括：

   通过所述目标物的动力学模型和所述多个目标点云帧内标注为所述目标物的云点集合，确定所述目标物的大小信息，以在每个目标点云帧内对所述目标物进行大小信息的标注。
9. 根据权利要求8所述的标注方法，还包括：

   将标注了标注结果的目标点云帧输出以接收人工对所述标注结果进行核验后输入的第二核验结果；

   其中，在人工核验后由人工确定所述标注结果不正确的情况下，所述第二核验结果为人工输入的替换结果；

   所述标注方法还包括：将所述标注结果更新为所述替换结果。
10. 一种点云的标注设备，包括：

    存储器，被配置为存储计算机指令；

    处理器，耦合到所述存储器，所述处理器被配置为基于所述存储器存储的计算机指令执行实现如权利要求1-9中任一项所述点云的标注方法。

Images