WO2022134624A1

WO2022134624A1 - 一种行人目标的检测方法、电子设备及存储介质

Info

Publication number: WO2022134624A1
Application number: PCT/CN2021/113129
Authority: WO
Inventors: 邱志明; 赵俊
Original assignee: 亿咖通(湖北)技术有限公司
Priority date: 2020-12-22
Filing date: 2021-08-17
Publication date: 2022-06-30
Also published as: CN112257692A; CN112257692B

Abstract

本发明实施例提供了一种行人目标的检测方法、电子设备及存储介质，所述方法包括：获取第一待检测图像；对第一待检测图像进行行人目标检测，得到至少一个第一检测框；对第一待检测图像进行行人下半身目标检测，得到至少一个第二检测框；针对任一第一检测框和任一第二检测框，确定第一检测框和第二检测框是否标识同一行人；针对第一检测框和第二检测框为标识同一行人的情况，基于第一检测框确定目标检测框；针对第一检测框和第二检测框不为标识同一行人的情况，基于第一检测框、第二检测框分别确定目标检测框。采用本发明实施例，可以提高行人目标检测结果的准确度，避免车辆慢速行驶的过程中发生危险。

Description

一种行人目标的检测方法、电子设备及存储介质

本申请要求于2020年12月22日提交中国专利局、申请号为202011522139.4、申请名称为“一种行人目标的检测方法、电子设备及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明涉及图像处理技术领域，特别是涉及一种行人目标的检测方法、电子设备及存储介质。

背景技术

在车辆泊车、车辆启动等车辆慢速行驶的过程中，为了及时发现车辆附近的行人，以避免在车辆慢速行驶的过程中出现车辆碰撞到行人等危险发生，基于机器学习模型的行人检测的方法已广泛应用在车辆的行人检测系统中。

具体来说，车辆上安装有摄像设备，在车辆慢速行驶的过程中，电子设备可以通过摄像设备获取待检测图像，然后将待检测图像输入预先训练的行人检测模型，确定待检测图像中是否存在行人。

当待检测图像中的行人并不完整时，采用上述行人目标的检测方法并不能准确地检测到待检测图像中的所有行人。例如，当车辆附近的行人与车辆上安装的摄像设备之间的距离较近时，待检测图像中往往只包含行人的部分图像，基于这种图像进行行人目标检测时很可能无法准确的检测出行人，进而会导致车辆慢速行驶的过程中发生危险。

发明内容

本发明实施例的目的在于提供一种行人目标的检测方法、电子设备及存储介质，以提高行人目标检测结果的准确度，避免车辆慢速行驶的过程中发生危险。具体技术方案如下：

第一方面，本发明实施例提供了一种行人目标的检测方法，所述方法包括：

获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像；

对所述第一待检测图像进行行人目标检测，得到所述第一待检测图像中的至少一个第一检测框，其中，所述第一检测框用于标识行人在所述第一待检测图像中所占区域；

对所述第一待检测图像进行行人下半身目标检测，得到所述第一待检测图像中的至少一个第二检测框，其中，所述第二检测框用于标识行人的下半身在所述第一待检测图像中所占区域；

针对任一所述第一检测框和任一所述第二检测框，根据所述第一检测框和所述第二检测框在所述第一待检测图像中的位置，确定所述第一检测框和所述第二检测框是否标识同一行人；

针对所述第一检测框和所述第二检测框为标识同一行人的情况，基于所述第一检测框确定目标检测框，其中，所述目标检测框用于标识所述行人在所述第一待检测图像中的行人目标检测结果；

针对所述第一检测框和所述第二检测框不为标识同一行人的情况，基于所述第一检测框、所述第二检测框分别确定所述目标检测框。

第二方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述行人目标的检测方法步骤。

第三方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述行人目标的检测方法步骤。

本发明实施例所提供的方案中，电子设备可以获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像；对第一待检测图像进行行人目标检测，得到第一待检测图像中的至少一个第一检测框，其中，第一检测框用于标识行人在第一待检测图像中所占区域；对第一待检测图像进行行人下半身目标检测，得到第一待检测图像中的至少一个第二检测框，其中，第二检测框用于标识行人的下半身在第一待检测图像中所占区域；针对任一第一检测框和任一第二检测框，根据第一检测框和第二检测框在第一待检测图像中的位置，确定第一检测框和第二检测框是否标识同一行人；针对第一检测框和第二检测框为标识同一行人的情况，基于第一检测框确定目标检测框，其中，目标检测框用于标识行人在第一待检测图像中的行人目标检测结果；针对第一检测框和第二检测框不为标识同一行人的情况，基于第一检测框、第二检测框分别确定目标检测框。

电子设备可以对第一待检测图像进行行人目标检测，并可以通过对第一待检测图像进行行人下半身目标检测，得到第一检测框及第二检测框，并基于第一检测框及第二检测框的位置确定第一检测框及第二检测框是否标识同一行人，进而得到行人目标检测结果。这样，当第一待检测图像中存在不完整的行人时，电子设备可以准确地检测出该不完整的行人，可以提高行人目标检测结果的准确度，避免车辆慢速行驶的过程中发生危险。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明实施例所提供的一种行人目标的检测方法的流程图；

图2为本发明实施例中备选框以及备选框的抑制属性的确定方式的流程图；

图3为本发明实施例中第一待去重检测框的确定方式的流程图；

图4为梯度方向直方图的示意图；

图5为本发明实施例所提供的一种行人目标的检测装置的结构示意图；

图6为本发明实施例所提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提高行人目标检测的准确度，避免车辆慢速行驶的过程中发生危险，本发明实施例提供了一种行人目标的检测方法、装置、电子设备、计算机可读存储介质及计算机程序产品。下面首先对本发明实施例提供的一种行人目标的检测方法进行介绍。

本发明实施例所提供的一种行人目标的检测方法可以应用于任意需要检测车辆后方的行人目标的电子设备，例如，可以为车载电脑、图像采集设备、处理器等。为了方便描述，后续称为电子设备。

如图1所示，一种行人目标的检测方法，所述方法包括：

S101，获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像；

S102，对所述第一待检测图像进行行人目标检测，得到所述第一待检测图像中的至少一个第一检测框；

其中，所述第一检测框用于标识行人在所述第一待检测图像中所占区域。

S103，对所述第一待检测图像进行行人下半身目标检测，得到所述第一待检测图像中的至少一个第二检测框；

其中，所述第二检测框用于标识行人的下半身在所述第一待检测图像中所占区域。

S104，针对任一所述第一检测框和任一所述第二检测框，根据所述第一检测框和所述第二检测框在所述第一待检测图像中的位置，确定所述第一检测框和所述第二检测框是否标识同一行人；

S105，针对所述第一检测框和所述第二检测框为标识同一行人的情况，基于所述第一检测框确定目标检测框；

其中，所述目标检测框用于标识所述行人在所述第一待检测图像中的行人目标检测结果。

S106，针对所述第一检测框和所述第二检测框不为标识同一行人的情况，基于所述第一检测框、所述第二检测框分别确定所述目标检测框。

可见，本发明实施例所提供的方案中，电子设备可以对第一待检测图像进行行人目标检测，并可以通过对第一待检测图像进行行人下半身目标检测，得到第一检测框及第二检测框，并基于第一检测框及第二检测框的位置确定第一检测框及第二检测框是否标识同一行人，进而得到行人目标检测结果。这样，当第一待检测图像中存在不完整的行人时，电子设备可以准确地检测出该不完整的行人，可以提高行人目标检测结果的准确度，避免车辆慢速行驶的过程中发生危险。

在车辆慢速行驶的过程中，为了确定正在行驶的车辆附近是否存在行人，在上述步骤S101中，电子设备可以获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像。具体的，在车辆慢速行驶的过程中，安装在车辆上的图像采集设备可以采集车辆附近的图像，然后将采集的图像发送至电子设备，作为第一待检测图像。如果上述电子设备为图像采集设备，上述第一待检测图像也可以为电子设备在车辆慢速行驶过程中采集的图像。其中，上述图像采集设备可以安装在车辆的头部、尾部、侧方等位置。

为了确定第一待检测图像中是否存在行人，在上述步骤S102中，电子设备可以对第一待检测图像利用预先训练的行人目标检测模型进行行人目标检测，若存在完整的行人，可以得到第一待检测图像中的至少一个第一检测框。其中，完整的行人是指包括行人头部、躯干、腿部、脚部等整体，第一检测框用于标识行人在第一待检测图像中所占区域。电子设备对第一待检测图像进行行人目标检测的具体方式可以为图像处理技术领域中的相应方式，在此不做具体限定，只要可以检测出第一待检测图像中的行人即可。

上述第一待检测图像中可能包括不完整的行人，例如，当行人与图像采集设备之间的距离较近(0～2m)时，电子设备获取到的第一待检测图像中可能包含行人的下半身图像，在这种情况下，电子设备利用行人目标检测模型对第一待检测图像进行行人目标检测时，很可能无法准确的检测出第一待检测图像中不完整的行人。通常，为了确定车辆较近范围内(0～2m)是否存在行人，可以通过超声波传感器检测车辆附近的行人。但由于超声波传感器对于非金属材质的物体的灵敏度并不高，甚至在特殊的天气情况下会出现失灵的问题，例如，在雷雨天气时超声波传感器会出现失灵的问题。因此，采用超声波传感器无法保证能够准确检测出车辆较近范围内的行人。

针对这种情况，为了提高行人目标检测的准确度，在上述步骤S103中，电子设备可以对第一待检测图像利用预先训练的行人下半身目标检测模型进行行人下半身目标检测，若存在行人整体或者仅仅是行人的下半身，均可以得到第一待检测图像中的至少一个第二检测框，其中，行人的下半身是指行人的腰部以下部位，第二检测框用于标识行人的下半身在第一待检测图像中所占区域。电子设备对第一待检测图像进行行人下半身目标检测的具体方式可以为图像处理技术领域中的相应方式，在此不做具体限定，只要可以检测出第一待检测图像中的行人的下半身即可。

其中，上述步骤S102及S103的执行顺序可以为任意顺序，可以先执行步骤S102后执行步骤S103，也可以先执行步骤S103后执行步骤S102，还可以同时执行步骤S103及步骤S102，当然在第一待检测图像中，可能只检测出行人，若只检测出行人，也可能只检测出行人的下半身，在此不做具体限定。

若第一待检测图像中存在完整的行人，在对第一待检测图像进行行人检测时，会检测出行人标识为第一检测框，在对第一待检测图像进行行人下半身检测时，也会检测出行人下半身标识为第二检测框，因此，在得到第一待检测图像中的第一检测框及第二检测框后，第一检测框和第二检测框可能为标识同一行人的检测框。为了避免在检测结果中出现多个检测框标识同一行人的情况出现，在上述步骤S104中，针对任一第一检测框和任一第二检测框，电子设备可以根据第一检测框和第二检测框在第一待检测图像中的位置，确定第一检测框和第二检测框是否标识为同一行人。

在一种实施方式中，上述第一检测框及第二检测框均为矩形检测框，电子设备在得到第一检测框及第二检测框时，可以在第一待检测图像的图像坐标系中确定第一检测框对应的向量(x1，y1，h1，w1)及第二检测框对应的向量(x2，y2，h2，w2)。其中，(x1，y1)为第一检测框的左上角顶点在第一待检测图像的图像坐标系中的坐标，h1，w1分别为第一检测框的高和宽；(x2，y2)为第二检测框的左上角顶点在第一待检测图像的图像坐标系中的坐标，h2，w2分别为第二检测框的高和宽。

电子设备可以根据第一检测框对应的向量(x1，y1，h1，w1)及第二检测框对应的向量(x2，y2，h2，w2)，计算第一检测框与第二检测框之间的交并比，然后基于第一检测框与第二检测框之间的交并比与交并比阈值之间的大小关系，确定第一检测框和第二检测框是否标识同一行人，这里第一检测框与第二检测框的交并比为在第一待检测图像中第一检测框和第二检测框的重叠面积与第一检测框和第二检测框的总面积之间的比值。当第一检测框与第二检测框之间的交并比不小于交并比阈值时，说明第一检测框与第二检测框重叠部分的面积较大，那么电子设备可以确定第一检测框和第二检测框标识的是同一行人；当第一检测框与第二检测框之间的交并比小于交并比阈值时，说明第一检测框与第二检测框重叠部分的面积较小，那么电子设备可以确定第一检测框和第二检测框标识的是不同的行人。其中，交并比阈值可以根据经验值进行设置。

在上述步骤S105中，针对第一检测框和第二检测框为标识同一行人的情况，在这种情况下第二检测框所标识的行人的下半身区域为第一检测框所标识的完整的行人的下半身区域，那么电子设备便可以基于第一检测框确定目标检测框。其中，目标检测框用于标识行人在第一待检测图像中的行人目标检测结果。

在一种实施方式中，当第一检测框和第二检测框为标识同一行人的情况时，电子设备可以仅仅基于第一检测框就确定目标检测框，即将第一检测框确定为目标检测框。

在一种实施方式中，第一检测框和第二检测框为标识同一行人的情况时，电子设备也可以基于第一检测框与第二检测框的位置来确定目标检测框。

在上述步骤S106中，针对第一检测框和第二检测框不为标识同一行人的情况，例如由于目标检测模型本身的误差，可能对第一待检测图像中某一完整的行人进行检测时，仅仅检测得到第一检测框，而没有得到第二检测框，或者由于行人下半身某些部位被遮挡，而没有得到第二检测框，在这种情况下在第一待检测图像中得到的第二检测框所标识的行人的下半身区域并不是第一检测框所标识的行人的下半身区域，第二检测框和第一检测框对应不同的行人。由于第一待检测图像中可能包含多个行人，每个第二检测框可以分别标识第一待检测图像中每个行人的下半身区域，那么，在第一检测框和第二检测框不为同一行人对应的检测框的情况下，第二检测框所标识的区域很可能是第一待检测图像中不完整的行人的下半身区域，也就是说，第二检测框所对应的行人在第一待检测图像中只存在下半身的图像。为了确保行人目标检测结果的准确性，电子设备可以基于第一检测框、第二检测框分别确定目标检测框。

在一种实施方式中，当第一检测框和第二检测框为标识不为同一行人的情况时，电子设备可以将第一检测框确定为目标检测框，并同时将第二检测框确定为目标检测框。

这样，电子设备可以检测出第一待检测图像中不完整的行人，避免漏检第一待检测图像中的行人，从而可以提高行人目标检测结果的准确度，使得行车过程中更加安全。

作为本发明实施例的一种实施方式，针对上述第一检测框和上述第二检测框不为标识同一行人的情况，基于第一检测框确定目标检测框，可以包括：

对第二待检测图像进行行人头部目标检测；针对第一检测框内检测到行人头部的情况，将第一检测框作为目标检测框。

针对上述第一检测框和上述第二检测框不为标识同一行人的情况，在这种情况下，还可能是因为第一检测框所标识的区域并不包括行人，也就是说，此时第一检测框可能不是行人对应的检测框，检测模型存在误检。为了进一步确定第一检测框是否为行人对应的检测框，电子设备可以对第二待检测图像进行行人头部目标检测，其中，第二待检测图像为第一检测框内的图像。

在一种实施方式中，电子设备可以通过预先训练完成的行人头部目标检测模型对第二待检测图像进行行人头部目标检测。其中，上述行人头部目标检测模型为预先通过多个包含行人头部区域的图像样本对初始行人头部目标检测模型进行训练得到的，在训练过程中，可以不断调整初始行人头部目标检测模型的参数，以使初始行人头部目标检测模型的参数更加合适，进而得到可以准确检测图像中的行人的头部区域的行人头部目标检测模型。其中，上述行人头部目标检测模型可以深度卷积神经网络、SVM(support vector machines，支持向量机)、Adaboost模型等机器学习模型，其参数可以随机初始化，在此不做具体限定。

当电子设备并未在第二待检测图像中检测到行人头部时，即认为在第一检测框内的区域并不包含行人的头部，第一检测框中很可能不是行人，存在检测错误，因此，可以确定第一检测框并不是行人对应的检测框，那么电子设备在检测过程中也就可以丢弃第一检测框。

当电子设备在第二待检测图像中检测到行人头部时，即认为在第一检测框内的区域存在行人的头部。在这种情况下，第一检测框虽然可能不包含行人的下半身区域，但包含行人的头部区域，这表示在第一待检测图像中，第一检测框中所对应的行人的下半身很可能被遮挡，那么第一检测框也是行人所对应的检测框，此时电子设备可以基于第一检测框确定目标检测框。

可见，本发明实施例所提供的方案中，针对第一检测框和第二检测框不为标识同一行人的情况，电子设备可以对第二待检测图像进行行人头部目标检测；针对第一检测框内检测到行人头部的情况，将第一检测框作为目标检测框。这样，当第一待检测图像中行人的下半身区域被遮挡时，电子设备也可以通过第二待检测图像进行行人头部目标检测的方式准确地检测出该被遮挡的行人。

作为本发明实施例的一种实施方式，上述针对所述第一检测框和所述第二检测框为标识同一行人的情况，基于所述第一检测框确定目标检测框的步骤，可以包括：

基于第二检测框的下边界调整第一检测框的下边界得到第三检测框，将第三检测框作为目标检测框。

针对第一检测框和第二检测框为标识同一行人的情况，第二检测框所标识的区域为行人的下半身在第一待检测图像中所占的区域，由于第二检测框的下边界的位置可以准确地标识行人的脚部在第一待检测图像中的位置，因此，为了更加准确地标识行人的脚部在第一待检测图像中的位置，电子设备可以基于第二检测框的下边界调整第一检测框的下边界得到第三检测框，然后将第三检测框作为目标检测框。

在一种实施方式中，电子设备可以保持第一检测框的宽度不变，将第一检测框的下边界调整为第二检测框的下边界，即将第二检测框的下边界作为第三检测框的下边界，第一检测框的左边界、右边界、上边界分别为第三检测框的左边界、右边界、上边界，得到第三检测框作为目标检测框。

可见，在本发明实施例提供的方案中，电子设备基于第二检测框的下边界调整第一检测框的下边界得到第三检测框，将第三检测框作为目标检测框。这样，第三检测框的下边界可以更加准确地标识行人的脚部在第一待检测图像中的位置，从而可以提高行人目标检测结果的准确度。

作为本发明实施例的一种实施方式，上述对所述第一待检测图像进行行人目标检测，得到所述第一待检测图像中的至少一个第一检测框的步骤，可以包括：

获取第一待检测图像的图像特征，利用行人目标检测模型对第一待检测图像的图像特征进行行人目标检测，获得第一待检测图像中的多个第一待去重检测框；对多个第一待去重检测框进行去重处理，得到第一待检测图像中的至少一个第一检测框。

在得到第一待检测图像后，电子设备可以提取第一待检测图像的图像特征，并通过行人目标检测模型对第一待检测图像的图像特征进行行人目标检测，获得第一待检测图像中的多个第一待去重检测框，其中，第一待去重检测框用于标识行人在第一待检测图像中所占区域。

上述行人目标检测模型为预先通过多个包含完整的行人的图像样本对初始行人目标检测模型进行训练得到的，在训练过程中，可以不断调整初始行人目标检测模型的参数，以使初始行人目标检测模型的参数更加合适，进而得到可以准确检测图像中的行人的行人目标检测模型。其中，上述行人目标检测模型可以为SVM、深度卷积神经网络、Adaboost模型等机器学习模型，其参数可以随机初始化，在此不做具体限定。

利用行人目标检测模型对第一待检测图像的图像特征进行行人目标检测的过程中，可能会对同一个行人生成多个第一待去重检测框，也就是说，上述多个第一待去重检测框中，很可能存在多个第一待去重检测框标识的是同一个行人。在多个第一待去重检测框标识同一行人的情况下，该多个第一待去重检测框之间是重叠的。为了从标识同一行人的多个第一待去重检测框中确定可以最准确的表征行人所占区域的检测框，电子设备可以对上述多个第一待去重检测框进行去重处理，得到第一待检测图像中的至少一个第一检测框。

相应的，上述对所述第一待检测图像进行行人下半身目标检测，得到所述第一待检测图像中的至少一个第二检测框的步骤，可以包括：

利用行人下半身检测模型对第一待检测图像的图像特征进行行人下半身目标检测，获得第一待检测图像中的多个第二待去重检测框；对多个第二待去重检测框进行去重处理，得到第一待检测图像中的至少一个第二检测框。

在得到第一待检测图像后，电子设备可以提取第一待检测图像的图像特征，并通过行人下半身检测模型对第一待检测图像的图像特征进行行人下半身目标检测，获得第一待检测图像中的多个第二待去重检测框，其中，第二待去重检测框用于标识行人的下半身在第一待检测图像中所占区域。

上述行人下半身目标检测模型为预先通过多个包含行人下半身的图像样本对初始行人下半身目标检测模型进行训练得到的，在训练过程中，可以不断调整初始行人下半身目标检测模型的参数，以使初始行人下半身目标检测模型的参数更加合适，进而得到可以准确检测图像中行人的下半身的行人下半身目标检测模型。其中，上述行人下半身目标检测模型可以为SVM、深度卷积神经网络、Adaboost模型等机器学习模型，其参数可以随机初始化，在此不做具体限定。

利用行人下半身目标检测模型对第一待检测图像的图像特征进行行人下半身目标检测的过程中，可能会对同一个行人生成多个第二待去重检测框，也就是说，上述多个第二待去重检测框中，很可能存在多个第二待去重检测框标识的是同一个行人。在多个第二待去重检测框标识同一行人的情况下，该多个第二待去重检测框之间是重叠的。为了从标识同一行人的多个第二待去重检测框中确定可以最准确的表征行人下半身所占区域的检测框，电子设备可以对上述多个第二待去重检测框进行去重处理，得到第一待检测图像中的至少一个第一检测框。

可见，上述本发明实施例所提供的，电子设备可以获取第一待检测图像的图像特征，利用行人目标检测模型对第一待检测图像的图像特征进行行人目标检测，获得第一待检测图像中的多个第一待去重检测框；对多个第一待去重检测框进行去重处理，得到第一待检测图像中的至少一个第一检测框；利用行人下半身检测模型对第一待检测图像的图像特征进行行人下半身目标检测，获得第一待检测图像中的多个第二待去重检测框；对多个第二待去重检测框进行去重处理，得到第一待检测图像中的至少一个第二检测框。这样，电子设备可以准确地检测出第一待检测图像中的每个行人，提高行人目标检测结果的准确度。

作为本发明实施例的一种实施方式，上述对所述多个第一待去重检测框进行去重处理，得到所述第一待检测图像中的至少一个第一检测框的步骤，可以包括：

对所有第一待去重检测框进行非极大值抑制处理，获得第一备选框以及第一备选框的第一抑制属性；将第一抑制属性不小于第一阈值的第一备选框作为第一检测框。

针对同一个行人目标，在得到所有第一待去重检测框之后，可能在第一待检测图像中存在多个重叠的第一待去重检测框。为了从第一待去重检测框中确定能够最准确的标识行人所占区域的第一检测框，电子设备对所有第一待去重检测框进行非极大值抑制处理(Non-Maximum Suppression，NMS)，最后剩余一个第一待去重检测框，即得到的第一备选框，同时可以得到该第一备选框的第一抑制属性。

其中，第一抑制属性为非极大值抑制处理时基于第一备选框去除的第一待去重检测框的数量，第一备选框即为非极大值抑制处理后未被去除的第一待去重检测框。例如，在非极大值抑制处理过程中，基于第一备选框k2去除的第一待去重检测框的数量为10，那么第一备选框k2的第一抑制属性也就是10。

在通过上述行人目标检测模型检测出每个第一待去重检测框时，行人目标检测模型可以输出第一待去重检测框的置信度。在这个过程中，上述行人目标检测模型可能会检测出一些置信度较高但并非表征行人在子图像中所占区域的第一待去重检测框，这些置信度较高但并非表征行人在子图像中所占区域的第一待去重检测框可以称为虚警检测框。

为了避免得到的第一备选检测框中存在虚警检测框影响行人目标检测结果的准确度，针对每个第一备选检测框，电子设备可以判断该第一备选检测框的抑制属性与第一阈值之间的大小关系。其中，上述第一阈值可以根据经验值进行设置。

当第一备选检测框的抑制属性小于第一阈值时，说明上述第一候选检测框中与该第一备选检测框之间为重叠关系的检测框的数量较少，在这种情况下，该第一备选检测框为虚警检测框的可能性较高，那么便可以丢弃该第一备选检测框。

当第一备选检测框的抑制属性不小于第一阈值时，说明上述第一候选检测框中与该第一备选检测框之间为重叠关系的检测框的数量较多，在这种情况下，该第一备选检测框为虚警检测框的可能性较低，那么便可以保留该第一备选检测框，作为第一检测框。

相应的，上述对所述多个第二待去重检测框进行去重处理，得到所述第一待检测图像中的至少一个第二检测框的步骤，可以包括：

对所有第二待去重检测框进行非极大值抑制处理，获得第二备选框以及第二备选框的第二抑制属性；将第二抑制属性不小于第二阈值的第二备选框作为第二检测框。

针对同一个行人下半身目标，在得到所有第二待去重检测框之后，可能在第一待检测图像中存在多个重叠的第二待去重检测框。为了从第二待去重检测框中确定能够最准确的标识行人下半身所占区域的第二检测框，电子设备对所有第二待去重检测框进行非极大值抑制处理，最后剩余一个第二待去重检测框，即得到的第二备选框，同时可以得到该第二备选框的第二抑制属性。

其中，第二抑制属性为非极大值抑制处理时基于第二备选框去除的第二待去重检测框的数量，第二备选框即为非极大值抑制处理后未被去除的第二待去重检测框。例如，在非极大值抑制处理过程中，基于第二备选框k3去除的第二待去重检测框的数量为15，那么第二备选框k3的第一抑制属性也就是15。

在通过上述行人下半身目标检测模型检测出每个第二待去重检测框时，行人下半身目标检测模型可以输出第二待去重检测框的置信度。在这个过程中，上述行人下半身目标检测模型可能会检测出一些置信度较高但并非表征行人下半身在子图像中所占区域的第二待去重检测框，这些置信度较高但并非表征行人下半身在子图像中所占区域的第二待去重检测框也可以称为虚警检测框。

为了避免得到的第二备选检测框中存在虚警检测框影响行人目标检测结果的准确度，针对每个第二备选检测框，电子设备可以判断该第二备选检测框的抑制属性与第二阈值之间的大小关系。其中，上述第二阈值可以根据经验值进行设置。

当第二备选检测框的抑制属性小于第二阈值时，说明上述第二候选检测框中与该第二备选检测框之间为重叠关系的检测框的数量较少，在这种情况下，该第二备选检测框为虚警检测框的可能性较高，那么便可以丢弃该第二备选检测框。

当第二备选检测框的抑制属性不小于第二阈值时，说明上述第二候选检测框中与该第二备选检测框之间为重叠关系的检测框的数量较多，在这种情况下，该第二备选检测框为虚警检测框的可能性较低，那么便可以保留该第二备选检测框，作为第二检测框。

可见，本发明实施例所提供的方案中，可以通过上述步骤确定第一待检测图像中的第一检测框和第二检测框。这样，可以将虚警检测框丢弃，避免行人目标检测结果中包括虚警检测框，从而可以提高行人目标检测结果的准确度。

作为本发明实施例的一种实施方式，如图2所示，对所有待去重检测框进行非极大值抑制处理，获得备选框以及备选框的抑制属性，可以包括：

S201，将置信度最高的待去重检测框作为备选框，将除所述备选框外的待去重检测框作为冗余框集合；

为了确定出准确的备选框，电子设备可以将置信度最高的待去重检测框作为备选框，将除所述备选框外的待去重检测框作为冗余框集合。例如，待去重检测框D1的置信度为0.90，待去重检测框D2的置信度为0.81，待去重检测框D3的置信度为0.94，待去重检测框D4的置信度为0.73，那么可以将待去重检测框D3为备选框，并将待去重检测框D1、待去重检测框D2的置信度为0.81及待去重检测框D4作为冗余框集合。其中，将第一待去重检测框作为待去重检测框，获得的备选框为第一备选框，将第二待去重检测框作为待去重检测框，获得的备选框为第二备选框。

S202，针对所述冗余框集合中的每一所述待去重检测框，计算所述备选框与该待去重检测框之间的交并比；

为了确定冗余框集合中是否存在与备选框重叠的待去重检测框，针对所述冗余框集合中的每一所述待去重检测框，电子设备可以计算该备选框与该待去重检测框之间的交并比。

具体的，电子设备可以根据备选框的位置，以及待去重检测框的位置，计算备选框与待去重检测框之间重叠部分的面积，并计算备选框与待去重检测框的总面积，进而计算重叠部分的面积与总面积之间的比值，得到交并比。

例如，备选框B1对应的向量为(1,10,10,10)，表示备选框B1的左上角在第一待检测图像的图像坐标系中的坐标为(1,10)、宽为10，高为10，待去重检测框D1对应的向量为(6,10,10,10)，表示待去重检测框D1的左上角在第一待检测图像的图像坐标系中的坐标为(6,10)、宽为10，高为10，那么备选框B1与待去重检测框D1之间重叠部分的面积即为(6-1)×10＝50，备选框B1与待去重检测框D1的总面积即为(6+10-1)×10＝150，那么备选框B1与待去重检测框D1之间的交并比即为50÷150≈0.33。

S203，若所述交并比不小于第三阈值，从所述冗余框集合中去除该待去重检测框，并更新所述备选框的抑制属性；

在得到备选框与待去重检测框之间的交并比后，可以比较备选框与待去重检测框之间的交并比与第三阈值之间的大小。其中，上述第三阈值可以根据经验值进行设置，例如，可以设置为0.6。

当备选框与待去重检测框之间的交并比不小于第三阈值时，说明备选框与待去重检测框之间的重叠部分的面积较大，那么备选框与待去重检测框很可能为重叠的检测框，电子设备便可以从冗余框集合中去除该待去重检测框，并更新备选框的抑制属性，也就是将备选框的抑制属性加1。其中，将第一待去重检测框作为待去重检测框，获得的备选框为第一备选框，当第一备选框与第一待去重检测框之间的交并比不小于第三阈值时，更新的抑制属性为第一抑制属性；将第二待去重检测框作为待去重检测框，获得的备选框为第二备选框，当第二备选框与第二待去重检测框之间的交并比不小于第三阈值时，更新的抑制属性为第二抑制属性。也就是说，第一抑制属性为基于第一备选框去除的第一待去重检测框的数量，第二抑制属性为基于第二备选框去除的第二待去重检测框的数量。

当备选框与待去重检测框之间的交并比小于第三阈值时，说明备选框与待去重检测框之间的重叠部分的面积较小，那么备选框与待去重检测框很可能不为重叠的检测框，电子设备可以保留该待去重检测框。

S204，从所述冗余框集合中确定置信度最高的待去重检测框为所述备选框，返回所述将除所述备选框外的待去重检测框作为冗余框集合的步骤，直至确定每个所述备选框以及每个所述备选框的抑制属性。

在将冗余框集合中与备选框之间的交并比小于第三阈值的所有待去重检测框去除后，由于未被去除待去重检测框中很可能存在重叠的检测框，因此，的电子设备可以从冗余框集合中确定置信度最高的待去重检测框为新的备选框，并返回执行上述将除所述备选框外的待去重检测框作为冗余框集合的步骤，直至确定每个备选框以及每个备选框的抑制属性。最后，备选框中也就不存在重叠的检测框。

可见，本发明实施例所提供的方案中，电子设备可以按照上述步骤确定每个备选框以及每个备选框的抑制属性。这样，电子设备可以实现对待去重检测框的去重处理，从而可以提高确定目标检测框的效率，并可以提高目标检测框的准确度。

作为本发明实施例的一种实施方式，如图3所示，上述获取所述第一待检测图像的图像特征，利用行人目标检测模型对所述第一待检测图像的图像特征进行行人目标检测，获得所述第一待检测图像中的多个第一待去重检测框的步骤，可以包括：

S301，基于所述第一待检测图像和预设缩放比例，构建所述第一待检测图像的图像金字塔；

在车辆附近可能存在多个行人，且该多个行人与车辆之间的距离是不一样的。当行人与车辆之间的距离越近时，该行人在第一待检测图像中所占的区域的面积越大；当行人与车辆之间的距离越远时，该行人在后方图像中所占的区域的面积越小。因此，当获取到第一待检测图像时，该第一待检测图像中可能包含多个所占的区域的面积不同的行人。

由于目标检测模型通常通过预设尺寸的检测窗口对图像进行目标检测，所以目标检测模型能够检测的目标大小是固定的。为了准确地检测出上述第一待检测图像中的每个行人，电子设备可以基于第一待检测图像和预设缩放比例，构建第一待检测图像的图像金字塔。其中，第一待检测图像的图像金字塔为对第一待检测图像进行多尺度变换处理的一种方式，在构建第一待检测图像的图像金字塔时，第一待检测图像可以作为图像金字塔的第一层子图像，图像金字塔中包括多层子图像，每一层子图像均为将其上一层子图像按照预设缩放比例进行缩放得到的，子图像的尺寸不小于目标检测模型的检测窗口的尺寸，目标检测模型为行人目标检测模型、行人下半身目标检测模型或行人头部目标检测模型。

例如，第一待检测图像的尺寸为1280×720，预设的缩小比例为1.06，电子设备按照该缩小比例对尺寸为1280×720的第一待检测图像进行缩小处理47次后，可以得到47张不同大小的子图像，其中尺寸最小的子图像的尺寸为80×45，最终得到包括48张(第一待检测图像1张+子图像47张)图像的图像金字塔。

构建第一待检测图像的图像金字塔时，可以采用线性插值的方式确定子图像中像素点的像素值。例如，可以采用单线性插值、双线性插值、三线性插值的方式，确定子图像中像素点的像素值，具体的线性插值的方式可以根据需求进行选择，在此不做具体限定。

S302，分别提取每层所述子图像的图像特征，并分别通过行人目标检测模型对每层所述子图像的图像特征进行行人目标检测，获得每层所述子图像中的第一候选检测框；

在得到第一待检测图像的图像金字塔后，电子设备可以分别提取每层子图像的图像特征，并分别通过行人目标检测模型对每层子图像的图像特征进行行人目标检测，获得每层子图像中的第一候选检测框，其中，第一候选检测框用于标识行人在子图像中所占的区域。

S303，基于所述第一候选检测框及所述第一候检测框所属的子图像与所述第一待检测图像之间的缩放比例，确定所述第一待检测图像中的第一待去重检测框；

针对每个行人，在不同的子图像中可能存在多个用于标识该行人所占区域的第一候选检测框。为了从该多个第一候选检测框中确定可以最准确的表征行人所占区域的检测框，电子设备可以基于第一候选检测框及第一候检测框所属的子图像与第一待检测图像之间的缩放比例，确定第一待检测图像中的第一待去重检测框。

具体的，针对每个子图像中的第一候选检测框，电子设备可以按照该子图像与第一待检测图像之间的缩放比例，缩放该子图像中的第一候选检测框，得到缩放后的第一候选检测框的尺寸和位置，也就是该第一候选检测框在第一待检测图像对应的第一待去重检测框的尺寸和位置，从而得到第一待去重检测框。

例如，子图像Dt1中包括第一候选检测框k1，其中第一候选检测框k1对应的向量为 (1,10,20,15)，表示第一候选检测框k1的左上角在图像坐标系中的坐标为(1,10)、第一候选检测框k1的宽为20，高为15，若子图像Dt1与第一待检测图像H1之间的缩放比例为1:20时，那么基于该缩放比例，可以确定第一候选检测框k1在第一待检测图像中对应的第一待去重检测框的向量为(20,200,400,300)，也就是第一待去重检测框的左上角在第一待检测图像的图像坐标系中的坐标为(20,200)、第一待去重检测框的宽为400，高为300。

相应的，上述利用行人下半身检测模型对所述第一待检测图像的图像特征进行行人下半身目标检测，获得所述第一待检测图像中的多个第二待去重检测框的步骤，可以包括：

分别通过行人下半身检测模型对每层子图像的图像特征进行行人下半身目标检测，获得每层子图像中的第二候选检测框；基于第二候选检测框及第二候选检测框所属的子图像与第一待检测图像之间的缩放比例，确定第一待检测图像中的第二待去重检测框。

在得到第一待检测图像的图像金字塔后，电子设备可以分别提取每层子图像的图像特征，并分别通过行人下半身检测模型对每层子图像的图像特征进行行人下半身目标检测，获得每层子图像中的第二候选检测框。

针对每个行人，在不同的子图像中可能存在多个用于标识该行人的下半身所占区域的第二候选检测框。为了从该多个第二候选检测框中确定可以最准确的表征行人下半身所占区域的检测框，电子设备可以基于第二候选检测框及第二候检测框所属的子图像与第一待检测图像之间的缩放比例，确定第一待检测图像中的第二待去重检测框。

具体的，针对每个子图像中的第二候选检测框，电子设备可以按照该子图像与第一待检测图像之间的缩放比例，缩放该子图像中的第二候选检测框，得到缩放后的第二候选检测框的尺寸和位置，也就是该第二候选检测框在第一待检测图像对应的第一待去重检测框的尺寸和位置，从而得到第二待去重检测框。

可见，本发明实施例所提供的方案中，电子设备可以根据上述步骤确定第一待检测图像中的第一待去重检测框和第二待去重检测框。这样，电子设备可以准确地检测出第一待检测图像中的每个行人，提高行人目标检测结果的准确度。

作为本发明实施例的一种实施方式，上述图像特征至少包括以下一种：

第一种：获取待提取图像中每个像素点的亮度值，作为待提取图像的图像特征。

电子设备可以获取待提取图像中每个像素点的亮度值，作为待提取图像的图像特征。其中，待提取图像为上述第一待检测图像或上述子图像。

在一种实施方式中，上述待提取图像可以为RGB图像，针对待提取图像中的每个像素点，电子设备可以提取该像素点对应的Red通道、Green通道、Blue通道的参数值，然后根据如下所示公式计算该像素点的亮度值，进而得到待提取图像中的每个像素点的亮度值I，作为子图像的图像特征：

I＝0.299R+0.587G+0.114B

在另一种实施方式中，上述待提取图像可以为YUV420SP格式的鱼眼图像，针对待提取图像中的每个像素点，电子设备可以提取该像素点对应的Y通道参数，作为该像素点的亮度值：I(x,y)＝Y(x,y)，其中，I(x,y)为像素点(x,y)的亮度值，Y(x,y)为像素点(x,y)的Y通道参数值。

第二种：获取待提取图像中每个像素点的亮度值，基于待提取图像中每个像素点的亮度值，确定待提取图像中每个像素点的亮度梯度幅值，将亮度梯度幅值作为待提取图像的图像特征。

电子设备可以获取待提取图像中每个像素点的亮度值，然后基于待提取图像中每个像素点的亮度值及其坐标，确定待提取图像中每个像素点的亮度梯度幅值，作为待提取图像的图像特征。

待提取图像的亮度梯度幅值G可以表示为：

其中，G _x表示图像坐标系x轴方向的亮度梯度幅值，G _y表示图像坐标系y轴方向的亮度梯度幅值，I(x+1,y)为像素点(x+1,y)的亮度值，I(x,y)为像素点(x,y)的亮度值，I(x,y+1)为像素点(x,y+1)的亮度值。

那么，待提取图像的亮度梯度幅值G的数值即为：

在一种实施方式中，由于计算待提取图像的亮度梯度幅值G的数值时需要求

的平方根，该计算量较大，耗时较长，为了减少计算耗时，电子设备可以根据如下所示公式计算待提取图像的亮度梯度幅值G的数值：

G(x,y)＝|G _x+G _y|

第三种：获取待提取图像中每个像素点的亮度值，基于待提取图像中每个像素点的亮度值，确定待提取图像中每个像素点的亮度梯度幅值，基于待提取图像中每个像素点的亮度梯度幅值确定每个像素点的亮度梯度方向，并基于待提取图像中每个像素点的亮度梯度方向确定待提取图像对应的亮度梯度方向直方图，将亮度梯度方向直方图作为待提取图像的图像特征。

电子设备在确定每个像素点的亮度梯度幅值之后，可以通过如下所示的公式计算每个像素点的亮度梯度方向θ：

θ＝arctan G _y/G _x

在得到待提取图像中每个像素点的亮度梯度方向后，电子设备可以基于每个像素点的亮度梯度方向，确定待提取图像对应的亮度梯度方向直方图，作为待提取图像的图像特征。其中，在亮度梯度方向直方图中，横坐标表示亮度梯度方向，纵坐标表示待提取图像中的像素点在对应的亮度梯度方向的亮度梯度幅值。

具体的，如图4所示，梯度方向直方图中设置有9个方向类别，分别为0°方向、20°方向、40°方向、60°方向、80°方向、100°方向、120°方向、140°方向及160°方向，每两个相邻的方向类别之间相差20°。其中，401为像素点1的亮度梯度方向值，402为像素点2的亮度梯度方向值，403为像素点1的亮度梯度幅值，404为像素点2的亮度梯度幅值。

当像素点1的亮度梯度方向为80°、亮度梯度幅值为2时，电子设备可以确定像素点1在80°方向的亮度梯度幅值为2；当像素点2的亮度梯度方向为10°、亮度梯度幅值为4时，电子设备可以确定像素点2在0°方向的亮度梯度幅值为

并确定像素点2在20°方向的亮度梯度幅值为

其中，亮度梯度方向可以根据具体要求离散，例如，可以设置每两个相邻的方向类别之间相差30°，那么梯度方向直方图中也就设置有6个方向类别；又例如，可以设置每两个相邻的方向类别之间相差45°，那么梯度方向直方图中也就设置有4个方向类别。

在一种实施方式中，为了更快的确定G _y/G _x的数值，可以预先建立G _y/G _x对应的第一查找表，当需要计算G _y/G _x的数值时，电子设备可以根据第一查找表包含的G _y、G _x与G _y/G _x之间的对应关系，确定G _y/G _x的数值。

例如，预先建立的第一查找表如下表所示：

G _y	G _x	G _y/G _x
1	5	0.2
2	4	0.5
6	10	0.6
1	12	1

当电子设备确定G _y为1、G _x为5时，根据上表可以确定G _y/G _x的数值为0.2。

在另一种实施方式中，为了更快地确定每个像素点的梯度方向θ，电子设备可以预先建立反正切函数对应的第二查找表，根据arctan G _y/G _x的数值与G _y/G _x之间的对应关系，确定亮度梯度方向θ。

例如，预先建立的第二查找表如下表所示：

当G _y/G _x的数值为1时，电子设备可以根据上表确定θ＝arctan G _y/G _x＝45°。

可见，本发明实施例所提供的方案中，电子设备可以通过以上方式确定待提取图像的图像特征。这样，电子设备可以通过多种方式准确地确定待提取图像中的图像特征。

作为本发明实施例的一种实施方式，目标检测模型的训练方式可以包括如下步骤：

A1，获取初始目标检测模型及多个图像样本，其中，每个图像样本包括目标对象；

目标检测模型包括上述行人目标检测模型、行人下半身目标检测模型及行人头部目标检测模型。为了获得可以准确检测图像中的完整的行人、行人的下半身区域或行人的头部区域的目标检测模型，电子设备可以获取初始目标检测模型及多个图像样本，基于多个图像样本对初始目标模型进行训练。

由于训练完成的目标检测模型需要检测图像中的完整的行人、行人的下半身或行人的头部，因此，上述图像样本可以为包含行人的图像样本、包含行人下半身区域的图像样本或包含行人头部区域的图像样本，上述目标对象也就是完整的行人、行人的下半身或行人的头部。

当图像样本为包含完整的行人的图像样本时，基于图像样本对初始目标检测模型进行训练可以得到上述行人目标检测模型；当图像样本为包含行人下半身区域的图像样本时，基于图像样本对初始目标检测模型进行训练可以得到上述行人下半身目标检测模型；当图像样本为包含行人头部区域的图像样本时，基于图像样本对初始目标检测模型进行训练可以得到上述行人头部目标检测模型。

A2，标记目标对象在每个图像样本中所占的区域，得到每个图像样本对应的标记检测框，作为标记标签；

由于训练得到的目标检测模型需要对图像进行检测，得到用于标识目标对象在图像中所占的区域的检测框，因此，针对每个图像样本，可以预先标记目标对象在该图像样本中所占的区域，得到该图像样本对应的标记检测框，作为该图像样本的标记标签。

A3，将每个图像样本输入初始目标检测模型，根据每个图像样本的图像特征进行检测，得到每个图像样本包括的目标对象对应的检测框，作为每个图像样本的预测标签；

A4，基于预测标签及对应的图像样本的标定标签的差异，调整初始目标检测模型的参数，直到初始目标检测模型收敛，停止训练，得到目标检测模型。

电子设备可以将上述预测标签与对应的标定标签进行对比，进而根据预测标签与对应的标定标签之间的差异，调整初始目标检测模型的参数，以使初始目标检测模型的参数更加合适。其中，调整初始目标检测模型的参数的方式可以为梯度下降算法、随机梯度下降算法等模型参数调整方式，在此不做具体限定及说明。

为了确定上述初始目标检测模型是否收敛，电子设备可以判断初始目标检测模型的迭代次数是否达到预设次数，或，初始目标检测模型的总损失函数是否不大于预设值。

如果初始目标检测模型的迭代次数达到预设次数，或，初始目标检测模型的总损失函数不大于预设值，说明当前初始目标检测模型已经收敛，也就是说，当前初始目标检测模型可以对图像进行检测得到准确的输出结果，所以此时可以停止训练，得到目标检测模型。

其中，上述预设次数可以根据检测要求、模型结构等因素设定，例如，可以为6000次、9000次、12000次等，在此不做具体限定。预设值可以根据检测要求、模型结构等因素设定，例如可以为1、0.9、0.75等，在此不做具体限定。

如果初始目标检测模型的迭代次数未达到预设次数，或，初始目标检测模型的总损失函数大于预设值，说明当前初始目标检测模型还未收敛，也就是说，当前初始目标检测模型对图像进行检测得到输出结果还不够准确，那么电子设备需要继续训练初始目标检测模型。

作为本发明实施例的一种实施方式，在得到上述行人目标检测结果之后，上述方法还可以包括：

步骤1，针对每个目标检测框，基于该目标检测框中的预设检测点在第一待检测图像的图像坐标系中的坐标以及预设映射关系，确定该预设检测点在第一待检测图像对应的俯视图的图像坐标系中的坐标，作为目标坐标；

在得到行人目标检测结果之后，为了确定行人目标检测结果中包含的检测框所对应的行人与车辆之间的距离，针对每个目标检测框，电子设备可以基于该目标检测框中的预设检测点在第一待检测图像的图像坐标系中的坐标以及预设映射关系，确定该预设检测点在第一待检测图像对应的俯视图的图像坐标系中的坐标，作为目标坐标。其中，上述预设检测点为预先设置的用于标识目标检测框所对应的行人在第一待检测图像中位置的坐标点，可以为目标检测框中的像素点，例如，可以为目标检测框的左下角点、右下角点、下边界的中点等。

电子设备可以基于预设检测点的坐标，以及预设映射关系，确定预设检测点在第一待检测图像对应的俯视图的图像坐标系中的坐标，作为目标坐标。其中，上述目标坐标用于标识行人在上述俯视图中的位置，上述预设映射关系用于将第一待检测图像中的像素点映射至第一待检测图像对应的俯视图中，上述预设映射关系可以根据图像采集设备的内参和外参进行设置，内参可以包括图像采集设备的焦距、畸变系数、像主点坐标等，外参可以包括图像采集设备的位置、俯仰角、翻滚角等。

步骤2，针对每个目标检测框，基于目标坐标与俯视图中预先标定的图像采集设备坐标之间的距离，以及俯视图的比例尺，确定该目标检测框对应的目标行人与车辆之间的距离；

针对每个目标检测框，电子设备可以基于目标坐标与俯视图中预先标定的图像采集设备坐标之间的距离，以及俯视图的比例尺，确定该目标检测框对应的目标行人与车辆之间的距离。其中，图像采集设备坐标用于标识图像采集设备在上述俯视图中的位置。

假设预先标定的图像采集设备坐标为(x0，y0)，目标坐标为(x*1，y*1)，俯视图的比例尺为1:2.5cm，表示俯视图中每两个相邻的像素点之间对应的距离为2.5cm，那么目标坐标与图像采集设备坐标在俯视图坐标系的X轴方向上的距离可以表示为：Dx＝(x*1-x0)×2.5，目标坐标与图像采集设备坐标在俯视图坐标系的Y轴方向上的距离可以表示为：Dy＝(y*1-y0)×2.5。然后，电子设备便可以计算目标检测框对应的目标行人与车辆之间的距离D为：

在一种实施方式中，为了获取到角度更广的后方图像，上述图像采集设备可以采用鱼眼相机，上述第一待检测图像可以为YUV格式的鱼眼照片。

步骤3，基于目标行人与车辆之间的距离以及预设的车辆控制规则，控制车辆进行报警和/或刹车。

在确定目标行人与车辆之间的距离之后，为了警示目标行人避让正在行驶的车辆，并避免车辆碰撞到目标行人，电子设备可以根据该距离以及预设的车辆控制规则，控制车辆进行报警和/或刹车。其中，上述车辆控制规则包括距离与车辆行为之间的对应关系，车辆行为即为上述报警、刹车等行为。

例如，预设的车辆控制规则为：当目标行人与车辆之间的距离大于3米时，控制车辆鸣笛报警；当目标行人与车辆之间的距离大于1.5米且不大于3米时，控制车辆刹车；当目标行人与车辆之间的距离不大于1.5米时，控制车辆鸣笛报警并刹车。当电子设备确定目标行人M1与车辆之间的距离为2.9米时，便可以控制车辆刹车；当电子设备确定目标行人M2与车辆之间的距离为3.5米时，便可以控制车辆鸣笛报警。

这样，电子设备可以准确确定目标行人与车辆之间的距离，并且基于该距离和预设的车辆控制规则及时控制车辆的车辆行为，可以避免车辆慢速行驶的过程中发生危险。

相应于上述一种行人目标的检测方法，本发明实施例还提供了一种行人目标的检测装置。下面对本发明实施例提供的一种行人目标的检测装置进行介绍。

如图5所示，一种行人目标的检测装置，所述装置包括：

图像获取模块501，用于获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像；

第一检测模块502，用于对所述第一待检测图像进行行人目标检测，得到所述第一待检测图像中的至少一个第一检测框；

第二检测模块503，用于对所述第一待检测图像进行行人下半身目标检测，得到所述第一待检测图像中的至少一个第二检测框；

判断模块504，用于针对任一所述第一检测框和任一所述第二检测框，根据所述第一检测框和所述第二检测框在所述第一待检测图像中的位置，确定所述第一检测框和所述第二检测框是否标识同一行人；

第一检测结果确定模块505，用于针对所述第一检测框和所述第二检测框为标识同一行人的情况，基于所述第一检测框确定目标检测框；

第二检测结果确定模块506，用于针对所述第一检测框和所述第二检测框不为标识同一行人的情况，基于所述第一检测框、所述第二检测框分别确定所述目标检测框。

可见，本发明实施例所提供的方案中，获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像；对第一待检测图像进行行人目标检测，得到第一待检测图像中的至少一个第一检测框，其中，第一检测框用于标识行人在第一待检测图像中所占区域；对第一待检测图像进行行人下半身目标检测，得到第一待检测图像中的至少一个第二检测框，其中，第二检测框用于标识行人的下半身在第一待检测图像中所占区域；针对任一第一检测框和任一第二检测框，根据第一检测框和第二检测框在第一待检测图像中的位置，确定第一检测框和第二检测框是否标识同一行人；针对第一检测框和第二检测框为标识同一行人的情况，基于第一检测框确定目标检测框，其中，目标检测框用于标识行人在第一待检测图像中的行人目标检测结果；针对第一检测框和第二检测框不为标识同一行人的情况，基于第一检测框、第二检测框分别确定目标检测框。

作为本发明实施例的一种实施方式，上述第二检测结果确定模块506可以包括：

检测子模块(图5中未示出)，用于对第二待检测图像进行行人头部目标检测；

其中，所述第二待检测图像为所述第一检测框内的图像。

检测结果确定子模块(图5中未示出)，用于针对所述第一检测框内检测到行人头部的情况，将所述第一检测框作为所述目标检测框。

作为本发明实施例的一种实施方式，上述第一检测结果确定模块505可以包括：

第一检测结果确定子模块(图5中未示出)，用于基于所述第二检测框的下边界调整所述第一检测框的下边界得到第三检测框，将所述第三检测框作为目标检测框。

作为本发明实施例的一种实施方式，上述第一检测模块502可以包括：

第一待去重检测框确定子模块(图5中未示出)，用于获取所述第一待检测图像的图像特征，利用行人目标检测模型对所述第一待检测图像的图像特征进行行人目标检测，获得所述第一待检测图像中的多个第一待去重检测框；

第一去重子模块(图5中未示出)，用于对所述多个第一待去重检测框进行去重处理，得到所述第一待检测图像中的至少一个第一检测框；

上述第二检测模块503可以包括

第二待去重检测框确定子模块(图5中未示出)，用于利用行人下半身检测模型对所述第一待检测图像的图像特征进行行人下半身目标检测，获得所述第一待检测图像中的多个第二待去重检测框；

第二去重子模块(图5中未示出)，用于对所述多个第二待去重检测框进行去重处理，得到所述第一待检测图像中的至少一个第二检测框。

作为本发明实施例的一种实施方式，上述第一去重子模块可以包括：

第一去重单元(图5中未示出)，用于对所有所述第一待去重检测框进行非极大值抑制处理，获得第一备选框以及所述第一备选框的第一抑制属性；

其中，所述第一抑制属性为非极大值抑制处理时基于所述第一备选框去除的第一待去重检测框的数量。

第一检测框确定单元(图5中未示出)，用于将所述第一抑制属性不小于第一阈值的所述第一备选框作为第一检测框；

上述第二去重子模块可以包括：

第二去重单元(图5中未示出)，用于对所有所述第二待去重检测框进行非极大值抑制处理，获得第二备选框以及所述第二备选框的第二抑制属性；

其中，所述抑制属性为非极大值抑制处理时基于所述第二备选框去除的第二待去重检测框的数量。

第二检测框确定单元(图5中未示出)，用于将所述第二抑制属性不小于第二阈值的所述第二备选框作为第二检测框。

作为本发明实施例的一种实施方式，上述装置还可以包括：

选择模块(图5中未示出)，用于将置信度最高的待去重检测框作为备选框，将除所述备选框外的待去重检测框作为冗余框集合；

其中，所述待去重检测框为所述第一待去重检测框或所述第二待去重检测框，所述备选框为所述第一备选框或所述第二备选框。

交并比确定模块(图5中未示出)，用于针对所述冗余框集合中的每一所述待去重检测框，计算所述备选框与该待去重检测框之间的交并比；

去除模块(图5中未示出)，用于若所述交并比不小于第三阈值，从所述冗余框集合中去除该待去重检测框，并更新所述备选框的抑制属性；

其中，所述抑制属性为所述第一抑制属性或所述第二抑制属性。

返回模块(图5中未示出)，用于从所述冗余框集合中确定置信度最高的待去重检测框为所述备选框，返回将除所述备选框外的待去重检测框作为冗余框集合，直至确定每个所述备选框以及每个所述备选框的抑制属性。

作为本发明实施例的一种实施方式，上述第一待去重检测框确定子模块可以包括：

图像金字塔构建单元(图5中未示出)，用于基于所述第一待检测图像和预设缩放比例，构建所述第一待检测图像的图像金字塔；

其中，所述图像金字塔包括多层子图像。

第一候选检测框确定单元(图5中未示出)，用于分别提取每层所述子图像的图像特征，并分别通过行人目标检测模型对每层所述子图像的图像特征进行行人目标检测，获得每层所述子图像中的第一候选检测框；

第一待去重检测框确定单元(图5中未示出)，用于基于所述第一候选检测框及所述第一候检测框所属的子图像与所述第一待检测图像之间的缩放比例，确定所述第一待检测图像中的第一待去重检测框；

上述第二待去重检测框确定子模块可以包括：

第二候选检测框确定单元(图5中未示出)，用于分别通过行人下半身检测模型对每层所述子图像的图像特征进行行人下半身目标检测，获得每层所述子图像中的第二候选检测框；

第二待去重检测框确定单元(图5中未示出)，用于基于所述第二候选检测框及所述第二候选检测框所属的子图像与所述第一待检测图像之间的缩放比例，确定所述第一待检测图像中的第二待去重检测框。

第一种：获取待提取图像中每个像素点的亮度值，作为所述待提取图像的图像特征，其中，所述待提取图像为所述第一待检测图像或所述子图像；

第二种：获取所述待提取图像中每个像素点的亮度值，基于所述待提取图像中每个像素点的亮度值，确定所述待提取图像中每个像素点的亮度梯度幅值，将所述亮度梯度幅值作为所述待提取图像的图像特征；

第三种：获取所述待提取图像中每个像素点的亮度值，基于所述待提取图像中每个像素点的亮度值，确定所述待提取图像中每个像素点的亮度梯度幅值，基于所述待提取图像中每个像素点的亮度梯度幅值确定每个像素点的亮度梯度方向，并基于所述待提取图像中每个像素点的亮度梯度方向确定所述待提取图像对应的亮度梯度方向直方图，将所述亮度梯度方向直方图作为所述待提取图像的图像特征。

本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，

存储器603，用于存放计算机程序；

处理器601，用于执行存储器603上所存放的程序时，实现上述任一实施例所述的行人目标检测的方法步骤。

可见，本发明实施例所提供的方案中，电子设备可以获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像；对第一待检测图像进行行人目标检测，得到第一待检测图像中的至少一个第一检测框，其中，第一检测框用于标识行人在第一待检测图像中所占区域；对第一待检测图像进行行人下半身目标检测，得到第一待检测图像中的至少一个第二检测框，其中，第二检测框用于标识行人的下半身在第一待检测图像中所占区域；针对任一第一检测框和任一第二检测框，根据第一检测框和第二检测框在第一待检测图像中的位置，确定第一检测框和第二检测框是否标识为同一行人；针对第一检测框和第二检测框为标识同一行人的情况，基于第一检测框确定目标检测框，其中，目标检测框用于标识行人在第一待检测图像中的行人目标检测结果；针对第一检测框和第二检测框不为标识同一行人的情况，基于第一检测框、第二检测框分别确定目标检测框。

上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例所述的行人目标检测的方法步骤。

可见，本发明实施例所提供的方案中，计算机可读存储介质内存储的计算机程序被处理器执行时，可以获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像；对第一待检测图像进行行人目标检测，得到第一待检测图像中的至少一个第一检测框，其中，第一检测框用于标识行人在第一待检测图像中所占区域；对第一待检测图像进行行人下半身目标检测，得到第一待检测图像中的至少一个第二检测框，其中，第二检测框用于标识行人的下半身在第一待检测图像中所占区域；针对任一第一检测框和任一第二检测框，根据第一检测框和第二检测框在第一待检测图像中的位置，确定第一检测框和第二检测框是否标识同一行人；针对第一检测框和第二检测框为标识同一行人的情况，基于第一检测框确定目标检测框，其中，目标检测框用于标识行人在第一待检测图像中的行人目标检测结果；针对第一检测框和第二检测框不为标识同一行人的情况，基于第一检测框、第二检测框分别确定目标检测框。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一实施例所述的行人目标检测的方法步骤。

可见，本发明实施例所提供的方案中，包含指令的计算机程序产品在计算机上运行时，可以获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像；对第一待检测图像进行行人目标检测，得到第一待检测图像中的至少一个第一检测框，其中，第一检测框用于标识行人在第一待检测图像中所占区域；对第一待检测图像进行行人下半身目标检测，得到第一待检测图像中的至少一个第二检测框，其中，第二检测框用于标识行人的下半身在第一待检测图像中所占区域；针对任一第一检测框和任一第二检测框，根据第一检测框和第二检测框在第一待检测图像中的位置，确定第一检测框和第二检测框是否标识同一行人；针对第一检测框和第二检测框为标识同一行人的情况，基于第一检测框确定目标检测框，其中，目标检测框用于标识行人在第一待检测图像中的行人目标检测结果；针对第一检测框和第二检测框不为标识同一行人的情况，基于第一检测框、第二检测框分别确定目标检测框。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

一种行人目标的检测方法，其特征在于，所述方法包括：

获取车辆上安装的图像采集设备所采集的图像，得到第一待检测图像；

对所述第一待检测图像进行行人目标检测，得到所述第一待检测图像中的至少一个第一检测框，其中，所述第一检测框用于标识行人在所述第一待检测图像中所占区域；

对所述第一待检测图像进行行人下半身目标检测，得到所述第一待检测图像中的至少一个第二检测框，其中，所述第二检测框用于标识行人的下半身在所述第一待检测图像中所占区域；

针对任一所述第一检测框和任一所述第二检测框，根据所述第一检测框和所述第二检测框在所述第一待检测图像中的位置，确定所述第一检测框和所述第二检测框是否标识同一行人；

针对所述第一检测框和所述第二检测框为标识同一行人的情况，基于所述第一检测框确定目标检测框，其中，所述目标检测框用于标识所述行人在所述第一待检测图像中的行人目标检测结果；

针对所述第一检测框和所述第二检测框不为标识同一行人的情况，基于所述第一检测框、所述第二检测框分别确定所述目标检测框。
根据权利要求1所述的方法，其特征在于，所述针对所述第一检测框和所述第二检测框不为标识同一行人的情况，基于所述第一检测框确定所述目标检测框，包括：

对第二待检测图像进行行人头部目标检测，其中，所述第二待检测图像为所述第一检测框内的图像；

针对所述第一检测框内检测到行人头部的情况，将所述第一检测框作为所述目标检测框。
根据权利要求1所述的方法，其特征在于，所述针对所述第一检测框和所述第二检测框为标识同一行人的情况，基于所述第一检测框确定目标检测框的步骤，包括：

基于所述第二检测框的下边界调整所述第一检测框的下边界得到第三检测框，将所述第三检测框作为目标检测框。
根据权利要求1所述的方法，其特征在于，所述对所述第一待检测图像进行行人目标检测，得到所述第一待检测图像中的至少一个第一检测框的步骤，包括：

获取所述第一待检测图像的图像特征，利用行人目标检测模型对所述第一待检测图像的图像特征进行行人目标检测，获得所述第一待检测图像中的多个第一待去重检测框；

对所述多个第一待去重检测框进行去重处理，得到所述第一待检测图像中的至少一个第一检测框；

所述对所述第一待检测图像进行行人下半身目标检测，得到所述第一待检测图像中的至少一个第二检测框的步骤，包括：

利用行人下半身检测模型对所述第一待检测图像的图像特征进行行人下半身目标检测，获得所述第一待检测图像中的多个第二待去重检测框；

对所述多个第二待去重检测框进行去重处理，得到所述第一待检测图像中的至少一个第二检测框。
根据权利要求4所述的方法，其特征在于，所述对所述多个第一待去重检测框进行去重处理，得到所述第一待检测图像中的至少一个第一检测框的步骤，包括：

对所有所述第一待去重检测框进行非极大值抑制处理，获得第一备选框以及所述第一备选框的第一抑制属性，其中，所述第一抑制属性为非极大值抑制处理时基于所述第一备选框去除的第一待去重检测框的数量；

将所述第一抑制属性不小于第一阈值的所述第一备选框作为第一检测框；

所述对所述多个第二待去重检测框进行去重处理，得到所述第一待检测图像中的至少一个第二检测框的步骤，包括：

对所有所述第二待去重检测框进行非极大值抑制处理，获得第二备选框以及所述第二备选框的第二抑制属性，其中，所述抑制属性为非极大值抑制处理时基于所述第二备选框去除的第二待去重检测框的数量；

将所述第二抑制属性不小于第二阈值的所述第二备选框作为第二检测框。
根据权利要求5所述的方法，其特征在于，对所有待去重检测框进行非极大值抑制处理，获得备选框以及所述备选框的抑制属性，包括：

将置信度最高的待去重检测框作为备选框，将除所述备选框外的待去重检测框作为冗余框集合，其中，所述待去重检测框为所述第一待去重检测框或所述第二待去重检测框，所述备选框为所述第一备选框或所述第二备选框；

针对所述冗余框集合中的每一所述待去重检测框，计算所述备选框与该待去重检测框之间的交并比；

若所述交并比不小于第三阈值，从所述冗余框集合中去除该待去重检测框，并更新所述备选框的抑制属性，其中，所述抑制属性为所述第一抑制属性或所述第二抑制属性；

从所述冗余框集合中确定置信度最高的待去重检测框为所述备选框，返回所述将除所述备选框外的待去重检测框作为冗余框集合的步骤，直至确定每个所述备选框以及每个所述备选框的抑制属性。
根据权利要求4所述的方法，其特征在于，所述获取所述第一待检测图像的图像特征，利用行人目标检测模型对所述第一待检测图像的图像特征进行行人目标检测，获得所述第一待检测图像中的多个第一待去重检测框的步骤，包括：

基于所述第一待检测图像和预设缩放比例，构建所述第一待检测图像的图像金字塔，其中，所述图像金字塔包括多层子图像；

分别提取每层所述子图像的图像特征，并分别通过行人目标检测模型对每层所述子图像的图像特征进行行人目标检测，获得每层所述子图像中的第一候选检测框；

基于所述第一候选检测框及所述第一候检测框所属的子图像与所述第一待检测图像之间的缩放比例，确定所述第一待检测图像中的第一待去重检测框；

所述利用行人下半身检测模型对所述第一待检测图像的图像特征进行行人下半身目标检测，获得所述第一待检测图像中的多个第二待去重检测框的步骤，包括：

分别通过行人下半身检测模型对每层所述子图像的图像特征进行行人下半身目标检测，获得每层所述子图像中的第二候选检测框；

基于所述第二候选检测框及所述第二候选检测框所属的子图像与所述第一待检测图像之间的缩放比例，确定所述第一待检测图像中的第二待去重检测框。
根据权利要求4-7任一项所述的方法，其特征在于，所述图像特征至少包括以下一种：

第一种：获取待提取图像中每个像素点的亮度值，作为所述待提取图像的图像特征，其中，所述待提取图像为所述第一待检测图像或所述子图像；

第二种：获取所述待提取图像中每个像素点的亮度值，基于所述待提取图像中每个像素点的亮度值，确定所述待提取图像中每个像素点的亮度梯度幅值，将所述亮度梯度幅值作为所述待提取图像的图像特征；

第三种：获取所述待提取图像中每个像素点的亮度值，基于所述待提取图像中每个像素点的亮度值，确定所述待提取图像中每个像素点的亮度梯度幅值，基于所述待提取图像中每个像素点的亮度梯度幅值确定每个像素点的亮度梯度方向，并基于所述待提取图像中每个像素点的亮度梯度方向确定所述待提取图像对应的亮度梯度方向直方图，将所述亮度梯度方向直方图作为所述待提取图像的图像特征。
一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。