WO2021114031A1 - 一种目标检测方法和装置 - Google Patents
一种目标检测方法和装置 Download PDFInfo
- Publication number
- WO2021114031A1 WO2021114031A1 PCT/CN2019/124050 CN2019124050W WO2021114031A1 WO 2021114031 A1 WO2021114031 A1 WO 2021114031A1 CN 2019124050 W CN2019124050 W CN 2019124050W WO 2021114031 A1 WO2021114031 A1 WO 2021114031A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- target
- prediction
- detected
- target detection
- frame
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
一种目标检测方法,所述方法包括:获取特征图以及所述特征图所对应的至少一个候选框,所述至少一个候选框中的不同候选框对应不同类别的待检测目标;根据所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框;调整所述目标候选框的角度,根据调整结果预测所述锚点所属的待检测目标的朝向。所述方法有效提高了目标检测精确度以及目标检测的速度。
Description
说明书
本发明涉及目标检测技术领域,更具体地涉及一种目标检测方法、目标检测装置、可移动平台以及存储介质。
目标检测一直在各个领域有着重要的应用,目标检测质量的好坏直接影响着终端应用的用户体验,在自动驾驶等领域,还会直接关系到车辆以及乘客的安全,因此,如何提高目标检测的质量一直是目标检测领域的重点和难点。
发明内容
为了解决上述问题而提出了本发明。本发明提供一种目标检测方法、目标检测装置、可移动平台以及存储介质,有效提高了目标检测精确度以及目标检测的运行速度。下面简要描述本发明提出的目标检测方法、目标检测装置、可移动平台以及存储介质,更多细节将在后续结合附图在具体实施方式中加以描述。
根据本发明一方面,提供了一种目标检测方法,所述方法包括:获取特征图以及所述特征图所对应的至少一个候选框,所述至少一个候选框中的不同候选框对应不同类别的待检测目标;根据所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框;调整所述目标候选框的角度,根据调整结果预测所述锚点所属的待检测目标的朝向。
根据本发明另一方面,提供了一种目标检测方法,所述方法包括:获取点云;对所述点云进行特征提取以获取特征图;根据所述特征图,获取待检测目标的候选框;调整所述候选框,获取所述待检测目标的预测框;对于两个所述预测框,根据其相交部分参数值与最小预测框参数值的比值,对所述两个预测框进行去重处理。
根据本发明再一方面,提供了一种目标检测装置,所述目标检测装置包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行前述的目标检测方法。
根据本发明再一方面,提供了一种可移动平台,所述可移动平台包括如上所述的目标检测装置。
根据本发明又一方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行如上所述的目标检测方法。
根据本发明实施例的目标检测方法、目标检测装置、可移动平台以及存储介质,在目标检测的过程中,通过不同候选框对应不同类别的待检测目标,实现一类待检测目标仅用一个候选框进行检测,通过调整所述一个候选框的角度,获取待检测目标不同状态下对应的候选框,同时能够预测出待检测目标的朝向,由于去除了多个候选框检测一类待检测目标的冗余,减少了计算量,从而提高了目标检测的速度,能够实现可靠而实时的目标检测。通过计算两个预测框的相交部分参数值与最小预测框参数值的比值,对所述两个预测框进行去重处理,使得检测结果中噪点位置信息得以更加充分地过滤,从而提升了对噪声的适应性,增加了目标检测的鲁棒性。
图1示出根据本发明实施例的目标检测方法100的示意性流程图;
图2示出根据本发明实施例的目标检测方法200的示意性流程图;
图3示出根据本发明实施例的目标检测方法300的示意性流程图;
图4示出了本发明实施例的两个预测框的位置关系示意图。
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本发明能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”,当在该说明书中使用时,确定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时,术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明,将在下列的描述中提出详细的步骤以及详细的结构,以便阐释本发明提出的技术方案。本发明的一实施例详细描述如下,然而除了这些详细描述外,本发明还可以具有其他实施方式。
本发明实施例可以应用于多种目标检测场景,示例性的,可以应用于三维车辆检测场景,其中待检测目标可以为车辆,例如,在自动驾驶汽车的使用场景中,待检测目标可选择地为车辆、路障、交通灯,建筑物,或行人中的至少一个,并且所述车辆可以包括公交车、小汽车或大卡车。在具体地实施方式中,三维车辆检测可以为道路场景中的车辆检测,通过本发明实施例所示出的实施方式可以获得所述道路等复杂场景下的检测结果,其能够同时对不同尺度、不同类别的目标实现良好的检测效果,有利于行驶安全。上述车辆检测的应用场景仅为示例性描述,并不对本发明作出限定。
示例性的,本发明实施例可以应用于门禁系统的目标检测场景,待检测目标可以为车辆、人、或动物等,本发明实施例的目标检测方法,可以识别待检测目标的具体类别,从而判断是否控制门的开启或关闭,其中门可以是卷帘门、道闸杆、防盗门、木门、钢门、塑料门、铁门、铝木门、 不锈钢门、玻璃门、PVC门、铝合金门、平开门、推拉门、折叠门、隔断门、吊趟门等,所述门可以应用于小区、车库、停车场、加油站、办公楼、仓库、或码头等场景中,可以理解的是,以上例举仅是示例性的,并不能构成对本发明的限制,本发明实施例所示出的实施方式可以获得门禁系统目标检测场景下的检查结果,可以通过识别出目标的类别控制门的开启或闭合,示例性的,可以通过识别出目标是否为某一型号或符合某种条件,根据条件判断是否控制门的开启或闭合,本发明实施例能够同时对不同尺度、不同类别的目标实现良好的目标检测,为门禁系统的响应提供了更加快速、精准的检查结果。
示例性的,本发明实施例可以应用于货物运输的目标检测场景,在货物运输的目标检测场景中,待检测目标可选择地为货物、货车、人、动物、路障中的至少一个,所述货物可以为集装箱、快递包裹、水果箱、或储物盒等,并且所述货车可以包括载货汽车、越野汽车、自卸汽车、牵引车、专用汽车(厢式汽车、罐式汽车、起重举升汽车、仓棚式汽车、特种结构式汽车、专用自卸汽车)、客车、轿车或半挂车。在具体地实施方式中,三维目标检测场景可以为快递分拣中心、仓库、码头等可以运输货物的场景,本发明对此不进行限制。通过本发明实施例所示出的实施方式可以获得所述货物运输等复杂场景下的检测结果,其能够同时对不同尺度、不同类别的目标实现良好的检测效果,有利于货物的安全运输。上述货物运输的使用场景仅为示例性描述,并不对本发明作出限定。
示例性的,本发明实施例可应用于室内目标检测场景,例如,可应用于家庭场景的目标检测,待检测目标可以选择为植物、货物、人、家具、电器、宠物中的至少一个,并且所述家具可以包括桌子、椅子、沙发或凳子等,所述电器可以包括电饭煲、空调、洗衣机、空气净化器等,在具体的实施方式中,检测的主体为可以扫地机器人或任意其他可以自动移动的装置,检测的主体也可以为监控摄像等其他装置,本发明对此不做限制,通过本发明实施例所示出的实施方式可以获得所述家庭内部等复杂场景下的检测结果,其能够同时对不同尺度、不同类别的目标实现良好的检测效果。上述描述仅为示例性描述,并不对本发明作出限定。
本发明实施例所示出的目标检测方法和装置,可以应用于多种目标检 测场景,以上仅是示例性的,可以理解的是,本发明实施例所示出的目标检测方法和装置还可以应用于其他目标检测场景,以上举例并不对本发明构成限制。
为了便于理解,下面参照图1描述根据本发明实施例的目标检测的方法的技术方案流程。图1示出根据本发明实施例的目标检测方法100的示意性流程图。图1所示出的实施例可以应用于不同的目标检测场景中。
如图1所示,目标检测方法100可以包括如下步骤:
步骤S110,获取点云:通过点云扫描装置获取点云。
其中,点云扫描装置可以是激光雷达、深度相机、红外相机、立体摄像头(Stereo Camera)、或越渡时间相机(Time-Of-Flight Camera)中的至少一种。点云扫描装置可以配置在可移动平台上,示例性的,可移动平台可以是车辆(包括有人驾驶车辆和无人驾驶车辆),飞行器(包括有人驾驶飞行器和无人驾驶飞行器),船(包括有人驾驶船和无人驾驶船)或扫地机器人等;也可以将点云扫描装置配置在固定装置上,例如将点云扫描装置固定在道路附近的电线杆或交通灯上,用以获取道路场景下目标的点云数据,也可以将点云扫描装置设置在门禁旁,用来获取门禁场景下的点云数据,进而实现目标检测,点云扫描装置可以根据使用场景,设置在不同的物体上,本发明对此不作限制。
步骤S120,点云编码:利用体素化或卷积神经网络对所述点云进行编码。
由于点云扫描装置扫描目标获取的点云数据是一个三维点云的无序集合,不适合直接进行目标检测。因此可以对扫描装置扫描得到的点云数据进行编码处理,将其转换为稠密且规则的形式,方便后续处理。具体地,在此步骤中可以采用速度较快的点云体素化方法或者信息保留较多但速度较慢的卷积神经网络点云编码方法,通过对点云数据进行编码,能够有效提高步骤S130中特征提取的运算效率,从而提高整个目标检测的速度,使得目标检测方法具有更高的实时性。
点云编码示例性地产生一个三维矩阵,该三维矩阵表征了编码后的数据。
步骤S130,特征提取:获取特征图以及所述特征图所对应的至少一个候选框,所述至少一个候选框中的不同候选框对应不同类别的待检测目标。
在一种实现方式中,在得到了步骤S120中产生的三维矩阵之后,就可以从其中提取所需要的特征来描述当前场景,从而服务最终的目标检测。需要注意的是,本步骤所述的特征提取并不依赖于编码后的点云来完成,可以根据原始点云进行特征提取,也可以根据其他方式变换后的点云进行特征提取,本发明对此不作限制。
示例性地,利用深度学习技术可以在此步骤中提取出适应性更好的特征。通过梯度反向传播,可以利用人工标注的数据来自动指导特征的提取,从而不再使特征提取的质量与形式受限于人工的设计。
示例性地,可以将编码后的点云数据投影到二维平面上,获取已编码点云的投影图,可以利用卷积神经网络对所述已编码点云的投影图进行特征提取,从而获取特征图以及与所述特征图所对应的至少一个候选框。
在获取到所述特征图后,可以获取所述特征图中的锚点,所述锚点周围存在点云,所述锚点指示了其附近可能存在待检测目标,所述锚点具有位置信息,在目标检测过程中,针对所述特征图所有锚点中的每个锚点,利用所述特征图所对应的至少一个候选框进行目标检测。在获取所述锚点的过程中,由于产生锚点的方式不同,可能产生空锚,所述空锚所指示的区域并不存在待检测目标,因此,在获取到所述锚点后,可以判断其是否为空锚,若是空锚,则将其剔除,若不是空锚,则确定所述锚点为目标锚点。针对所述目标锚点进行目标检测,可以提高目标检测的效率。
其中,所述特征图所对应的至少一个候选框可以是预先设置的,候选框形状、尺度、以及长宽比例或长宽高比例可以通过训练卷积神经网络获得,卷积神经网络是一种前馈神经网络,它的人工神经元可以在局部响应被其感受野覆盖的区域单元,对于处理图像有着出色效果,因此通过卷积神经网络能够获得适应性较好的候选框。
在一种实现方式中,可以将不同尺度的待检测目标显示在不同的特征图上,通过所述特征图区分待检测目标的尺度,同一所述特征图对应至少一个候选框,所述至少一个候选框是可能出现在所述同一特征图上的待检测目标所对应的候选框,所述至少一个候选框可以是通过卷积神经网络训 练后得到的。
需要说明的是,本发明实施例的目标检测方法,对于通过一帧点云数据获取的特征图,所述特征图所对应的至少一个候选框可以包括多种情况,例如每一个特征图分别对应一个候选框,或每一个特征图分别对应至少两个候选框,或至少部分特征图中每个特征图分别对应一个候选框,其余部分特征图中的每个特征图分别对应至少两个候选框,以上例举仅为示例性的,并不对本发明构成限制。本发明所述的特征提取方法,可以参考图2所述的步骤S210中的实现方式中所采用的方法进行。
本发明实施例提供的目标检测方法,通过不同候选框对应不同类别的待检测目标,实现一类待检测目标仅用一个候选框进行检测,由于去除了多个候选框检测一类待检测目标的冗余,减少了计算量,从而提高了目标检测的速度,能够实现可靠而实时的目标检测。
步骤S140,位置信息预测:根据所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框;调整所述目标候选框的角度,获得预测框。
示例性地,本步的目的是利用上一步得到的特征,在其上进行回归,得场景中目标的三维位置信息,具体地,根据S130步骤获取的所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框;调整所述目标候选框的角度,调整后的所述目标候选框为所述预测框,根据所述预测框预测所述锚点所属的待检测目标的朝向。
在一种实现方式中,一个所述特征图对应一个候选框,所述根据所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框,包括:获取锚点的位置,所述位置包括锚点的三维坐标,所述三维坐标包括但不限于笛卡尔直角坐标系、平面极坐标系、柱面坐标系(或称柱坐标系)和球面坐标系(或称球坐标系)等坐标系下的坐标,将所述锚点的位置作为所述目标候选框的位置。
在一种实现方式中,一个所述特征图对应至少两个候选框,所述根据所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框,包括:获取锚点的位置,所述位置包括锚点的三维坐标,所述三维坐标包括但不限于笛卡尔直角坐标系、平面极坐标系、柱面坐标系(或 称柱坐标系)和球面坐标系(或称球坐标系)等坐标系下的坐标,根据所述特征图中锚点所属的待检测目标的点云信息,从所述至少两个候选框中选择一个候选框作为目标候选框,将所述锚点的位置作为所述目标候选框的位置。
本发明实施例通过从至少一个候选框中获取目标候选框,以便于通过调整所述目标候选框的角度预测所述锚点所属的待检测目标的朝向。本发明实施例的位置信息预测方法参考图2所示的步骤S220和步骤S230所述的实现方式中所采用的方法进行。
本发明实施例所采用的特征提取与位置信息预测网络结构。此结构经过适应自动驾驶场景的超参数选择,可以在车载平台上实现实时的计算。
步骤S150,后处理:对于两个所述预测框,根据其相交部分参数值与最小预测框参数值的比值,对所述两个预测框进行去重处理。
在步骤S140中获得的预测框,可能存在一些预测框,它们之间存在较大的重叠部分,为了提高目标检测的速度和准确性,需要对这些预测框进行去重处理,即后处理。
在一种实现方式中,可以采用非极大值抑制(Non-Maximum Suppression,简称NMS)后处理,在目标检测中,位置信息预测后会获得预测框,也可以获得与所述预测框对应的置信度,采用非极大值抑制后处理可以选取置信度最高的预测框(是目标的概率最大),并且抑制置信度较低的预测框,去除位置重合的预测框,提高预测结果的准确性。
需要说明的是,在目标检测中后处理的方式有很多种,以上例举仅是示例性的,并不作为对本发明的限制。后处理过程中,用来判断重合度的标准直接影响着后处理的准确性,本发明实施例对于两个所述预测框,根据其相交部分参数值与最小预测框参数值的比值,对所述两个预测框进行去重处理,使得检测结果中一些噪点位置信息得以过滤,从而使得检测算法更加鲁棒。本发明实施例的后处理方法参考图3所示的实现方式中所采用的方法进行。
本发明实施例所提供的目标检测方法,通过不同候选框对应不同类别的待检测目标,实现一类待检测目标仅用一个候选框进行检测,通过调整所述一个候选框的角度,获取待检测目标不同状态下对应的候选框,同时 能够预测出待检测目标的朝向,由于去除了多个候选框检测一类待检测目标的冗余,减少了计算量,从而提高了目标检测的速度,能够实现可靠而实时的目标检测。通过计算两个预测框的相交部分参数值与最小预测框参数值的比值,对所述两个预测框进行去重处理,使得检测结果中噪点位置信息得以更加充分地过滤,从而提升了对噪声的适应性,增加了目标检测的鲁棒性。
下面参考图2描述的根据本发明实施例的目标检测方法。图2示出根据本发明实施例的目标检测方法200的示意性流程图。如图2所示,目标检测方法200可以包括如下步骤:
步骤S210,获取特征图以及所述特征图所对应的至少一个候选框,所述至少一个候选框中的不同候选框对应不同类别的所述待检测目标。
在一种实现方式中,所述待检测目标的类别可以是根据所述待检测目标的形状划分的,当使用形状来区分类别时,能够用一个候选框检测的,具有相似形状的所述待检测目标,可以划分为相同类别,例如,在车辆检测场景中,小汽车中不同厂家生产的车在形状上虽有差异,但是其差异较小,通常可以用一个候选框来检测,因此可以将小汽车作为一个类别,小汽车、公交车、卡车的形状差异较大,可以将其划分为不同类别。当然,类别也可以有其他划分方式来获得,本发明在此不做限制。
在一种实现方式中,所述不同候选框对应不同类别的所述待检测目标,可以是通过卷积神经网络实现的,通过卷积神经网络对目标检测场景中的目标进行学习、分类,获取每一类目标的候选框,用以进行目检测。
在一种实现方式中,可以根据如下方式获取特征图,包括:获取点云;对所述点云进行编码,得到已编码点云;获取所述已编码点云的投影图;基于卷积神经网络对所述已编码点云的投影图进行特征提取从而获得所述特征图。其中,所述对所述点云进行编码,包括:利用体素化或卷积神经网络对所述点云进行编码。通过对点云数据进行编码,能够有效提高特征提取的运算效率,从而提高整个目标检测的速度,使得目标检测方法具有更高的实时性。
在一种实现方式中,投影图可以为投影到任意面的二维图,比如点云 扫描装置的前视图、俯视图、左视图等,示例性地,最佳的是投影到俯视图上,即鸟瞰图,由于鸟瞰图中的目标一般不会被遮挡,其中所显示的目标往往能够保持相对完整的形状,尤其是在车辆检测等使用场景中,由于道路上很少出现一个物体上叠着另一个物体,使用鸟瞰图进行特征提取为目标检测提供了较好的前提条件。
在一种实现方式中,所述特征图为根据一帧点云数据获取的,所述特征图至少为两个,不同特征图上的所述待检测目标的尺度不同。具体地,可以通过点云扫描装置获取到一帧点云数据,可以将所述一帧点云数据输入卷积神经网络,卷积神经网络可以通过训练,输出至少两个特征图,例如,在车辆检测场景中,由于小汽车、公交车、和大卡车的尺度不同,且尺度相差较大,因此,可以输出三个特征图,其中小尺度的待检测目标如小汽车显示在第一个特征图中,中尺度的待检测目标如公交车显示在第二个特征图中,大尺度的待检测目标如卡车显示在第三个特征图中。现有技术在同一特征图上既进行大尺度目标的检测,又进行小尺度目标的检测,同一特征图对应多个尺度不同的候选框,因此同一锚点上对应多个尺度不同的候选框,在进行目标检测时,需要从多个尺度不同的候选框中选择出一个与当前待检测目标接近的候选框,运算量较大,本发明实施例通过特征图来区分待检测目标的尺度,不同特征图对应不同尺度的待检测目标,降低了运算量,提高了检测效率和检测精度。
在一种实现方式中,所述不同特征图具有不同的分辨率,具有第一分辨率的特征图上待检测目标的尺度小于具有第二分辨率的特征图上待检测目标的尺度,其中,所述第一分辨率高于所述第二分辨率。例如,在车辆检测中,卷积神经网络可以输出高、中、低三种分辨率的特征图,和小汽车尺度相近的物体会出现在高分辨率的特征图上,和公交车尺度相近的物体会出现在中分辨率的特征图上,和大卡车尺度相近的物体会出现在低分辨率的特征图上。本发明实施例通过不同分辨率的特征图来区分不同尺度的待检测目标,对于大尺度的待检测目标,对应的特征图上分辨率较低,这样有利于识别出大尺度目标的整体轮廓,对于小尺度的待检测目标,对应的特征图上的分辨率较高,分辨率较高能够保证尺度较小的目标细节丢失较少,因此,在高分辨率的特征图上有利于小尺度目标的识别,如此设 置,可以在保证检测精度的同时提高检测效率。
在一种实现方式中,同一所述特征图上的所述待检测目标的尺度属于相同预设范围。例如,在家庭场景中,待检测目标种类较多,且不同类别的待检测目标可能存在尺度较为接近的情况,本发明实施例可以根据需要选择一个预设范围,使尺度处于相同预设范围的,形状较为接近的待检测目标出现在同一张特征图上。本发明实施例通过将尺度属于相同预设范围的待检测目标显示在同一特征图上,通过一张特征图检测尺度相近、不同类别的待检测目标,既避免了在同一特征图上检测尺度相差较大的待检测目标时,需要设置多个尺度不同的候选框的情况,又能够通过一张特征图检测出尺度相近、类别不同的待检测目标,提高了检测效率和检测的准确性。
在一种实现方式中,所述获取特征图以及所述特征图所对应的至少一个候选框,包括:一个所述特征图对应一个候选框。特征图所对应的候选框可以是二维框,也可以是三维框,本发明对此不作限制。所述一个候选框可以用来检测相同类别的待检测目标,例如,在车辆检测的场景中,将一帧点云数据或一帧经过编码后的点云数据输入卷积神经网络,卷积神经网络可以输出两张特征图,分别为第一特征图和第二特征图,其中大尺度目标出现在所述第一特征图中,所述大尺度目标可以为大卡车,尺度可以根据实际目标检测场景的需要进行定义,本发明对此不作限制,小尺度目标可以出现在所述第二特征图中,所述小尺度目标可以小汽车,可以通过训练卷积神经网络,获得用来检测大卡车的第一候选框,用来检测小汽车的第二候选框,根据本发明实施例提供的目标检测方法,所述获取特征图以及所述特征图所对应的至少一个候选框,可以包括获取所述第一特征图和所述第一特征图对应的所述第一候选框,以及获取所述第二特征图和所述第二特征图所对应的所述第二候选框。在现有技术中,一个目标在三维场景中的状态是可能发生变化的,例如一辆车在行驶过程中,可以采用与该车辆的长宽比例相近的候选框进行检测,当该车辆转弯90度后,其车头朝向发生改变,此时需要采用一个与该车长宽比例相反的候选框进行检测,针对这种情况,现有目标检测方法需要针对同一类别的目标,根据其不同的状态设置多个不同长宽比例的候选框,因此,一个特征图需要对应多个 不同长宽比例不同、或长宽高比例不同的候选框,也就是说,一个特征图中的一个锚点需要采用多个长宽比例不同、或长宽高比例不同的候选框来检测该锚点所属的待检测目标,通过卷积神经网络在多个候选框中选择出一个与待检测目标轮廓最接近的候选框,再对该候选框进行调整,预测出待检测目标的朝向等信息,本发明实施例考虑到已经要输出待检测目标的朝向,因此可以采用一个候选框来检测一类待检测目标,通过调整所述一个候选框的角度,获取用来检测待检测目标朝向改变时的候选框,去除了多个候选框检测一类待检测目标的冗余设置,减少了计算量,提高了检测速度和检测精度,尤其是在自动驾驶等对实时性要求较高的场景中,本发明实施例由于减少了计算量,显著提高了检测速度,能够更精准快速的识别出待检测目标,有利于保证自动驾驶的安全性。
在一种实现方式中,所述获取特征图以及所述特征图所对应的至少一个候选框,包括:至少存在一个所述特征图对应一个候选框,其余所述特征图中的每个特征图对应至少两个候选框。例如,将一帧点云数据或一帧经过编码后的点云数据输入卷积神经网络,卷积神经网络可以输出两张特征图,分别为第三特征图和第四特征图,其中大尺度目标出现在所述第三特征图中,所述大尺度目标可以为大卡车,尺度可以根据实际目标检测场景的需要进行定义,本发明对此不作限制,小尺度目标可以出现在所述第四特征图中,所述小尺度目标可以为路障、或行人,可以通过训练卷积神经网络,获得用来检测大卡车的第三候选框,用来检测路障的第四候选框和用来检测行人的第五候选框,根据本发明实施例提供的目标检测方法,所述获取特征图以及所述特征图所对应的至少一个候选框,可以包括获取所述第三特征图和所述第三特征图对应的所述第三候选框,以及获取所述第四特征图和所述第四特征图所对应的所述第四候选框和所述第五候选框。本发明实施例采用一个候选框来检测一类待检测目标,通过调整所述一个候选框的角度,获取用来检测待检测目标朝向改变时的候选框,去除了多个候选框检测一类待检测目标的冗余设置,减少了计算量,提高了检测速度和检测精度。
在一种另实现方式中,所述获取特征图以及所述特征图所对应的至少一个候选框,包括:所述特征图中每一个所述特征图对应至少两个候选框。 如前所述,可以将形状相近的待检测目标划分为相同类别,当待检测目标形状差别较大,但尺度接近时,虽然可以采用不同的候选框进行检测,但是由于它们尺度较为接近,可以显示在同一特征图中,因此,一个特征图可以对应至少两个候选框,所述至少两个候选框中的不同候选框用来检测不同类别的待检测目标,和/或,所述至少两个候选框用来检测的待检测目标的尺度属于相同的预设范围。例如,在家庭场景中,存在尺度较为接近的垃圾桶和沙发靠垫,垃圾桶的形状为圆柱体,沙发靠垫的形状为正方形,为了提高检测效率,可以使尺度属于相同预设范围的垃圾桶和沙发靠垫显示在同一特征图上,此时,所述同一特征图对应至少两个候选框,一个用来检测垃圾桶,一个用来检测沙发靠垫。本发明实施例通过同一特征图显示尺度相近的待检测目标,采用一个候选框来检测一类待检测目标,通过调整所述一个候选框的角度,获取用来检测待检测目标朝向改变时的候选框,去除了多个候选框检测一类待检测目标的冗余设置,减少了计算量,同时一个特征图可以检测多个类别的待检测目标,提高了检测速度和检测精度,尤其是在家庭场景等目标种类较多的场景中,本发明实施例由于减少了计算量,显著提高了检测速度,能够更精准快速的识别出待检测目标,可以提高检测的准确性。
在一种实现方式中,不同特征图对应的候选框用来检测不同尺度的待检测目标,例如,在车辆检测场景中,待检测目标可以分为小汽车、公交车、和大卡车,高分辨率的特征图对应的候选框用来检测小汽车,中分辨率的特征图对应的候选框用来检测公交车,低分辨率的特征图对应的候选框用来检测大卡车。本发明实施例通过不同特征图对应的候选框来检测不同尺度的待检测目标,实现通过特征图来区分待检测目标的尺度,不同尺度的待检测目标采用不同的候选框进行检测,降低了计算量,提高了目标检测方法的检测速度。
上述多尺度特征图的获得示例性地可以通过金字塔网路获得,例如,特征金字塔网络(Feature Pyramid Network,FPN)是为这一金字塔概念设计的特征提取器,设计时考虑到了精确性和速度。它生成多层特征映射(多尺度特征映射),信息的质量比普通的用于特征检测的特征金字塔更好。进行多尺度训练和测试,并进行特征分层,即每层分别预测对应的尺度分辨 率的检测结果,让不同层学习同样的语义信息。
需要说明的是,本发明实施例的目标检测方法,对于通过一帧点云数据获取的特征图,所述特征图所对应的至少一个候选框可以包括多种情况,例如每一个特征图分别对应一个候选框,或每一个特征图分别对应至少两个候选框,或至少部分特征图中每个特征图分别对应一个候选框,其余部分特征图中的每个特征图分别对应至少两个候选框,以上例举仅为示例性的,并不对本发明构成限制。
步骤S220,根据所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框。
在一种实现方式中,一个所述特征图对应一个候选框,所述根据所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框,包括:获取锚点的位置,所述位置包括锚点的三维坐标,所述三维坐标包括但不限于笛卡尔直角坐标系、平面极坐标系、柱面坐标系(或称柱坐标系)和球面坐标系(或称球坐标系)等坐标系下的坐标,将所述锚点的位置作为所述目标候选框的位置。
在一种实现方式中,一个所述特征图对应至少两个候选框,所述根据所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框,包括:获取锚点的位置,所述位置包括锚点的三维坐标,所述三维坐标包括但不限于笛卡尔直角坐标系、平面极坐标系、柱面坐标系(或称柱坐标系)和球面坐标系(或称球坐标系)等坐标系下的坐标,根据所述特征图中锚点所属的待检测目标的点云信息,从所述至少两个候选框中选择一个候选框作为目标候选框,将所述锚点的位置作为所述目标候选框的位置。
本发明实施例通过从至少一个候选框中获取目标候选框,以便于通过调整所述目标候选框的角度预测所述锚点所属的待检测目标的朝向。
步骤S230,调整所述目标候选框的角度,根据调整结果预测所述锚点所属的待检测目标的朝向。
在一种实现方式中,可以基于卷积神经网络调整所述目标候选框的角度,所述目标候选框的角度包括以下至少一种:俯仰角、横滚角以及平移角,根据调整结果预测所述锚点所属的待检测目标的朝向。
在一种实现方式中,可以基于卷积神经网络调整所述目标候选框的角度和位置,所述位置可以为所述目标候选框中心点的位置,也可以为所述目标候选框中其他点的位置,本发明对此不作限制。所述位置可以是笛卡尔直角坐标系、平面极坐标系、柱面坐标系(或称柱坐标系)和球面坐标系(或称球坐标系)等坐标系下的坐标。
在一种实现方式中,可以基于卷积神经网络调整所述目标候选框的角度、位置和尺度,所述尺度包括所述目标候选框的长和宽,或所述目标候选框的长、宽、和高,所述基于卷积神经网络调整所述目标候选框的角度、位置和尺度,可以包括调整所述目标候选框的长,或调整所述目标候选框的宽,或调整所述目标候选框的高。
在一种实现方式中,根据所述调整后的目标候选框,预测所述待检测目标的类别,和/或所述待检测目标在所述类别下的型号。示例性的,可以通过卷积神经网络根据所述调整后的目标候选框,预测所述待检测目标的类别,和/或所述待检测目标在所述类别下的型号。例如,当识别出待检测目标为小汽车时,可以进一步地识别出所述小汽车的具体型号,例如是A品牌下的B款车型。
在一种实现方式中,输出预测结果,所述预测结果包括:所述调整后的目标候选框的参数和/或所述待检测目标的类别;所述调整后的目标候选框的参数包括所述调整后的目标候选框的角度,或,所述调整后的目标候选框的角度以及所述调整后的目标候选框的位置和尺度中的至少一种。
在一种实现方式中,还包括,获取所述预测结果的置信度;输出置信度大于或等于第一阈值的预测结果。由于目标检测过程中,获得的预测结果可能存在一定的不准确性,因此,可以获取每个预测结果对应置信度,并设置第一阈值,当置信度大于或等于第一阈值时,输出预测结果,所述第一阈值可以根据实际情况确定,本发明对此不作限制。例如,在自动驾驶汽车的使用场景中,可以输出所述调整后目标候选框的置信度,或可以输出待检测目标为卡车的置信度,例如待检测目标为卡车的置信度为Z,Z值越大,表明该预测结果越可信,通过对预测结果置信度的输出,判断预测结果的可信度,使得检测结果更加明确。本发明实施例通过设置阈值提高了预测结果的准确性,从而提高目标检测的准确性。
本发明实施例提供的目标检测方法,通过不同候选框对应不同类别的待检测目标,实现一类待检测目标仅用一个候选框进行检测,通过调整所述一个候选框的角度,获取待检测目标不同状态下对应的候选框,同时能够预测出待检测目标的朝向,由于去除了多个候选框检测一类待检测目标的冗余,减少了计算量,从而提高了目标检测的速度,能够实现可靠而实时的目标检测。
图3示出根据本发明实施例的目标检测方法300的示意性流程图。图4示出了本发明实施例的两个预测框的位置关系示意图。图3示出的实施例中,示例性地描述了图1所示实施例中的后处理的一种实现方式,那么如何进行后处理步骤。下面参考图3和图4描述的根据本发明实施例的目标检测方法。如图3所示,目标检测方法300可以包括如下步骤:
步骤S310,获取点云,所述获取点云的方法可以参考图2所示的实现方式中所采用的方法进行,在此不再赘述。
步骤S320,对所述点云进行特征提取以获取特征图,所述对所述点云进行特征提取以获取特征图的方法可以参考图2所示的实现方式中所采用的方法进行,在此不再赘述。
步骤S330,根据所述特征图,获取待检测目标的候选框,所述根据所述特征图,获取待检测目标的候选框的方法可以参考图2所示的实现方式中所采用的方法进行,在此不再赘述。
步骤S340,调整所述候选框,获取所述待检测目标的预测框,所述调整所述候选框,获取所述待检测目标的预测框的方法可以参考图2所示的实现方式中所采用的方法进行,在此不再赘述,其中所述预测框为调整后的所述目标候选框。在一种实现方式中,所述获取所述待检测目标的预测框,还包括:获取所述预测框对应的置信度。
步骤S350,对于两个所述预测框,根据其相交部分参数值与最小预测框参数值的比值,对所述两个预测框进行去重处理。
示例性地,所述参数值可以为体积或面积,即,对于两个所述预测框,当其相交部分体积与最小预测框体积的比值大于或等于第二阈值时,则对所述两个预测框进行去重处理,或,对于两个所述预测框,当其相交部分 面积与最小预测框面积的比值大于或等于第二阈值时,则对所述两个预测框进行去重处理。当所述参数值选择为体积时,计算量较大但对于重合度的判断较为精确,当所述参数值为面积时,可以降低计算量,提高运算速度,但对于重合度的判断效果将会有所降低,实际应用中可以根据需要对所述参数值进行选择,以上举例仅是示例性的,对本发明不作限制。
在一种实现方式中,对于两个所述预测框,当其相交部分参数值与最小预测框参数值的比值大于或等于第二阈值时,则对所述两个预测框进行去重处理,当其相交部分参数值与最小预测框参数值的比值小于所述第二阈值时,则保留所述两个预测框。所述相交部分参数值与最小预测框参数值的比值在[0,1]的范围内取值,所述取值越小,表明所述两个预测框的重合度越小,所述取值越大,表明所述两个预测框的重合度越大,所述第二阈值可以根据实际需要进行确定。所述第二阈值可以根据实际需要进行确定,例如可以为0.5,0.6,0.7,0.8,0.9,1.0等,本发明对此不做限制。例如,在步骤S340中获得一个待检测目标的三个预测框,分别为第一预测框、第二预测框和第三预测框,所述第二阈值可以为0.8,对所有相交部分参数值与最小预测框参数值的比值大于或等于0.8的预测框进行去重处理,当所述第一预测框与所述第二预测框相交部分参数值与最小预测框参数值的比值等于1时,则认为所述第一预测框与所述第二预测框的重合度较高(或认为所述第一预测框与第二预测框完全重合),需要对所述第一预测框与所述第二预测框进行去重处理,为后续目标检测步骤减少计算量,并提高检测精度。当所述第一预测框与所述第三预测框相交部分参数值与最小预测框参数值的比值为0.5时,由于0.5<0.8,则认为所述第一预测框与所述第三预测框的重合度较低,所述第一预测框与所述第三预测框对应着不同的物体,则保留所述第一预测框与所述第三预测框,以防止遗漏待检测目标,提高目标检测的准确度。
在一种实现方式中,若所述预测框对应的置信度大于或等于第三阈值,则确定所述预测框为目标预测框;对于两个所述目标预测框,根据其相交部分参数值与最小预测框参数值的比值,对所述两个目标预测框进行去重处理。例如,在步骤S340中所获得的所述第一预测框、所述第二预测框和所述第三预测框,其对应的置信度分别为第一置信度,第二置信度, 和第三置信度,其中,所述第一置信度>所述第二置信度>所述第三阈值>所述第三置信度,则确定所述第一置信度和所述第二置信度所对应的所述第一预测框和所述第二预测框为目标预测框,在进行重合度判断时,仅需要计算所述第一预测框和所述第二预测框的相交部分参数值与最小预测框参数值的比值,不需要将所述第二预测框和其他预测框进行比较,从而降低了计算量,提高了运算速度。所述第三阈值可以根据实际需要进行确定,本发明对此不作限制。
在一种实现方式中,所述对所述两个目标预测框进行去重处理,包括以所述两个目标预测框的置信度为依据,保留置信度较大的目标预测框。当判断两个目标预测框的重合度较大需要对其进行去重处理时,以置信度为依据,保留置信度较大的目标预测框,从而提高检测结果的可信度,使目标检测更加准确。
现有的目标检测方法,通常采用交并比的方式度量重合度,即用预测框的相交部分面积与相并部分面积的比值来度量重合程度,其具体计算时采用两个预测框的相交面积除以两个预测框的相并面积,其取值范围为[0,1]之间。如图4所示,当大预测框402中出现较小的预测框401时,使用交并比计算得到的重合程度较小,此时不会将小的预测框去掉。这一标准比较适用于通用目标检测的应用场景,例如一个人手持一个杯子,在这种情况下需要同时将人和杯子用框出,这样就出现了大框中包含小框的情况,而采用相交面积比并集面积就是为了保留这种情况。在待检测目标是刚体的目标检测场景中,例如自动驾驶场景下的三维车辆检测,关注的待检测目标是刚体,则不会出现上述情况,因为在道路上很少出现一辆汽车上叠着另一辆汽车,由于三维车辆的刚性,其无法在三维空间内重叠放置,此时当大预测框402中出现较小的预测框401时,说明预测框402和预测框401很可能是同一个待检测目标的预测框,需要对预测框402和预测框401进行去重处理。因此在如车辆检测等场景下,如图4所示的大预测框402中出现较小的预测框401时,现有目标检测方法会判断出预测框402和预测框401为不重合的框,将预测框402和预测框401均保留,但是在此场景下不会出现一辆车叠着另一辆车的情况,因此预测框402和预测框401中实际存在冗余的框,现有目标检测方法无法识别出这种情况。因此, 在不需要考虑待检测物体位置大幅度重合的情况下,本发明实施例采用相交部分参数值与最小预测框参数值的比值大于或等于第二阈值来判断位置信息的重合程度,以图4为例,当大预测框402中出现较小的预测框401时,其相交部分参数值与最小预测框参数值的比值的比值为1,表示这两个框有较大的冗余,只保留置信度较大的预测框,这样使得检测结果中一些噪点位置信息得以过滤,从而使得检测算法更加鲁棒。
需要说明的是,本发明实施例可以适用于至少部分待检测目标为钢体的目标检测场景,包括但不限于车辆检测和货物运输等场景,本发明对此不做限制。
本发明的第二方面提供了一种目标检测装置,所述目标检测装置包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行前述图1-图3所示出的目标检测方法。
所述目标检测装置可以包括以下至少一项:激光雷达、深度相机、红外相机、立体摄像头(Stereo Camera)、或越渡时间相机(Tme-Of-Fight camera)。
本发明的第三方面提供了一种可移动平台,其特征在于,所述可移动平台包括第二方面中的目标检测装置。
所述可移动平台可以可以是车辆(包括有人驾驶车辆和无人驾驶车辆),飞行器(包括有人驾驶飞行器和无人驾驶飞行器),船(包括有人驾驶船和无人驾驶船)或扫地机器人。
所述目标检测装置的数量可以为1个、2个、3个、4个,或100个,本发明对所述目标检测装置的数量不做限制。
所述目标检测装置可以设置在所述可移动平台的一侧,或设置在所述可移动平台的不同侧面,所述目标检测装置可以设置在所述可移动平台内部,也可以设置在所述可移动平台外部,本发明对此不作限制。
本发明的第四方面提供了一种存储介质,其特征在于,所述存储介质 上存储有计算机程序,所述计算机程序在运行时执行的前述图1-图3所示出的目标检测方法
根据本发明实施例的目标检测方法、目标检测装置、可移动平台以及存储介质,在目标检测的过程中,通过不同候选框对应不同类别的待检测目标,实现一类待检测目标仅用一个候选框进行检测,通过调整所述一个候选框的角度,获取待检测目标不同状态下对应的候选框,同时能够预测出待检测目标的朝向,由于去除了多个候选框检测一类待检测目标的冗余,减少了计算量,从而提高了目标检测的速度,能够实现可靠而实时的目标检测。通过计算两个预测框的相交部分参数值与最小预测框参数值的比值,对所述两个预测框进行去重处理,使得检测结果中噪点位置信息得以更加充分地过滤,从而提升了对噪声的适应性,增加了目标检测的鲁棒性。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一 个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借 助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述,仅为本发明的具体实施方式或对具体实施方式的说明,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
Claims (27)
- 一种目标检测方法,其特征在于,所述方法包括:获取特征图以及所述特征图所对应的至少一个候选框,所述至少一个候选框中的不同候选框对应不同类别的待检测目标;根据所述特征图以及所述至少一个候选框,获取所述特征图中锚点对应的目标候选框;调整所述目标候选框的角度,根据调整结果预测所述锚点所属的待检测目标的朝向。
- 根据权利要求1所述的目标检测方法,其特征在于,所述获取待检测目标的特征图,包括:获取点云;对所述点云进行编码,得到已编码点云;获取所述已编码点云的投影图;基于卷积神经网络对所述已编码点云的投影图进行特征提取从而获得所述特征图。
- 根据权利要求2所述的目标检测方法,其特征在于,所述对所述点云进行编码,包括:利用体素化或卷积神经网络对所述点云进行编码。
- 根据权利要求1-3任一项所述的目标检测方法,其特征在于,所述特征图为根据一帧点云数据获取的,所述特征图至少为两个,不同特征图上的所述待检测目标的尺度不同。
- 根据权利要求4所述的目标检测方法,其特征在于,所述不同特征图具有不同的分辨率,具有第一分辨率的特征图上待检测目标的尺度小于具有第二分辨率的特征图上待检测目标的尺度,其中,所述第一分辨率高于所述第二分辨率。
- 根据权利要求4或5所述的目标检测方法,其特征在于,同一所述特征图上的所述待检测目标的尺度属于相同预设范围。
- 根据权利要求1-6任一项所述的目标检测方法,其特征在于,所述获取特征图以及所述特征图所对应的至少一个候选框,包括:一个所述特征图对应一个候选框。
- 根据权利要求1-7任一项所述的目标检测方法,其特征在于,一个所述特征图对应至少两个候选框,包括:所述至少两个候选框中的不同候选框用来检测不同类别的待检测目标,和/或,所述至少两个候选框用来检测的待检测目标的尺度属于相同的预设范围。
- 根据权利要求1-8任一项所述的目标检测方法,其特征在于,不同特征图对应的候选框用来检测不同尺度的待检测目标。
- 根据权利要求1-9任一项所述的目标检测方法,其特征在于,所述调整所述目标候选框的角度,包括:基于卷积神经网络调整所述目标候选框的角度,所述目标候选框的角度包括以下至少一种:俯仰角、横滚角以及平移角。
- 根据权利要求1-10任一项所述的目标检测方法,其特征在于,所述方法还包括:基于卷积神经网络调整所述目标候选框的位置,和/或所述目标候选框的尺度。
- 根据权利要求11所述的目标检测方法,其特征在于,所述方法还包括:根据所述调整后的目标候选框,预测所述待检测目标的类别,和/或所述待检测目标在所述类别下的型号。
- 根据权利要求11或12所述的目标检测方法,其特征在于,所述方法还包括,输出预测结果,所述预测结果包括:所述调整后的目标候选框的参数和/或所述待检测目标的类别;所述调整后的目标候选框的参数包括所述调整后的目标候选框的角度,或所述调整后的目标候选框的角度,以及所述调整后的目标候选框的位置和尺度中的至少一种。
- 根据权利要求1-13任一项所述的目标检测方法,其特征在于,所述方法还包括:获取所述预测结果的置信度;输出置信度大于或等于第一阈值的预测结果。
- 根据权利要求2-14任一项所述的目标检测方法,其特征在于,所述点云是利用激光雷达获取的。
- 根据权利要求1-15任一项所述的目标检测方法,其特征在于,所述待检测目标包括以下至少一种:车辆、路障、交通灯、植物、货物、人、家具、电器或宠物。
- 一种目标检测方法,其特征在于,所述方法包括:获取点云;对所述点云进行特征提取以获取特征图;根据所述特征图,获取待检测目标的候选框;调整所述候选框,获取所述待检测目标的预测框;对于两个所述预测框,根据其相交部分参数值与最小预测框参数值的比值,对所述两个预测框进行去重处理。
- 根据权利要求17所述的目标检测方法,其特征在于,对于两个所述预测框,当其相交部分参数值与最小预测框参数值的比值大于或等于第二阈值时,则对所述两个预测框进行去重处理。
- 根据权利要求17或18所述的目标检测方法,其特征在于,对于两个所述预测框,当其相交部分参数值与最小预测框参数值的比值小于所述第二阈值时,则保留所述两个预测框。
- 根据权利要求17-19任一项所述的目标检测方法,其特征在于,所述获取所述待检测目标的预测框,还包括:获取所述预测框对应的置信度。
- 根据权利要求20所述的目标检测方法,其特征在于,所述获取所述预测框对应的置信度之后,还包括:若所述预测框对应的置信度大于或等于第三阈值,则确定所述预测框为目标预测框;对于两个所述目标预测框,根据其相交部分参数值与最小预测框参数值的比值,对所述两个目标预测框进行去重处理。
- 根据权利要求21所述的目标检测方法,其特征在于,所述对所述两个目标预测框进行去重处理,包括以所述两个目标预测框的置信度为依据,保留置信度较大的目标预测框。
- 根据权利要求17-22任一项所述的目标检测方法,其特征在于,所述参数值为体积或面积。
- 根据权利要求17-22任一项所述的目标检测方法,其特征在于,所述目标检测方法应用于车辆检测。
- 一种目标检测装置,其特征在于,所述目标检测装置包括存储装置和处理器,所述存储装置上存储有由所述处理器运行的计算机程序,所述计算机程序在被所述处理器运行时执行权利要求1-24中的任一项所述的目标检测方法。
- 一种可移动平台,其特征在于,所述可移动平台包括权利要求25中的目标检测装置。
- 一种存储介质,其特征在于,所述存储介质上存储有计算机程序,所述计算机程序在运行时执行权利要求1-24中的任一项所述的目标检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/124050 WO2021114031A1 (zh) | 2019-12-09 | 2019-12-09 | 一种目标检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2019/124050 WO2021114031A1 (zh) | 2019-12-09 | 2019-12-09 | 一种目标检测方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021114031A1 true WO2021114031A1 (zh) | 2021-06-17 |
Family
ID=76329215
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/CN2019/124050 WO2021114031A1 (zh) | 2019-12-09 | 2019-12-09 | 一种目标检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2021114031A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837086A (zh) * | 2021-09-24 | 2021-12-24 | 南通大学 | 一种基于深度卷积神经网络的水库钓鱼人检测方法 |
CN113984037A (zh) * | 2021-09-30 | 2022-01-28 | 电子科技大学长三角研究院(湖州) | 一种基于任意方向目标候选框的语义地图构建方法 |
CN114187586A (zh) * | 2022-02-16 | 2022-03-15 | 中航信移动科技有限公司 | 一种行程单识别方法、装置、电子设备及存储介质 |
CN114565644A (zh) * | 2022-03-02 | 2022-05-31 | 湖南中科助英智能科技研究院有限公司 | 三维运动目标检测方法、装置和设备 |
CN115100419A (zh) * | 2022-07-20 | 2022-09-23 | 中国科学院自动化研究所 | 目标检测方法、装置、电子设备及存储介质 |
CN116626685A (zh) * | 2023-07-20 | 2023-08-22 | 山东大禹水务建设集团有限公司 | 基于机器学习的河道底泥实时监测方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109034018A (zh) * | 2018-07-12 | 2018-12-18 | 北京航空航天大学 | 一种基于双目视觉的低空小型无人机障碍物感知方法 |
US20190130641A1 (en) * | 2017-10-31 | 2019-05-02 | Skycatch, Inc. | Converting digital aerial images into a three-dimensional representation utilizing processing clusters |
CN110059608A (zh) * | 2019-04-11 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
CN110235431A (zh) * | 2019-04-30 | 2019-09-13 | 深圳市大疆创新科技有限公司 | 电子增稳方法、图像采集设备、可移动平台 |
CN110298262A (zh) * | 2019-06-06 | 2019-10-01 | 华为技术有限公司 | 物体识别方法及装置 |
-
2019
- 2019-12-09 WO PCT/CN2019/124050 patent/WO2021114031A1/zh active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190130641A1 (en) * | 2017-10-31 | 2019-05-02 | Skycatch, Inc. | Converting digital aerial images into a three-dimensional representation utilizing processing clusters |
CN109034018A (zh) * | 2018-07-12 | 2018-12-18 | 北京航空航天大学 | 一种基于双目视觉的低空小型无人机障碍物感知方法 |
CN110059608A (zh) * | 2019-04-11 | 2019-07-26 | 腾讯科技(深圳)有限公司 | 一种物体检测方法、装置、电子设备和存储介质 |
CN110235431A (zh) * | 2019-04-30 | 2019-09-13 | 深圳市大疆创新科技有限公司 | 电子增稳方法、图像采集设备、可移动平台 |
CN110298262A (zh) * | 2019-06-06 | 2019-10-01 | 华为技术有限公司 | 物体识别方法及装置 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113837086A (zh) * | 2021-09-24 | 2021-12-24 | 南通大学 | 一种基于深度卷积神经网络的水库钓鱼人检测方法 |
CN113984037A (zh) * | 2021-09-30 | 2022-01-28 | 电子科技大学长三角研究院(湖州) | 一种基于任意方向目标候选框的语义地图构建方法 |
CN113984037B (zh) * | 2021-09-30 | 2023-09-12 | 电子科技大学长三角研究院(湖州) | 一种基于任意方向目标候选框的语义地图构建方法 |
CN114187586A (zh) * | 2022-02-16 | 2022-03-15 | 中航信移动科技有限公司 | 一种行程单识别方法、装置、电子设备及存储介质 |
CN114187586B (zh) * | 2022-02-16 | 2022-05-06 | 中航信移动科技有限公司 | 一种行程单识别方法、装置、电子设备及存储介质 |
CN114565644A (zh) * | 2022-03-02 | 2022-05-31 | 湖南中科助英智能科技研究院有限公司 | 三维运动目标检测方法、装置和设备 |
CN115100419A (zh) * | 2022-07-20 | 2022-09-23 | 中国科学院自动化研究所 | 目标检测方法、装置、电子设备及存储介质 |
CN116626685A (zh) * | 2023-07-20 | 2023-08-22 | 山东大禹水务建设集团有限公司 | 基于机器学习的河道底泥实时监测方法及系统 |
CN116626685B (zh) * | 2023-07-20 | 2023-09-29 | 山东大禹水务建设集团有限公司 | 基于机器学习的河道底泥实时监测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021114031A1 (zh) | 一种目标检测方法和装置 | |
CN110531753B (zh) | 自主车辆的控制系统、控制方法和控制器 | |
US11222441B2 (en) | Methods and apparatuses for object detection, and devices | |
CN107972662B (zh) | 一种基于深度学习的车辆前向碰撞预警方法 | |
CN110689761B (zh) | 一种自动泊车方法 | |
US20220245952A1 (en) | Parking spot detection method and parking spot detection system | |
CN109033951B (zh) | 用于基于图形处理来检测遮挡对象的系统及方法 | |
CN111081064B (zh) | 一种车载以太网的自动泊车系统及自动代客泊车方法 | |
US11682129B2 (en) | Electronic device, system and method for determining a semantic grid of an environment of a vehicle | |
CN110945534B (zh) | 稀有实例分类器 | |
Moras et al. | Credibilist occupancy grids for vehicle perception in dynamic environments | |
US9311711B2 (en) | Image processing apparatus and image processing method | |
CN112330915B (zh) | 无人机森林防火预警方法、系统、电子设备和存储介质 | |
CN111201448A (zh) | 用于产生反演传感器模型的方法和设备以及用于识别障碍物的方法 | |
CN108830131B (zh) | 基于深度学习的交通目标检测与测距方法 | |
US20170057495A1 (en) | Map of the Surroundings for Driving Areas with Random Altitude Profile | |
CN112883790A (zh) | 一种基于单目摄像头的3d物体检测方法 | |
CN114454875A (zh) | 一种基于强化学习的城市道路自动泊车方法及系统 | |
Kim et al. | Robust localization of mobile robots considering reliability of LiDAR measurements | |
CN115187944A (zh) | 一种车道线检测方法及装置 | |
CN108268866B (zh) | 一种车辆检测方法和系统 | |
CN111739332B (zh) | 一种停车场管理系统 | |
CN114331966B (zh) | 基于高斯过程占位图估计辅助的港口锁站方法及其系统 | |
Corcoran et al. | Background foreground segmentation for SLAM | |
CN115359332A (zh) | 基于车路协同的数据融合方法、装置、电子设备及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19955726 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19955726 Country of ref document: EP Kind code of ref document: A1 |