WO2020103043A1 - 线状物识别方法及装置、系统和计算机存储介质 - Google Patents

线状物识别方法及装置、系统和计算机存储介质

Info

Publication number
WO2020103043A1
WO2020103043A1 PCT/CN2018/116758 CN2018116758W WO2020103043A1 WO 2020103043 A1 WO2020103043 A1 WO 2020103043A1 CN 2018116758 W CN2018116758 W CN 2018116758W WO 2020103043 A1 WO2020103043 A1 WO 2020103043A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
value
gradient
dimensional image
point cloud
Prior art date
Application number
PCT/CN2018/116758
Other languages
English (en)
French (fr)
Inventor
李延召
张富
洪小平
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201880038479.4A priority Critical patent/CN111542828A/zh
Priority to PCT/CN2018/116758 priority patent/WO2020103043A1/zh
Publication of WO2020103043A1 publication Critical patent/WO2020103043A1/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Abstract

一种基于点云数据的线状物识别方法和装置、系统及计算机存储介质,所述点云数据由探测装置探测目标场景生成,所述线状物识别方法包括:获得所述点云数据,并将所述点云数据转换为二维图像(S401);对所述二维图像进行物体分割,以获得至少一个物体区域(S402);对分割后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息(S403);根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物(S404)。所提供的线状物识别方法和装置、系统及计算机存储介质对存储和计算的要求较低,容易实现实时处理和识别,且识别方法简单易实现。

Description

线状物识别方法及装置、系统和计算机存储介质
说明书
技术领域
本发明总地涉及物体识别领域,更具体地涉及一种基于点云数据的线状物识别方法及装置、系统和计算机存储介质。
背景技术
场景物体识别是许多人工智能产品的基础,如在汽车自动驾驶中需要识别出车道线等。电线识别是指从二维或高维图像中识别出电线并提取出其位置分布等信息,是电力巡检、无人机自动飞行等应用得以实现的基础。基于点云数据来进行线状物识别尚比较少见,缺乏成熟的识别方案。
发明内容
本发明实施例提供一种基于点云数据的线状物识别方法、装置、系统和计算机存储介质,以基于点云数据进行线状物识别。
本发明实施例一方面提供一种基于点云数据的线状物识别方法,所述点云数据由探测装置探测目标场景生成,所述线状物识别方法包括:
获得所述点云数据,并将所述点云数据转换为二维图像;
对所述二维图像进行物体分割,以获得至少一个物体区域;
对分割后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息;
根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物。
本发明实施例再一方面提供一种基于点云数据的线状物识别装置,所述点云数据由探测装置探测目标场景生成,所述线状物识别装置包括:
投影变换与离散化模块,用于获得所述点云数据,并将所述点云数据转换为二维图像;
物体分割模块,用于对所述二维图像进行物体分割,以获得至少一个物体区域;
特征提取模块,用于对分割后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息;
判别模块,用于根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物。
本发明实施例另一方面提供一种基于点云数据的线状物识别系统,线状物识别系统包括:
探测装置,用于探测目标场景并生成点云数据;
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的所述指令,使得所述处理器执行前述的基于点云数据的线状物识别方法。
本发明实施例又一方面提供一种计算机存储介质,其上存储有计算机程序,所述程序被处理器执行时实现前述的基于点云数据的线状物识别方法。
本发明实施例基于点云数据的线状物识别方法、装置、系统和计算机存储介质是将点云数据转换为二维图像来进行处理,这一转换并不丢失物体的方位信息,而且减小了点云存储和计算的资源需求,容易实现实时处理和识别。采用基于“分割-特征提取-线状物判别”的三步方法来进行线状物的识别,不需要大量的数据训练即可实现较好的识别效果,其复杂度较低,简单易实现。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明一个实施例中的基于点云数据的线状物识别装置的示意性框图;
图2示出了本发明一个实施例中的投影变换与离散化模块的示意性框图;
图3示出了本发明另一个实施例中的基于点云数据的线状物识别装置的示意性框图;
图4示出了本发明一个实施例中的基于点云数据的线状物识别方法的示意性流程图;
图5示出了本发明一个实施例中的将点云数据转换为二维图像的方法的示意性流程图;
图6示出了本发明一个实施例中的基于点云数据的线状物识别系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本发明能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”,当在该说明书中使用时,确定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时,术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明,将在下列的描述中提出详细的结构,以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下,然而除了这些详细描述外,本发明还可以具有其他实施方式。
本发明实施例提供一种基于点云数据的线状物识别装置,所述点云数据由探测装置探测目标场景生成,所述线状物识别装置包括:
投影变换与离散化模块,用于获得所述点云数据,并将所述点云数据转换为二维图像;
物体分割模块,用于对所述二维图像进行物体分割,以获得至少一个物 体区域;
特征提取模块,用于对分割后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息;
判别模块,用于根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物。
本发明实施例基于点云数据的线状物识别装置将点云数据转换为二维图像来进行处理,这一转换并不丢失物体的方位信息,而且减小了点云存储和计算的资源需求,容易实现实时处理和识别。针对线状物自身特点,采用基于“分割-特征提取-线状物判别”的三步方法来进行线状物的识别,不需要大量的数据训练即可实现较好的效果,其复杂度较低,简单易实现。
下面结合附图,对本申请的基于点云数据的线状物识别方法及装置和系统进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
下面,将参考图1描述本发明实施例中的基于点云数据的线状物识别装置100。线状物识别装置100所具备的结构模块可以分别由独立的电路结构作为硬件来实现,也可以通过处理器执行存储器中存储的程序作为功能模块来实现,以下具体说明。
作为示例,如图1所示,基于点云数据的线状物识别装置100包括投影变换与离散化模块101,用于获得点云数据,并将所述点云数据转换为二维图像,例如二维数字图像。
值得一提的是,线状物通常是指待探测目标物具有较明显的直线特征,例如道路、河流、桥梁、电线等,并且这种直线特征便于用来表征该线状物的主要信息,包括位置、大小、长度、宽度、面积等。
示例性地,所述点云数据由探测装置探测目标场景生成,所述探测装置包括但不限于激光雷达和毫米波雷达中的至少一种,或者,所述点云数据还可以是由其他任意适合的探测装置探测目标场景生成。可选地,所述探测装置还可以包括非均匀扫描激光雷达,或者也可以是其他均匀扫描激光雷达。激光雷达的光束扫描机控制方式可以包括机械式扫描(如振镜扫描、棱镜旋转扫描、微机电系统(MEMS)扫描等)和相控阵扫描(如声光式扫描、电光晶体扫描、液晶相控阵、光栅相控阵等)。
该探测装置用于感测外部环境信息,其对外部环境进行扫描以点的形式记录的数据可以称为点云数据,点云数据中的每个点包含有三维点的坐标以及相应三维点的特性信息,例如,环境目标的深度信息、角度信息、反射率信息、速度信息等。具体地,探测装置可应用于移动平台,例如,地面移动平台或空中移动平台,所述探测装置可安装在移动平台的平台本体。具有探测装置的移动平台可对外部环境进行测量,例如,测量移动平台与障碍物的距离用于避障等用途,和对外部环境进行二维或三维的测绘、电力巡检、地面测量、文物保护、车辆智能导航、三维重建等。在某些实施方式中,移动平台包括无人飞行器、车辆和遥控车中的至少一种。
示例性地,点云是描述三维场景的三维(3D)坐标系中点的集合。本发明对目标场景的选取无特别限制要求,室内环境或者室外环境均可。
点云数据由三维参考坐标系中的点组成。每个点位置可以确定对应点在这个三维参考坐标系中的坐标,例如,参考坐标系可以是真实世界坐标系,如,地理坐标系。
在一个示例中,如图2所示,所述投影变换与离散化模块101包括投影变换模块1011和离散化模块1012,其中,投影变换模块1011用于将所述点云数据中的每个点映射到二维平面中以形成变换点,该变换点与点云数据中的点云点一一对应。可选地,所述变换点包括其对应点云数据中点的深度信息和/或反射率信息。其中,二维平面可以是任意适合的二维平面,例如二维平面为与探测装置所发射的探测信号的中心轴相垂直的平面,例如,所述探测装置为激光雷达,则其发射的探测信号为激光探测信号,则二维平面为与探测装置所发射的激光探测信号的中心轴相垂直的平面。
在一个示例中,离散化模块1012用于将每个所述变换点放在对应的像素中,并计算每个像素的像素值。其中,离散化模块1012可以根据实际的需要合理的设定二维平面内每个像素的物理尺寸,在此不对像素的物理尺寸做具体限定。可选地,二维图像包括多个所述像素。
在实际的应用中,由于像素的物理尺寸的因素,可能存在多个变换点被放在同一个像素中的情况,所述变换点包括其对应点云数据中点的深度信息和/或反射率信息,其中,每个所述像素的像素值由放在该像素中的变换点的深度信息或反射率信息来计算获得,以深度信息方式计算获得的图像也可称为深度分布图,由反射率信息计算获得的图像则可称为反射率分布图。
深度分布图反映目标场景中物体到视点或图像平面的距离信息。其中,该视点可为三维空间中任意合适的点,示例的,可将探测装置所在位置作为视点。该图像平面可为任意合适的图像平面,示例的,该图像平面可为距离探测装置一定距离处垂直于探测装置轴线的平面。反射率分布图反映了物体属性信息。在发射信号频率及入射角度一定的情况下,不同物体的反射率不同,这主要取决于物体本身的性质和表面状况。
值得一提的是,对于其他适合的点云点的属性信息来表征像素值的方式也可同样适用于本发明。在本文中,主要以每个所述像素的像素值由放在该像素中变换点的深度信息来计算获得的方式对本发明的方案进行解释和说明,但本领域技术人员可以理解的是,在不冲突的情况下,应用深度信息的方法也同样可以适用于反射率信息的情况。
值得一提的是,可以分别通过由深度信息来计算获得对应像素的像素值,也可以通过由反射率信息来计算获得对应像素的像素值,两者可以起到相互验证的作用,以提高线状物识别的准确度。
在一个示例中,以深度信息来计算获得对应像素的像素值,例如,每个所述像素的像素值为放在该像素内的变换点的最小深度值,在仅包括唯一的变换点的像素中,变换点的最小深度值也即为该变换点的深度值。
在另一个示例中,以深度信息来计算获得对应像素的像素值,每个像素的像素值为第一深度值与放在该像素内的所述变换点的最小深度值之差,其中,所述第一深度值大于或等于所述探测装置的最大探测深度,例如激光雷达的最大探测深度,也即最大探测距离。
本发明的线状物识别装置将深度信息和/或反射率信息作为像素值,将点云数据转换为二维数字图像来进行处理,减小了点云存储和计算的资源需求。
可选的,使用例如非均匀扫描的激光雷达探测目标场景时,非均匀扫描将会产生扫描不均匀,导致采样的不连续性,使得点云数据中的点云点难以覆盖所有像素,那么很可能出现很多像素没有对应的变换点(也即点云点)的情况,对此,如图3所示,本发明的线状物识别装置还包括插值模块105,需要通过适当的插值模块来对该像素赋值。经插值后所得的数字图像利于观察和算法设计实施,是一种比较适合的点云数据呈现方式。
如图3所示,插值模块105用于插值,以对所述二维图像中未被所述点 云数据中的点覆盖的空像素进行赋值。可选地,插值模块具体用于基于邻域插值算法,对所述二维图像中未被所述点云数据中的点覆盖的空像素进行赋值,其中,数字图像中的常规领域插值算法均可以应用于本发明。可选地,所述邻域插值算法包括最近邻插值算法或线性插值算法。
在一个示例中,所述插值模块105还具体用于:基于最近邻最小深度值的插值方法,对所述二维图像中未被所述点云数据中的点覆盖的空像素进行赋值,包括:选择距离所述空像素最近的所有非空像素的最小深度值对该空像素进行赋值,其中所述非空像素为被所述点云数据中的点覆盖的像素。
为了保证天空信息以及以天空为背景的物体的边界的正确呈现,所述插值模块具体还用于:对天空区域不进行所述插值,而对所述天空区域赋予特殊值,所述特殊值为与所述二维图像的每个像素的像素值(例如深度值)不同的值,例如,所述特殊值为0,或者其他适合的值。可以根据探测装置探测天空区域时的特性以及天空区域自身的特性来对二维图像中的天空区域进行判别,主要有以下两种:1)天空区域比较大,也即面积较大;2)探测装置发出探测信号进行探测时,在天空区域有发射信号没有接收信号。通过上述插值的方式,如果例如电线的线状物的背景为天空,电线周围的像素则不会是空像素而是赋值为0的像素。
通过本发明实施例所提供的插值模块可以很好地弥补探测装置例如激光雷达采样不足的问题,插值后图像细节会更好地呈现。并且由于插值模块中对天空对应的像素和无点云采样的像素加以区别对待,从而保证了天空信息以及以天空为背景的物体的边界的正确呈现。
由于二维图像可能会受到噪声或者不良插值的影响,为了改善二维图像边界及信噪比,在一个示例中,所述线状物识别装置100还包括滤波模块106,用于对插值后的所述二维图像进行滤波,以改善图像边界及信噪比。所述滤波模块106可以是本领域技术人员熟知的任何适合的能够起到滤波作用的滤波模块,例如,对插值后的所述二维图像进行滤波的方法包括局部最值滤波或高斯平滑滤波。
在一个示例中,所述滤波模块106包括局部最值滤波模块,所述局部最值滤波模块用于将所述二维图像中的每个像素的像素值替换为与其相邻的最小值或最大值,也即与其相邻的最小像素值或最大像素值。经滤波后的图像 连续性较好、易于观察。
本发明所提出的“投影变换及离散化”、“插值”、“滤波”三个模块组合。该组合可以实现将采样较为稀疏的点云数据转换为便于显示和处理的数字图像,利于采用数字图像处理的相关方法来进行后续处理。
进一步,如图1和图3所示,所述线状物识别装置100还包括物体分割模块102,其用于对所述二维图像进行物体分割,以获得至少一个物体区域,例如,所述物体分割模块102接收经滤波后的二维图像,对该二维图像进行物体分割,经滤波后的图像连续性较好、易于观察。通过分割模块可将二维图像中每一个像素所属的类别或者物体区分出来。在一个示例中,所述物体分割模块102具体用于基于梯度的方法对所述二维图像进行物体分割。在另一个示例中,所述物体分割模块102可用于基于机器学习的方法对所述二维图像进行物体分割,机器学习的方法包括但不限于深度神经网络算法。
在一个实施例中,所述物体分割模块具体用于基于梯度的方法对所述二维图像进行物体分割,包括:计算所述二维图像的梯度图像,对所述梯度图像中的梯度值取绝对值,将绝对值小于给定阈值的梯度值赋为零,将绝对值大于或等于所述给定阈值的梯度值中的正值赋为1,负值赋为-1。给定阈值可以根据实际应用场景进行合理设定,例如,所述给定阈值为目标物的深度值与背景的深度值之差。示例的,在所述线状物识别装置应用于识别类似电线的线状物时,目标场景中包括目标物和背景,给定阈值可以为电线和背景之间的深度值之差,例如该深度值之差在2m以上,则可以设定给定阈值为2m。
可以通过任意适合的方法计算所述二维图像的梯度图像,例如对二维离散函数求梯度,或者可以通过使用差分来近似导数求梯度,例如,以最简单的梯度近似表达式如下:
Gx=f(x,y)-f(x-1,y)
Gy=f(x,y)-f(x,y-1)
其中,x,y可以分别代表二维图像行方向和列方向上的像素。
图像在某像素点处的梯度反映了其在该点处的像素值(例如深度值、反射率)变化情况,相应的梯度值反映了变化的速度。梯度的方向是函数f(x,y)变化最快的方向,当图像中存在边缘时,有较大的梯度值,相反,当图像中有比较平滑的部分时,深度值(或反射率)变化较小,则相应的梯度也较小, 图像中的真实边界点处的梯度强度大于其左右邻域的梯度强度值,由图像梯度构成的图像成为梯度图像。
在一个示例中,所述梯度图像包括行方向梯度图像、列方向梯度图像中的至少一个,所述物体分割模块对所述二维图像进行物体分割,还包括:遍历所述梯度图像的所有行或列,对目标区间的像素进行标记,其中,所述目标区间满足第一端的像素的梯度值取值为1,与所述第一端相对的第二端的像素的梯度值取值为-1,所述第一端和所述第二端之间的所有像素的梯度值取值均为0。当遍历所述梯度图像的所有行时,所述第一端和所述第二端分别为左端和右端,当遍历所述梯度图像的所有列时,所述第一端和所述第二端分别为上端和下端。
其中,每个物体区域通常其边缘处的梯度值取值为1或-1,而中间区域则取值为零,从而能够很好的识别出物体的边缘而实现分割。
也可以利用合理的梯度算法分别获得行方向和列方向的梯度值,而形成梯度图像。
在一个具体实施例中,基于梯度的方法对所述二维图像进行物体分割,包括以下步骤A1至A4:在步骤A1中,计算所述二维图像的行方向梯度图像,对所述梯度图像中的梯度值取绝对值,将绝对值小于给定阈值的梯度值赋为零,将绝对值大于或等于所述给定阈值的梯度值中的正值赋为1,负值赋为-1;在步骤A2中,遍历所述梯度图像的所有行,对目标区间的像素进行标记,其中,所述目标区间满足第一端(最左端)的像素的梯度值取值为1,与所述第一端(最左端)相对的第二端(最右端)的像素的梯度值取值为-1,所述第一端和所述第二端之间的所有像素的梯度值取值均为0;在步骤A3中,将所述二维图像转置,转置是指将x,y坐标对换,转轴后的二维图像的行和列对换,重复执行步骤A1以及步骤A2,以标记列方向的目标区间,之后再转置一次,以使行和列与初始的二维图像的行和列对应;在步骤A4中,将标记的所述行方向的目标区间以及列方向的目标区间取并集,以获得从行方向或者从列方向看的双边悬空物体(例如电线)的分割结果。
可以根据预定识别的目标物的特性(包括目标物的宽度、面积、长度等),在上述分割中对目标区间施加更多约束,例如,可以设定所述目标区间的区间宽度小于或等于目标阈值,其中,所述目标阈值包括实际应用中目标物的 宽度、面积、长度中的至少一种,例如针对电线识别的问题,该目标阈值的设定可以根据设计中电线的宽度、面积、长度等来进行设定,特别是,电线的宽度。目标物的宽度是以m为单位的,所述目标区间的是以像素为单位的,在离散化的时候会设定像素的物理尺寸,基于此,可将目标物的宽度和目标区间的宽度对应起来,也即目标区间的宽度是指位于宽度方向的多个像素的像素宽度之和。
在一个示例中,所述线状物识别装置还包括形态学处理模块,用于在对所述二维图像进行物体分割后,对所述物体分割模块输出的分割结果做形态学处理,以使物体区域的边界更为整齐。可以使用任意适合的形态学处理方法对分割结果进行处理,主要运算包括:二值腐蚀与膨胀,二值开闭运算,骨架抽取,极限腐蚀,黑帽顶帽变换等,在此不做具体限定。
在一个示例中,如图1和图3所示,所述线状物识别装置100还包括特征提取模块103,用于对分割后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息。
示例性地,特征提取模块103还用于将分割后的属于同一物体的不同物体区域进行连通。分割后只是把每一行或者每一列划分,往往会包括多个物体区域,连通是做行之间和列之间的连通,例如同一行中的两个不相连的物体区域可能和相邻行的一个区域是连通的,这样就可以判定属于同一物体,或者也可以根据其他适合的方法进行连通。
示例性地,特征提取模块103还用于对连通后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息。所述特征信息包括所述物体区域的面积、宽度和长度中的至少一种,例如,由于每个物体区域的像素的物理尺寸是在离散化时设定好的,因此,可以通过计算物体区域长度方向上的多个像素的长度之和而获得该物体区域的长度,通过计算每个物体区域宽度方向上的多个像素的宽度之和而获得该物体区域的宽度,而每个物体区域在二维图像内的面积则可是该物体区域包括的所有像素的面积之和。
在一个示例中,如图1和图3所示,所述线状物识别装置100还包括判别模块104,用于根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物。具体地,判别模块104接收所述特征提取模块103输出的每个物体区域的特征信息,而判别模块104则根据该特征信息,判断该物体区 域是否为线状物。
示例性地,所述根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物,包括:若物体区域又细又长,则判断该物体区域为线状物。可以通过设定阈值的方式来判断物体区域是否又细又长,根据物体区域长度和宽度之比来判断该物体区域是否又细又长,例如将当物体区域长度和宽度之比大于或等于预定阈值时,例如该预定阈值大于或等于5,或者其他适合的值。
对于平行于水平面(通常为地面)的线状物例如电线,可以额外约束该物体区域应具有预定的方向性等,在一个示例中,根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物,还包括:若所述物体区域的长度延伸方向与水平面平行,则判断所述物体区域为平行于水平面的线状物。
根据本发明实施例所提供的线状物识别装置,其针对线状物特别是电线的悬空、细长等特点,采用基于“分割模块、特征提取模块和判别模块”的框架组合来进行例如电线的线状物的识别,其不需要大量的数据训练即可实现较好的效果,复杂度较低,简单易实现。
本发明实施例的线状物识别装置可基于激光雷达点云数据进行线状物识别,使得线状物识别装置和系统的设计可以极小化,不需要综合多种类型相机,并且激光雷达的使用不会受到外界光线的影响,对于一些复杂的环境,例如大雾、雨雪天气也可以很好的使用。
本发明所提供的线状物识别装置对存储和计算的要求较低,容易实现实时处理和识别。该线状物识别装置针对例如电线的线状物悬空、细长的特点进行设计,简单且识别效果好。
以下具体说明本发明的前述实施例所涉及的线状物识别装置100执行的线状物识别方法。图4示出了本发明一个实施例中的基于点云数据的线状物识别方法的示意性流程图。
如图4所示,本发明提供了一种基于点云数据的线状物识别方法,所述点云数据由探测装置探测目标场景生成,所述线状物识别方法包括:
在步骤S401中,获得所述点云数据,并将所述点云数据转换为二维图像;
在步骤S402中,对所述二维图像进行物体分割,以获得至少一个物体 区域;
在步骤S403中,对分割后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息;
在步骤S404中,根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物。
本发明的基于点云数据的线状物识别方法将点云数据转换为二维图像来进行处理,这一转换并不丢失物体的方位信息,而且减小了点云存储和计算的资源需求,容易实现实时处理和识别。针对线状物自身特点,采用基于“分割-特征提取-线状物判别”的三步方法来进行线状物的识别,不需要大量的数据训练即可实现较好的效果,其复杂度较低,简单易实现。
示例性地,根据本发明实施例的线状物识别方法可以在具有存储器和处理器的设备、装置或者系统中实现。
作为示例,如图4所示,基于点云数据的线状物识别方法包括步骤S401,获得点云数据,并将所述点云数据转换为二维图像,例如二维数字图像。
示例性地,所述点云数据由探测装置探测目标场景生成,所述探测装置包括但不限于激光雷达和毫米波雷达中的至少一种,或者,所述点云数据还可以是由其他任意适合的探测装置探测目标场景生成。可选地,所述探测装置还可以包括非均匀扫描激光雷达,或者也可以是其他均匀扫描激光雷达。激光雷达的光束扫描机控制方式可以包括机械式扫描(如振镜扫描、棱镜旋转扫描、微机电系统(MEMS)扫描等)和相控阵扫描(如声光式扫描、电光晶体扫描、液晶相控阵、光栅相控阵等)。
示例性地,点云是描述三维场景的三维(3D)坐标系中点的集合。本发明对目标场景的选取无特别限制要求,室内环境或者室外环境均可。
点云数据由三维参考坐标系中的点组成。每个点位置可以确定对应点在这个三维参考坐标系中的坐标,例如,参考坐标系可以是真实世界坐标系,如,地理坐标系。
在一个示例中,如图5所示,所述步骤S401还包括步骤S4011以及步骤S4012,在步骤S4011,将所述点云数据中的每个点映射到二维平面中以形成变换点,该变换点与点云数据中的点云点一一对应。可选地,所述变换点包括其对应点云数据中点的深度信息和/或反射率信息。其中,二维平面可以 是任意适合的二维平面,例如二维平面为与探测装置所发射的探测信号的中心轴相垂直的平面,例如,所述探测装置为激光雷达,则其发射的探测信号为激光探测信号,则二维平面为与探测装置所发射的激光探测信号的中心轴相垂直的平面。
在步骤S4012,将每个所述变换点放在对应的像素中,并计算每个像素的像素值。其中,步骤S4012可以称为离散化的步骤,在该步骤中可以根据实际的需要合理的设定二维平面内每个像素的物理尺寸,在此不对像素的物理尺寸做具体限定。可选地,二维图像包括多个所述像素。
在实际的应用中,由于像素的物理尺寸的因素,可能存在多个变换点被放在同一个像素中的情况,所述变换点包括其对应点云数据中点的深度信息和/或反射率信息,其中,每个所述像素的像素值由放在该像素中的变换点的深度信息或反射率信息来计算获得,以深度信息方式计算获得的图像也可称为深度分布图,由反射率信息计算获得的图像则可称为反射率分布图。
深度分布图反映目标场景中物体到视点或图像平面的距离信息。其中,该视点可为三维空间中任意合适的点,示例的,可将探测装置所在位置作为视点。该图像平面可为任意合适的图像平面,示例的,该图像平面可为距离探测装置一定距离处垂直于探测装置轴线的平面。反射率分布图反映了物体属性信息。在发射信号频率及入射角度一定的情况下,不同物体的反射率不同,这主要取决于物体本身的性质和表面状况。
值得一提的是,对于其他适合的点云点的属性信息来表征像素值的方式也可同样适用于本发明,在本文中,主要以每个所述像素的像素值由放在该像素中的变换点的深度信息来计算获得的方式对本发明的方案进行解释和说明,但本领域技术人员可以理解的是,在不冲突的情况下,应用深度信息的方法也同样可以适用于反射率信息的情况。
值得一提的是,可以分别通过由深度信息来计算获得对应像素的像素值,也可以通过由反射率信息来计算获得对应像素的像素值,两者可以起到相互验证的作用,以提高线状物识别的准确度。
在一个示例中,以深度信息来计算获得对应像素的像素值,例如,每个所述像素的像素值为放在该像素内的变换点的最小深度值,在仅包括唯一的变换点的像素中,变换点的最小深度值也即为该变换点的深度值。
在另一个示例中,以深度信息来计算获得对应像素的像素值,每个像素的像素值为第一深度值与放在该像素内的所述变换点的最小深度值之差,其中,所述第一深度值大于或等于所述探测装置的最大探测深度,例如激光雷达的最大探测深度,也即最大探测距离。
本发明的线状物识别装置将深度信息和/或反射率信息作为像素值,将点云数据转换为二维数字图像来进行处理,减小了点云存储和计算的资源需求。
使用例如非均匀扫描的激光雷达探测目标场景时,非均匀扫描将会产生扫描不均匀,导致采样的不连续性,使得点云数据中的点云点难以覆盖所有像素,那么很可能出现很多像素没有对应的变换点(也即点云点)的情况,对此,在将所述点云数据转换为二维图像之后,对所述二维图像进行物体分割之前,所述线状物识别方法还包括:插值步骤,对所述二维图像中未被所述点云数据中的点覆盖的空像素进行赋值。经插值后所得的数字图像利于观察和算法设计实施,是一种比较适合的点云数据呈现方式。
可选地,基于邻域插值算法,对所述二维图像中未被所述点云数据中的点覆盖的空像素进行赋值,其中,数字图像中的常规领域插值算法均可以应用于本发明。可选地,所述邻域插值算法包括最近邻插值算法或线性插值算法。
在一个示例中,基于最近邻最小深度值的插值方法,对所述二维图像中未被所述点云数据中的点覆盖的空像素进行赋值,包括:选择距离所述空像素最近的所有非空像素的最小深度值对该空像素进行赋值,其中所述非空像素为被所述点云数据中的点覆盖的像素。
为了保证天空信息以及以天空为背景的物体的边界的正确呈现,所述插值步骤还包括:对天空区域不进行所述插值,而对所述天空区域赋予特殊值,所述特殊值为与所述二维图像的每个像素的像素值(例如深度值)不同的值,例如,所述特殊值为0,或者其他适合的值。可以根据探测装置探测天空区域时的特性以及天空区域自身的特性来对二维图像中的天空区域进行判别,主要有以下两种:1)天空区域比较大,也即面积较大;2)探测装置发出探测信号进行探测时,在天空区域有发射信号没有接收信号。
通过上述插值的方式,如果例如电线的线状物的背景天空,电线周围像素则不会是空像素而是赋值为0的像素。通过本发明实施例所提供的插值方 法可以很好地弥补探测装置例如激光雷达采样不足的问题,插值后图像细节会更好地呈现。并且由于插值时对天空点对应的像素和无点云采样的像素加以区别对待,从而保证了天空信息以及以天空为背景的物体的边界的正确呈现。
由于二维图像可能会受到噪声或者不良插值的影响,为了改善二维图像边界及信噪比,在一个示例中,所述线状物识别方法还包括对插值后的所述二维图像进行滤波,以改善图像边界及信噪比。可以使用本领域技术人员熟知的任何适合的滤波方法进行滤波,例如,对插值后的所述二维图像进行滤波的方法包括局部最值滤波或高斯平滑滤波。
在一个示例中,所述滤波的方法包括局部最值滤波,所述局部最值滤波包括将所述二维图像中的每个像素的像素值替换为与其相邻的最小值或最大值,也即与其相邻的最小像素值或最大像素值。经滤波后的图像连续性较好、易于观察。
本发明所提出的“投影变换及离散化”、“插值”、“滤波”三个步骤组合。该组合可以实现将采样较为稀疏的点云数据转换为便于显示和处理的数字图像,利于采用数字图像处理的相关方法来进行后续处理。
进一步,如图4所示,所述线状物识别方法还包括步骤S402对所述二维图像进行物体分割,以获得至少一个物体区域,例如接收经滤波后的二维图像,对该二维图像进行物体分割,经滤波后的图像连续性较好、易于观察,可以采用任意适合的数字图像处理的算法来进行物体的分割。通过该方法将二维图像中每一个像素所属的类别或者物体区分出来。在一个示例中,基于梯度的方法对所述二维图像进行物体分割。在另一个示例中,基于机器学习的方法对所述二维图像进行物体分割,机器学习的方法包括但不限于深度神经网络算法。
在一个实施例中,用于基于梯度的方法对所述二维图像进行物体分割,包括:计算所述二维图像的梯度图像,对所述梯度图像中的梯度值取绝对值,将绝对值小于给定阈值的梯度值赋为零,将绝对值大于或等于所述给定阈值的梯度值中的正值赋为1,负值赋为-1。给定阈值可以根据实际应用场景进行合理设定,例如,所述给定阈值为目标物的深度值与背景的深度值之差,特别是,在所述线状物识别装置应用于识别类似电线的线状物时,目标场景中 包括目标物和背景,给定阈值可以为电线和背景之间的深度值之差,例如该深度值之差在2m以上,则可以设定给定阈值为2m。
可以通过任意适合的方法计算所述二维图像的梯度图像,例如对二维离散函数求梯度,或者可以通过使用差分来近似导数求梯度,例如,以最简单的梯度近似表达式如下:
Gx=f(x,y)-f(x-1,y)
Gy=f(x,y)-f(x,y-1)
其中,x,y可以分别代表二维图像行方向和列方向上的像素。
图像在某像素点处的梯度反映了其在该点处的像素值(例如深度值、反射率)变化情况,相应的梯度值反映了变化的速度。梯度的方向是函数f(x,y)变化最快的方法,当图像中存在边缘时,一定有较大的梯度值,相反,当图像中有比较平滑的部分时,深度值(或反射率)变化较小,则相应的梯度也较小,图像中的真实边界点处的梯度强度大于其左右领域的梯度强度值,由图像梯度构成的图像成为梯度图像。
在一个示例中,所述梯度图像包括行方向梯度图像、列方向梯度图像中的至少一个,所述基于梯度的方法对所述二维图像进行物体分割,还包括:遍历所述梯度图像的所有行或列,对目标区间的像素进行标记,其中,所述目标区间满足第一端的像素的梯度值取值为1,与所述第一端相对的第二端的像素的梯度值取值为-1,所述第一端和所述第二端之间的所有像素的梯度值取值均为0。当遍历所述梯度图像的所有行时,所述第一端和所述第二端分别为左端和右端,当遍历所述梯度图像的所有列时,所述第一端和所述第二端分别为上端和下端。
可以利用合理的梯度算法分别获得行方向和列方向的梯度值,而形成梯度图像。
在一个具体实施例中,基于梯度的方法对所述二维图像进行物体分割,包括以下步骤A1至A4:在步骤A1中,计算所述二维图像的行方向梯度图像,对所述梯度图像中的梯度值取绝对值,将绝对值小于给定阈值的梯度值赋为零,将绝对值大于或等于所述给定阈值的梯度值中的正值赋为1,负值赋为-1;在步骤A2中,遍历所述梯度图像的所有行,对目标区间的像素进行标记,其中,所述目标区间满足第一端(最左端)的像素的梯度值取值为1, 与所述第一端(最左端)相对的第二端(最右端)的像素的梯度值取值为-1,所述第一端和所述第二端之间的所有像素的梯度值取值均为0;在步骤A3中,将所述二维图像转置,转置是指将x,y坐标对换,转轴后的二维图像的行和列对换,重复执行步骤A1以及步骤A2,以标记列方向的目标区间,之后再转置一次,以使行和列与初始的二维图像的行和列对应;在步骤A4中,将标记的所述行方向的目标区间以及列方向的目标区间取并集,以获得从行方向或者从列方向看的双边悬空物体(例如电线)的分割结果。
可以根据预定识别的目标物的特性(包括目标物的宽度、面积、长度等),在上述分割中对目标区间施加更多约束,例如,可以设定所述目标区间的区间宽度小于或等于目标阈值,其中,所述目标阈值包括实际应用中目标物的宽度、面积、长度中的至少一种,例如针对电线识别的问题,该目标阈值的设定可以根据设计中电线的宽度、面积、长度等来进行设定,特别是,电线的宽度。目标物的宽度是以m为单位的,所述目标区间的是以像素为单位的,在离散化的时候会设定像素的物理尺寸,基于此,可将目标物的宽度和目标区间的宽度对应起来,也即目标区间的宽度是指位于宽度方向的多个像素的像素宽度之和。
在一个示例中,所述线状物识别方法还包括对所述二维图像进行物体分割后,对分割结果做形态学处理,以使物体区域的边界更为整齐。可以使用任意适合的形态学处理方法对分割结果进行处理,主要运算包括:二值腐蚀与膨胀,二值开闭运算,骨架抽取,极限腐蚀,黑帽顶帽变换等,在此不做具体限定。
在一个示例中,如图4所示,所述线状物识别方法还包括步骤S403,对分割后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息。
示例性地,步骤S402之后还包括:将分割后的属于同一物体的不同物体区域进行连通。分割后只是把每一行或者每一列划分,往往会包括多个物体区域,连通是做行之间和列之间的连通,例如同一行中的两个不相连的物体区域可能和相邻行的一个区域是连通的,这样就可以判定属于同一物体,或者也可以根据其他适合的方法进行连通。
示例性地,在所述连通之后,进行步骤S403,对连通后的每个所述物体 区域进行特征提取,以获得每个所述物体区域的特征信息。所述特征信息包括所述物体区域的面积、宽度和长度中的至少一种,例如,由于每个物体区域的像素的物理尺寸是在离散化时设定好的,因此,可以通过计算物体区域长度方向上的多个像素的长度之和而获得该物体区域的长度,通过计算每个物体区域宽度方向上的多个像素的宽度之和而获得该物体区域的宽度,而每个物体区域在二维图像内的面积则可是该物体区域包括的所有像素的面积之和。
在一个示例中,如图4所示,所述线状物识别方法还包括步骤S404,根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物。具体地,在步骤S404中,接收每个物体区域的特征信息,根据该特征信息,判断该物体区域是否为线状物。
示例性地,所述根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物,包括:若物体区域又细又长,则判断该物体区域为线状物。可以通过设定阈值的方式来判断物体区域是否又细又长,根据物体区域长度和宽度之比来判断该物体区域是否又细又长,例如将当物体区域长度和宽度之比大于或等于预定阈值时,例如该预定阈值大于或等于5,或者其他适合的值。
对于平行于水平面(通常为地面)的线状物例如电线,可以额外约束该物体区域应具有预定的方向性等,在一个示例中,根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物,还包括:若所述物体区域的长度延伸方向与水平面平行,则判断所述物体区域为平行于水平面的线状物。
至此完成了对本发明的线状物识别装置和方法的主要模块和步骤的介绍,本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
图6示出了本发明一个实施例中的基于点云数据的线状物识别系统600的示意性框图。
线状物识别系统600包括一个或多个探测装置610,一个或多个处理器 630、一个或多个存储装置620。可选地,线状物识别系统600还可以包括输入装置(未示出)、输出装置(未示出)以及图像传感器(未示出)中的至少一个,这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意,图6所示的线状物识别系统600的组件和结构只是示例性的,而非限制性的,根据需要,所述线状物识别系统600也可以具有其他组件和结构,例如还可以包括用于收发信号的收发器。
示例性地,探测装置610探测目标场景生成所述点云数据,所述探测装置610包括但不限于激光雷达和毫米波雷达中的至少一种,或者,所述点云数据还可以是由其他任意适合的探测装置探测目标场景生成。探测装置可以通过测量探测装置和探测物之间光传播的时间,即光飞行时间(Time-of-Flight,TOF),来探测探测物到探测装置的距离。激光雷达主动对外发射激光脉冲信号,探测到反射回来的脉冲信号,根据发射--接收之间的时间差,判断被测物体的距离,结合光脉冲的发射角度信息,便可重建获知三维深度信息。
可选地,所述探测装置还可以包括非均匀扫描激光雷达,或者也可以是其他均匀扫描激光雷达。激光雷达的光束扫描机控制方式可以包括机械式扫描(如振镜扫描、棱镜旋转扫描、微机电系统(MEMS)扫描等)和相控阵扫描(如声光式扫描、电光晶体扫描、液晶相控阵、光栅相控阵等)。
该探测装置610用于感测外部环境信息,其对外部环境进行扫描以点的形式记录的数据可以称为点云数据,点云数据中的每个点包含有三维点的坐标以及相应三维点的特性信息,例如,环境目标的深度信息、角度信息、反射率信息、速度信息等。具体地,探测装置可应用于移动平台,例如,地面移动平台或空中移动平台,所述探测装置可安装在移动平台的平台本体。具有探测装置的移动平台可对外部环境进行测量,例如,测量移动平台与障碍物的距离用于避障等用途,和对外部环境进行二维或三维的测绘、电力巡检、地面测量、文物保护、车辆智能导航、三维重建等。在某些实施方式中,移动平台包括无人飞行器、车辆和遥控车中的至少一种。
所述存储装置620也即存储器用于存储处理器可执行指令的存储器,例如用于存在用于实现根据本发明实施例的线状物识别方法中的相应步骤和程序指令。可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储 器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
所述输入装置可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
通信接口(未示出)用于线状物识别系统600和其他设备之间进行通信,包括有线或者无线方式的通信。线状物识别系统600可以接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G或它们的组合。在一个示例性实施例中,通信接口经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信接口还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
所述处理器630可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制所述线状物识别系统600中的其它组件以执行期望的功能。所述处理器能够执行所述存储装置620中存储的所述指令,以执行本文描述的基于点云数据的线状物识别方法。例如,处理器630能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。
在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器630可以运行存储装置620存储的所述程序指令,以实现本文所述的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能,例如以执行根据本发明实施例的线状物识别方法的相应步骤,并且用于实现根据本发明实施例中的线状物识别装置中的各个模块。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
另外,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序。当所述计算机程序由处理器执行时,可以实现本发明实施例的基于点 云数据的线状物识别方法的各个步骤或前述线状物识别装置中的各组成模块。例如,所述计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。例如一个计算机可读存储介质包含用于将所述点云数据转换为二维图像的计算机可读的程序代码,另一个计算机可读存储介质包含用于对所述二维图像进行物体分割的计算机可读的程序代码等。
根据本发明实施例的基于点云数据的线状物识别方法及装置、系统以及存储介质,通过投影变换及离散化、插值和滤波,可以实现将采样较为稀疏的点云数据转换为便于显示和处理的二维数字图像,而本发明实施例的分割、特征提取和判别针对例如电线的线状物具有悬空、细长的特点进行设计,简单且识别效果好。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来 解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (52)

  1. 一种基于点云数据的线状物识别方法,其特征在于,所述点云数据由探测装置探测目标场景生成,所述线状物识别方法包括:
    获得所述点云数据,并将所述点云数据转换为二维图像;
    对所述二维图像进行物体分割,以获得至少一个物体区域;
    对分割后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息;
    根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物。
  2. 如权利要求1所述的线状物识别方法,其特征在于,所述将所述点云数据转换为二维图像的步骤包括:
    将所述点云数据中的每个点映射到二维平面中以形成变换点;
    将每个所述变换点放在对应的像素中,并计算每个像素的像素值。
  3. 如权利要求2所述的线状物识别方法,其特征在于,所述二维平面为与所述探测装置所发射的探测信号的中心轴相垂直的平面。
  4. 如权利要求2所述的线状物识别方法,其特征在于,所述变换点包括其对应点云数据中点的深度信息和/或反射率信息,其中,每个所述像素的像素值由放在该像素中的变换点的深度信息或反射率信息来计算获得。
  5. 如权利要求2所述的线状物识别方法,其特征在于,每个所述像素的像素值为放在该像素内的所述变换点的最小深度值。
  6. 如权利要求2所述的线状物识别方法,其特征在于,每个像素的像素值为第一深度值与放在该像素内的所述变换点的最小深度值之差,其中,所述第一深度值大于或等于所述探测装置的最大探测深度。
  7. 如权利要求1所述的线状物识别方法,其特征在于,对所述二维图像进行物体分割的方法包括:
    基于梯度的方法对所述二维图像进行物体分割。
  8. 如权利要求7所述的线状物识别方法,其特征在于,所述基于梯度的方法对所述二维图像进行物体分割,包括:
    计算所述二维图像的梯度图像,对所述梯度图像中的梯度值取绝对值,将绝对值小于给定阈值的梯度值赋为零,将绝对值大于或等于所述给定阈值的梯度值中的正值赋为1,负值赋为-1。
  9. 如权利要求8所述的线状物识别方法,其特征在于,
    所述梯度图像包括行方向梯度图像、列方向梯度图像中的至少一个,所述基于梯度的方法对所述二维图像进行物体分割,包括:
    遍历所述梯度图像的所有行或列,对目标区间的像素进行标记,其中,所述目标区间满足第一端的像素的梯度值取值为1,与所述第一端相对的第二端的像素的梯度值取值为-1,所述第一端和所述第二端之间的所有像素的梯度值取值均为0,当遍历所述梯度图像的所有行时,所述第一端和所述第二端分别为左端和右端,当遍历所述梯度图像的所有列时,所述第一端和所述第二端分别为上端和下端。
  10. 如权利要求8所述的线状物识别方法,其特征在于,所述给定阈值为目标物的深度值与背景的深度值之差。
  11. 如权利要求1所述的线状物识别方法,其特征在于,对所述二维图像进行物体分割的方法包括:
    基于机器学习的方法对所述二维图像进行物体分割。
  12. 如权利要求1所述的线状物识别方法,其特征在于,所述对所述二维图像进行物体分割之后,还包括以下步骤:
    对分割结果做形态学处理,以使所述物体区域的边界更为整齐。
  13. 如权利要求1所述的线状物识别方法,其特征在于,所述对分割后的每个所述物体区域进行特征提取的步骤还包括:
    将分割后的属于同一物体的不同物体区域进行连通的步骤。
  14. 如权利要求1所述的线状物识别方法,其特征在于,所述特征信息包括所述物体区域的面积、宽度和长度中的至少一种。
  15. 如权利要求1所述的线状物识别方法,其特征在于,在将所述点云数据转换为二维图像之后,对所述二维图像进行物体分割之前,所述线状物识别方法还包括:
    插值步骤,对所述二维图像中未被所述点云数据中的点覆盖的空像素进行赋值。
  16. 如权利要求15所述的线状物识别方法,其特征在于,基于最近邻最小深度值的插值方法,对所述二维图像中未被所述点云数据中的点覆盖的空像素进行赋值,具体包括:
    选择距离所述空像素最近的所有非空像素的最小深度值对该空像素进行赋值,其中所述非空像素为被所述点云数据中的点覆盖的像素。
  17. 如权利要求15所述的线状物识别方法,其特征在于,所述插值步骤具体还包括:
    对天空区域不进行所述插值步骤,而对所述天空区域赋予特殊值,所述特殊值为与所述二维图像的每个像素的像素值不同的值。
  18. 如权利要求17所述的线状物识别方法,其特征在于,所述特殊值为零。
  19. 如权利要求15所述的线状物识别方法,其特征在于,在所述插值步骤之后,对所述二维图像进行物体分割之前,所述线状物识别方法还包括:
    对插值后的所述二维图像进行滤波,以改善图像边界及信噪比。
  20. 如权利要求19所述的线状物识别方法,其特征在于,所述滤波的方法包括局部最值滤波,所述局部最值滤波包括将所述二维图像中的每个像素的像素值替换为与其相邻的最小值或最大值。
  21. 如权利要求1所述的线状物识别方法,其特征在于,所述根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物,包括:
    若物体区域又细又长,则判断该物体区域为线状物。
  22. 如权利要求21所述的线状物识别方法,其特征在于,所述根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物,还包括:
    若所述物体区域的长度延伸方向与水平面平行,则判断所述物体为平行于水平面的线状物。
  23. 如权利要求1所述的线状物识别方法,其特征在于,所述探测装置包括激光雷达、毫米波雷达中的至少一种。
  24. 如权利要求1所述的线状物识别方法,其特征在于,所述探测装置包括非均匀扫描激光雷达。
  25. 如权利要求1所述的线状物识别方法,其特征在于,所述线状物包括电线。
  26. 一种基于点云数据的线状物识别装置,其特征在于,所述点云数据由探测装置探测目标场景生成,所述线状物识别装置包括:
    投影变换与离散化模块,用于获得所述点云数据,并将所述点云数据转 换为二维图像;
    物体分割模块,用于对所述二维图像进行物体分割,以获得至少一个物体区域;
    特征提取模块,用于对分割后的每个所述物体区域进行特征提取,以获得每个所述物体区域的特征信息;
    判别模块,用于根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物。
  27. 如权利要求26所述的线状物识别装置,其特征在于,所述投影变换与离散化模块包括:
    投影变换模块,用于将所述点云数据中的每个点映射到二维平面中以形成变换点;
    离散化模块,用于将每个所述变换点放在对应的像素中,并计算每个像素的像素值。
  28. 如权利要求27所述的线状物识别装置,其特征在于,所述二维平面为与所述探测装置所发射的探测信号的中心轴相垂直的平面。
  29. 如权利要求27所述的线状物识别装置,其特征在于,所述变换点包括其对应点云数据中点的深度信息和/或反射率信息,其中,每个所述像素的像素值由放在该像素中的变换点的深度信息或反射率信息来计算获得。
  30. 如权利要求27所述的线状物识别装置,其特征在于,每个所述像素的像素值为放在该像素内的所述变换点的最小深度值。
  31. 如权利要求27所述的线状物识别装置,其特征在于,每个像素的像素值为第一深度值与放在该像素内的所述变换点的最小深度值之差,其中,所述第一深度值大于或等于所述探测装置的最大探测深度。
  32. 如权利要求26所述的线状物识别装置,其特征在于,所述物体分割模块具体用于:
    基于梯度的方法对所述二维图像进行物体分割。
  33. 如权利要求32所述的线状物识别装置,其特征在于,所述物体分割模块具体用于基于梯度的方法对所述二维图像进行物体分割,包括:
    计算所述二维图像的梯度图像,对所述梯度图像中的梯度值取绝对值,将绝对值小于给定阈值的梯度值赋为零,将绝对值大于或等于所述给定阈值 的梯度值中的正值赋为1,负值赋为-1。
  34. 如权利要求33所述的线状物识别装置,其特征在于,
    所述梯度图像包括行方向梯度图像、列方向梯度图像中的至少一个,所述物体分割模块对所述二维图像进行物体分割,还包括:
    遍历所述梯度图像的所有行或列,对目标区间的像素进行标记,其中,所述目标区间满足第一端的像素的梯度值取值为1,与所述第一端相对的第二端的像素的梯度值取值为-1,所述第一端和所述第二端之间的所有像素的梯度值取值均为0,当遍历所述梯度图像的所有行时,所述第一端和所述第二端分别为左端和右端,当遍历所述梯度图像的所有列时,所述第一端和所述第二端分别为上端和下端。
  35. 如权利要求33所述的线状物识别装置,其特征在于,所述给定阈值为目标物的深度值与背景的深度值之差。
  36. 如权利要求26所述的线状物识别装置,其特征在于,所述物体分割模块具体用于:
    基于机器学习的方法对所述二维图像进行物体分割。
  37. 如权利要求26所述的线状物识别装置,其特征在于,所述线状物识别装置还包括形态学处理模块,所述对所述二维图像进行物体分割后,所述形态学处理模块用于对所述物体分割模块输出的分割结果做形态学处理,以使物体区域的边界更为整齐。
  38. 如权利要求26所述的线状物识别装置,其特征在于,所述特征提取模块还用于:
    将分割后的属于同一物体的不同物体区域进行连通。
  39. 如权利要求26所述的线状物识别装置,其特征在于,所述特征信息包括所述物体区域的面积、宽度和长度中的至少一种。
  40. 如权利要求26所述的线状物识别装置,其特征在于,所述线状物识别装置还包括:
    插值模块,用于插值,以对所述二维图像中未被所述点云数据中的点覆盖的空像素进行赋值。
  41. 如权利要求40所述的线状物识别装置,其特征在于,所述插值模块还具体用于:基于最近邻最小深度值的插值方法,对所述二维图像中未被所 述点云数据中的点覆盖的空像素进行赋值,包括:
    选择距离所述空像素最近的所有非空像素的最小深度值对该空像素进行赋值,其中所述非空像素为被所述点云数据中的点覆盖的像素。
  42. 如权利要求40所述的线状物识别装置,其特征在于,所述插值模块具体还用于:
    对天空区域不进行所述插值,而对所述天空区域赋予特殊值,所述特殊值为与所述二维图像的每个像素的像素值不同的值。
  43. 如权利要求42所述的线状物识别装置,其特征在于,所述特殊值为零。
  44. 如权利要求40所述的线状物识别装置,其特征在于,所述线状物识别装置还包括:
    滤波模块,用于对插值后的所述二维图像进行滤波,以改善图像边界及信噪比。
  45. 如权利要求44所述的线状物识别装置,其特征在于,所述滤波模块包括局部最值滤波模块,所述局部最值滤波模块用于将所述二维图像中的每个像素的像素值替换为与其相邻的最小值或最大值。
  46. 如权利要求26所述的线状物识别装置,其特征在于,所述根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物,包括:
    若物体区域又细又长,则判断该物体区域为线状物。
  47. 如权利要求46所述的线状物识别装置,其特征在于,所述根据每个所述物体区域的所述特征信息,判断该物体区域是否为线状物,还包括:
    若所述物体区域的长度延伸方向与水平面平行,则判断所述物体区域为平行于水平面的线状物。
  48. 如权利要求26所述的线状物识别装置,其特征在于,所述探测装置包括激光雷达、毫米波雷达中的至少一种。
  49. 如权利要求26所述的线状物识别装置,其特征在于,所述探测装置包括非均匀扫描激光雷达。
  50. 如权利要求26所述的线状物识别装置,其特征在于,所述线状物包括电线。
  51. 一种基于点云数据的线状物识别系统,其特征在于,线状物识别系 统包括:
    探测装置,用于探测目标场景并生成点云数据;
    存储器,用于存储可执行指令;
    处理器,用于执行所述存储器中存储的所述指令,使得所述处理器执行权利要求1至25中任一项所述的基于点云数据的线状物识别方法。
  52. 一种计算机存储介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现权利要求1至25中任一项所述的基于点云数据的线状物识别方法。
PCT/CN2018/116758 2018-11-21 2018-11-21 线状物识别方法及装置、系统和计算机存储介质 WO2020103043A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201880038479.4A CN111542828A (zh) 2018-11-21 2018-11-21 线状物识别方法及装置、系统和计算机存储介质
PCT/CN2018/116758 WO2020103043A1 (zh) 2018-11-21 2018-11-21 线状物识别方法及装置、系统和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/116758 WO2020103043A1 (zh) 2018-11-21 2018-11-21 线状物识别方法及装置、系统和计算机存储介质

Publications (1)

Publication Number Publication Date
WO2020103043A1 true WO2020103043A1 (zh) 2020-05-28

Family

ID=70773744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/116758 WO2020103043A1 (zh) 2018-11-21 2018-11-21 线状物识别方法及装置、系统和计算机存储介质

Country Status (2)

Country Link
CN (1) CN111542828A (zh)
WO (1) WO2020103043A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112034470B (zh) * 2020-09-02 2022-10-18 亿嘉和科技股份有限公司 一种基于固态面阵激光雷达的电缆识别定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103942824A (zh) * 2014-05-15 2014-07-23 厦门大学 一种三维点云直线特征提取方法
CN103969656A (zh) * 2014-05-08 2014-08-06 北京数字绿土科技有限公司 基于机载激光雷达的建筑物建模方法和装置
CN104183017A (zh) * 2014-07-29 2014-12-03 浙江大学 基于地面三维激光点云实现地质体产状自动提取的方法
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169912B2 (en) * 2016-10-25 2019-01-01 Adobe Systems Incorporated Reconstruction of object surfaces from a point cloud by employing regional level sets

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103969656A (zh) * 2014-05-08 2014-08-06 北京数字绿土科技有限公司 基于机载激光雷达的建筑物建模方法和装置
CN103942824A (zh) * 2014-05-15 2014-07-23 厦门大学 一种三维点云直线特征提取方法
CN104183017A (zh) * 2014-07-29 2014-12-03 浙江大学 基于地面三维激光点云实现地质体产状自动提取的方法
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法

Also Published As

Publication number Publication date
CN111542828A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
WO2021097618A1 (zh) 点云分割方法、系统及计算机存储介质
US11709058B2 (en) Path planning method and device and mobile device
US11915502B2 (en) Systems and methods for depth map sampling
KR102210715B1 (ko) 도로 중의 차도선을 확정하기 위한 방법, 장치 및 기기
JP6561199B2 (ja) レーザ点群に基づく都市道路の認識方法、装置、記憶媒体及び機器
US10534091B2 (en) Method and apparatus for generating road surface, method and apparatus for processing point cloud data, computer program, and computer readable recording medium
CN112347999B (zh) 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN108872991A (zh) 目标物检测与识别方法、装置、电子设备、存储介质
CN112513679B (zh) 一种目标识别的方法和装置
CN111932943B (zh) 动态目标的检测方法、装置、存储介质及路基监测设备
JP6826023B2 (ja) 点群から対象を特定する対象識別装置、プログラム及び方法
CN112329754B (zh) 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN108010065A (zh) 低空目标快速检测方法及装置、存储介质及电子终端
WO2023179718A1 (zh) 用于激光雷达的点云处理方法、装置、设备及存储介质
CN116547562A (zh) 点云滤噪方法、系统和可移动平台
JP6919764B2 (ja) レーダ画像処理装置、レーダ画像処理方法、および、プログラム
CN116071729A (zh) 可行驶区域和路沿的检测方法、装置及相关设备
WO2020103043A1 (zh) 线状物识别方法及装置、系统和计算机存储介质
CN115131756A (zh) 一种目标检测方法及装置
CN112258568B (zh) 一种高精度地图要素的提取方法及装置
WO2024042607A1 (ja) 外界認識装置及び外界認識方法
CN112198523A (zh) 用于点云分割的方法和装置
CN113640810A (zh) 空间车位检测方法、设备、存储介质和程序产品
CN117636098A (zh) 模型训练、目标检测、车辆控制方法、装置、设备及介质
WO2022013866A1 (en) System and method of segmenting free space based on electromagnetic waves

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18940573

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18940573

Country of ref document: EP

Kind code of ref document: A1