WO2020135446A1 - 一种目标定位方法和装置、无人机 - Google Patents

一种目标定位方法和装置、无人机 Download PDF

Info

Publication number
WO2020135446A1
WO2020135446A1 PCT/CN2019/128057 CN2019128057W WO2020135446A1 WO 2020135446 A1 WO2020135446 A1 WO 2020135446A1 CN 2019128057 W CN2019128057 W CN 2019128057W WO 2020135446 A1 WO2020135446 A1 WO 2020135446A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
target
original point
coordinate system
coordinates
Prior art date
Application number
PCT/CN2019/128057
Other languages
English (en)
French (fr)
Inventor
郑欣
Original Assignee
深圳市道通智能航空技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市道通智能航空技术有限公司 filed Critical 深圳市道通智能航空技术有限公司
Publication of WO2020135446A1 publication Critical patent/WO2020135446A1/zh
Priority to US17/357,346 priority Critical patent/US20210319575A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

本发明涉及一种目标定位方法和装置、无人机，该方法包括：通过图像获取装置获取目标图像；根据目标图像，获取目标在目标图像中的位置信息；通过深度传感器获取无人机前方环境的原始点云；根据原始点云和目标在目标图像中的位置信息，获取原始点云中与目标对应的点云；根据与目标对应的点云，获取目标在三维空间中的位置信息。本发明通过对目标三维空间位置信息的确定既得到了目标的深度信息，也可以为目标跟踪提供稳定性和精度更高的运动估算模型，减少误识别和跟踪丢失的概率，可以实现更准确的三维路径规划和实时三维重建的可视化，同时还可以利用具有目标物体的三维地图进行避障。

Description

一种目标定位方法和装置、无人机 技术领域
本发明涉及视觉跟踪技术领域，更具体地说，涉及一种目标定位方法和装置、无人机。
背景技术
视觉跟踪算法广泛的用于机器人或无人机中，算法大多基于二维图像或视频，识别跟踪目标在平面图像中的位置。跟踪时不能直观的预测或感知跟踪目标的三维位置，现有方法可通过固定目标初始化高度或平面假设等方法来估算目标的三维空间位置，以便构造空间运动模型预测目标下一时刻的运动。但该方法有鲁棒性，适用场景少的缺点，而在路径规划中，三维目标点的位置准确性也直接影响了规划结果。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种目标定位方法和装置、无人机。
本发明解决其技术问题所采用的技术方案是：提供一种目标定位方法，用于无人机，所述无人机包括图像获取装置和深度传感器，该方法包括：
通过所述图像获取装置获取目标图像；
根据所述目标图像，获取所述目标在所述目标图像中的位置信息；
通过所述深度传感器获取所述无人机前方环境的原始点云；
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
在其中一个实施例中，所述目标在所述目标图像中的位置信息包括所述目标在所述目标图像中的最小外接框坐标，则所述根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云，包括：
将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
在其中一个实施例中，所述将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标，包括：
将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标；
将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
在其中一个实施例中，所述原始点云在所述图像获取装置坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000001
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器坐标系下的坐标，T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
在其中一个实施例中，所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足：
T＝T 2 T×T 1；
其中，T 1为所述深度传感器坐标系至所述无人机机身坐标系的转换矩阵， T 2为所述图像获取装置坐标系至所述无人机机身坐标系的转换矩阵。
在其中一个实施例中，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000002
Figure PCTCN2019128057-appb-000003
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置的内参矩阵。
在其中一个实施例中，在所述根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云之前，该方法还包括：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
在其中一个实施例中，所述根据所述与所述目标对应的点云，获取所述目标在所述三维空间中的位置信息，包括：
根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
在其中一个实施例中，所述深度传感器包括以下中的至少一种：
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
本发明还提供一种目标定位装置，用于无人机，包括：
图像获取模块，用于获取目标图像和根据所述目标图像获取所述目标在所述目标图像中的位置信息；
原始点云获取模块，用于获取所述无人机前方环境的原始点云；以及
目标位置获取模块，用于：
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
在其中一个实施例中，所述目标位置获取模块具体用于：
将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
在其中一个实施例中，所述目标位置获取模块具体用于：
将所述原始点云在所述原始点云获取模块坐标系下的坐标转换为所述原始点云在所述图像获取模块坐标系下的坐标；
将所述原始点云在所述图像获取模块坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
在其中一个实施例中，所述原始点云在所述图像获取模块坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000004
其中，(x′，y′，z′)为所述原始点云在所述图像获取模块坐标系下的坐标，(x，y，z)为所述原始点云在所述原始点云获取模块坐标系下的坐标，T为所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵。
在其中一个实施例中，所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵T满足：
T＝T 2 T×T 1；
其中，T 1为所述原始点云获取模块坐标系至所述无人机机身坐标系的转换矩阵，T 2为所述图像获取模块坐标系至所述无人机机身坐标系的转换矩阵。
在其中一个实施例中，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000005
Figure PCTCN2019128057-appb-000006
其中，(x′，y′，z′)为所述原始点云在所述图像获取模块坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取模块的内参矩阵。
在其中一个实施例中，该装置还包括点云滤波模块，所述点云滤波模块用于：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
在其中一个实施例中，所述目标位置获取模块具体用于：
根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
在其中一个实施例中，所述原始点云获取模块为深度传感器，所述深度传感器包括以下中的至少一种：
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
本发明还提供一种无人机，包括：
机身；
机臂，与所述机身相连；
动力装置，设于所述机臂，用于提供所述无人机飞行所需的动力；
深度传感器，设于所述机身，用于获取所述无人机前方环境的原始点云；
图像获取装置，设于所述机身，用于获取目标图像并根据所述目标图像，获取所述目标在所述目标图像中的位置信息；以及
视觉芯片，设于所述机身，所述深度传感器与所述图像获取装置均与所述视觉芯片通信连接；
所述视觉芯片用于：
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
在其中一个实施例中，所述视觉芯片具体用于：
将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与 所述目标对应的点云。
在其中一个实施例中，所述视觉芯片具体用于：
将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标；
将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
在其中一个实施例中，所述原始点云在所述图像获取装置坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000007
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器坐标系下的坐标，T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
在其中一个实施例中，所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足：
T＝T 2 T×T 1；
其中，T 1为所述深度传感器坐标系至所述机身坐标系的转换矩阵，T 2为所述图像获取装置坐标系至所述机身坐标系的转换矩阵。
在其中一个实施例中，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000008
Figure PCTCN2019128057-appb-000009
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置的内参矩阵。
在其中一个实施例中，所述视觉芯片还用于：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
在其中一个实施例中，所述视觉芯片具体用于：
根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
在其中一个实施例中，所述深度传感器包括以下中的至少一种：
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
实施本发明的目标定位方法，具有以下有益效果：本发明通过图像获取装置获取目标图像，并根据目标图像获得目标在该目标图像中的位置信息，以及通过深度传感器获取无人机前方环境的原始点云，进而根据原始点云和目标在目标图像中的位置信息，获得原始点云中与目标对应的点云，再由所获得的与目标对应的点云得到目标在三维空间中的位置信息，从而由所获得的目标在三维空间中的位置信息准确地确定目标在当前时刻的实时位置，既得到了目标的深度信息，也可以为目标跟踪提供稳定性和精度更高的运动估 算模型，减少误识别和跟踪丢失的概率，可以实现更准确的三维路径规划和实时三维重建的可视化，同时还可以利用具有目标物体的三维地图进行避障，可避免路径规划将目标误认为障碍物。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例提供的一种目标定位方法的流程示意图；
图2是本发明实施例中的目标在目标图像中的最小外接框的示意图；
图3是本发明实施例中的目标定位示意图；
图4是本发明实施例提供的一种目标定位装置的原理框图；
图5是本发明实施例提供的一种无人机的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，本发明实施例提供了一种目标定位方法。该方法可以供无人机实时获取目标在三维空间中的位置信息，还可以根据所获取的在三维空间中的位置信息进行三维运动模型构建，预测目标下一时刻的运动，或者可以根据所获取的在三维空间中的位置信息进行三维重建，建立具有目标的三维地图，利用具有目标的三维地图进行避障和路径规划，且还可以避免路径规划将目标误认为障碍物。
如图1所示，为本发明实施例提供的一种目标定位方法的流程示意图。
该目标定位方法包括以下步骤：
步骤S1、通过所述图像获取装置122获取目标图像。
本发明实施例中，图像获取装置122可以为彩色相机，其所获取的是目标在二维平面的图像，即图像获取装置122所获取的目标图像为二维图像。 其可以包括图像的二维坐标信息、颜色信息等。其中，本发明实施例对所采用的彩色相机的参数和位置不作具体限制，只要已知彩色相机的标定参数即可；或者也可以设计为活动结构以达到随目标位置而旋转，即只要可以获取彩色相机相对于无人机10的机身12的转换关系即可。
步骤S2、根据所述目标图像，获取所述目标在所述目标图像中的位置信息。
可以理解地，本发明实施例中，目标在目标图像中的位置信息可以包括：目标在所述目标图像中的最小外接框坐标。其中，目标在目标图像中的最小外接框为包括目标在内的最小外接矩形区域，如图2中的100所示。
步骤S3、通过所述深度传感器121获取所述无人机10前方环境的原始点云。
本发明实施例中，对于深度传感器121的种类、数量和位置本发明实施例不作具体限制，可以根据实际的跟随需求进行选择设定。例如，深度传感器121包括双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达中的至少一种。为了保证深度相机可以在任意时刻都观测到目标物体，可以采用多组深度相机多向或全向排列；或者将深度相机设计为活动结构以达到随目标位置而旋转等，即只要可以获得深度相机相对于机身12的转换关系即可。
本发明实施例中，无人机10前方环境为无人机10行进方向上的环境。
步骤S4、根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云。
可以理解地，目标在目标图像中的位置信息可以为目标在目标图像中的最小外接框坐标。此时，步骤S4具体可以包括：
步骤S41、将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标。
本发明实施例中，步骤S41具体可以包括：
步骤S411、将所述原始点云在所述深度传感器121坐标系下的坐标转换为所述原始点云在所述图像获取装置122坐标系下的坐标。
可选的，本发明实施例中，所述原始点云在所述图像获取装置122坐标 系下的坐标满足：
Figure PCTCN2019128057-appb-000010
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器121坐标系下的坐标，T为所述深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵。通过(1)式，可以快速获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
由于无人机10的深度传感器121和图像获取装置122往往会在运动过程中旋转，所以两个坐标系转换举矩阵往往不能直接得到。在一些实施例中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T可以用深度传感器121至无人机10机身12坐标系的转换矩阵T 1以及图像获取装置122至无人机10机身12坐标系的转换举矩阵T 2求出。
其中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T满足：
T＝T 2 T×T 1  (2)。
其中，T 1为所述深度传感器121坐标系至所述无人机10机身12坐标系的转换矩阵，T 2为所述图像获取装置122坐标系至所述无人机10机身12坐标系的转换矩阵。
通过(2)式可以快速获得深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T，进而通过(1)式快速计算出原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
步骤S412、将所述原始点云在所述图像获取装置122坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
可选的，本发明实施例中，原始点云在所述目标图像所在平面的坐标 (u，v)满足：
Figure PCTCN2019128057-appb-000011
Figure PCTCN2019128057-appb-000012
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置122的内参矩阵。
因此，在获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)后，再根据(3)式和(4)式可以快速地计算出原始点云在所述目标图像所在平面的坐标(u，v)。
步骤S42、确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
具体的，通过上述方法获得原始点云在目标图像所在平面的所有坐标后，将所获得的每一个原始点云在目标图像所在平面的坐标与最小外接框进行比较判断，进而确定所有坐标落在所述最小外接框内平面坐标，其中，在目标图像所在平面的坐标落在最小外接框内的原始点云即为与所述目标对应的点云。
进一步地，在执行步骤S4之前，该目标定位方法还包括以下步骤：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
可选的，对坐标落入最小外接框内的原始点云进行滤波可以采用预设滤波法进行滤波，其中，预设滤波法包括但不限于高斯滤波法、半径滤波法、聚类法、平滑法、连通域法等。
以高斯滤波法为例进行说明，设坐标落入最小外接框内的原始点云总数为n，计算距离第i个原始点云与距离其最近的m个相邻原始点云的平均距离d i，则d 1～d n可构成高斯分布，即d i～(μ，σ)，计算期望μ与方差σ，根据 高斯分布性质，若d i＞M*σ，则该原始点云不属于矩形区域，需滤除。其中，M可取2.0～3.0，m根据深度相机分辨率与总原始点云的数量级而定，一般可以取正整数30～50。
同理，采用半径滤波法、聚类法、平滑法、连通域法等方法也可以达到相同效果。
步骤S5、根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
可选的，步骤S5具体可以包括：
步骤S51、根据所述无人机10前方环境的原始点云，建立所述无人机10前方环境的三维地图。
具体的，将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云转换至世界坐标系下，并在世界坐标系下将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云合并及后处理，得到无人机10前方环境的三维地图。
可选的，将在世界坐标系下将深度传感器121获取到的所有的原始点云和目标点云进行合并后，进一步可以采用体素滤波、或者八叉树等方法将所有点云进行后处理，最终得到包括目标在内的三维地图。其中，三维地图的表示可以用八叉树、体素、网格图以及直接点云图等进行表示，只要可以表示三维空间关系即可，本发明不作具体限定。当然，可以理解地，在其他一些实施例中，为了减小计算量，可以将地图降维成二维地图。
步骤S52、对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
具体的，本发明实施例中，该目标定位方法的定位示意图如图3所示，其中，深度传感器121传感器和图像获取装置122均设置在无人机10的机身12上。
本发明的目标定位方法，通过设置在无人机10上的深度传感器121和图像获取装置122分别获取的数据整合的方法，既保留了传统平面视频和图像跟踪的算法，同时又得到了目标的深度，可为目标跟踪提供稳定性和精度更 高的运动估算模型，有效减少误识别和跟踪丢失的概率。而且，由于目标识别在二维彩色图像中，不可获得目标的深度，本发明利用转换关系将深度传感器121的点云投影至图像获取装置122坐标系，再将所有点云反向投影至二维平面，并找出符合要求的点云，这里，符合要求的点云为坐标落在最小外接框内的原始点云。例如，设深度传感器121在某一帧得到的所有第一三维坐标(原始点云)为A(x 1，y 1，z 1)、B(x 2，y 2，z 2)、C(x 3，y 3，z 3)、D(x 4，y 4，z 4)，所图像获取装置122坐标系下的坐标为A(u‘ 1，v‘ 1)、B(u‘ 2，v‘ 2)、C(u‘ 3，v‘ 3)、D(u‘ 4，v‘ 4)，而在最小外接框内的坐标为A(u‘ 1，v‘ 1)、C(u‘ 3，v‘ 3)，则符合要求的点云即为A(u‘ 1，v‘ 1)、C(u‘ 3，v‘ 3)所对应的A(x 1，y 1，z 1)和C(x 3，y 3，z 3)。
另外，本发明还可以在三维地图中准确标注目标的大小和位置，实现更准确的三维路径规划和实时三维重建的可视化。同时标注移动目标的点云可避免路径规划将目标物误认为障碍物。
参考图4，为本发明实施例提供的一种目标定位装置的原理框图。该目标定位装置可以用于实现前述的目标定位方法。
如图4所示，该目标定位装置，用于无人机10，具体可以包括：图像获取模块401、原始点云获取模块402和目标位置获取模块403。
图像获取模块401，用于获取目标图像和根据所述目标图像获取所述目标在所述目标图像中的位置信息。
本发明实施例中，图像获取装置122可以为彩色相机，其所获取的是目标在二维平面的图像，即图像获取装置122所获取的目标图像为二维图像。其可以包括图像的二维坐标信息、颜色信息等。其中，本发明实施例对所采用的彩色相机的参数和位置不作具体限制，只要已知彩色相机的标定参数即可；或者也可以设计为活动结构以达到随目标位置而旋转，即只要可以获取彩色相机相对于无人机10的机身12的转换关系即可。
可以理解地，本发明实施例中，目标在目标图像中的位置信息可以包括：目标在所述目标图像中的最小外接框坐标。其中，目标在目标图像中的最小外接框为包括目标在内的最小外接矩形区域，如图2中的100所示。
原始点云获取模块402，用于获取所述无人机10前方环境的原始点云。
可选的，本发明实施例的原始点云获取模块402可以包括深度传感器121，通过深度传感器121可以获取无人机10前方环境的原始点云。其中，本发明实施例对于深度传感器121的种类、数量和位置本发明实施例不作具体限制，可以根据实际的跟随需求进行选择设定。例如，深度传感器121包括双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达中的至少一种。为了保证深度相机可以在任意时刻都观测到目标物体，可以采用多组深度相机多向或全向排列；或者将深度相机设计为活动结构以达到随目标位置而旋转等，即只要可以获得深度相机相对于机身12的转换关系即可。
本发明实施例中，无人机10前方环境为无人机10行进方向上的环境。
目标位置获取模块403，用于：
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云。
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
本发明实施例中，目标在目标图像中的位置信息可以为目标在目标图像中的最小外接框坐标。此时，目标位置获取模块403具体用于：将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标。
具体的，先将所述原始点云在所述深度传感器121坐标系下的坐标转换为所述原始点云在所述图像获取装置122坐标系下的坐标；然后将所述原始点云在所述图像获取装置122坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标；
可选的，本发明实施例中，所述原始点云在所述图像获取装置122坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000013
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器121坐标系下的坐标，T为所述深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵。通过(1)式，可以快速获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
由于无人机10的深度传感器121和图像获取装置122往往会在运动过程中旋转，所以两个坐标系转换举矩阵往往不能直接得到。在一些实施例中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T可以用深度传感器121至无人机10机身12坐标系的转换矩阵T 1以及图像获取装置122至无人机10机身12坐标系的转换举矩阵T 2求出。
其中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T满足：
T＝T 2 T×T 1  (2)。
其中，T 1为所述深度传感器121坐标系至所述无人机10机身12坐标系的转换矩阵，T 2为所述图像获取装置122坐标系至所述无人机10机身12坐标系的转换矩阵。
通过(2)式可以快速获得深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T，进而通过(1)式快速计算出原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
可选的，本发明实施例中，原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000014
Figure PCTCN2019128057-appb-000015
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置122的内参矩阵。
因此，在获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)后，再根据(3)式和(4)式可以快速地计算出原始点云在所述目标图像所在平面的坐标(u，v)。
进一步地，目标位置获取模块403还具体用于：确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
具体的，通过上述方法获得原始点云在目标图像所在平面的所有坐标后，将所获得的每一个原始点云在目标图像所在平面的坐标与最小外接框进行比较判断，进而确定所有坐标落在所述最小外接框内平面坐标，其中，在目标图像所在平面的坐标落在最小外接框内的原始点云即为与所述目标对应的点云。
进一步地，该目标定位装置还包括点云滤波模块，所述点云滤波模块用于：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
可选的，对坐标落入最小外接框内的原始点云进行滤波可以采用预设滤波法进行滤波，其中，预设滤波法包括但不限于高斯滤波法、半径滤波法、聚类法、平滑法、连通域法等。
以高斯滤波法为例进行说明，设坐标落入最小外接框内的原始点云总数为n，计算距离第i个原始点云与距离其最近的m个相邻原始点云的平均距离d i，则d 1～d n可构成高斯分布，即d i～(μ，σ)，计算期望μ与方差σ，根据高斯分布性质，若d i＞M*σ，则该原始点云不属于矩形区域，需滤除。其中，M可取2.0～3.0，m根据深度相机分辨率与总原始点云的数量级而定，一般可以取正整数30～50。
同理，采用半径滤波法、聚类法、平滑法、连通域法等方法也可以达到相同效果。
进一步地，本发明实施例的目标位置获取模块403具体用于：根据所述 无人机10前方环境的原始点云，建立所述无人机10前方环境的三维地图。
具体的，将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云转换至世界坐标系下，并在世界坐标系下将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云合并及后处理，得到无人机10前方环境的三维地图。
可选的，将在世界坐标系下将深度传感器121获取到的所有的原始点云和目标点云进行合并后，进一步可以采用体素滤波、或者八叉树等方法将所有点云进行后处理，最终得到包括目标在内的三维地图。其中，三维地图的表示可以用八叉树、体素、网格图以及直接点云图等进行表示，只要可以表示三维空间关系即可，本发明不作具体限定。当然，可以理解地，在其他一些实施例中，为了减小计算量，可以将地图降维成二维地图。
进一步地，本发明实施例的目标位置获取模块403具体用于：对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
本发明实施例中，目标位置获取模块403可以为视觉芯片123。
参考图5，为本发明实施例提供的一种无人机10的原理框图。可以理解地，本发明实施例提供的无人机10可以用于实现前述的目标定位方法。该无人机10可以准确地确定目标在当前时刻的实时位置，既得到了目标的深度信息，也可以为目标跟踪提供稳定性和精度更高的运动估算模型，减少误识别和跟踪丢失的概率，可以实现更准确的三维路径规划和实时三维重建的可视化，同时还可以利用具有目标物体的三维地图进行避障，可避免路径规划将目标误认为障碍物。
如图5所示，本发明实施例的无人机10包括：机身12、与机身12相连的机臂11、设于机臂11的动力装置111、设于机身12的深度传感器121、设于机身12的图像获取装置122以及设于机身12的视觉芯片123
本发明实施例中，动力装置111用于提供无人机10飞行所需的动力。可选的，动力装置111可以包括设于机臂11的电机和与电机相连的螺旋桨，电 机带动螺旋桨高速旋转以提供无人机飞行所需的动力。
本发明实施例中，深度传感器121用于获取所述无人机10前方环境的原始点云。
可选的，本发明实施例的原始点云获取模块402可以包括深度传感器121，通过深度传感器121可以获取无人机10前方环境的原始点云。其中，本发明实施例对于深度传感器121的种类、数量和位置本发明实施例不作具体限制，可以根据实际的跟随需求进行选择设定。例如，深度传感器121包括双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达中的至少一种。为了保证深度相机可以在任意时刻都观测到目标物体，可以采用多组深度相机多向或全向排列；或者将深度相机设计为活动结构以达到随目标位置而旋转等，即只要可以获得深度相机相对于机身12的转换关系即可。
本发明实施例中，无人机10前方环境为无人机10行进方向上的环境。
本发明实施例中，图像获取装置122用于获取目标图像并根据所述目标图像，获取所述目标在所述目标图像中的位置信息。
本发明实施例中，图像获取装置122可以为彩色相机，其所获取的是目标在二维平面的图像，即图像获取装置122所获取的目标图像为二维图像。其可以包括图像的二维坐标信息、颜色信息等。其中，本发明实施例对所采用的彩色相机的参数和位置不作具体限制，只要已知彩色相机的标定参数即可；或者也可以设计为活动结构以达到随目标位置而旋转，即只要可以获取彩色相机相对于无人机10的机身12的转换关系即可。
可以理解地，本发明实施例中，目标在目标图像中的位置信息可以包括：目标在所述目标图像中的最小外接框坐标。其中，目标在目标图像中的最小外接框为包括目标在内的最小外接矩形区域，如图2中的100所示。
可选的，目标在目标图像的位置信息包括目标在目标图像的最小外接框坐标。
本发明实施例中，视觉芯片123与深度传感器121和所述图像获取装置122通信连接。
具体的，视觉芯片123用于：
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云。
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
本发明实施例中，目标在目标图像中的位置信息可以为目标在目标图像中的最小外接框坐标。此时，视觉芯片123具体用于：将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标。
具体的，先将所述原始点云在所述深度传感器121坐标系下的坐标转换为所述原始点云在所述图像获取装置122坐标系下的坐标；然后将所述原始点云在所述图像获取装置122坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标；
可选的，本发明实施例中，所述原始点云在所述图像获取装置122坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000016
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器121坐标系下的坐标，T为所述深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵。通过(1)式，可以快速获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
由于无人机10的深度传感器121和图像获取装置122往往会在运动过程中旋转，所以两个坐标系转换举矩阵往往不能直接得到。在一些实施例中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T可以用深度传感器121至无人机10机身12坐标系的转换矩阵T 1以及图像获取装置122至无人机10机身12坐标系的转换举矩阵T 2求出。
其中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩 阵T满足：
T＝T 2 T×T 1  (2)。
其中，T 1为所述深度传感器121坐标系至所述无人机10机身12坐标系的转换矩阵，T 2为所述图像获取装置122坐标系至所述无人机10机身12坐标系的转换矩阵。
通过(2)式可以快速获得深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T，进而通过(1)式快速计算出原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
可选的，本发明实施例中，原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000017
Figure PCTCN2019128057-appb-000018
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置122的内参矩阵。
因此，在获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)后，再根据(3)式和(4)式可以快速地计算出原始点云在所述目标图像所在平面的坐标(u，v)。
进一步地，视觉芯片123具体还用于：确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
具体的，通过上述方法获得原始点云在目标图像所在平面的所有坐标后，将所获得的每一个原始点云在目标图像所在平面的坐标与最小外接框进行比较判断，进而确定所有坐标落在所述最小外接框内平面坐标，其中，在目标图像所在平面的坐标落在最小外接框内的原始点云即为与所述目标对应的点 云。
进一步地，该视觉芯片123还用于：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
可选的，对坐标落入最小外接框内的原始点云进行滤波可以采用预设滤波法进行滤波，其中，预设滤波法包括但不限于高斯滤波法、半径滤波法、聚类法、平滑法、连通域法等。
以高斯滤波法为例进行说明，设坐标落入最小外接框内的原始点云总数为n，计算距离第i个原始点云与距离其最近的m个相邻原始点云的平均距离d i，则d 1～d n可构成高斯分布，即d i～(μ，σ)，计算期望μ与方差σ，根据高斯分布性质，若d i＞M*σ，则该原始点云不属于矩形区域，需滤除。其中，M可取2.0～3.0，m根据深度相机分辨率与总原始点云的数量级而定，一般可以取正整数30～50。
同理，采用半径滤波法、聚类法、平滑法、连通域法等方法也可以达到相同效果。
进一步地，该视觉芯片123具体用于：
根据所述无人机10前方环境的原始点云，建立所述无人机10前方环境的三维地图。
具体的，将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云转换至世界坐标系下，并在世界坐标系下将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云合并及后处理，得到无人机10前方环境的三维地图。
可选的，将在世界坐标系下将深度传感器121获取到的所有的原始点云和目标点云进行合并后，进一步可以采用体素滤波、或者八叉树等方法将所有点云进行后处理，最终得到包括目标在内的三维地图。其中，三维地图的表示可以用八叉树、体素、网格图以及直接点云图等进行表示，只要可以表示三维空间关系即可，本发明不作具体限定。当然，可以理解地，在其他一些实施例中，为了减小计算量，可以将地图降维成二维地图。
对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (27)

  1. 一种目标定位方法，用于无人机，所述无人机包括图像获取装置和深度传感器，其特征在于，该方法包括：
    通过所述图像获取装置获取目标图像；
    根据所述目标图像，获取所述目标在所述目标图像中的位置信息；
    通过所述深度传感器获取所述无人机前方环境的原始点云；
    根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
    根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
  2. 根据权利要求1所述的目标定位方法，其特征在于，所述目标在所述目标图像中的位置信息包括所述目标在所述目标图像中的最小外接框坐标，则所述根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云，包括：
    将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
    确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
  3. 根据权利要求2所述的目标定位方法，其特征在于，所述将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标，包括：
    将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标；
    将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
  4. 根据权利要求3所述的目标定位方法，其特征在于，所述原始点云在所述图像获取装置坐标系下的坐标满足：
    Figure PCTCN2019128057-appb-100001
    其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器坐标系下的坐标，T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
  5. 根据权利要求4所述的方法，其特征在于，所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足：
    T＝T 2 T×T 1；
    其中，T 1为所述深度传感器坐标系至所述无人机机身坐标系的转换矩阵，T 2为所述图像获取装置坐标系至所述无人机机身坐标系的转换矩阵。
  6. 根据权利要求2-5中任一项所述的方法，其特征在于，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
    Figure PCTCN2019128057-appb-100002
    Figure PCTCN2019128057-appb-100003
    其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置的内参矩阵。
  7. 根据权利要求2-6中任一项所述的方法，其特征在于，在所述根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云之前，该方法还包括：
    对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
  8. 根据权利要求1-7中任一项所述的方法，其特征在于，所述根据所述与所述目标对应的点云，获取所述目标在所述三维空间中的位置信息，包括：
    根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
    对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
  9. 根据权利要求1-8中任一项所述的方法，其特征在于，所述深度传感器包括以下中的至少一种：
    双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
  10. 一种目标定位装置，用于无人机，其特征在于，包括：
    图像获取模块，用于获取目标图像和根据所述目标图像获取所述目标在所述目标图像中的位置信息；
    原始点云获取模块，用于获取所述无人机前方环境的原始点云；以及
    目标位置获取模块，用于：
    根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
    根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
  11. 根据权利要求10所述的装置，其特征在于，所述目标位置获取模块具体用于：
    将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
    确定所述原始点云中，坐标落在最小外接框内的原始点云为所述与所述目标对应的点云。
  12. 根据权利要求11所述的装置，其特征在于，所述目标位置获取模块具体用于：
    将所述原始点云在所述原始点云获取模块坐标系下的坐标转换为所述原始点云在所述图像获取模块坐标系下的坐标；
    将所述原始点云在所述图像获取模块坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
  13. 根据权利要求12所述的装置，其特征在于，所述原始点云在所述图像获取模块坐标系下的坐标满足：
    Figure PCTCN2019128057-appb-100004
    其中，(x′，y′，z′)为所述原始点云在所述图像获取模块坐标系下的坐标，(x，y，z)为所述原始点云在所述原始点云获取模块坐标系下的坐标，T为所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵。
  14. 根据权利要求13所述的装置，其特征在于，所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵T满足：
    T＝T 2 T×T 1；
    其中，T 1为所述原始点云获取模块坐标系至所述无人机机身坐标系的转换 矩阵，T 2为所述图像获取模块坐标系至所述无人机机身坐标系的转换矩阵。
  15. 根据权利要求11-14中任一项所述的装置，其特征在于，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
    Figure PCTCN2019128057-appb-100005
    Figure PCTCN2019128057-appb-100006
    其中，(x′，y′，z′)为所述原始点云在所述图像获取模块坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取模块的内参矩阵。
  16. 根据权利要求11-15中任一项所述的装置，其特征在于，该装置还包括点云滤波模块，所述点云滤波模块用于：
    对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
  17. 根据权利要求10-16中任一项所述的装置，其特征在于，所述目标位置获取模块具体用于：
    根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
    对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
  18. 根据权利要求10-17中任一项所述的装置，其特征在于，所述原始点云获取模块为深度传感器，所述深度传感器包括以下中的至少一种：
    双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
  19. 一种无人机，其特征在于，包括：
    机身；
    机臂，与所述机身相连；
    动力装置，设于所述机臂，用于提供所述无人机飞行所需的动力；
    深度传感器，设于所述机身，用于获取所述无人机前方环境的原始点云；
    图像获取装置，设于所述机身，用于获取目标图像并根据所述目标图像，获取所述目标在所述目标图像中的位置信息；以及
    视觉芯片，设于所述机身，所述深度传感器与所述图像获取装置均与所述视觉芯片通信连接；
    所述视觉芯片用于：
    根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
    根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
  20. 根据权利要求19所述的无人机，其特征在于，所述视觉芯片具体用于：
    将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
    确定所述原始点云中，坐标落在最小外接框内的原始点云为所述与所述目标对应的点云。
  21. 根据权利要求20所述的无人机，其特征在于，所述视觉芯片具体用于：
    将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标；
    将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图 像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
  22. 根据权利要求21所述的无人机，其特征在于，所述原始点云在所述图像获取装置坐标系下的坐标满足：
    Figure PCTCN2019128057-appb-100007
    其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器坐标系下的坐标，T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
  23. 根据权利要求22所述的无人机，其特征在于，所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足：
    T＝T 2 T×T 1；
    其中，T 1为所述深度传感器坐标系至所述机身坐标系的转换矩阵，T 2为所述图像获取装置坐标系至所述机身坐标系的转换矩阵。
  24. 根据权利要求20-23中任一项所述的无人机，其特征在于，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
    Figure PCTCN2019128057-appb-100008
    Figure PCTCN2019128057-appb-100009
    其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置的内参矩阵。
  25. 根据权利要求20-24中任一项所述的无人机，其特征在于，所述视觉芯片还用于：
    对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
  26. 根据权利要求19-25中任一项所述的无人机，其特征在于，所述视觉芯片具体用于：
    根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
    对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
  27. 根据权利要求19-26中任一项所述的无人机，其特征在于，所述深度传感器包括以下中的至少一种：
    双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
PCT/CN2019/128057 2018-12-24 2019-12-24 一种目标定位方法和装置、无人机 WO2020135446A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/357,346 US20210319575A1 (en) 2018-12-24 2021-06-24 Target positioning method and device, and unmanned aerial vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811581024.5 2018-12-24
CN201811581024.5A CN109767452A (zh) 2018-12-24 2018-12-24 一种目标定位方法和装置、无人机

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/357,346 Continuation US20210319575A1 (en) 2018-12-24 2021-06-24 Target positioning method and device, and unmanned aerial vehicle

Publications (1)

Publication Number Publication Date
WO2020135446A1 true WO2020135446A1 (zh) 2020-07-02

Family

ID=66452101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/128057 WO2020135446A1 (zh) 2018-12-24 2019-12-24 一种目标定位方法和装置、无人机

Country Status (3)

Country Link
US (1) US20210319575A1 (zh)
CN (1) CN109767452A (zh)
WO (1) WO2020135446A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409399A (zh) * 2021-06-10 2021-09-17 武汉库柏特科技有限公司 一种双相机联合标定方法、系统及装置
CN113776540A (zh) * 2021-11-09 2021-12-10 北京艾克利特光电科技有限公司 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
CN114170173A (zh) * 2021-11-30 2022-03-11 中科九创智能科技(北京)有限公司 上甑机器人的检测方法、检测模块及检测系统
CN115076049A (zh) * 2022-07-04 2022-09-20 无锡海纳智能科技有限公司 一种风机偏航角的确定方法、装置、存储介质及电子设备
CN115100264A (zh) * 2022-05-12 2022-09-23 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN115661245A (zh) * 2022-10-24 2023-01-31 东北林业大学 一种基于无人机的大尺度火线瞬时定位方法
EP4224425A4 (en) * 2020-11-17 2024-04-10 Matrixed Reality Tech Co Ltd METHOD AND APPARATUS FOR DETERMINING A POSE OF A TRACKED OBJECT DURING AN IMAGE TRACKING PROCESS

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
WO2020258073A1 (zh) 2019-06-26 2020-12-30 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质
CN110909585B (zh) * 2019-08-15 2022-09-06 纳恩博（常州）科技有限公司 一种路线确定方法、可行进设备、和存储介质
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN110553628A (zh) * 2019-08-28 2019-12-10 华南理工大学 一种基于深度相机的捕捉飞行物体的方法
CN110570463B (zh) * 2019-09-11 2023-04-07 深圳市道通智能航空技术股份有限公司 一种目标状态估计方法、装置和无人机
CN110631586A (zh) * 2019-09-26 2019-12-31 珠海市一微半导体有限公司 基于视觉slam的地图构建的方法、导航系统及装置
CN110873565B (zh) * 2019-11-21 2021-06-04 北京航空航天大学 用于城市场景重建的无人机实时路径规划方法
CN111311709B (zh) * 2020-02-05 2023-06-20 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111857168A (zh) * 2020-07-03 2020-10-30 北京二郎神科技有限公司 无人机定位方法、装置与无人机停放姿态调整方法、装置
CN113916213A (zh) * 2020-07-08 2022-01-11 北京猎户星空科技有限公司 定位方法、装置、电子设备和计算机可读存储介质
WO2022077190A1 (zh) * 2020-10-12 2022-04-21 深圳市大疆创新科技有限公司 数据处理方法、控制设备及存储介质
CN112200851B (zh) * 2020-12-09 2021-02-26 北京云测信息技术有限公司 一种基于点云的目标检测方法、装置及其电子设备
CN112561997B (zh) * 2020-12-10 2022-07-26 之江实验室 一种面向机器人的行人定位方法、装置、电子设备及介质
CN112816967A (zh) * 2021-02-03 2021-05-18 成都康烨科技有限公司 图像距离测量方法、装置、测距设备和可读存储介质
CN113436318A (zh) * 2021-06-30 2021-09-24 北京市商汤科技开发有限公司 场景重建方法、装置、电子设备和计算机存储介质
CN116228854B (zh) * 2022-12-29 2023-09-08 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法
CN116152635B (zh) * 2023-01-30 2023-07-21 中国人民解放军96901部队 一种基于区块链的无人飞行器联合航拍信息共享方法
CN117647795A (zh) * 2023-11-28 2024-03-05 无锡中科光电技术有限公司 一种用于激光雷达标定的质控装置及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
US20170314930A1 (en) * 2015-04-06 2017-11-02 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512646B (zh) * 2016-01-19 2019-03-01 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN105775150B (zh) * 2016-03-17 2017-12-22 英华达（上海）科技有限公司 无人飞行载具及其降落方法
CN106097444B (zh) * 2016-05-30 2017-04-12 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
WO2018067544A2 (en) * 2016-10-04 2018-04-12 Wal-Mart Stores, Inc. Systems and methods for autonomous drone navigation
US20180350086A1 (en) * 2017-05-31 2018-12-06 Qualcomm Incorporated System And Method Of Dynamically Filtering Depth Estimates To Generate A Volumetric Map Of A Three-Dimensional Environment Having An Adjustable Maximum Depth
CN107274447B (zh) * 2017-07-14 2022-06-10 梅卡曼德（北京）机器人科技有限公司 深度图像获取装置和深度图像获取方法
US11127202B2 (en) * 2017-12-18 2021-09-21 Parthiv Krishna Search and rescue unmanned aerial system
CN108932475B (zh) * 2018-05-31 2021-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN108858199B (zh) * 2018-07-27 2020-04-07 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN110570463B (zh) * 2019-09-11 2023-04-07 深圳市道通智能航空技术股份有限公司 一种目标状态估计方法、装置和无人机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170314930A1 (en) * 2015-04-06 2017-11-02 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4224425A4 (en) * 2020-11-17 2024-04-10 Matrixed Reality Tech Co Ltd METHOD AND APPARATUS FOR DETERMINING A POSE OF A TRACKED OBJECT DURING AN IMAGE TRACKING PROCESS
CN113409399A (zh) * 2021-06-10 2021-09-17 武汉库柏特科技有限公司 一种双相机联合标定方法、系统及装置
CN113776540A (zh) * 2021-11-09 2021-12-10 北京艾克利特光电科技有限公司 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
CN113776540B (zh) * 2021-11-09 2022-03-22 北京艾克利特光电科技有限公司 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
CN114170173A (zh) * 2021-11-30 2022-03-11 中科九创智能科技(北京)有限公司 上甑机器人的检测方法、检测模块及检测系统
CN114170173B (zh) * 2021-11-30 2022-11-04 中科九创智能科技(北京)有限公司 上甑机器人的检测方法、检测模块及检测系统
CN115100264A (zh) * 2022-05-12 2022-09-23 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN115100264B (zh) * 2022-05-12 2024-04-02 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN115076049A (zh) * 2022-07-04 2022-09-20 无锡海纳智能科技有限公司 一种风机偏航角的确定方法、装置、存储介质及电子设备
CN115661245A (zh) * 2022-10-24 2023-01-31 东北林业大学 一种基于无人机的大尺度火线瞬时定位方法
CN115661245B (zh) * 2022-10-24 2023-04-18 东北林业大学 一种基于无人机的大尺度火线瞬时定位方法

Also Published As

Publication number Publication date
US20210319575A1 (en) 2021-10-14
CN109767452A (zh) 2019-05-17

Similar Documents

Publication Publication Date Title
WO2020135446A1 (zh) 一种目标定位方法和装置、无人机
CN111914715B (zh) 一种基于仿生视觉的智能车目标实时检测与定位方法
CN112567201A (zh) 距离测量方法以及设备
CN110782524A (zh) 基于全景图的室内三维重建方法
EP3803273A1 (en) Techniques for real-time mapping in a movable object environment
CN117310739A (zh) 在可移动物体之间共享绘图数据的技术
CN111670339B (zh) 用于无人飞行器和地面载运工具之间的协作地图构建的技术
CN104361628A (zh) 一种基于航空倾斜摄影测量的三维实景建模系统
CN113985445A (zh) 一种基于相机与激光雷达数据融合的3d目标检测算法
WO2019127518A1 (zh) 避障方法、装置及可移动平台
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
WO2023056789A1 (zh) 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN111275015A (zh) 一种基于无人机的电力巡线电塔检测识别方法及系统
WO2020237516A1 (zh) 点云的处理方法、设备和计算机可读存储介质
JP2015114954A (ja) 撮影画像解析方法
CN113743391A (zh) 应用于低速自主驾驶机器人的三维障碍物检测系统与方法
WO2023185069A1 (zh) 物体检测方法及装置、计算机可读存储介质及无人车
WO2021114776A1 (en) Object detection method, object detection device, terminal device, and medium
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN114692720A (zh) 基于鸟瞰图的图像分类方法、装置、设备及存储介质
WO2020135447A1 (zh) 一种目标距离估计方法、装置及无人机
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
US10991155B2 (en) Landmark location reconstruction in autonomous machine applications
Petrovai et al. Obstacle detection using stereovision for Android-based mobile devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901453

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19901453

Country of ref document: EP

Kind code of ref document: A1