WO2020135446A1 - 一种目标定位方法和装置、无人机 - Google Patents

一种目标定位方法和装置、无人机 Download PDF

Info

Publication number
WO2020135446A1
WO2020135446A1 PCT/CN2019/128057 CN2019128057W WO2020135446A1 WO 2020135446 A1 WO2020135446 A1 WO 2020135446A1 CN 2019128057 W CN2019128057 W CN 2019128057W WO 2020135446 A1 WO2020135446 A1 WO 2020135446A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
target
original point
coordinate system
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2019/128057
Other languages
English (en)
French (fr)
Inventor
郑欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Autel Robotics Co Ltd
Original Assignee
Autel Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Autel Robotics Co Ltd filed Critical Autel Robotics Co Ltd
Publication of WO2020135446A1 publication Critical patent/WO2020135446A1/zh
Priority to US17/357,346 priority Critical patent/US12008824B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/653—Three-dimensional [3D] objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Definitions

  • the present invention relates to the field of visual tracking technology, and more specifically, to a target positioning method and device, and a drone.
  • Vision tracking algorithms are widely used in robots or drones. Most of the algorithms are based on two-dimensional images or videos to identify the location of tracking targets in a planar image. When tracking, it is not possible to intuitively predict or perceive the three-dimensional position of the tracking target.
  • Existing methods can estimate the three-dimensional space position of the target through methods such as fixed target initialization height or plane assumption, so as to construct a spatial motion model to predict the target's next movement. However, this method has the disadvantages of robustness and few applicable scenes. In path planning, the position accuracy of the three-dimensional target point also directly affects the planning results.
  • the technical problem to be solved by the present invention is to provide a target positioning method and device and drone in view of the above-mentioned defects of the prior art.
  • the technical solution adopted by the present invention to solve its technical problem is to provide a target positioning method for a drone, the drone includes an image acquisition device and a depth sensor, and the method includes:
  • position information of the target in three-dimensional space is acquired.
  • the position information of the target in the target image includes the coordinates of the minimum bounding box of the target in the target image, and then according to the original point cloud and the target Obtaining the position information in the target image and obtaining the point cloud corresponding to the target in the original point cloud includes:
  • the original point cloud whose coordinates fall within the minimum bounding box is the point cloud corresponding to the target.
  • the projecting the original point cloud onto the plane where the target image is located to obtain the coordinates of the original point cloud on the plane where the target image is located includes:
  • the coordinates of the original point cloud in the coordinate system of the image acquisition device satisfy:
  • the conversion matrix T of the depth sensor coordinate system to the image acquisition device coordinate system satisfies:
  • T T 2 T ⁇ T 1 ;
  • T 1 is a conversion matrix from the depth sensor coordinate system to the drone fuselage coordinate system
  • T 2 is a conversion matrix from the image acquisition device coordinate system to the drone fuselage coordinate system.
  • the coordinates (u, v) of the original point cloud in the plane where the target image is located satisfy:
  • the method before acquiring the point cloud corresponding to the target in the original point cloud according to the original point cloud and the position information of the target in the target image, the method further include:
  • the acquiring position information of the target in the three-dimensional space according to the point cloud corresponding to the target includes:
  • the three-dimensional coordinates of the point cloud corresponding to the target are averaged, wherein the average is used to indicate the position of the target in the three-dimensional map.
  • the depth sensor includes at least one of the following:
  • Binocular camera structured light camera
  • TOF Time Of Flight
  • the invention also provides a target positioning device for a drone, including:
  • An image acquisition module configured to acquire a target image and acquire position information of the target in the target image according to the target image
  • An original point cloud acquisition module for acquiring an original point cloud of the environment in front of the drone.
  • Target position acquisition module for:
  • position information of the target in three-dimensional space is acquired.
  • the target position acquisition module is specifically used to:
  • the original point cloud whose coordinates fall within the minimum bounding box is the point cloud corresponding to the target.
  • the target position acquisition module is specifically used to:
  • the coordinates of the original point cloud in the coordinate system of the image acquisition module satisfy:
  • T is a conversion matrix from the original point cloud acquisition module coordinate system to the image acquisition module coordinate system.
  • the conversion matrix T of the coordinate system of the original point cloud acquisition module to the coordinate system of the image acquisition module satisfies:
  • T T 2 T ⁇ T 1 ;
  • T 1 is the conversion matrix from the original point cloud acquisition module coordinate system to the drone fuselage coordinate system
  • T 2 is the conversion from the image acquisition module coordinate system to the drone fuselage coordinate system matrix
  • the coordinates (u, v) of the original point cloud in the plane where the target image is located satisfy:
  • the device further includes a point cloud filtering module, and the point cloud filtering module is used to:
  • the target position acquisition module is specifically used to:
  • the three-dimensional coordinates of the point cloud corresponding to the target are averaged, wherein the average is used to indicate the position of the target in the three-dimensional map.
  • the original point cloud acquisition module is a depth sensor
  • the depth sensor includes at least one of the following:
  • Binocular camera structured light camera
  • TOF Time Of Flight
  • the invention also provides a drone, including:
  • the machine arm is connected to the fuselage
  • a power device which is provided on the arm and used to provide the power required for the drone to fly;
  • a depth sensor is provided on the fuselage and used to obtain the original point cloud of the environment in front of the drone;
  • An image acquisition device provided on the body, for acquiring a target image and acquiring position information of the target in the target image based on the target image;
  • a vision chip is provided on the fuselage, and the depth sensor and the image acquisition device are both in communication connection with the vision chip;
  • the vision chip is used for:
  • position information of the target in three-dimensional space is acquired.
  • the vision chip is specifically used for:
  • the original point cloud whose coordinates fall within the minimum bounding box is the point cloud corresponding to the target.
  • the vision chip is specifically used for:
  • the coordinates of the original point cloud in the coordinate system of the image acquisition device satisfy:
  • the conversion matrix T of the depth sensor coordinate system to the image acquisition device coordinate system satisfies:
  • T T 2 T ⁇ T 1 ;
  • T 1 is a conversion matrix from the depth sensor coordinate system to the body coordinate system
  • T 2 is a conversion matrix from the image acquisition device coordinate system to the body coordinate system.
  • the coordinates (u, v) of the original point cloud in the plane where the target image is located satisfy:
  • the vision chip is also used to:
  • the vision chip is specifically used for:
  • the three-dimensional coordinates of the point cloud corresponding to the target are averaged, wherein the average is used to indicate the position of the target in the three-dimensional map.
  • the depth sensor includes at least one of the following:
  • Binocular camera structured light camera
  • TOF Time Of Flight
  • the present invention obtains a target image through an image acquisition device, obtains the position information of the target in the target image according to the target image, and obtains the original environment of the drone's front environment through a depth sensor Point cloud, and then obtain the point cloud corresponding to the target in the original point cloud according to the original point cloud and the position information of the target in the target image, and then obtain the position information of the target in three-dimensional space from the obtained point cloud corresponding to the target , So as to accurately determine the real-time position of the target at the current moment from the obtained position information of the target in three-dimensional space, which not only obtains the depth information of the target, but also provides a more stable and accurate motion estimation model for target tracking, reducing The probability of misidentification and tracking loss can realize more accurate visualization of 3D path planning and real-time 3D reconstruction. At the same time, it can also use 3D maps with target objects for obstacle avoidance, which can avoid path planning from misunderstanding the target as an obstacle.
  • FIG. 1 is a schematic flowchart of a target positioning method provided by an embodiment of the present invention.
  • FIG. 2 is a schematic diagram of the smallest circumscribed frame of the target in the target image in the embodiment of the present invention.
  • FIG. 3 is a schematic diagram of target positioning in an embodiment of the present invention.
  • FIG. 4 is a schematic block diagram of a target positioning device provided by an embodiment of the present invention.
  • FIG. 5 is a schematic block diagram of a drone provided by an embodiment of the present invention.
  • an embodiment of the present invention provides a target positioning method.
  • This method can be used by the UAV to obtain the position information of the target in three-dimensional space in real time. It can also build a three-dimensional motion model based on the obtained position information in three-dimensional space to predict the target's next movement, or it can be based on the obtained
  • the position information in the three-dimensional space is reconstructed three-dimensionally, a three-dimensional map with targets is established, and the three-dimensional map with targets is used for obstacle avoidance and path planning, and the path planning can also avoid misunderstanding the target as an obstacle.
  • FIG. 1 it is a schematic flowchart of a target positioning method according to an embodiment of the present invention.
  • the target positioning method includes the following steps:
  • Step S1 Acquire a target image through the image acquisition device 122.
  • the image acquisition device 122 may be a color camera, and the image acquired by the target is a two-dimensional plane, that is, the target image acquired by the image acquisition device 122 is a two-dimensional image. It may include two-dimensional coordinate information, color information, etc. of the image.
  • the embodiment of the present invention does not specifically limit the parameters and positions of the color camera used, as long as the calibration parameters of the color camera are known; or it can be designed as an active structure to rotate with the target position, as long as it can be obtained The conversion relationship of the color camera relative to the fuselage 12 of the drone 10 is sufficient.
  • Step S2 Acquire position information of the target in the target image according to the target image.
  • the position information of the target in the target image may include: the coordinates of the minimum bounding box of the target in the target image.
  • the smallest circumscribed frame of the target in the target image is the smallest circumscribed rectangular area including the target, as shown by 100 in FIG. 2.
  • Step S3 Obtain the original point cloud of the environment in front of the drone 10 through the depth sensor 121.
  • the type, number, and position of the depth sensor 121 are not particularly limited in the embodiment of the present invention, and can be selected and set according to actual following requirements.
  • the depth sensor 121 includes at least one of a binocular camera, a structured light camera, a TOF (Time Flight) camera, and a lidar.
  • a binocular camera a structured light camera
  • TOF Time Flight
  • lidar a lidar
  • multiple sets of depth cameras can be used in multi-directional or omni-directional arrangement; or the depth camera can be designed as an active structure to achieve rotation with the target position, that is, as long as the depth camera is available The conversion relationship with respect to the fuselage 12 is sufficient.
  • the environment in front of the drone 10 is the environment in the traveling direction of the drone 10.
  • Step S4 Acquire a point cloud corresponding to the target in the original point cloud according to the original point cloud and the position information of the target in the target image.
  • step S4 may specifically include:
  • Step S41 Project the original point cloud onto the plane where the target image is located to obtain the coordinates of the original point cloud on the plane where the target image is located.
  • step S41 may specifically include:
  • Step S411 Convert the coordinates of the original point cloud in the coordinate system of the depth sensor 121 into the coordinates of the original point cloud in the coordinate system of the image acquisition device 122.
  • the coordinates of the original point cloud in the coordinate system of the image acquisition device 122 satisfy:
  • (x′, y′, z′) is the coordinates of the original point cloud in the coordinate system of the image acquisition device 122
  • (x, y, z) is the original point cloud in the depth sensor 121
  • T is a conversion matrix from the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122.
  • the conversion matrix T from the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122 may use the conversion matrix T 1 from the depth sensor 121 to the coordinate system of the fuselage 12 of the drone 10 and the image acquisition device 122 to The conversion matrix T 2 of the coordinate system of the UAV 10 fuselage 12 is obtained.
  • the conversion matrix T from the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122 satisfies:
  • T T 2 T ⁇ T 1 (2).
  • T 1 is the conversion matrix of the coordinate system of the depth sensor 121 to the coordinate system of the body 12 of the drone 10
  • T 2 is the coordinate system of the image acquisition device 122 to the coordinates of the body 12 of the drone 10 The conversion matrix of the system.
  • the conversion matrix T of the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122 can be quickly obtained by formula (2), and then the coordinates of the original point cloud under the coordinate system of the image acquisition device 122 can be quickly calculated by formula (1) ( x', y', z').
  • Step S412 Project the coordinates of the original point cloud in the coordinate system of the image acquisition device 122 onto the plane where the target image is located to obtain the coordinates of the original point cloud on the plane where the target image is located.
  • the coordinates (u, v) of the original point cloud on the plane where the target image is located satisfy:
  • the original point cloud can be quickly calculated according to equations (3) and (4).
  • step S42 it is determined that the original point cloud whose coordinates fall within the smallest circumscribed frame is the point cloud corresponding to the target.
  • the target positioning method further includes the following steps:
  • the original point cloud whose coordinates fall within the smallest circumscribed frame can be filtered using a preset filtering method, where the preset filtering method includes but is not limited to Gaussian filtering method, radius filtering method, clustering method, smoothing Method, connected domain method, etc.
  • the total number of original point clouds whose coordinates fall within the smallest bounding box is n, and the average distance d i from the i-th original point cloud and the m nearest neighboring original point clouds is calculated.
  • d 1 ⁇ d n can form a Gaussian distribution, ie, d i ⁇ ( ⁇ , ⁇ ), calculate the expected ⁇ and variance ⁇ , according to the nature of the Gaussian distribution, if d i >M* ⁇ , the original point cloud does not belong to a rectangle The area needs to be filtered out.
  • M can take 2.0 ⁇ 3.0
  • m depends on the depth camera resolution and the order of the total original point cloud, generally can take a positive integer 30 ⁇ 50.
  • Step S5 Acquire position information of the target in the three-dimensional space according to the point cloud corresponding to the target.
  • step S5 may specifically include:
  • Step S51 Establish a three-dimensional map of the environment in front of the drone 10 according to the original point cloud of the environment in front of the drone 10.
  • the original point cloud of the environment in front of the drone 10 obtained by the depth sensor 121 and the point cloud corresponding to the target are converted to the world coordinate system, and the nothing obtained by the depth sensor 121 is converted to the world coordinate system.
  • the original point cloud of the environment in front of the man-machine 10 and the point cloud corresponding to the target are merged and post-processed to obtain a three-dimensional map of the environment in front of the drone 10.
  • all point clouds can be post-processed by using voxel filtering or octree , And finally get a three-dimensional map including the target.
  • the representation of the three-dimensional map can be represented by octrees, voxels, grid maps and direct point cloud maps, as long as it can represent the three-dimensional spatial relationship, and the invention is not specifically limited.
  • the map may be reduced to a two-dimensional map.
  • Step S52 Take an average value of the three-dimensional coordinates of the point cloud corresponding to the target, where the average value is used to indicate the position of the target in the three-dimensional map.
  • the positioning schematic diagram of the target positioning method is shown in FIG. 3, wherein the depth sensor 121 and the image acquisition device 122 are both provided on the fuselage 12 of the drone 10.
  • the target positioning method of the present invention through the data integration method obtained by the depth sensor 121 and the image acquisition device 122 provided on the drone 10, not only retains the traditional planar video and image tracking algorithms, but also obtains the target's Depth can provide a more stable and accurate motion estimation model for target tracking, effectively reducing the probability of false recognition and tracking loss. Moreover, because the target recognition is not available in the two-dimensional color image, the depth of the target cannot be obtained.
  • the present invention uses the conversion relationship to project the point cloud of the depth sensor 121 to the coordinate system of the image acquisition device 122, and then back-projects all the point clouds to the two-dimensional Plane and find the point cloud that meets the requirements.
  • the point cloud that meets the requirements is the original point cloud whose coordinates fall within the smallest bounding box.
  • all the first three-dimensional coordinates (original point cloud) obtained by the depth sensor 121 in a certain frame are A(x 1 , y 1 , z 1 ), B(x 2 , y 2 , z 2 ), C(x 3, y 3, z 3) , D (x 4, y 4, z 4), the image coordinates of the device 122 coordinates acquired as a (u '1, v' 1), B (u '2, v '2), C (u' 3, v '3), D (u' 4, v '4), while the minimum bounding box coordinates of a (u' 1, v ' 1), C (u' 3, v '3), meet the requirements of the point cloud is the a (u' 1, v ' 1), C (u' 3, v '3) corresponding to a (x 1, y 1, z 1) And C(x 3
  • the invention can accurately mark the size and position of the target in the three-dimensional map, and realize more accurate visualization of three-dimensional path planning and real-time three-dimensional reconstruction.
  • the point cloud marked with moving targets can avoid the path planning from mistaken the target as an obstacle.
  • FIG. 4 it is a functional block diagram of a target positioning device provided by an embodiment of the present invention.
  • the target positioning device can be used to implement the aforementioned target positioning method.
  • the target positioning device is used for the UAV 10 and may specifically include: an image acquisition module 401, an original point cloud acquisition module 402 and a target position acquisition module 403.
  • the image acquisition module 401 is configured to acquire a target image and acquire position information of the target in the target image according to the target image.
  • the image acquisition device 122 may be a color camera, and the image acquired by the target is a two-dimensional plane, that is, the target image acquired by the image acquisition device 122 is a two-dimensional image. It may include two-dimensional coordinate information, color information, etc. of the image.
  • the embodiment of the present invention does not specifically limit the parameters and positions of the color camera used, as long as the calibration parameters of the color camera are known; or it can be designed as an active structure to rotate with the target position, as long as it can be obtained The conversion relationship of the color camera relative to the fuselage 12 of the drone 10 is sufficient.
  • the position information of the target in the target image may include: the coordinates of the minimum bounding box of the target in the target image.
  • the smallest circumscribed frame of the target in the target image is the smallest circumscribed rectangular area including the target, as shown by 100 in FIG. 2.
  • the original point cloud obtaining module 402 is used to obtain an original point cloud of the environment in front of the drone 10.
  • the original point cloud acquisition module 402 of the embodiment of the present invention may include a depth sensor 121, and the original point cloud of the environment in front of the drone 10 may be acquired through the depth sensor 121.
  • the type, number, and position of the depth sensor 121 are not particularly limited in the embodiment of the present invention, and can be selected and set according to actual following requirements.
  • the depth sensor 121 includes at least one of a binocular camera, a structured light camera, a TOF (Time Flight) camera, and a lidar.
  • multiple sets of depth cameras can be used in multi-directional or omni-directional arrangement; or the depth camera can be designed as an active structure to achieve rotation with the target position, that is, as long as the depth camera is available The conversion relationship with respect to the fuselage 12 is sufficient.
  • the environment in front of the drone 10 is the environment in the traveling direction of the drone 10.
  • the target position acquisition module 403 is used to:
  • position information of the target in three-dimensional space is acquired.
  • the position information of the target in the target image may be the coordinates of the minimum bounding box of the target in the target image.
  • the target position acquiring module 403 is specifically configured to project the original point cloud onto the plane where the target image is located, so as to acquire the coordinates of the original point cloud on the plane where the target image is located.
  • the coordinates of the original point cloud in the coordinate system of the depth sensor 121 are first converted into the coordinates of the original point cloud in the coordinate system of the image acquisition device 122; then the original point cloud is The coordinates under the coordinate system of the image acquisition device 122 are projected onto the plane where the target image is located to obtain the coordinates of the original point cloud on the plane where the target image is located;
  • the coordinates of the original point cloud in the coordinate system of the image acquisition device 122 satisfy:
  • (x′, y′, z′) is the coordinates of the original point cloud in the coordinate system of the image acquisition device 122
  • (x, y, z) is the original point cloud in the depth sensor 121
  • T is a conversion matrix from the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122.
  • the conversion matrix T from the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122 may use the conversion matrix T 1 from the depth sensor 121 to the coordinate system of the fuselage 12 of the drone 10 and the image acquisition device 122 to The conversion matrix T 2 of the coordinate system of the UAV 10 fuselage 12 is obtained.
  • the conversion matrix T from the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122 satisfies:
  • T T 2 T ⁇ T 1 (2).
  • T 1 is the conversion matrix of the coordinate system of the depth sensor 121 to the coordinate system of the body 12 of the drone 10
  • T 2 is the coordinate system of the image acquisition device 122 to the coordinates of the body 12 of the drone 10 The conversion matrix of the system.
  • the conversion matrix T of the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122 can be quickly obtained by formula (2), and then the coordinates of the original point cloud under the coordinate system of the image acquisition device 122 can be quickly calculated by formula (1) ( x', y', z').
  • the coordinates (u, v) of the original point cloud in the plane where the target image is located satisfy:
  • the original point cloud can be quickly calculated according to equations (3) and (4).
  • the target position acquisition module 403 is further specifically configured to determine that the original point cloud whose coordinates fall within the minimum bounding box in the original point cloud is the point cloud corresponding to the target.
  • the target positioning device further includes a point cloud filtering module, and the point cloud filtering module is used to:
  • the original point cloud whose coordinates fall within the smallest circumscribed frame can be filtered using a preset filtering method, where the preset filtering method includes but is not limited to Gaussian filtering method, radius filtering method, clustering method, smoothing Method, connected domain method, etc.
  • the total number of original point clouds whose coordinates fall within the smallest bounding box is n, and the average distance d i from the i-th original point cloud and the m nearest neighboring original point clouds is calculated.
  • d 1 ⁇ d n can form a Gaussian distribution, ie, d i ⁇ ( ⁇ , ⁇ ), calculate the expected ⁇ and variance ⁇ , according to the nature of the Gaussian distribution, if d i >M* ⁇ , the original point cloud does not belong to a rectangle The area needs to be filtered out.
  • M can take 2.0 ⁇ 3.0
  • m depends on the depth camera resolution and the order of the total original point cloud, generally can take a positive integer 30 ⁇ 50.
  • target position acquisition module 403 of the embodiment of the present invention is specifically used to: establish a three-dimensional map of the environment in front of the drone 10 according to the original point cloud of the environment in front of the drone 10.
  • the original point cloud of the environment in front of the drone 10 obtained by the depth sensor 121 and the point cloud corresponding to the target are converted to the world coordinate system, and the nothing obtained by the depth sensor 121 is converted to the world coordinate system.
  • the original point cloud of the environment in front of the man-machine 10 and the point cloud corresponding to the target are merged and post-processed to obtain a three-dimensional map of the environment in front of the drone 10.
  • all point clouds can be post-processed by using voxel filtering or octree , And finally get a three-dimensional map including the target.
  • the representation of the three-dimensional map can be represented by octrees, voxels, grid maps and direct point cloud maps, as long as it can represent the three-dimensional spatial relationship, and the invention is not specifically limited.
  • the map may be reduced to a two-dimensional map.
  • the target position acquisition module 403 of the embodiment of the present invention is specifically configured to: average the three-dimensional coordinates of the point cloud corresponding to the target, wherein the average value is used to indicate that the target is in the three-dimensional map In the location.
  • the target position acquisition module 403 may be a vision chip 123.
  • FIG. 5 it is a schematic block diagram of a drone 10 according to an embodiment of the present invention.
  • the drone 10 provided by the embodiment of the present invention may be used to implement the foregoing target positioning method.
  • the UAV 10 can accurately determine the real-time position of the target at the current moment, not only to obtain the depth information of the target, but also to provide a stable and accurate motion estimation model for target tracking, reducing the probability of false recognition and tracking loss, It can realize more accurate visualization of three-dimensional path planning and real-time three-dimensional reconstruction.
  • it can also use a three-dimensional map with target objects for obstacle avoidance, which can avoid path planning from misunderstanding the target as an obstacle.
  • the drone 10 of the embodiment of the present invention includes: a fuselage 12, an arm 11 connected to the fuselage 12, a power device 111 provided on the arm 11, and a depth sensor 121 provided on the fuselage 12 , An image acquisition device 122 provided on the body 12 and a visual chip 123 provided on the body 12
  • the power device 111 is used to provide the power required by the drone 10 to fly.
  • the power device 111 may include a motor provided on the arm 11 and a propeller connected to the motor. The motor drives the propeller to rotate at a high speed to provide the power required for the drone to fly.
  • the depth sensor 121 is used to obtain the original point cloud of the environment in front of the drone 10.
  • the original point cloud acquisition module 402 of the embodiment of the present invention may include a depth sensor 121, and the original point cloud of the environment in front of the drone 10 may be acquired through the depth sensor 121.
  • the type, number, and position of the depth sensor 121 are not particularly limited in the embodiment of the present invention, and can be selected and set according to actual following requirements.
  • the depth sensor 121 includes at least one of a binocular camera, a structured light camera, a TOF (Time Flight) camera, and a lidar.
  • multiple sets of depth cameras can be used in multi-directional or omni-directional arrangement; or the depth camera can be designed as an active structure to achieve rotation with the target position, that is, as long as the depth camera is available The conversion relationship with respect to the fuselage 12 is sufficient.
  • the environment in front of the drone 10 is the environment in the traveling direction of the drone 10.
  • the image obtaining device 122 is used to obtain a target image and obtain position information of the target in the target image according to the target image.
  • the image acquisition device 122 may be a color camera, and the image acquired by the target is a two-dimensional plane, that is, the target image acquired by the image acquisition device 122 is a two-dimensional image. It may include two-dimensional coordinate information, color information, etc. of the image.
  • the embodiment of the present invention does not specifically limit the parameters and positions of the color camera used, as long as the calibration parameters of the color camera are known; or it can be designed as an active structure to rotate with the target position, as long as it can be obtained The conversion relationship of the color camera relative to the fuselage 12 of the drone 10 is sufficient.
  • the position information of the target in the target image may include: the coordinates of the minimum bounding box of the target in the target image.
  • the smallest circumscribed frame of the target in the target image is the smallest circumscribed rectangular area including the target, as shown by 100 in FIG. 2.
  • the position information of the target in the target image includes the coordinates of the minimum bounding box of the target in the target image.
  • the vision chip 123 is communicatively connected to the depth sensor 121 and the image acquisition device 122.
  • the vision chip 123 is used for:
  • position information of the target in three-dimensional space is acquired.
  • the position information of the target in the target image may be the coordinates of the minimum bounding box of the target in the target image.
  • the vision chip 123 is specifically used to project the original point cloud onto the plane where the target image is located, so as to obtain the coordinates of the original point cloud on the plane where the target image is located.
  • the coordinates of the original point cloud in the coordinate system of the depth sensor 121 are first converted into the coordinates of the original point cloud in the coordinate system of the image acquisition device 122; then the original point cloud is The coordinates under the coordinate system of the image acquisition device 122 are projected onto the plane where the target image is located to obtain the coordinates of the original point cloud on the plane where the target image is located;
  • the coordinates of the original point cloud in the coordinate system of the image acquisition device 122 satisfy:
  • (x′, y′, z′) is the coordinates of the original point cloud in the coordinate system of the image acquisition device 122
  • (x, y, z) is the original point cloud in the depth sensor 121
  • T is a conversion matrix from the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122.
  • the conversion matrix T from the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122 may use the conversion matrix T 1 from the depth sensor 121 to the coordinate system of the fuselage 12 of the drone 10 and the image acquisition device 122 to The conversion matrix T 2 of the coordinate system of the UAV 10 fuselage 12 is obtained.
  • the conversion matrix T of the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122 satisfies:
  • T T 2 T ⁇ T 1 (2).
  • T 1 is the conversion matrix of the coordinate system of the depth sensor 121 to the coordinate system of the body 12 of the drone 10
  • T 2 is the coordinate system of the image acquisition device 122 to the coordinates of the body 12 of the drone 10 The conversion matrix of the system.
  • the conversion matrix T of the coordinate system of the depth sensor 121 to the coordinate system of the image acquisition device 122 can be quickly obtained by formula (2), and then the coordinates of the original point cloud under the coordinate system of the image acquisition device 122 can be quickly calculated by formula (1) ( x', y', z').
  • the coordinates (u, v) of the original point cloud in the plane where the target image is located satisfy:
  • the original point cloud can be quickly calculated according to equations (3) and (4).
  • the visual chip 123 is specifically used to determine that the original point cloud whose coordinates fall within the minimum bounding box in the original point cloud is the point cloud corresponding to the target.
  • vision chip 123 is also used for:
  • the original point cloud whose coordinates fall within the smallest circumscribed frame can be filtered using a preset filtering method, where the preset filtering method includes but is not limited to Gaussian filtering method, radius filtering method, clustering method, smoothing Method, connected domain method, etc.
  • the total number of original point clouds whose coordinates fall within the smallest bounding box is n, and the average distance d i from the i-th original point cloud and the m nearest neighboring original point clouds is calculated.
  • d 1 ⁇ d n can form a Gaussian distribution, ie, d i ⁇ ( ⁇ , ⁇ ), calculate the expected ⁇ and variance ⁇ , according to the nature of the Gaussian distribution, if d i >M* ⁇ , the original point cloud does not belong to a rectangle The area needs to be filtered out.
  • M can take 2.0 ⁇ 3.0
  • m depends on the depth camera resolution and the order of the total original point cloud, generally can take a positive integer 30 ⁇ 50.
  • vision chip 123 is specifically used for:
  • the original point cloud of the environment in front of the drone 10 obtained by the depth sensor 121 and the point cloud corresponding to the target are converted to the world coordinate system, and the nothing obtained by the depth sensor 121 is converted to the world coordinate system.
  • the original point cloud of the environment in front of the man-machine 10 and the point cloud corresponding to the target are merged and post-processed to obtain a three-dimensional map of the environment in front of the drone 10.
  • all point clouds can be post-processed by using voxel filtering or octree , And finally get a three-dimensional map including the target.
  • the representation of the three-dimensional map can be represented by octrees, voxels, grid maps and direct point cloud maps, as long as it can represent the three-dimensional spatial relationship, and the invention is not specifically limited.
  • the map may be reduced to a two-dimensional map.
  • the three-dimensional coordinates of the point cloud corresponding to the target are averaged, wherein the average is used to indicate the position of the target in the three-dimensional map.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种目标定位方法和装置、无人机，该方法包括：通过图像获取装置获取目标图像；根据目标图像，获取目标在目标图像中的位置信息；通过深度传感器获取无人机前方环境的原始点云；根据原始点云和目标在目标图像中的位置信息，获取原始点云中与目标对应的点云；根据与目标对应的点云，获取目标在三维空间中的位置信息。本发明通过对目标三维空间位置信息的确定既得到了目标的深度信息，也可以为目标跟踪提供稳定性和精度更高的运动估算模型，减少误识别和跟踪丢失的概率，可以实现更准确的三维路径规划和实时三维重建的可视化，同时还可以利用具有目标物体的三维地图进行避障。

Description

一种目标定位方法和装置、无人机 技术领域
本发明涉及视觉跟踪技术领域，更具体地说，涉及一种目标定位方法和装置、无人机。
背景技术
视觉跟踪算法广泛的用于机器人或无人机中，算法大多基于二维图像或视频，识别跟踪目标在平面图像中的位置。跟踪时不能直观的预测或感知跟踪目标的三维位置，现有方法可通过固定目标初始化高度或平面假设等方法来估算目标的三维空间位置，以便构造空间运动模型预测目标下一时刻的运动。但该方法有鲁棒性，适用场景少的缺点，而在路径规划中，三维目标点的位置准确性也直接影响了规划结果。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种目标定位方法和装置、无人机。
本发明解决其技术问题所采用的技术方案是：提供一种目标定位方法，用于无人机，所述无人机包括图像获取装置和深度传感器，该方法包括：
通过所述图像获取装置获取目标图像；
根据所述目标图像，获取所述目标在所述目标图像中的位置信息；
通过所述深度传感器获取所述无人机前方环境的原始点云；
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
在其中一个实施例中，所述目标在所述目标图像中的位置信息包括所述目标在所述目标图像中的最小外接框坐标，则所述根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云，包括：
将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
在其中一个实施例中，所述将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标，包括：
将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标；
将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
在其中一个实施例中，所述原始点云在所述图像获取装置坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000001
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器坐标系下的坐标，T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
在其中一个实施例中，所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足：
T＝T 2 T×T 1；
其中，T 1为所述深度传感器坐标系至所述无人机机身坐标系的转换矩阵， T 2为所述图像获取装置坐标系至所述无人机机身坐标系的转换矩阵。
在其中一个实施例中，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000002
Figure PCTCN2019128057-appb-000003
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置的内参矩阵。
在其中一个实施例中，在所述根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云之前，该方法还包括：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
在其中一个实施例中，所述根据所述与所述目标对应的点云，获取所述目标在所述三维空间中的位置信息，包括：
根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
在其中一个实施例中，所述深度传感器包括以下中的至少一种：
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
本发明还提供一种目标定位装置，用于无人机，包括：
图像获取模块，用于获取目标图像和根据所述目标图像获取所述目标在所述目标图像中的位置信息；
原始点云获取模块，用于获取所述无人机前方环境的原始点云；以及
目标位置获取模块，用于：
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
在其中一个实施例中，所述目标位置获取模块具体用于：
将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
在其中一个实施例中，所述目标位置获取模块具体用于：
将所述原始点云在所述原始点云获取模块坐标系下的坐标转换为所述原始点云在所述图像获取模块坐标系下的坐标；
将所述原始点云在所述图像获取模块坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
在其中一个实施例中，所述原始点云在所述图像获取模块坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000004
其中，(x′，y′，z′)为所述原始点云在所述图像获取模块坐标系下的坐标，(x，y，z)为所述原始点云在所述原始点云获取模块坐标系下的坐标，T为所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵。
在其中一个实施例中，所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵T满足：
T＝T 2 T×T 1；
其中，T 1为所述原始点云获取模块坐标系至所述无人机机身坐标系的转换矩阵，T 2为所述图像获取模块坐标系至所述无人机机身坐标系的转换矩阵。
在其中一个实施例中，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000005
Figure PCTCN2019128057-appb-000006
其中，(x′，y′，z′)为所述原始点云在所述图像获取模块坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取模块的内参矩阵。
在其中一个实施例中，该装置还包括点云滤波模块，所述点云滤波模块用于：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
在其中一个实施例中，所述目标位置获取模块具体用于：
根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
在其中一个实施例中，所述原始点云获取模块为深度传感器，所述深度传感器包括以下中的至少一种：
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
本发明还提供一种无人机，包括：
机身；
机臂，与所述机身相连；
动力装置，设于所述机臂，用于提供所述无人机飞行所需的动力；
深度传感器，设于所述机身，用于获取所述无人机前方环境的原始点云；
图像获取装置，设于所述机身，用于获取目标图像并根据所述目标图像，获取所述目标在所述目标图像中的位置信息；以及
视觉芯片，设于所述机身，所述深度传感器与所述图像获取装置均与所述视觉芯片通信连接；
所述视觉芯片用于：
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
在其中一个实施例中，所述视觉芯片具体用于：
将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与 所述目标对应的点云。
在其中一个实施例中，所述视觉芯片具体用于：
将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标；
将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
在其中一个实施例中，所述原始点云在所述图像获取装置坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000007
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器坐标系下的坐标，T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
在其中一个实施例中，所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足：
T＝T 2 T×T 1；
其中，T 1为所述深度传感器坐标系至所述机身坐标系的转换矩阵，T 2为所述图像获取装置坐标系至所述机身坐标系的转换矩阵。
在其中一个实施例中，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000008
Figure PCTCN2019128057-appb-000009
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置的内参矩阵。
在其中一个实施例中，所述视觉芯片还用于：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
在其中一个实施例中，所述视觉芯片具体用于：
根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
在其中一个实施例中，所述深度传感器包括以下中的至少一种：
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
实施本发明的目标定位方法，具有以下有益效果：本发明通过图像获取装置获取目标图像，并根据目标图像获得目标在该目标图像中的位置信息，以及通过深度传感器获取无人机前方环境的原始点云，进而根据原始点云和目标在目标图像中的位置信息，获得原始点云中与目标对应的点云，再由所获得的与目标对应的点云得到目标在三维空间中的位置信息，从而由所获得的目标在三维空间中的位置信息准确地确定目标在当前时刻的实时位置，既得到了目标的深度信息，也可以为目标跟踪提供稳定性和精度更高的运动估 算模型，减少误识别和跟踪丢失的概率，可以实现更准确的三维路径规划和实时三维重建的可视化，同时还可以利用具有目标物体的三维地图进行避障，可避免路径规划将目标误认为障碍物。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例提供的一种目标定位方法的流程示意图；
图2是本发明实施例中的目标在目标图像中的最小外接框的示意图；
图3是本发明实施例中的目标定位示意图；
图4是本发明实施例提供的一种目标定位装置的原理框图；
图5是本发明实施例提供的一种无人机的原理框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参考图1，本发明实施例提供了一种目标定位方法。该方法可以供无人机实时获取目标在三维空间中的位置信息，还可以根据所获取的在三维空间中的位置信息进行三维运动模型构建，预测目标下一时刻的运动，或者可以根据所获取的在三维空间中的位置信息进行三维重建，建立具有目标的三维地图，利用具有目标的三维地图进行避障和路径规划，且还可以避免路径规划将目标误认为障碍物。
如图1所示，为本发明实施例提供的一种目标定位方法的流程示意图。
该目标定位方法包括以下步骤：
步骤S1、通过所述图像获取装置122获取目标图像。
本发明实施例中，图像获取装置122可以为彩色相机，其所获取的是目标在二维平面的图像，即图像获取装置122所获取的目标图像为二维图像。 其可以包括图像的二维坐标信息、颜色信息等。其中，本发明实施例对所采用的彩色相机的参数和位置不作具体限制，只要已知彩色相机的标定参数即可；或者也可以设计为活动结构以达到随目标位置而旋转，即只要可以获取彩色相机相对于无人机10的机身12的转换关系即可。
步骤S2、根据所述目标图像，获取所述目标在所述目标图像中的位置信息。
可以理解地，本发明实施例中，目标在目标图像中的位置信息可以包括：目标在所述目标图像中的最小外接框坐标。其中，目标在目标图像中的最小外接框为包括目标在内的最小外接矩形区域，如图2中的100所示。
步骤S3、通过所述深度传感器121获取所述无人机10前方环境的原始点云。
本发明实施例中，对于深度传感器121的种类、数量和位置本发明实施例不作具体限制，可以根据实际的跟随需求进行选择设定。例如，深度传感器121包括双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达中的至少一种。为了保证深度相机可以在任意时刻都观测到目标物体，可以采用多组深度相机多向或全向排列；或者将深度相机设计为活动结构以达到随目标位置而旋转等，即只要可以获得深度相机相对于机身12的转换关系即可。
本发明实施例中，无人机10前方环境为无人机10行进方向上的环境。
步骤S4、根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云。
可以理解地，目标在目标图像中的位置信息可以为目标在目标图像中的最小外接框坐标。此时，步骤S4具体可以包括：
步骤S41、将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标。
本发明实施例中，步骤S41具体可以包括：
步骤S411、将所述原始点云在所述深度传感器121坐标系下的坐标转换为所述原始点云在所述图像获取装置122坐标系下的坐标。
可选的，本发明实施例中，所述原始点云在所述图像获取装置122坐标 系下的坐标满足：
Figure PCTCN2019128057-appb-000010
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器121坐标系下的坐标，T为所述深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵。通过(1)式，可以快速获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
由于无人机10的深度传感器121和图像获取装置122往往会在运动过程中旋转，所以两个坐标系转换举矩阵往往不能直接得到。在一些实施例中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T可以用深度传感器121至无人机10机身12坐标系的转换矩阵T 1以及图像获取装置122至无人机10机身12坐标系的转换举矩阵T 2求出。
其中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T满足：
T＝T 2 T×T 1  (2)。
其中，T 1为所述深度传感器121坐标系至所述无人机10机身12坐标系的转换矩阵，T 2为所述图像获取装置122坐标系至所述无人机10机身12坐标系的转换矩阵。
通过(2)式可以快速获得深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T，进而通过(1)式快速计算出原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
步骤S412、将所述原始点云在所述图像获取装置122坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
可选的，本发明实施例中，原始点云在所述目标图像所在平面的坐标 (u，v)满足：
Figure PCTCN2019128057-appb-000011
Figure PCTCN2019128057-appb-000012
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置122的内参矩阵。
因此，在获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)后，再根据(3)式和(4)式可以快速地计算出原始点云在所述目标图像所在平面的坐标(u，v)。
步骤S42、确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
具体的，通过上述方法获得原始点云在目标图像所在平面的所有坐标后，将所获得的每一个原始点云在目标图像所在平面的坐标与最小外接框进行比较判断，进而确定所有坐标落在所述最小外接框内平面坐标，其中，在目标图像所在平面的坐标落在最小外接框内的原始点云即为与所述目标对应的点云。
进一步地，在执行步骤S4之前，该目标定位方法还包括以下步骤：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
可选的，对坐标落入最小外接框内的原始点云进行滤波可以采用预设滤波法进行滤波，其中，预设滤波法包括但不限于高斯滤波法、半径滤波法、聚类法、平滑法、连通域法等。
以高斯滤波法为例进行说明，设坐标落入最小外接框内的原始点云总数为n，计算距离第i个原始点云与距离其最近的m个相邻原始点云的平均距离d i，则d 1～d n可构成高斯分布，即d i～(μ，σ)，计算期望μ与方差σ，根据 高斯分布性质，若d i＞M*σ，则该原始点云不属于矩形区域，需滤除。其中，M可取2.0～3.0，m根据深度相机分辨率与总原始点云的数量级而定，一般可以取正整数30～50。
同理，采用半径滤波法、聚类法、平滑法、连通域法等方法也可以达到相同效果。
步骤S5、根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
可选的，步骤S5具体可以包括：
步骤S51、根据所述无人机10前方环境的原始点云，建立所述无人机10前方环境的三维地图。
具体的，将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云转换至世界坐标系下，并在世界坐标系下将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云合并及后处理，得到无人机10前方环境的三维地图。
可选的，将在世界坐标系下将深度传感器121获取到的所有的原始点云和目标点云进行合并后，进一步可以采用体素滤波、或者八叉树等方法将所有点云进行后处理，最终得到包括目标在内的三维地图。其中，三维地图的表示可以用八叉树、体素、网格图以及直接点云图等进行表示，只要可以表示三维空间关系即可，本发明不作具体限定。当然，可以理解地，在其他一些实施例中，为了减小计算量，可以将地图降维成二维地图。
步骤S52、对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
具体的，本发明实施例中，该目标定位方法的定位示意图如图3所示，其中，深度传感器121传感器和图像获取装置122均设置在无人机10的机身12上。
本发明的目标定位方法，通过设置在无人机10上的深度传感器121和图像获取装置122分别获取的数据整合的方法，既保留了传统平面视频和图像跟踪的算法，同时又得到了目标的深度，可为目标跟踪提供稳定性和精度更 高的运动估算模型，有效减少误识别和跟踪丢失的概率。而且，由于目标识别在二维彩色图像中，不可获得目标的深度，本发明利用转换关系将深度传感器121的点云投影至图像获取装置122坐标系，再将所有点云反向投影至二维平面，并找出符合要求的点云，这里，符合要求的点云为坐标落在最小外接框内的原始点云。例如，设深度传感器121在某一帧得到的所有第一三维坐标(原始点云)为A(x 1，y 1，z 1)、B(x 2，y 2，z 2)、C(x 3，y 3，z 3)、D(x 4，y 4，z 4)，所图像获取装置122坐标系下的坐标为A(u‘ 1，v‘ 1)、B(u‘ 2，v‘ 2)、C(u‘ 3，v‘ 3)、D(u‘ 4，v‘ 4)，而在最小外接框内的坐标为A(u‘ 1，v‘ 1)、C(u‘ 3，v‘ 3)，则符合要求的点云即为A(u‘ 1，v‘ 1)、C(u‘ 3，v‘ 3)所对应的A(x 1，y 1，z 1)和C(x 3，y 3，z 3)。
另外，本发明还可以在三维地图中准确标注目标的大小和位置，实现更准确的三维路径规划和实时三维重建的可视化。同时标注移动目标的点云可避免路径规划将目标物误认为障碍物。
参考图4，为本发明实施例提供的一种目标定位装置的原理框图。该目标定位装置可以用于实现前述的目标定位方法。
如图4所示，该目标定位装置，用于无人机10，具体可以包括：图像获取模块401、原始点云获取模块402和目标位置获取模块403。
图像获取模块401，用于获取目标图像和根据所述目标图像获取所述目标在所述目标图像中的位置信息。
本发明实施例中，图像获取装置122可以为彩色相机，其所获取的是目标在二维平面的图像，即图像获取装置122所获取的目标图像为二维图像。其可以包括图像的二维坐标信息、颜色信息等。其中，本发明实施例对所采用的彩色相机的参数和位置不作具体限制，只要已知彩色相机的标定参数即可；或者也可以设计为活动结构以达到随目标位置而旋转，即只要可以获取彩色相机相对于无人机10的机身12的转换关系即可。
可以理解地，本发明实施例中，目标在目标图像中的位置信息可以包括：目标在所述目标图像中的最小外接框坐标。其中，目标在目标图像中的最小外接框为包括目标在内的最小外接矩形区域，如图2中的100所示。
原始点云获取模块402，用于获取所述无人机10前方环境的原始点云。
可选的，本发明实施例的原始点云获取模块402可以包括深度传感器121，通过深度传感器121可以获取无人机10前方环境的原始点云。其中，本发明实施例对于深度传感器121的种类、数量和位置本发明实施例不作具体限制，可以根据实际的跟随需求进行选择设定。例如，深度传感器121包括双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达中的至少一种。为了保证深度相机可以在任意时刻都观测到目标物体，可以采用多组深度相机多向或全向排列；或者将深度相机设计为活动结构以达到随目标位置而旋转等，即只要可以获得深度相机相对于机身12的转换关系即可。
本发明实施例中，无人机10前方环境为无人机10行进方向上的环境。
目标位置获取模块403，用于：
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云。
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
本发明实施例中，目标在目标图像中的位置信息可以为目标在目标图像中的最小外接框坐标。此时，目标位置获取模块403具体用于：将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标。
具体的，先将所述原始点云在所述深度传感器121坐标系下的坐标转换为所述原始点云在所述图像获取装置122坐标系下的坐标；然后将所述原始点云在所述图像获取装置122坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标；
可选的，本发明实施例中，所述原始点云在所述图像获取装置122坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000013
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器121坐标系下的坐标，T为所述深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵。通过(1)式，可以快速获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
由于无人机10的深度传感器121和图像获取装置122往往会在运动过程中旋转，所以两个坐标系转换举矩阵往往不能直接得到。在一些实施例中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T可以用深度传感器121至无人机10机身12坐标系的转换矩阵T 1以及图像获取装置122至无人机10机身12坐标系的转换举矩阵T 2求出。
其中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T满足：
T＝T 2 T×T 1  (2)。
其中，T 1为所述深度传感器121坐标系至所述无人机10机身12坐标系的转换矩阵，T 2为所述图像获取装置122坐标系至所述无人机10机身12坐标系的转换矩阵。
通过(2)式可以快速获得深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T，进而通过(1)式快速计算出原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
可选的，本发明实施例中，原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000014
Figure PCTCN2019128057-appb-000015
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置122的内参矩阵。
因此，在获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)后，再根据(3)式和(4)式可以快速地计算出原始点云在所述目标图像所在平面的坐标(u，v)。
进一步地，目标位置获取模块403还具体用于：确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
具体的，通过上述方法获得原始点云在目标图像所在平面的所有坐标后，将所获得的每一个原始点云在目标图像所在平面的坐标与最小外接框进行比较判断，进而确定所有坐标落在所述最小外接框内平面坐标，其中，在目标图像所在平面的坐标落在最小外接框内的原始点云即为与所述目标对应的点云。
进一步地，该目标定位装置还包括点云滤波模块，所述点云滤波模块用于：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
可选的，对坐标落入最小外接框内的原始点云进行滤波可以采用预设滤波法进行滤波，其中，预设滤波法包括但不限于高斯滤波法、半径滤波法、聚类法、平滑法、连通域法等。
以高斯滤波法为例进行说明，设坐标落入最小外接框内的原始点云总数为n，计算距离第i个原始点云与距离其最近的m个相邻原始点云的平均距离d i，则d 1～d n可构成高斯分布，即d i～(μ，σ)，计算期望μ与方差σ，根据高斯分布性质，若d i＞M*σ，则该原始点云不属于矩形区域，需滤除。其中，M可取2.0～3.0，m根据深度相机分辨率与总原始点云的数量级而定，一般可以取正整数30～50。
同理，采用半径滤波法、聚类法、平滑法、连通域法等方法也可以达到相同效果。
进一步地，本发明实施例的目标位置获取模块403具体用于：根据所述 无人机10前方环境的原始点云，建立所述无人机10前方环境的三维地图。
具体的，将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云转换至世界坐标系下，并在世界坐标系下将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云合并及后处理，得到无人机10前方环境的三维地图。
可选的，将在世界坐标系下将深度传感器121获取到的所有的原始点云和目标点云进行合并后，进一步可以采用体素滤波、或者八叉树等方法将所有点云进行后处理，最终得到包括目标在内的三维地图。其中，三维地图的表示可以用八叉树、体素、网格图以及直接点云图等进行表示，只要可以表示三维空间关系即可，本发明不作具体限定。当然，可以理解地，在其他一些实施例中，为了减小计算量，可以将地图降维成二维地图。
进一步地，本发明实施例的目标位置获取模块403具体用于：对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
本发明实施例中，目标位置获取模块403可以为视觉芯片123。
参考图5，为本发明实施例提供的一种无人机10的原理框图。可以理解地，本发明实施例提供的无人机10可以用于实现前述的目标定位方法。该无人机10可以准确地确定目标在当前时刻的实时位置，既得到了目标的深度信息，也可以为目标跟踪提供稳定性和精度更高的运动估算模型，减少误识别和跟踪丢失的概率，可以实现更准确的三维路径规划和实时三维重建的可视化，同时还可以利用具有目标物体的三维地图进行避障，可避免路径规划将目标误认为障碍物。
如图5所示，本发明实施例的无人机10包括：机身12、与机身12相连的机臂11、设于机臂11的动力装置111、设于机身12的深度传感器121、设于机身12的图像获取装置122以及设于机身12的视觉芯片123
本发明实施例中，动力装置111用于提供无人机10飞行所需的动力。可选的，动力装置111可以包括设于机臂11的电机和与电机相连的螺旋桨，电 机带动螺旋桨高速旋转以提供无人机飞行所需的动力。
本发明实施例中，深度传感器121用于获取所述无人机10前方环境的原始点云。
可选的，本发明实施例的原始点云获取模块402可以包括深度传感器121，通过深度传感器121可以获取无人机10前方环境的原始点云。其中，本发明实施例对于深度传感器121的种类、数量和位置本发明实施例不作具体限制，可以根据实际的跟随需求进行选择设定。例如，深度传感器121包括双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达中的至少一种。为了保证深度相机可以在任意时刻都观测到目标物体，可以采用多组深度相机多向或全向排列；或者将深度相机设计为活动结构以达到随目标位置而旋转等，即只要可以获得深度相机相对于机身12的转换关系即可。
本发明实施例中，无人机10前方环境为无人机10行进方向上的环境。
本发明实施例中，图像获取装置122用于获取目标图像并根据所述目标图像，获取所述目标在所述目标图像中的位置信息。
本发明实施例中，图像获取装置122可以为彩色相机，其所获取的是目标在二维平面的图像，即图像获取装置122所获取的目标图像为二维图像。其可以包括图像的二维坐标信息、颜色信息等。其中，本发明实施例对所采用的彩色相机的参数和位置不作具体限制，只要已知彩色相机的标定参数即可；或者也可以设计为活动结构以达到随目标位置而旋转，即只要可以获取彩色相机相对于无人机10的机身12的转换关系即可。
可以理解地，本发明实施例中，目标在目标图像中的位置信息可以包括：目标在所述目标图像中的最小外接框坐标。其中，目标在目标图像中的最小外接框为包括目标在内的最小外接矩形区域，如图2中的100所示。
可选的，目标在目标图像的位置信息包括目标在目标图像的最小外接框坐标。
本发明实施例中，视觉芯片123与深度传感器121和所述图像获取装置122通信连接。
具体的，视觉芯片123用于：
根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云。
根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
本发明实施例中，目标在目标图像中的位置信息可以为目标在目标图像中的最小外接框坐标。此时，视觉芯片123具体用于：将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标。
具体的，先将所述原始点云在所述深度传感器121坐标系下的坐标转换为所述原始点云在所述图像获取装置122坐标系下的坐标；然后将所述原始点云在所述图像获取装置122坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标；
可选的，本发明实施例中，所述原始点云在所述图像获取装置122坐标系下的坐标满足：
Figure PCTCN2019128057-appb-000016
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器121坐标系下的坐标，T为所述深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵。通过(1)式，可以快速获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
由于无人机10的深度传感器121和图像获取装置122往往会在运动过程中旋转，所以两个坐标系转换举矩阵往往不能直接得到。在一些实施例中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T可以用深度传感器121至无人机10机身12坐标系的转换矩阵T 1以及图像获取装置122至无人机10机身12坐标系的转换举矩阵T 2求出。
其中，深度传感器121坐标系至所述图像获取装置122坐标系的转换矩 阵T满足：
T＝T 2 T×T 1  (2)。
其中，T 1为所述深度传感器121坐标系至所述无人机10机身12坐标系的转换矩阵，T 2为所述图像获取装置122坐标系至所述无人机10机身12坐标系的转换矩阵。
通过(2)式可以快速获得深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T，进而通过(1)式快速计算出原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)。
可选的，本发明实施例中，原始点云在所述目标图像所在平面的坐标(u，v)满足：
Figure PCTCN2019128057-appb-000017
Figure PCTCN2019128057-appb-000018
其中，(x′，y′，z′)为所述原始点云在所述图像获取装置122坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置122的内参矩阵。
因此，在获得原始点云在图像获取装置122坐标系下的坐标(x′，y′，z′)后，再根据(3)式和(4)式可以快速地计算出原始点云在所述目标图像所在平面的坐标(u，v)。
进一步地，视觉芯片123具体还用于：确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
具体的，通过上述方法获得原始点云在目标图像所在平面的所有坐标后，将所获得的每一个原始点云在目标图像所在平面的坐标与最小外接框进行比较判断，进而确定所有坐标落在所述最小外接框内平面坐标，其中，在目标图像所在平面的坐标落在最小外接框内的原始点云即为与所述目标对应的点 云。
进一步地，该视觉芯片123还用于：
对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
可选的，对坐标落入最小外接框内的原始点云进行滤波可以采用预设滤波法进行滤波，其中，预设滤波法包括但不限于高斯滤波法、半径滤波法、聚类法、平滑法、连通域法等。
以高斯滤波法为例进行说明，设坐标落入最小外接框内的原始点云总数为n，计算距离第i个原始点云与距离其最近的m个相邻原始点云的平均距离d i，则d 1～d n可构成高斯分布，即d i～(μ，σ)，计算期望μ与方差σ，根据高斯分布性质，若d i＞M*σ，则该原始点云不属于矩形区域，需滤除。其中，M可取2.0～3.0，m根据深度相机分辨率与总原始点云的数量级而定，一般可以取正整数30～50。
同理，采用半径滤波法、聚类法、平滑法、连通域法等方法也可以达到相同效果。
进一步地，该视觉芯片123具体用于：
根据所述无人机10前方环境的原始点云，建立所述无人机10前方环境的三维地图。
具体的，将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云转换至世界坐标系下，并在世界坐标系下将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云合并及后处理，得到无人机10前方环境的三维地图。
可选的，将在世界坐标系下将深度传感器121获取到的所有的原始点云和目标点云进行合并后，进一步可以采用体素滤波、或者八叉树等方法将所有点云进行后处理，最终得到包括目标在内的三维地图。其中，三维地图的表示可以用八叉树、体素、网格图以及直接点云图等进行表示，只要可以表示三维空间关系即可，本发明不作具体限定。当然，可以理解地，在其他一些实施例中，为了减小计算量，可以将地图降维成二维地图。
对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
以上实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施，并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰，均应属于本发明权利要求的涵盖范围。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (27)

  1. 一种目标定位方法，用于无人机，所述无人机包括图像获取装置和深度传感器，其特征在于，该方法包括：
    通过所述图像获取装置获取目标图像；
    根据所述目标图像，获取所述目标在所述目标图像中的位置信息；
    通过所述深度传感器获取所述无人机前方环境的原始点云；
    根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
    根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
  2. 根据权利要求1所述的目标定位方法，其特征在于，所述目标在所述目标图像中的位置信息包括所述目标在所述目标图像中的最小外接框坐标，则所述根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云，包括：
    将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
    确定所述原始点云中，坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
  3. 根据权利要求2所述的目标定位方法，其特征在于，所述将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标，包括：
    将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标；
    将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
  4. 根据权利要求3所述的目标定位方法，其特征在于，所述原始点云在所述图像获取装置坐标系下的坐标满足：
    Figure PCTCN2019128057-appb-100001
    其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器坐标系下的坐标，T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
  5. 根据权利要求4所述的方法，其特征在于，所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足：
    T＝T 2 T×T 1；
    其中，T 1为所述深度传感器坐标系至所述无人机机身坐标系的转换矩阵，T 2为所述图像获取装置坐标系至所述无人机机身坐标系的转换矩阵。
  6. 根据权利要求2-5中任一项所述的方法，其特征在于，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
    Figure PCTCN2019128057-appb-100002
    Figure PCTCN2019128057-appb-100003
    其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置的内参矩阵。
  7. 根据权利要求2-6中任一项所述的方法，其特征在于，在所述根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云之前，该方法还包括：
    对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
  8. 根据权利要求1-7中任一项所述的方法，其特征在于，所述根据所述与所述目标对应的点云，获取所述目标在所述三维空间中的位置信息，包括：
    根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
    对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
  9. 根据权利要求1-8中任一项所述的方法，其特征在于，所述深度传感器包括以下中的至少一种：
    双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
  10. 一种目标定位装置，用于无人机，其特征在于，包括：
    图像获取模块，用于获取目标图像和根据所述目标图像获取所述目标在所述目标图像中的位置信息；
    原始点云获取模块，用于获取所述无人机前方环境的原始点云；以及
    目标位置获取模块，用于：
    根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
    根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
  11. 根据权利要求10所述的装置，其特征在于，所述目标位置获取模块具体用于：
    将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
    确定所述原始点云中，坐标落在最小外接框内的原始点云为所述与所述目标对应的点云。
  12. 根据权利要求11所述的装置，其特征在于，所述目标位置获取模块具体用于：
    将所述原始点云在所述原始点云获取模块坐标系下的坐标转换为所述原始点云在所述图像获取模块坐标系下的坐标；
    将所述原始点云在所述图像获取模块坐标系下的坐标投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
  13. 根据权利要求12所述的装置，其特征在于，所述原始点云在所述图像获取模块坐标系下的坐标满足：
    Figure PCTCN2019128057-appb-100004
    其中，(x′，y′，z′)为所述原始点云在所述图像获取模块坐标系下的坐标，(x，y，z)为所述原始点云在所述原始点云获取模块坐标系下的坐标，T为所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵。
  14. 根据权利要求13所述的装置，其特征在于，所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵T满足：
    T＝T 2 T×T 1；
    其中，T 1为所述原始点云获取模块坐标系至所述无人机机身坐标系的转换 矩阵，T 2为所述图像获取模块坐标系至所述无人机机身坐标系的转换矩阵。
  15. 根据权利要求11-14中任一项所述的装置，其特征在于，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
    Figure PCTCN2019128057-appb-100005
    Figure PCTCN2019128057-appb-100006
    其中，(x′，y′，z′)为所述原始点云在所述图像获取模块坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取模块的内参矩阵。
  16. 根据权利要求11-15中任一项所述的装置，其特征在于，该装置还包括点云滤波模块，所述点云滤波模块用于：
    对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
  17. 根据权利要求10-16中任一项所述的装置，其特征在于，所述目标位置获取模块具体用于：
    根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
    对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
  18. 根据权利要求10-17中任一项所述的装置，其特征在于，所述原始点云获取模块为深度传感器，所述深度传感器包括以下中的至少一种：
    双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
  19. 一种无人机，其特征在于，包括：
    机身；
    机臂，与所述机身相连；
    动力装置，设于所述机臂，用于提供所述无人机飞行所需的动力；
    深度传感器，设于所述机身，用于获取所述无人机前方环境的原始点云；
    图像获取装置，设于所述机身，用于获取目标图像并根据所述目标图像，获取所述目标在所述目标图像中的位置信息；以及
    视觉芯片，设于所述机身，所述深度传感器与所述图像获取装置均与所述视觉芯片通信连接；
    所述视觉芯片用于：
    根据所述原始点云和所述目标在所述目标图像中的位置信息，获取所述原始点云中与所述目标对应的点云；
    根据所述与所述目标对应的点云，获取所述目标在三维空间中的位置信息。
  20. 根据权利要求19所述的无人机，其特征在于，所述视觉芯片具体用于：
    将所述原始点云投影至所述目标图像所在的平面，以获取所述原始点云在所述目标图像所在的平面的坐标；
    确定所述原始点云中，坐标落在最小外接框内的原始点云为所述与所述目标对应的点云。
  21. 根据权利要求20所述的无人机，其特征在于，所述视觉芯片具体用于：
    将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标；
    将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图 像所在的平面，以获取所述原始点云在所述目标图像所在平面的坐标。
  22. 根据权利要求21所述的无人机，其特征在于，所述原始点云在所述图像获取装置坐标系下的坐标满足：
    Figure PCTCN2019128057-appb-100007
    其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，(x，y，z)为所述原始点云在所述深度传感器坐标系下的坐标，T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
  23. 根据权利要求22所述的无人机，其特征在于，所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足：
    T＝T 2 T×T 1；
    其中，T 1为所述深度传感器坐标系至所述机身坐标系的转换矩阵，T 2为所述图像获取装置坐标系至所述机身坐标系的转换矩阵。
  24. 根据权利要求20-23中任一项所述的无人机，其特征在于，所述原始点云在所述目标图像所在平面的坐标(u，v)满足：
    Figure PCTCN2019128057-appb-100008
    Figure PCTCN2019128057-appb-100009
    其中，(x′，y′，z′)为所述原始点云在所述图像获取装置坐标系下的坐标，d为所述原始点云的深度，k为所述图像获取装置的内参矩阵。
  25. 根据权利要求20-24中任一项所述的无人机，其特征在于，所述视觉芯片还用于：
    对坐标落入所述最小外接框内的所述原始点云进行滤波，以去除不属于所述目标的点云。
  26. 根据权利要求19-25中任一项所述的无人机，其特征在于，所述视觉芯片具体用于：
    根据所述无人机前方环境的原始点云，建立所述无人机前方环境的三维地图；
    对与所述目标对应的点云的三维坐标取平均值，其中，所述平均值用于表示所述目标在所述三维地图中的位置。
  27. 根据权利要求19-26中任一项所述的无人机，其特征在于，所述深度传感器包括以下中的至少一种：
    双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
PCT/CN2019/128057 2018-12-24 2019-12-24 一种目标定位方法和装置、无人机 Ceased WO2020135446A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/357,346 US12008824B2 (en) 2018-12-24 2021-06-24 Target positioning method and device, and unmanned aerial vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811581024.5A CN109767452A (zh) 2018-12-24 2018-12-24 一种目标定位方法和装置、无人机
CN201811581024.5 2018-12-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/357,346 Continuation US12008824B2 (en) 2018-12-24 2021-06-24 Target positioning method and device, and unmanned aerial vehicle

Publications (1)

Publication Number Publication Date
WO2020135446A1 true WO2020135446A1 (zh) 2020-07-02

Family

ID=66452101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/128057 Ceased WO2020135446A1 (zh) 2018-12-24 2019-12-24 一种目标定位方法和装置、无人机

Country Status (3)

Country Link
US (1) US12008824B2 (zh)
CN (1) CN109767452A (zh)
WO (1) WO2020135446A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113409399A (zh) * 2021-06-10 2021-09-17 武汉库柏特科技有限公司 一种双相机联合标定方法、系统及装置
CN113776540A (zh) * 2021-11-09 2021-12-10 北京艾克利特光电科技有限公司 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
CN114170173A (zh) * 2021-11-30 2022-03-11 中科九创智能科技(北京)有限公司 上甑机器人的检测方法、检测模块及检测系统
CN115076049A (zh) * 2022-07-04 2022-09-20 无锡海纳智能科技有限公司 一种风机偏航角的确定方法、装置、存储介质及电子设备
CN115100264A (zh) * 2022-05-12 2022-09-23 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN115661245A (zh) * 2022-10-24 2023-01-31 东北林业大学 一种基于无人机的大尺度火线瞬时定位方法
US20240029295A1 (en) * 2020-11-17 2024-01-25 Matrixed Reality Technology Co., Ltd. Method and apparatus for determining pose of tracked object in image tracking process
CN117974747A (zh) * 2024-04-01 2024-05-03 北京理工大学长三角研究院(嘉兴) 360度点云2d深度盘三角剖分构图方法、装置及系统

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109767452A (zh) 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机
CN111683840B (zh) 2019-06-26 2024-04-30 深圳市大疆创新科技有限公司 可移动平台的交互方法、系统、可移动平台及存储介质
CN110909585B (zh) * 2019-08-15 2022-09-06 纳恩博（常州）科技有限公司 一种路线确定方法、可行进设备、和存储介质
CN110553628A (zh) * 2019-08-28 2019-12-10 华南理工大学 一种基于深度相机的捕捉飞行物体的方法
CN110599546A (zh) * 2019-08-28 2019-12-20 贝壳技术有限公司 一种获取三维空间数据的方法、系统、装置和存储介质
CN110570463B (zh) * 2019-09-11 2023-04-07 深圳市道通智能航空技术股份有限公司 一种目标状态估计方法、装置和无人机
CN110631586A (zh) * 2019-09-26 2019-12-31 珠海市一微半导体有限公司 基于视觉slam的地图构建的方法、导航系统及装置
CN110873565B (zh) * 2019-11-21 2021-06-04 北京航空航天大学 用于城市场景重建的无人机实时路径规划方法
CN111311709B (zh) * 2020-02-05 2023-06-20 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111857168B (zh) * 2020-07-03 2025-01-24 北京二郎神科技有限公司 无人机定位方法、装置与无人机停放姿态调整方法、装置
CN113917475B (zh) * 2020-07-08 2025-06-24 北京猎户星空科技有限公司 定位方法、装置、电子设备和计算机可读存储介质
CN113916213B (zh) * 2020-07-08 2024-07-23 北京猎户星空科技有限公司 定位方法、装置、电子设备和计算机可读存储介质
CN113597568A (zh) 2020-10-12 2021-11-02 深圳市大疆创新科技有限公司 数据处理方法、控制设备及存储介质
CN112200851B (zh) * 2020-12-09 2021-02-26 北京云测信息技术有限公司 一种基于点云的目标检测方法、装置及其电子设备
CN112561997B (zh) * 2020-12-10 2022-07-26 之江实验室 一种面向机器人的行人定位方法、装置、电子设备及介质
CN112816967B (zh) * 2021-02-03 2024-06-14 成都康烨科技有限公司 图像距离测量方法、装置、测距设备和可读存储介质
CN113436318A (zh) * 2021-06-30 2021-09-24 北京市商汤科技开发有限公司 场景重建方法、装置、电子设备和计算机存储介质
US12444148B2 (en) * 2021-09-08 2025-10-14 Magic Leap, Inc. Camera calibration using depth sensor data
CN114067060A (zh) * 2021-09-29 2022-02-18 中讯邮电咨询设计院有限公司 用于三维建模的稠密点云快速生成方法
CN114283193B (zh) * 2021-12-24 2024-11-22 长三角哈特机器人产业技术研究院 一种栈板三维视觉定位方法及系统
CN114723978B (zh) * 2022-04-11 2025-10-21 南京拓控信息科技股份有限公司 一种基于三维轴信息的列车部件定位方法
US20230415786A1 (en) * 2022-06-24 2023-12-28 Sharper Shape Oy System and method for localization of anomalous phenomena in assets
CN116228854B (zh) * 2022-12-29 2023-09-08 中科微至科技股份有限公司 一种基于深度学习的包裹自动分拣方法
CN116128947B (zh) * 2022-12-30 2025-07-25 上海坝宁科技有限公司 一种目标深度信息的获取方法及相关装置
CN116152635B (zh) * 2023-01-30 2023-07-21 中国人民解放军96901部队 一种基于区块链的无人飞行器联合航拍信息共享方法
CN116485908A (zh) * 2023-03-28 2023-07-25 深圳优地科技有限公司 相机远程标定方法、装置、机器人及存储介质
CN117132643B (zh) * 2023-08-11 2025-08-15 中国人民解放军32806部队 基于无人机视频数据的目标定位精度提升方法
CN117465507A (zh) * 2023-11-27 2024-01-30 河南思维轨道交通技术研究院有限公司 一种站场停留车位置及车厢装载状态的检测方法
CN117647795B (zh) * 2023-11-28 2024-08-23 无锡中科光电技术有限公司 一种用于激光雷达标定的质控装置及其方法
CN118135526B (zh) * 2024-05-06 2024-07-30 南京信息工程大学 基于双目相机的四旋翼无人机视觉目标识别与定位方法
CN118864615B (zh) * 2024-09-23 2025-03-07 湖州丽天智能科技有限公司 基于仿真的相机及雷达标定方法、计算机设备及存储介质
CN119963656A (zh) * 2025-01-10 2025-05-09 深圳市云视机器人有限公司 双深度相机外参标定方法、装置、机器人及存储介质
CN119469118A (zh) * 2025-01-14 2025-02-18 电子科技大学 一种多视角快速检测跟随目标的无人机栅格地图构建方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
US20170314930A1 (en) * 2015-04-06 2017-11-02 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512646B (zh) * 2016-01-19 2019-03-01 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
CN105775150B (zh) * 2016-03-17 2017-12-22 英华达（上海）科技有限公司 无人飞行载具及其降落方法
CN106097444B (zh) * 2016-05-30 2017-04-12 百度在线网络技术（北京）有限公司 高精地图生成方法和装置
MX2019003894A (es) * 2016-10-04 2019-09-04 Walmart Apollo Llc Sistemas y metodos para navegacion autonoma con dron.
US20180350086A1 (en) * 2017-05-31 2018-12-06 Qualcomm Incorporated System And Method Of Dynamically Filtering Depth Estimates To Generate A Volumetric Map Of A Three-Dimensional Environment Having An Adjustable Maximum Depth
CN107274447B (zh) * 2017-07-14 2022-06-10 梅卡曼德（北京）机器人科技有限公司 深度图像获取装置和深度图像获取方法
US11127202B2 (en) * 2017-12-18 2021-09-21 Parthiv Krishna Search and rescue unmanned aerial system
CN108932475B (zh) * 2018-05-31 2021-11-16 中国科学院西安光学精密机械研究所 一种基于激光雷达和单目视觉的三维目标识别系统及方法
CN108858199B (zh) * 2018-07-27 2020-04-07 中国科学院自动化研究所 基于视觉的服务机器人抓取目标物体的方法
CN110570463B (zh) * 2019-09-11 2023-04-07 深圳市道通智能航空技术股份有限公司 一种目标状态估计方法、装置和无人机

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170314930A1 (en) * 2015-04-06 2017-11-02 Hrl Laboratories, Llc System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation
CN106384353A (zh) * 2016-09-12 2017-02-08 佛山市南海区广工大数控装备协同创新研究院 一种基于rgbd的目标定位方法
CN106932780A (zh) * 2017-03-14 2017-07-07 北京京东尚科信息技术有限公司 物体定位方法、装置和系统
CN108229548A (zh) * 2017-12-27 2018-06-29 华为技术有限公司 一种物体检测方法及装置
CN108509918A (zh) * 2018-04-03 2018-09-07 中国人民解放军国防科技大学 融合激光点云与图像的目标检测与跟踪方法
CN109767452A (zh) * 2018-12-24 2019-05-17 深圳市道通智能航空技术有限公司 一种目标定位方法和装置、无人机

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4224425A4 (en) * 2020-11-17 2024-04-10 Matrixed Reality Technology Co., Ltd. METHOD AND APPARATUS FOR DETERMINING A POSE OF A TRACKED OBJECT DURING AN IMAGE TRACKING PROCESS
US20240029295A1 (en) * 2020-11-17 2024-01-25 Matrixed Reality Technology Co., Ltd. Method and apparatus for determining pose of tracked object in image tracking process
CN113409399A (zh) * 2021-06-10 2021-09-17 武汉库柏特科技有限公司 一种双相机联合标定方法、系统及装置
CN113776540B (zh) * 2021-11-09 2022-03-22 北京艾克利特光电科技有限公司 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
CN113776540A (zh) * 2021-11-09 2021-12-10 北京艾克利特光电科技有限公司 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法
CN114170173B (zh) * 2021-11-30 2022-11-04 中科九创智能科技(北京)有限公司 上甑机器人的检测方法、检测模块及检测系统
CN114170173A (zh) * 2021-11-30 2022-03-11 中科九创智能科技(北京)有限公司 上甑机器人的检测方法、检测模块及检测系统
CN115100264A (zh) * 2022-05-12 2022-09-23 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN115100264B (zh) * 2022-05-12 2024-04-02 北京控制与电子技术研究所 一种基于三维点云的地形和目标实时检测及定位方法
CN115076049A (zh) * 2022-07-04 2022-09-20 无锡海纳智能科技有限公司 一种风机偏航角的确定方法、装置、存储介质及电子设备
CN115661245A (zh) * 2022-10-24 2023-01-31 东北林业大学 一种基于无人机的大尺度火线瞬时定位方法
CN115661245B (zh) * 2022-10-24 2023-04-18 东北林业大学 一种基于无人机的大尺度火线瞬时定位方法
CN117974747A (zh) * 2024-04-01 2024-05-03 北京理工大学长三角研究院(嘉兴) 360度点云2d深度盘三角剖分构图方法、装置及系统

Also Published As

Publication number Publication date
US20210319575A1 (en) 2021-10-14
CN109767452A (zh) 2019-05-17
US12008824B2 (en) 2024-06-11

Similar Documents

Publication Publication Date Title
WO2020135446A1 (zh) 一种目标定位方法和装置、无人机
CN110221603B (zh) 一种基于激光雷达多帧点云融合的远距离障碍物检测方法
CN106681353B (zh) 基于双目视觉与光流融合的无人机避障方法及系统
CN113985445A (zh) 一种基于相机与激光雷达数据融合的3d目标检测算法
CN110517349A (zh) 一种基于单目视觉和几何约束的3d车辆目标检测方法
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN112567201A (zh) 距离测量方法以及设备
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN111275015A (zh) 一种基于无人机的电力巡线电塔检测识别方法及系统
CN108805906A (zh) 一种基于深度图的运动障碍物检测及定位方法
CN106548173A (zh) 一种基于分级匹配策略的改进无人机三维信息获取方法
CN105203034A (zh) 一种基于单目摄像头三维测距模型的测高测面积方法
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法
WO2023056789A1 (zh) 农机自动驾驶障碍物识别方法、系统、设备和存储介质
CN117274036A (zh) 一种基于多视角和时序融合的泊车场景检测方法
WO2019127518A1 (zh) 避障方法、装置及可移动平台
WO2020135447A1 (zh) 一种目标距离估计方法、装置及无人机
CN108335337A (zh) 一种正射影像图的生成方法及装置
CN111788573B (zh) 移动平台的环境检测中的天空确定以及相关的系统和方法
CN114677531B (zh) 一种融合多模态信息的水面无人艇目标检测与定位方法
JP2015114954A (ja) 撮影画像解析方法
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN112733678A (zh) 测距方法、装置、计算机设备和存储介质
WO2024260320A1 (zh) 农田路面环境下车辆航向角的计算方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19901453

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19901453

Country of ref document: EP

Kind code of ref document: A1