WO2020019111A1 - 一种目标对象的深度信息获取方法及可移动平台 - Google Patents

一种目标对象的深度信息获取方法及可移动平台 Download PDF

Info

Publication number
WO2020019111A1
WO2020019111A1 PCT/CN2018/096636 CN2018096636W WO2020019111A1 WO 2020019111 A1 WO2020019111 A1 WO 2020019111A1 CN 2018096636 W CN2018096636 W CN 2018096636W WO 2020019111 A1 WO2020019111 A1 WO 2020019111A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
depth
target object
information
indication information
Prior art date
Application number
PCT/CN2018/096636
Other languages
English (en)
French (fr)
Inventor
钱杰
张李亮
吴博
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201880010542.3A priority Critical patent/CN110291771B/zh
Priority to PCT/CN2018/096636 priority patent/WO2020019111A1/zh
Publication of WO2020019111A1 publication Critical patent/WO2020019111A1/zh
Priority to US17/027,358 priority patent/US20210004978A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to the technical field of terminals, and in particular, to a method for acquiring depth information of a target object and a movable platform.
  • the mobile platform can be equipped with a shooting device.
  • the mobile platform can use a machine learning algorithm to identify the target object that needs to be tracked on the image captured by the shooting device to obtain the detection frame of the target object in the image, and according to the detection frame of the target object The position of the target object is determined, and the target object is tracked according to the position.
  • the position of the target object is determined according to the detection frame of the target object, and its accuracy and reliability are not high.
  • the position of the target object if the depth information of the target object can be combined, its accuracy and reliability can be improved. Therefore, how to obtain the depth information of the target object is an urgent problem.
  • the embodiment of the invention discloses a method for acquiring depth information of a target object and a movable platform, which can accurately obtain the depth information of the target object.
  • the present application provides a method for acquiring depth information of a target object, which is applied to a movable platform.
  • a camera and a depth sensor are configured on a body of the movable platform. The method includes:
  • first region indication information of a target object Acquiring first region indication information of a target object, where the first region indication information is used to indicate an image region of the target object in an image output by the photographing device;
  • the present application provides a movable platform.
  • the movable platform includes: a memory, a processor, a photographing device, and a depth sensor, where:
  • Memory for storing program instructions
  • first region indication information of a target object Acquiring first region indication information of a target object, where the first region indication information is used to indicate an image region of the target object in an image output by the photographing device;
  • the method for acquiring depth information of a target object and the movable platform provided in the embodiments of the present invention obtain the depth information of the target object from the depth image output by the depth sensor according to the first region indication information of the target object, wherein The area instruction information is used to indicate an image area of a target object in an image output by the photographing device. In this way, the movable platform can obtain the depth information of the target object.
  • FIG. 1 is a schematic flowchart of a method for acquiring depth information of a target object according to an embodiment of the present invention
  • FIG. 2 is a schematic diagram of an image output by a photographing device according to an embodiment of the present invention.
  • FIG. 3 is a schematic flowchart of another method for acquiring depth information of a target object according to an embodiment of the present invention.
  • FIG. 4 is a schematic diagram of an image and a grayscale image output by a photographing device according to an embodiment of the present invention
  • FIG. 5 is a schematic diagram of an image and a grayscale image output by another photographing device according to an embodiment of the present invention.
  • FIG. 6 is a schematic flowchart of another method for acquiring depth information of a target object according to an embodiment of the present invention.
  • FIG. 7 is a schematic diagram of a grayscale image provided by an embodiment of the present invention.
  • FIG. 8 is a schematic diagram of a grayscale image and a depth image according to an embodiment of the present invention.
  • FIG. 9 is a schematic diagram of another grayscale image and a depth image according to an embodiment of the present invention.
  • FIG. 10 is a schematic flowchart of another method for acquiring depth information of a target object according to an embodiment of the present invention.
  • FIG. 11 is a schematic flowchart of another method for acquiring depth information of a target object according to an embodiment of the present invention.
  • FIG. 12 is a schematic diagram of an image and a depth image output by a photographing device according to an embodiment of the present invention.
  • FIG. 13 is a schematic structural diagram of a movable platform provided by an embodiment of the present invention.
  • first, second, third, etc. may be used in the present invention to describe various information, these information should not be limited to these terms. These terms are used to distinguish the same type of information from each other.
  • first information may also be referred to as the second information, and similarly, the second information may also be referred to as the first information.
  • word “if” can be interpreted as “at”, or “at ", or "in response to a determination”.
  • An embodiment of the present invention provides a method for acquiring depth information of a target object and a movable platform.
  • the movable platform may include, but is not limited to, a drone, an unmanned ship, and a ground robot (such as an unmanned vehicle).
  • the movable platform can track the target object, for example, tracking other movable target objects such as people or cars.
  • the movable platform may include a photographing device, and a photographing device (such as a camera, a video camera, etc.) is configured on the body of the movable platform.
  • the movable platform may take an image of the target object through the photographing device, and then obtain the target object according to the image analysis of the target object Location information.
  • the movable platform tracks the target object based on the position information of the target object.
  • the shooting device can be directly configured on the body of the movable platform.
  • the photographing device may be configured on the body of the movable platform through a bearing device.
  • the carrying device may be a pan / tilt head, and the pan / tilt head may carry a photographing device to stabilize a photographing device and / or adjust a photographing attitude of the photographing device.
  • the movable platform also includes a depth sensor, which can be configured on the body of the movable platform.
  • the depth sensor is any sensor capable of directly or indirectly acquiring a depth image.
  • the depth sensor may be a sensor such as a millimeter wave radar or a lidar.
  • the depth sensor may also be any sensor capable of acquiring a depth image and a grayscale image corresponding to the depth image.
  • the depth sensor may include sensors such as a binocular camera, a monocular camera, and a TOF camera.
  • FIG. 1 is a schematic flowchart of a method for acquiring depth information of a target object according to an embodiment of the present invention.
  • the method for acquiring depth information of a target object may include steps 101 and 102. among them:
  • the movable platform obtains first area indication information of a target object.
  • the first area indication information is used to indicate an image area of a target object in an image output by the photographing device.
  • FIG. 2 is an image output from a photographing device of a movable platform.
  • 201 is the target object
  • the area shown by 202 is the image area of the target object in the image output by the photographing device.
  • the first area indication information is used to indicate an image area shown in 202.
  • the first area indication information may be bounding box information of the target object.
  • the first area indication information may be positions of the upper left corner and the lower right corner of the image area 202 in the image.
  • the first area indication information may be used to indicate where the image area of the target object in the image is in the image; the first area indication information may be used to indicate the size of the image area of the target object in the image, such as detection Box length and width.
  • a specific implementation manner of the movable platform acquiring the first region indication information of the target object may be: the movable platform may input an image captured by the photographing device into a first preset neural network, and acquire the first preset The first region indication information output by the neural network.
  • the processor of the movable platform acquires an image captured by the shooting device, and inputs the image to a first neural network that has been trained.
  • the first neural network that has been trained can recognize a specific type of object. If the type of the target object is consistent with the specific type, the first neural network model can identify the target object in the image and output the target.
  • the first region indication information of the object, and the processor of the movable platform may obtain the first region indication information of the target object.
  • the specific implementation manner of the mobile platform acquiring the first area indication information of the target object may be: the mobile platform obtains the first area indication information sent by the control terminal, where the first area indication information is detected by the control terminal The user determines the target object selection operation on the interactive interface displaying the image.
  • the control terminal can receive an image captured by a shooting device sent by the movable platform.
  • the control terminal may be one or more of a mobile phone, a tablet computer, a remote control, and a wearable device (watch or bracelet).
  • the interactive interface of the control terminal can display an image captured by the shooting device of the movable platform.
  • the user may perform a target object selection operation on the interactive interface displaying the image, for example, frame the target object, control the terminal to detect the target object selection operation of the user, and obtain an image area indicating the target object according to the detected operation.
  • the first area indication information is sent to the mobile platform.
  • the movable platform obtains the depth information of the target object from the depth image output by the depth sensor according to the first area indication information.
  • the processor of the movable platform may obtain a depth image output by the depth sensor, where the depth image includes depth information of the target object.
  • Each pixel value in the depth image is the depth between the depth sensor and the object, that is, the depth image includes the depth between the depth sensor and the target object.
  • the processor of the movable platform may obtain the depth information of the target object from the depth image according to the first region indication information.
  • the movable platform may further determine the position information of the target object according to the depth information of the target object, and track the target object according to the position information of the target object.
  • the position information of the target object is usually determined according to the detection frame information of the target object. This will cause the location information of the determined target object to be inaccurate.
  • the position information of the target object may be determined according to the depth information of the target object. For example, the depth information of the target object and the first region indication information of the target object may be used to determine Location information of the target object. This can more accurately determine the location information of the target object.
  • the movable platform can obtain the first area indication information of the target object, and then obtain the depth information of the target object from the depth image output by the depth sensor according to the first area indication information. It can be seen that by implementing the method described in FIG. 1, the movable platform can determine the depth information of the target object.
  • FIG. 3 is a schematic flowchart of a method for acquiring depth information of a target object according to an embodiment of the present invention.
  • 302 and 303 are specific implementations of 102.
  • the method for acquiring depth information of a target object may include steps 301 to 303. among them:
  • a movable platform obtains first area indication information of a target object.
  • the movable platform projects an image area indicated by the first target area information into a grayscale image corresponding to the depth image to obtain a reference image area.
  • the grayscale image is output by the depth sensor.
  • the depth sensor includes any sensor capable of acquiring a depth image and a grayscale image corresponding to the depth image.
  • the depth sensor includes one or more of a binocular camera, a monocular camera, and a TOF camera.
  • the depth sensor may output a grayscale image first, and then output a depth image based on the grayscale image.
  • the depth sensor may output a depth image and a grayscale image corresponding to the depth image at the same time.
  • Each pixel in the grayscale image has a one-to-one correspondence with each pixel in the depth image, that is, the position of each pixel in the depth image on the grayscale image and each pixel in the depth image The position on the depth image is the same.
  • the image area indicated by the first target area information can be projected onto the A grayscale image corresponding to the depth image is used to obtain a reference image area, that is, an image area in the grayscale image.
  • the reference image area may be a projection area obtained by projecting an image area indicated by the first target area information onto a grayscale image corresponding to the depth image; in some cases, the reference image area may be An image area determined by a projection area obtained from a grayscale image corresponding to a depth image, for example, an image area obtained by expanding the obtained projection area in a preset manner by a preset multiple.
  • the geometric position relationship between the attitude information of the gimbal carrying the photographing device, the attitude information of the fuselage, the depth sensor and the inertial measurement unit (IMU) of the movable platform and the gimbal A geometric position relationship with the inertial measurement unit projects an image region indicated by the first target region information into a grayscale image corresponding to the depth image to obtain a reference image region.
  • the projection area in which the image area indicated by the first target area information is projected into the grayscale image may not be the area of the target object in the grayscale image.
  • the person 401 is a target object.
  • the image area indicated by the first target area information of the person 401 is an image area 402.
  • the image area 403 in the grayscale image is a projection area where the image area 402 indicated by the first target area information is projected onto the grayscale image.
  • the projection area 403 is shifted downwards and to the right compared to the image area 402.
  • the projection area 403 cannot accurately include the target object. This will result in the inaccuracy according to the gray image in the projection area To get the depth information of the target object.
  • the reference image area may be acquired according to the obtained projection area 403. For example, keeping the center point of the projection area unchanged, and appropriately expanding the projection area to obtain a reference image area.
  • the image area 502 indicated by the first target area information is 350 * 250
  • the reference image area 503 obtained by expanding the projection area is 640 * 360.
  • the movable platform obtains the depth information of the target object from the depth image according to the correspondence between the gray image and the depth image and the reference gray image.
  • the reference gray image is a gray image in a reference image area.
  • the depth information of the target object is obtained from the depth image according to the correspondence between the gray image and the depth image and the reference gray image.
  • the movable platform may further determine the position information of the target object according to the depth information of the target object, and track the target object according to the position information of the target object.
  • the position information of the target object is determined according to the depth information of the target object, and the position information of the target object can be accurately determined.
  • the depth information of the target object may also be combined with the first region indication information of the target object to determine the position information of the target object. This can more accurately determine the location information of the target object.
  • the depth information of the target object can be accurately obtained.
  • FIG. 6 is a schematic flowchart of a method for acquiring depth information of a target object according to an embodiment of the present invention.
  • 604 and 605 are specific implementations of 303.
  • the method for acquiring depth information of a target object may include steps 601 to 605. among them:
  • the movable platform obtains first area indication information of a target object.
  • the movable platform projects the image area indicated by the first target area information into a grayscale image corresponding to the depth image to obtain a reference image area.
  • the grayscale image is output by the depth sensor.
  • 601 and 602 are the same as the specific implementations of 301 and 302. For details, refer to the descriptions corresponding to 301 and 302, and details are not described herein.
  • the movable platform obtains the type of the target object.
  • the movable platform obtains second area indication information of at least one object of the same type as the target object.
  • the second region indication information is used to indicate an image region of the at least one object in the reference grayscale image, and the at least one object includes the target object.
  • the movable platform obtains the depth information of the target object from the depth image according to the correspondence between the grayscale image and the depth image and the second region indication information of the at least one object.
  • the movable platform may obtain the type of the target object in the following two ways.
  • Method 1 The movable platform inputs the image output by the shooting device into a second preset neural network (such as a convolutional neural network), and obtains the type of the target object output by the second preset neural network. That is, the mobile platform can obtain the type of the target object through deep learning.
  • the processor of the movable platform acquires an image captured by the shooting device, and inputs the image to a trained second neural network.
  • the trained second neural network can recognize the type of the object in the image, and output the type of the recognized target object.
  • the processor of the movable platform can obtain the type of the target object output by the second neural network.
  • Manner 2 The mobile platform obtains the type of the target object sent by the control terminal of the mobile platform.
  • the type of the target object is a type of user input received by the control terminal.
  • the movable platform may also obtain the type of the target object through other methods, which are not limited in the embodiment of the present application.
  • the movable platform determines at least one object of the same type as the target object from the reference grayscale image, that is, obtains at least one object of the same type as the target object from the reference grayscale image, and then obtains the target object from the reference grayscale image.
  • the second area of the object having the same type of object indicates the information.
  • the type of the target object is human.
  • the movable platform determines that the person 701 and the person 702 are the same type of the target object from the reference grayscale image of the reference image area 700.
  • a deep learning algorithm may be used to determine the person 701 and the person 702 from the reference grayscale image as objects of the same type as the target object.
  • the second area instruction information of the person 701 indicates the gray image area shown in 703, and the second area instruction information of the person 702 indicates the gray image area shown in 704.
  • the movable platform obtains the depth information of the target object from the depth image according to the correspondence between the grayscale image and the depth image, the second area indication information of the person 701, and the second area indication information of the person 702.
  • the indication information of the second region of the object may be bounding box information of the object.
  • step 605 includes the following steps (11) to (13):
  • the movable platform determines the second area indication information of the target object from the second area indication information of the at least one object;
  • the movable platform determines the third region indication information of the target object according to the correspondence between the grayscale image and the depth image and the second region indication information of the target object, wherein the third region indication information is used to indicate An image area of the target object on the depth image;
  • the movable platform obtains the depth information of the target object from the depth image according to the third area instruction information.
  • At least one object of the same type as the target object acquired by the movable platform from the reference grayscale image of the reference image region 800 includes a person 801 and a person 802.
  • the second area instruction information of the person 801 indicates the area shown by 803.
  • the second area instruction information of the person 802 indicates the area shown by 804.
  • the movable platform determines that the second area indication information of the person 801 is the second area indication information of the target object.
  • the mobile platform may determine the third area indicating information of the person 801 according to the corresponding relationship between the grayscale image and the depth image and the second area indicating information of the person 801
  • the depth image area indicated by the third area instruction information corresponds to the gray image area indicated by the person 801 by the second area instruction information.
  • the area shown by 805 is the area indicated by the third area instruction information of the person 801.
  • the movable platform obtains the depth information of the target object from the depth image according to the area indicated by the third area instruction information of the person 801. By implementing this embodiment, it is possible to accurately obtain the depth information of the target object.
  • the movable platform obtains the depth information of the target object from the depth image according to the third region indication information.
  • the specific implementation manner is: a depth image in the image region indicated by the third region indication information in a preset manner.
  • Perform clustering operation determine the depth information obtained by the clustering operation as the depth information of the target object.
  • the clustering operation may be performed using the center pixel point in the image area indicated by the third region instruction information as the starting point, and the depth information obtained by the clustering operation is determined as the depth information of the target object.
  • the clustering algorithm can determine the same type of pixels, that is, the clustering algorithm can distinguish the target object from the background, and then obtain the depth image area that belongs to the target object only, and then determine the depth of the target object based on the depth image area of the target object information.
  • the clustering algorithm can distinguish the target object from the background, and then obtain the depth image area that belongs to the target object only, and then determine the depth of the target object based on the depth image area of the target object information.
  • the second region indication information of the at least one object includes the second region indication information of multiple objects; in step (11), the mobile platform may determine the target object from the second region indication information of the at least one object.
  • a specific implementation manner of the second region indication information is: determining an evaluation parameter of the second target information of each of the at least one object; and determining the second region indication information of the object whose evaluation parameter meets a preset requirement as the target object The second area indicates information.
  • the movable platform may determine an evaluation parameter of the second target information of each of the at least one object, wherein the evaluation parameter of the second target information of each object may be analyzed to determine according to the evaluation parameter.
  • the second target information of the target object is determined from the second target information of the at least one object.
  • the second region instruction information of the target object can be accurately determined from the second region instruction information of the plurality of objects.
  • the evaluation parameter includes a distance between an image area indicated by the second area instruction information and a reference image area, and determining the second area instruction information of the object whose evaluation parameter meets a preset requirement is the second area instruction of the target object.
  • a specific implementation of the information is: determining the second area indication information of the object with the smallest distance as the second area indication information of the target object.
  • the distance may be a distance between a center position of the image area indicated by the second area instruction information and a center position of the reference image area. For example, as shown in FIG.
  • the distance between the center position of the image area 803 indicated by the second area instruction information and the reference image area 800 is the smallest, so the person 801 is determined as the target object, and the second The area instruction information is determined as the second area instruction information of the target object.
  • the second region instruction information of the target object can be accurately determined from the second region instruction information of the plurality of objects.
  • the evaluation parameter may be other parameters, which are not limited in the embodiment of the present application.
  • step 605 includes the following steps (21) to (23):
  • the movable platform determines the third region indication information of the at least one object according to the correspondence between the grayscale image and the depth image and the second region indication information of the at least one object, and the third region indication information is used to indicate The image area of the object on the depth image;
  • the movable platform obtains the depth information of the at least one object from the depth image according to the third region indication information of the at least one object;
  • the movable platform obtains the depth information of the target object from the depth information of the at least one object.
  • the movable platform obtains at least one object of the same type as the target object from the reference grayscale image of the reference image area 900 including the person 901 and the person 902.
  • the area shown by 903 is the person 901
  • the second area indicates an area indicated by the information.
  • the area shown by 904 is the area indicated by the second area instruction information of the person 902.
  • the movable platform determines the third region instruction information of the person 901 according to the correspondence between the grayscale image and the depth image and the second region indication information of the person 901, and according to the corresponding relationship between the grayscale image and the depth image and the second region of the person 902
  • the area instruction information determines the third area instruction information of the person 902.
  • the third area instruction information of the person 901 indicates an area indicated by 905 in the depth image.
  • the third area instruction information of the person 902 indicates an area shown by 906 in the depth image.
  • the movable platform obtains the depth information of the person 901 from the depth image according to the third region instruction information of the person 901; the movable platform obtains the depth information of the person 902 from the depth image according to the third region instruction information of the person 902;
  • the depth information of the target object and the depth information of the person 902 are obtained.
  • the movable platform obtains the depth information of the at least one object from the depth image according to the third region indication information of the at least one object.
  • the specific implementation manner is as follows: The depth image in the image area indicated by the third area indication information is subjected to clustering operation; the depth information obtained by the clustering operation is determined as the depth information of the first object, wherein the first object is any one of the at least one object Object.
  • the at least one object includes a character 901 and a character 902.
  • the movable platform performs a clustering operation on the depth image in the image area indicated by the third region instruction information of the person 901 in a preset manner; the depth information obtained by the clustering operation is determined as the depth information of the person 901.
  • the movable platform performs a clustering operation on the depth image in the image area indicated by the third region instruction information of the person 902 in a preset manner; the depth information obtained by the clustering operation is determined as the depth information of the person 902.
  • the clustering operation may be performed using the pixel point in the center of the image area indicated by the third area instruction information as the starting point, and the depth information obtained by the clustering operation is determined as the depth information of the target object.
  • the depth information of the at least one object includes depth information of multiple objects
  • the movable platform obtains the depth information of the target object from the depth information of the at least one object.
  • a specific implementation manner is: a movable platform Acquire an evaluation parameter of the depth information of each of the at least one object; the movable platform determines the depth information of the object whose evaluation parameters meet the preset requirements as the depth information of the target object.
  • the movable platform may determine an evaluation parameter of the depth information of each of the at least one object, and the evaluation parameter of the depth information of each object may be analyzed to determine the at least one object according to the evaluation parameter.
  • Depth information determines the depth information of the target object.
  • the evaluation parameter includes a distance between the image area indicated by the second area indication information and the reference image area and / or a difference between the depth information of the object and the depth information of the target object obtained at the historical moment; the evaluation parameter A specific implementation manner of determining the depth information of the object meeting the preset requirements as the depth information of the target object is: determining the depth information of the object with the smallest distance and / or the smallest difference as the depth information of the target object.
  • the distance may be a distance between a center position of the image area indicated by the second area instruction information and a center position of the reference image area.
  • the distance between the center position of the image area 903 indicated by the second area instruction information and the center position of the reference image area 900 is the smallest. Therefore, the depth information of the person 901 is determined as the depth information of the target object.
  • the depth information of the target object obtained last time is 2m
  • the depth information of the obtained person 901 is 2.5m
  • the depth information of the obtained person 902 is 5m. Therefore, the depth information of the person 901 is determined as the depth information of the target object.
  • the movable platform detects the depth information of the target object in a cycle, and the cycle is generally a short time. The depth information of the target object does not change much in a short time. Therefore, the depth information of the object with the smallest difference from the depth information of the target object obtained at the historical time can be determined as the depth information of the target object.
  • the depth information of the target object can be accurately determined from the depth information of the plurality of objects.
  • FIG. 10 is a schematic flowchart of a method for acquiring depth information of a target object according to an embodiment of the present invention.
  • 1004 to 1006 are specific embodiments of 303.
  • the method for acquiring depth information of a target object may include steps 1001 to 1006. among them:
  • the movable platform obtains first area indication information of a target object.
  • the movable platform projects an image area indicated by the first target area information into a grayscale image corresponding to the depth image to obtain a reference image area.
  • the grayscale image is output by the depth sensor.
  • the movable platform obtains image characteristics of the target object in the image.
  • the movable platform may obtain the image characteristics of the target object in the following two ways.
  • Method 1 The movable platform inputs the image output by the photographing device into a third preset neural network (such as a convolutional neural network), and obtains the image characteristics of the target object output by the third preset neural network. That is, the mobile platform can obtain the image features of the target object through deep learning.
  • the processor of the movable platform acquires an image captured by the shooting device, and inputs the image to a trained third neural network.
  • the trained third neural network can recognize the image characteristics of a specific type of object. If the type of the target object is consistent with the specific type, the first neural network model can identify the target object in the image.
  • the image feature and the image feature of the target object are output, and the processor of the mobile platform can obtain the image feature of the output target object.
  • the mobile platform acquires the image characteristics of the target object sent by the control terminal of the mobile platform.
  • the image characteristics of the target object may be input by a user at the control terminal.
  • the user may input the image characteristics of the target object recognizable by the control terminal at the control terminal, and the control terminal sends the image characteristics of the target object input by the user to the mobile platform.
  • the mobile platform may also obtain the image characteristics of the target object through other methods, which are not limited in the embodiments of the present application.
  • the movable platform obtains the second region indication information of the object that matches the image feature of the target object, and determines the second region indication information of the object that matches the image feature as the second region indication information of the target object.
  • the second region indication information is used to indicate an image region of an object matching the image feature in the reference grayscale image.
  • the movable platform determines the third region indication information of the target object according to the correspondence between the grayscale image and the depth image and the second region indication information of the target object.
  • the third region indication information is used to indicate an image region of the target object on the depth image.
  • the movable platform obtains the depth information of the target object from the depth image according to the third area instruction information.
  • the movable platform may determine an object matching the image feature of the target object from the reference grayscale image, and then obtain the second region indication information of the object matching the image feature of the target object. For example, as shown in FIG. 8, the movable platform determines that the person 801 is an object matching the image characteristics of the target object in the reference grayscale image of the reference image area 800, so the movable platform determines the second area instruction information of the person 801 Indicate information for the second area of the target object.
  • the second region instruction information of the target object indicates an image region 803.
  • the movable platform determines the third region indication information of the target object according to the correspondence between the grayscale image and the depth image and the second region indication information of the target object.
  • the third area indication information indicates an 805 area on the depth image.
  • the movable platform obtains the depth information of the target object from the depth image according to the third area instruction information.
  • the movable platform obtains the depth information of the target object from the depth image according to the third region indication information.
  • the specific implementation method is: gathering the depth images in the image region indicated by the third region indication information in a preset manner. Class operation; the depth information obtained by the clustering operation is determined as the depth information of the target object.
  • this implementation manner reference may be made to the corresponding description in the embodiment corresponding to FIG. 6, and details are not described herein.
  • the movable platform can accurately obtain the depth information of the target object.
  • FIG. 11 is a schematic flowchart of a method for acquiring depth information of a target object according to an embodiment of the present invention.
  • 1102 and 1103 are specific implementations of 102.
  • the method for acquiring depth information of a target object may include steps 1101 to 1103. among them:
  • a movable platform obtains first area indication information of a target object.
  • the movable platform projects an image area indicated by the first area indication information into a depth image to obtain third area indication information of the target object.
  • the third region indication information is used to indicate an image region of the target object on the depth image.
  • the movable platform obtains the depth information of the target object from the depth image according to the third area instruction information.
  • the movable platform may directly project the image area indicated by the first area indication information to the depth image, and determine the obtained projection area as the image area of the target object on the depth image.
  • the target object is a person 1201
  • the image area indicated by the first area instruction information is an area shown by 1202.
  • the movable platform can directly project the image area 1202 indicated by the first area instruction information into the depth image, and the obtained projection area 1203 is the image area of the target object on the depth image, that is, the image area indicated by the third area instruction information. It is the area shown by 1203.
  • the third area instruction information of the target object indicates the projection area 1203.
  • the movable platform can obtain the depth information of the target object from the depth image according to the third area indication information.
  • the image area indicated by the first area indication information is projected onto the depth image.
  • the obtained projection area may not be the target object on the depth image.
  • the image area ie the projection has errors.
  • the joint angle of the pan / tilt is not in error or the error is known. Therefore, the image area indicated by the first area instruction information can be directly projected to the depth image, and the obtained projection area can be determined as the target object in the depth image. On the image area.
  • the movable platform can accurately obtain the depth information of the target object.
  • the movable platform obtains the depth information of the target object from the depth image according to the third region indication information, and the specific implementation manner is: an image indicated by the third region indication information in a preset manner Depth images in the area are clustered; the depth information obtained by the clustering operation is determined as the depth information of the target object.
  • the specific implementation manner is: an image indicated by the third region indication information in a preset manner Depth images in the area are clustered; the depth information obtained by the clustering operation is determined as the depth information of the target object.
  • the photographing device is configured on the body of the movable platform through the pan / tilt, and projects the image area indicated by the first area indication information into the depth image to obtain the third area indication information of the target object.
  • a specific implementation manner is: obtaining a joint angle error of the pan / tilt head; and projecting an image area indicated by the first area indication information into a depth image according to the joint angle error to obtain third area indication information of the target object.
  • the projection area obtained by projecting the image area indicated by the first area indication information into the depth image may not be the image area of the target object on the depth image. Therefore, the joint angle error of the gimbal can be calculated first, and then the measured joint angle of the gimbal can be corrected according to the joint angle error.
  • the image area indicated by the first area indication information is projected into the depth image according to the corrected joint angle of the gimbal, and the projection area obtained at this time is the image area of the target object on the depth image.
  • the attitude information of the gimbal bearing the shooting device the attitude information of the fuselage, the depth sensor and the inertial measurement unit (IMU) of the movable platform
  • the geometric position relationship and the geometric position relationship between the gimbal and the inertial measurement unit project an image area indicated by the first area indication information into a depth image to obtain third area indication information of the target object. It can be seen that the image area of the target object on the depth image can be accurately projected by implementing this embodiment.
  • the specific implementation of the movable platform for acquiring the joint angle error of the gimbal is: acquiring image features in an image output by the shooting device; acquiring image features in a grayscale image corresponding to the depth image, The grayscale image is output by the depth sensor; the image features in the image output by the shooting device and the image features in the grayscale image are matched to obtain the first image feature and the corresponding value in the image output by the successfully matched shooting device.
  • a second image feature in the grayscale image of the image obtain the joint angle error of the gimbal according to the position information of the first image feature in the image output by the photographing device and the position information of the second image feature in the grayscale image.
  • the depth sensor is a sensor that can acquire a grayscale image and a depth image.
  • the movable platform according to the position information of the first image feature in the image output by the photographing device and the second image The position information of the feature in the grayscale image is used to obtain the joint angle error of the gimbal.
  • the movable platform may input the image output by the photographing device into a fourth preset neural network (for example, a convolutional neural network), and acquire the image features of the image output by the fourth preset neural network.
  • a fourth preset neural network for example, a convolutional neural network
  • the movable platform can input the grayscale image output by the depth sensor into a fifth preset neural network (such as a convolutional neural network), and obtain an image of the grayscale image output by the fifth preset neural network and output the depth sensor.
  • a fifth preset neural network such as a convolutional neural network
  • the mobile platform may also obtain the image characteristics of the target object through other methods, which are not limited in the embodiments of the present application.
  • the position information of the target object may be determined according to the depth information of the target object, and the target object may be tracked according to the position information of the target object.
  • the position information of the target object is determined according to the depth information of the target object, and the position information of the target object can be accurately determined.
  • the depth information of the target object may also be combined with the first region indication information of the target object to determine the position information of the target object. This can more accurately determine the location information of the target object.
  • the embodiment of the present application provides a movable platform.
  • a camera and a depth sensor are configured on the body of the movable platform.
  • the movable platform may include at least a processing unit, wherein:
  • a processing unit configured to obtain first area indication information of the target object, where the first area indication information is used to indicate an image area of the target object in an image output by the photographing device;
  • the processing unit is further configured to obtain the depth information of the target object from the depth image output by the depth sensor according to the first area instruction information.
  • the processing unit obtains the depth information of the target object from the depth image output by the depth sensor according to the first area instruction information, including:
  • the depth information of the target object is obtained from the depth image according to the correspondence between the grayscale image and the depth image and the reference grayscale image, where the reference grayscale image is a grayscale image in the reference image region.
  • processing unit is further configured to obtain the type of the target object
  • the processing unit obtains the depth information of the target object from the depth image according to the correspondence between the gray image and the depth image and the reference gray image, including:
  • the processing unit obtains the depth information of the target object from the depth image according to the correspondence between the grayscale image and the depth image and the second region indication information of at least one object, including:
  • the second area indication information of the at least one object includes second area indication information of multiple objects
  • the processing unit determining the second region indication information of the target object from the second region indication information of the at least one object includes:
  • the second region indication information of the object whose evaluation parameters meet the preset requirements is determined as the second region indication information of the target object.
  • the evaluation parameter includes a distance between the image area indicated by the second area instruction information and the reference image area
  • the processing unit determines the second region indication information of the object whose evaluation parameter meets the preset requirements as the second region indication information of the target object, including:
  • the second region indication information of the object with the smallest distance is determined as the second region indication information of the target object.
  • the processing unit obtains the depth information of the target object from the depth image according to the correspondence between the grayscale image and the depth image and the second region indication information of at least one object, including:
  • the depth information of the target object is obtained from the depth information of the at least one object.
  • the depth information of at least one object includes depth information of multiple objects
  • the processing unit obtaining the depth information of the target object from the depth information of the at least one object includes:
  • the depth information of the evaluation parameters of the object that meets the preset requirements is determined as the depth information of the target object.
  • the evaluation parameter includes a distance between the image area indicated by the second area indication information and the reference image area and / or a difference between the depth information of the object and the depth information of the target object obtained at the historical time;
  • the processing unit determines the depth information of the evaluation parameter of the object that meets the preset requirements as the depth information of the target object, including:
  • the depth information of the object with the smallest distance and / or the smallest difference is determined as the depth information of the target object.
  • the processing unit is further configured to obtain image characteristics of the target object in the image
  • the processing unit obtains the depth information of the target object from the depth image according to the correspondence between the gray image and the depth image and the reference gray image, including:
  • the obtaining, by the processing unit, the depth information of the target object from the depth image output by the depth sensor according to the first area instruction information includes:
  • the shooting device is configured on the body of the movable platform through the gimbal,
  • the processing unit projects the image area indicated by the first area indication information into the depth image to obtain the third area indication information of the target object including:
  • the image area indicated by the first area indication information is projected into the depth image according to the joint angle error to obtain the third area indication information of the target object.
  • the processing unit obtains the joint angle error of the gimbal, including:
  • the joint angle error of the gimbal is obtained according to the position information of the first image feature in the image output by the photographing device and the position information of the second image feature in the grayscale image.
  • the obtaining, by the processing unit, the depth information of the target object from the depth image according to the third target region indication information includes:
  • the depth information obtained by the clustering operation is determined as the depth information of the target object.
  • the processing unit is further configured to determine position information of the target object according to the depth information of the target object; and track the target object according to the position information of the target object.
  • FIG. 13 is a schematic structural diagram of a movable platform provided by an embodiment of the present invention.
  • the movable platform includes a memory 1301, a processor 1302, a photographing device 1303, and a depth sensor 1304.
  • the memory 1301, the processor 1302, the photographing device 1303, and the depth sensor 1304 may be connected through a bus system 1305.
  • the memory 1301 is configured to store a program instruction.
  • the memory 1301 may include volatile memory (for example, random-access memory (RAM); the memory 1301 may also include non-volatile memory (for example, flash memory) memory), solid state drive (SSD), etc .; the memory 1301 may further include a combination of the above types of memories.
  • the processor 1302 may include a central processing unit (CPU).
  • the processor 1302 may further include a hardware chip.
  • the above hardware chip may be an application-specific integrated circuit (ASIC), a programmable logic device (PLD), or the like.
  • the PLD may be a field-programmable gate array (FPGA), a generic array logic (GAL), or the like.
  • the processor 1302 calls the program instructions in the memory 1301 to perform the following steps:
  • the processor 1302 obtains the depth information of the target object from the depth image output by the depth sensor 1304 according to the first area instruction information, including:
  • the depth information of the target object is obtained from the depth image according to the correspondence between the grayscale image and the depth image and the reference grayscale image, where the reference grayscale image is a grayscale image in the reference image region.
  • the processor 1302, the calling program instruction is further used for:
  • the processor 1302 obtains the depth information of the target object from the depth image according to the correspondence between the gray image and the depth image and the reference gray image, including:
  • the processor 1302 obtains the depth information of the target object from the depth image according to the correspondence between the grayscale image and the depth image and the second region indication information of at least one object, including:
  • the second region indication information of at least one object includes second region indication information of multiple objects
  • the processor 1302 determines the second region indication information of the target object from the second region indication information of the at least one object, including:
  • the second region indication information of the object whose evaluation parameters meet the preset requirements is determined as the second region indication information of the target object.
  • the evaluation parameter includes a distance between the image area indicated by the second area instruction information and the reference image area
  • the processor 1302 determines the second region indication information of the object whose evaluation parameter meets the preset requirements as the second region indication information of the target object, including:
  • the second region indication information of the object with the smallest distance is determined as the second region indication information of the target object.
  • the processor 1302 obtains the depth information of the target object from the depth image according to the correspondence between the grayscale image and the depth image and the second region indication information of at least one object, including:
  • the depth information of the target object is obtained from the depth information of the at least one object.
  • the depth information of at least one object includes depth information of multiple objects
  • the processor 1302 obtaining the depth information of the target object from the depth information of the at least one object includes:
  • the depth information of the evaluation parameters of the object that meets the preset requirements is determined as the depth information of the target object.
  • the evaluation parameter includes a distance between the image area indicated by the second area indication information and the reference image area and / or a difference between the depth information of the object and the depth information of the target object obtained at the historical time;
  • the processor 1302 determines the depth information of the object whose evaluation parameters meet the preset requirements as the depth information of the target object includes:
  • the depth information of the object with the smallest distance and / or the smallest difference is determined as the depth information of the target object.
  • the processor 1302, the calling program instruction is further used for:
  • the processor 1302 obtaining the depth information of the target object from the depth image according to the correspondence between the gray image and the depth image and the reference gray image includes:
  • the obtaining, by the processor 1302, the depth information of the target object from the depth image output by the depth sensor 1304 according to the first area instruction information includes:
  • the shooting device 1303 is configured on the body of the movable platform through the pan / tilt.
  • the processor 1302 projects the image area indicated by the first area indication information into the depth image to obtain the third area indication information of the target object, including:
  • the image area indicated by the first area indication information is projected into the depth image according to the joint angle error to obtain the third area indication information of the target object.
  • the processor 1302 obtains the joint angle error of the gimbal, including:
  • the joint angle error of the gimbal is obtained according to the position information of the first image feature in the image output by the photographing device 1303 and the position information of the second image feature in the grayscale image.
  • the obtaining, by the processor 1302, the depth information of the target object from the depth image according to the third target region indication information includes:
  • the depth information obtained by the clustering operation is determined as the depth information of the target object.
  • the processor 1302, the calling program instruction is further used for:
  • the principle of the mobile platform provided in the embodiments of this application to solve the problem is similar to the method embodiment of this application, so the implementation of the mobile platform can refer to the implementation of the method, and the beneficial effects of the mobile platform can refer to the benefits of the method. The effect, for brevity description, will not be repeated here.
  • the functions described in the present invention may be implemented by hardware, software, firmware, or any combination thereof.
  • the functions may be stored on a computer-readable medium or transmitted as one or more instructions or code on a computer-readable medium.
  • Computer-readable media includes computer storage media and communication media including any medium that facilitates transfer of a computer program from one place to another.
  • a storage media may be any available media that can be accessed by a general purpose or special purpose computer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种目标对象的深度信息获取方法及可移动平台，该可移动平台的机身上配置拍摄装置和深度传感器，该方法包括：获取目标对象的第一区域指示信息，其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域；根据该第一区域指示信息从深度传感器输出的深度图像中获取该目标对象的深度信息。可见，通过实施本申请，可移动平台可以确定目标对象的深度信息。

Description

一种目标对象的深度信息获取方法及可移动平台 技术领域
本发明涉及终端技术领域，尤其涉及一种目标对象的深度信息获取方法及可移动平台。
背景技术
目前可移动平台可以配置拍摄装置，可移动平台可以使用机器学习算法在拍摄装置拍摄的图像上识别出需要跟踪的目标对象，以获取目标对象在图像中的检测框，并根据目标对象的检测框确定出目标对象的位置，并根据所述位置对目标对象进行跟踪。
然而，在实际应用中，根据目标对象的检测框确定出目标对象的位置，其准确性和可靠性不高。在确定目标对象的位置时，如果能够结合目标对象的深度信息，可提高其准确性和可靠性。因此，如何获取目标对象的深度信息是目前亟待解决的问题。
发明内容
本发明实施例公开了一种目标对象的深度信息获取方法及可移动平台，能够准确地获取目标对象的深度信息。
第一方面，本申请提供了一种目标对象的深度信息获取方法，应用于可移动平台，该可移动平台的机身上配置拍摄装置和深度传感器，该方法包括：
获取目标对象的第一区域指示信息，其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域；
根据该第一区域指示信息从深度传感器输出的深度图像中获取该目标对象的深度信息。
第二方面，本申请提供了一种可移动平台，可移动平台包括：存储器、处理器、拍摄装置和深度传感器，其中：
存储器，用于存储程序指令；
处理器，调用程序指令以用于：
获取目标对象的第一区域指示信息，其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域；
根据该第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息。
本发明实施例中提供的目标对象的深度信息获取方法和可移动平台，根据目标对象的第一区域指示信息获取从深度传感器输出的深度图像中获取该目标对象的深度信息，其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域。通过这种方式，可移动平台可以获取目标对象的深度信息。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种目标对象的深度信息获取方法的流程示意图；
图2是本发明实施例提供的一种拍摄装置输出的图像的示意图；
图3是本发明实施例提供的另一种目标对象的深度信息获取方法的流程示意图；
图4是本发明实施例提供的一种拍摄装置输出的图像和灰度图像的示意图；
图5是本发明实施例提供的另一种拍摄装置输出的图像和灰度图像的示意图；
图6是本发明实施例提供的又一种目标对象的深度信息获取方法的流程示意图；
图7是本发明实施例提供的一种灰度图像的示意图；
图8是本发明实施例提供的一种灰度图像和深度图像的示意图；
图9是本发明实施例提供的另一种灰度图像和深度图像的示意图；
图10是本发明实施例提供的又一种目标对象的深度信息获取方法的流程示意图；
图11是本发明实施例提供的又一种目标对象的深度信息获取方法的流程示意图；
图12是本发明实施例提供的一种拍摄装置输出的图像和深度图像的示意图；
图13是本发明实施例提供的一种可移动平台的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
本发明使用的术语仅仅是出于描述特定实施例的目的，而非限制本发明。本发明和权利要求书所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。应当理解的是，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。
尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”，或者，“当……时”，或者，“响应于确定”。
本发明实施例提出了一种目标对象的深度信息获取方法及可移动平台。其中，该可移动平台可以包括但不限于无人机、无人船、地面机器人(例如无人车等)。可移动平台可以进行目标对象的跟踪，例如，对人物或汽车等其他可移动的目标对象进行跟踪。可移动平台可以包括拍摄装置，可移动平台的机身上配置有拍摄装置(如相机、摄像机等)，可移动平台可通过拍摄装置拍摄目标对象的图像，进而根据目标对象的图像分析得到目标对象的位置信息。可移 动平台根据目标对象的位置信息对目标对象进行跟踪。可选的，拍摄装置可以直接配置在可移动平台的机身。可选的，所述拍摄装置可以通过承载装置配置在可移动平台的机身上。其中，所述承载装置可以为云台，云台可以承载拍摄装置以为拍摄设备增稳和/或调整拍摄装置的拍摄姿态。
此外，该可移动平台还包括深度传感器，所述深度传感器可以配置在可移动平台的机身上。该深度传感器为任何能够直接或者间接地获取深度图像的传感器。在某些情况中，所述深度传感器可以为毫米波雷达或激光雷达等传感器。在某些情况中，该深度传感器也可以为任何能够获取深度图像和深度图像对应的灰度图像的传感器，例如，该深度传感器可以包括双目摄像头、单目摄像头、TOF相机等传感器。
下面对本发明实施例提供的目标对象的深度信息获取方法的具体流程进一步进行说明。
请参阅图1，图1为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。如图1所示，该目标对象的深度信息获取方法可包括步骤101和102。其中：
101、可移动平台获取目标对象的第一区域指示信息。
其中，该第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域。例如，图2为可移动平台的拍摄装置输出的图像。图2中201为目标对象，202所示的区域为目标对象在拍摄装置输出的图像中的图像区域。该第一区域指示信息用于指示202所示的图像区域。
可选的，第一区域指示信息可以为目标对象的检测框(bounding box)信息。其中，所述第一区域指示信息可以为图像区域202左上角和右下角在图像中的位置。所述第一区域指示信息可以用于指示目标对象在图像中的图像区域在图像中的哪个位置；所述第一区域指示信息可以用于指示目标对象在图像中的图像区域的大小，例如检测框的长和宽。
可选的，可移动平台获取目标对象的第一区域指示信息的具体实施方式可以为：可移动平台可将拍摄装置拍摄的图像输入到第一预设神经网络中，并获取该第一预设神经网络输出的第一区域指示信息。具体地，可移动平台的处理器获取拍摄装置拍摄的图像，并将所述图像输入到已经训练好的第一神经网络。其中，已经训练好的第一神经网络可以对特定类型的对象进行识别，若目 标对象的类型与所述特定类型一致，则所述第一神经网络模型可以识别图像中的目标对象，并输出目标对象的第一区域指示信息，可移动平台的处理器可以获取输出目标对象的第一区域指示信息。
可选的，可移动平台获取目标对象的第一区域指示信息的具体实施方式可以为：可移动平台获取控制终端发送的第一区域指示信息，其中，所述第一区域指示信息是控制终端检测用户在显示所述图像的交互界面上的目标对象选择操作确定的。该控制终端可以接收可移动平台发送的拍摄装置拍摄的图像。例如，该控制终端可以为手机、平板电脑、遥控器、穿戴式设备(手表或手环)中的一种或多种。该控制终端的交互界面可以显示可移动平台的拍摄装置拍摄的图像。用户可在显示所述图像的交互界面进行目标对象选择操作，例如框选目标对象，控制终端检测用户的目标对象选择操作，并根据检测到的所述操作获取用于指示目标对象的图像区域的第一区域指示信息，并将该第一区域指示信息发送至可移动平台。
102、可移动平台根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息。
具体地，可移动平台的处理器可以获取深度传感器输出的深度图像，所述深度图像中包括目标对象的深度信息。其中，深度图像中每个像素值是深度传感器与物体之间的深度，即深度图像中包括深度传感器与目标对象之间的深度。可移动平台的处理器可以根据第一区域指示信息从深度图像中获取目标对象的深度信息。
作为一种可选的实施方式，可移动平台还可根据目标对象的深度信息确定目标对象的位置信息，并根据目标对象的位置信息对目标对象进行跟踪。
在现有技术中，通常根据目标对象的检测框信息来确定目标对象的位置信息。这样会导致确定的目标对象的位置信息不准确。本发明实施例中，在获取目标对象的深度信息后，可以根据目标对象的深度信息来确定目标对象的位置信息，例如，可以将目标对象的深度信息和目标对象的第一区域指示信息来确定目标对象的位置信息。这样可以更加准确地确定目标对象的位置信息。
通过实施图1所描述的方法，可移动平台可获取目标对象的第一区域指示信息，进而根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息。可见，通过实施图1所描述的方法，可移动平台可以确定目标 对象的深度信息。
请参阅图3，图3为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。其中，302和303为102的具体实施方式。如图3所示，该目标对象的深度信息获取方法可包括步骤301～303。其中：
301、可移动平台获取目标对象的第一区域指示信息。
其中，301的具体实施方式与101的具体实施方式相同，具体可参见101对应的描述，在此不赘述。
302、可移动平台将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域。其中，该灰度图像是深度传感器输出的。
如前述所说，该深度传感器包括任何能够获取深度图像和深度图像对应的灰度图像的传感器。例如，该深度传感器包括双目摄像头、单目摄像头和TOF相机中的一种或多种。在某些情况中，深度传感器可以先输出灰度图像，再根据灰度图像输出深度图像。在某些情况中，深度传感器可以同时输出深度图像和与深度图像对应的灰度图像。
其中，该灰度图像中的每一个像素点与深度图像的每一个像素点具有一一对应关系，即深度图像中的每一个像素点在灰度图像上的位置与深度图像的每一个像素点在深度图像上的位置相同。
由于拍摄装置和深度传感都配置在可移动平台的机身上，根据拍摄装置、深度传感器和所述机身之间的空间位置关系，可以将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中以获取参考图像区域，即灰度图像中的一个图像区域。可以理解的是，参考图像区域可以是第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像获取的投影区域；在某些情况中，参考图像区域可以是根据图像区域投影到与深度图像对应的灰度图像获取的投影区域确定的图像区域，例如，将获取的投影区域按照预设的方式扩大预设倍数后获取的图像区域。
可选的，可根据承载拍摄装置的云台的姿态信息、机身的姿态信息、深度传感器和可移动平台的惯性测量单元(Inertial measurement unit，IMU)之间的几何位置关系和所述云台与所述惯性测量单元之间的几何位置关系，将第一 目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域。
由于投影过程可能存在误差，因此将第一目标区域信息指示的图像区域投影到灰度图像中的投影区域可能不是目标对象在灰度图像中的区域。例如，如图4所示，人物401为目标对象。人物401的第一目标区域信息指示的图像区域为图像区域402。灰度图像中的图像区域403为第一目标区域信息指示的图像区域402投影到灰度图像中的投影区域。如图4所示，投影区域403相较于图像区域402向下及向右均发生了偏移，投影区域403不能准确地包括目标对象，这样会导致根据投影区域中的灰度图像，无法准确地得到目标对象的深度信息。因此，可选的，参考图像区域可以根据得到的投影区域403获取。例如保持投影区域的中心点不变，适当对投影区域进行扩大，得到参考图像区域。例如，如图5所示，第一目标区域信息指示的图像区域502为350*250，对投影区域扩大后得到的参考图像区域503为640*360。
303、可移动平台根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息。其中，该参考灰度图像为参考图像区域内的灰度图像。
本申请实施例中，可移动平台获取参考图像区域之后，根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息。
作为一种可选的实施方式，可移动平台还可根据目标对象的深度信息确定目标对象的位置信息，并根据目标对象的位置信息对目标对象进行跟踪。
根据目标对象的深度信息来确定目标对象的位置信息，可以准确地确定目标对象的位置信息。当然也可以将目标对象的深度信息和目标对象的第一区域指示信息相结合来确定目标对象的位置信息。这样可以更加准确地确定目标对象的位置信息。
可见，通过实施图3所描述的方法，能够准确地获取目标对象的深度信息。
请参阅图6，图6为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。其中，604和605为303的具体实施方式。如图6所示，该目标对象的深度信息获取方法可包括步骤601～605。其中：
601、可移动平台获取目标对象的第一区域指示信息。
602、可移动平台将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域。其中，该灰度图像是深度传感器输出的。
其中，601和602的具体实施方式与301和302的具体实施方式相同，具体可参见301和302对应的描述，在此不赘述。
603、可移动平台获取目标对象的类型。
604、可移动平台获取至少一个与目标对象的类型相同的对象的第二区域指示信息。其中，该第二区域指示信息用于指示该至少一个对象在参考灰度图像中的图像区域，该至少一个对象中包括该目标对象。
605、可移动平台根据灰度图像与深度图像的对应关系和该至少一个对象的第二区域指示信息，从深度图像中获取该目标对象的深度信息。
在本申请实施例中，可移动平台可通过以下两种方式获取目标对象的类型。
方式一：可移动平台将拍摄装置输出的图像输入到第二预设神经网络(例如卷积神经网络)中，并获取第二预设神经网络输出的目标对象的类型。即可移动平台可通过深度学习得到目标对象的类型。具体地，可移动平台的处理器获取拍摄装置拍摄的图像，并将所述图像输入到已经训练好的第二神经网络。其中，已经训练好的第二神经网络可以对所述图像中的对象的类型进行识别，并输出识别到的目标对象的类型。可移动平台的处理器可以获取第二神经网络输出的目标对象的类型。
方式二：可移动平台获取可移动平台的控制终端发送的目标对象的类型。可选的，所述目标对象的类型是所述控制终端接收的用户输入的类型。或者，可移动平台还可通过其他方式获取目标对象的类型，本申请实施例不做限定。
在本申请实施例中，可移动平台从参考灰度图像中确定至少一个与目标对象的类型相同的对象，即从参考灰度图像获取至少一个与目标对象的类型相同的对象，进而获取与目标对象的类型相同的对象的第二区域指示信息。如图7所示，目标对象的类型为人类。可移动平台从参考图像区域700的参考灰度图像中确定人物701和人物702为与目标对象的类型相同的对象。例如，可以利用深度学习的算法从参考灰度图像中确定人物701和人物702为与目标对象的类型相同的对象。人物701的第二区域指示信息指示703所示的灰度图像区域， 人物702的第二区域指示信息指示704所示的灰度图像区域。可移动平台根据灰度图像与深度图像的对应关系、人物701的第二区域指示信息和人物702的第二区域指示信息，从深度图像中获取目标对象的深度信息。
可选的，对象的第二区域指示信息可以为对象的检测框(bounding box)信息。
可见，通过图6所描述的方法，能够准确地获取目标对象的深度信息。
作为一种可选的实施方式，步骤605的具体实施方式包括以下步骤(11)～(13)：
(11)、可移动平台从该至少一个对象的第二区域指示信息中确定该目标对象的第二区域指示信息；
(12)、可移动平台根据灰度图像与深度图像的对应关系和该目标对象的第二区域指示信息，确定该目标对象的第三区域指示信息，其中，该第三区域指示信息用于指示该目标对象在深度图像上的图像区域；
(13)、可移动平台根据第三区域指示信息从深度图像中获取该目标对象的深度信息。
例如，如图8所示，可移动平台从参考图像区域800的参考灰度图像中获取的至少一个与目标对象的类型相同的对象包括人物801和人物802。人物801的第二区域指示信息指示803所示的区域。人物802的第二区域指示信息指示804所示的区域。可移动平台确定人物801的第二区域指示信息为目标对象的第二区域指示信息。由于灰度图像与深度图像具有对应关系，可移动平台可根据灰度图像与深度图像的对应关系和人物801的第二区域指示信息，确定该人物801的第三区域指示信息，该人物801的第三区域指示信息指示的深度图像区域与该人物801第二区域指示信息指示的灰度图像区域对应。如图8所示，805所示的区域为人物801的第三区域指示信息所指示的区域。可移动平台根据该人物801的第三区域指示信息所指示的区域从深度图像中获取目标对象的深度信息。通过实施该实施方式，能够准确地获取目标对象的深度信息。
可选的，可移动平台根据该第三区域指示信息从深度图像中获取目标对象的深度信息的具体实施方式为：按照预设的方式对该第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为目标对象的深度信息。具体地，可以以该第三区域指示信息指示的图像区域内中心 的像素点作为起点进行聚类运算，将聚类运算获取的深度信息确定为目标对象的深度信息。聚类算法可以确定出同一类的像素点，即聚类算法可以将目标对象与背景区分开来，进而得到只属于目标对象的深度图像区域，再根据目标对象的深度图像区域确定目标对象的深度信息。通过实施该实施方式，能够对第三区域指示信息指示的图像区域进行深度扣取，以准确地获取目标对象的深度信息。
可选的，该至少一个对象的第二区域指示信息包括多个对象的第二区域指示信息；步骤(11)，即可移动平台从该至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息的具体实施方式为：确定该至少一个对象中每一个对象的第二目标信息的评价参数；将评价参数符合预设要求的对象的第二区域指示信息确定为该目标对象的第二区域指示信息。
具体地，可移动平台可以确定该至少一个对象中每一个对象的第二目标信息的评价参数，其中，可以对每一个对象的第二目标信息的评价参数进行分析以根据所述评价参数来确定至少一个对象的第二目标信息中确定目标对象的第二目标指示信息。通过实施该实施方式，能够准确地从多个对象的第二区域指示信息中确定出目标对象的第二区域指示信息。
可选的，该评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离，将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息的具体实施方式为：将该距离最小的对象的第二区域指示信息确定为目标对象的第二区域指示信息。具体地，该距离可以是第二区域指示信息指示的图像区域的中心位置与参考图像区域中心位置之间的距离。例如，如图8所示，第二区域指示信息指示的图像区域803的中心位置与参考图像区域800之间的距离最小，因此将人物801确定为目标对象，将指示的图像区域803的第二区域指示信息确定为目标对象的第二区域指示信息。通过实施该实施方式，能够准确地从多个对象的第二区域指示信息中确定出目标对象的第二区域指示信息。
或者，该评价参数还可以是其他参数，本申请实施例不做限定。
作为一种可选的实施方式，步骤605的具体实施方式包括以下步骤(21)～(23)：
(21)、可移动平台根据灰度图像与深度图像的对应关系和该至少一个对 象的第二区域指示信息，确定该至少一个对象的第三区域指示信息，该第三区域指示信息用于指示对象在深度图像上的图像区域；
(22)、可移动平台根据该至少一个对象的第三区域指示信息从深度图像获取至少一个对象的深度信息；
(23)、可移动平台从至少一个对象的深度信息中获取目标对象的深度信息。
例如，如图9所示，可移动平台从参考图像区域900的参考灰度图像中获取的至少一个与目标对象的类型相同的对象包括人物901和人物902。903所示的区域为人物901的第二区域指示信息所指示的区域。904所示的区域为人物902的第二区域指示信息所指示的区域。可移动平台根据灰度图像与深度图像的对应关系和人物901的第二区域指示信息，确定人物901的第三区域指示信息，并根据灰度图像与深度图像的对应关系和人物902的第二区域指示信息，确定人物902的第三区域指示信息。人物901的第三区域指示信息指示深度图像中905所示的区域。人物902的第三区域指示信息指示深度图像中906所示的区域。可移动平台根据人物901的第三区域指示信息从深度图像获取人物901的深度信息；可移动平台根据人物902的第三区域指示信息从深度图像获取人物902的深度信息；可移动平台从人物901的深度信息和人物902的深度信息中获取目标对象的深度信息。
通过实施该实施方式，能够准确地获取目标对象的深度信息。
作为一种可选的实施方式，可移动平台根据该至少一个对象的第三区域指示信息从深度图像获取该至少一个对象的深度信息的具体实施方式为：按照预设的方式对第一对象的第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为该第一对象的深度信息，其中该第一对象为该至少一个对象中的任一对象。
例如，如图9所示，该至少一个对象包括人物901和人物902。可移动平台按照预设的方式对人物901的第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为该人物901的深度信息。可移动平台按照预设的方式对人物902的第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为该人物902的深度信息。具体地，可以以该第三区域指示信息指示的图像区域内中心的像 素点作为起点进行聚类运算，将聚类运算获取的深度信息确定为目标对象的深度信息。通过实施该实施方式，能够对第三区域指示信息指示的图像区域进行深度扣取，以准确地获取该至少一个对象的深度信息。
作为一种可选的实施方式，该至少一个对象的深度信息包括多个对象的深度信息，可移动平台从至少一个对象的深度信息中获取目标对象的深度信息的具体实施方式为：可移动平台获取该至少一个对象中的每一个对象的深度信息的评价参数；可移动平台将评价参数符合预设要求的对象的深度信息确定为目标对象的深度信息。
具体地，可移动平台可以确定该至少一个对象中每一个对象的深度信息的评价参数，其中，可以对每一个对象的深度信息的评价参数进行分析以根据所述评价参数来确定至少一个对象的深度信息中确定目标对象的深度信息。通过实施该实施方式，能够从多个对象的深度信息中准确地确定目标对象的深度信息。
可选的，该评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间的差异；将评价参数符合预设要求的对象的深度信息确定为目标对象的深度信息的具体实施方式为：将距离最小和/或差异最小的对象的深度信息确定为目标对象的深度信息。具体地，该距离可以是第二区域指示信息指示的图像区域的中心位置与参考图像区域中心位置之间的距离。
例如，如图9所示，第二区域指示信息指示的图像区域903的中心位置与参考图像区域900的中心位置之间的距离最小。因此将人物901的深度信息确定为目标对象的深度信息。
再如，上一次获取的目标对象的深度信息为2m，获取的人物901的深度信息为2.5m，获取的人物902的深度信息为5m。因此，将人物901的深度信息确定为目标对象的深度信息。通常可移动平台会以周期来检测目标对象的深度信息，该周期一般为较短的时间。在较短的时间之内目标对象的深度信息不会变化太大。因此，可以将与历史时刻获取的目标对象的深度信息之间的差异最小的对象的深度信息确定为目标对象的深度信息。
可见，通过实施该实施方式，能够准确地从多个对象的深度信息中确定出目标对象的深度信息。
请参阅图10，图10为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。其中，1004～1006为303的具体实施方式。如图10所示，该目标对象的深度信息获取方法可包括步骤1001～1006。其中：
1001、可移动平台获取目标对象的第一区域指示信息。
1002、可移动平台将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域。其中，该灰度图像是深度传感器输出的。
其中，1001和1002的具体实施方式与301和302的具体实施方式相同，具体可参见301和302对应的描述，在此不赘述。
1003、可移动平台获取该目标对象在图像中的图像特征。
在本申请实施例中，可移动平台可通过以下两种方式获取目标对象的图像特征。方式一：可移动平台将拍摄装置输出的图像输入到第三预设神经网络(例如卷积神经网络)中，并获取第三预设神经网络输出的目标对象的图像特征。即可移动平台可通过深度学习得到目标对象的图像特征。具体地，可移动平台的处理器获取拍摄装置拍摄的图像，并将所述图像输入到已经训练好的第三神经网络。其中，已经训练好的第三神经网络可以对特定类型的对象的图像特征进行识别，若目标对象的类型与所述特定类型一致，则所述第一神经网络模型可以识别图像中的目标对象的图像特征，并输出目标对象的图像特征，可移动平台的处理器可以获取输出目标对象的图像特征。
方式二：可移动平台获取可移动平台的控制终端发送的目标对象的图像特征。可选的，该目标对象的图像特征可以是用户在控制终端输入的。例如，用户可在控制终端输入控制终端可识别的目标对象的图像特征，控制终端将用户输入的目标对象的图像特征发送至可移动平台。或者，可移动平台还可通过其他方式获取目标对象的图像特征，本申请实施例不做限定。
1004、可移动平台获取与目标对象的图像特征匹配的对象的第二区域指示信息，将该图像特征匹配的对象的第二区域指示信息确定为目标对象的第二区域指示信息。其中，该第二区域指示信息用于指示与图像特征匹配的对象在参考灰度图像中的图像区域。
1005、可移动平台根据灰度图像与深度图像的对应关系和该目标对象的第 二区域指示信息，确定该目标对象的第三区域指示信息。其中，该第三区域指示信息用于指示该目标对象在深度图像上的图像区域。
1006、可移动平台根据该第三区域指示信息从深度图像中获取目标对象的深度信息。
也就是说，可移动平台可以从参考灰度图像中确定与目标对象的图像特征匹配的对象，进而获取与目标对象的图像特征匹配的对象的第二区域指示信息。例如，如图8所示，可移动平台在参考图像区域800的参考灰度图像中确定人物801为与目标对象的图像特征匹配的对象，因此可移动平台将人物801的第二区域指示信息确定为目标对象的第二区域指示信息。该目标对象的第二区域指示信息指示图像区域803。可移动平台根据灰度图像与深度图像的对应关系和目标对象的第二区域指示信息，确定目标对象的第三区域指示信息。该第三区域指示信息指示深度图像上的805区域。可移动平台根据该第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，可移动平台根据第三区域指示信息从深度图像中获取目标对象的深度信息的具体实施方式为：按照预设的方式对第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为目标对象的深度信息。该实施方式的具体实现可参见图6对应的实施例中对应的描述，在此不赘述。
可见，通过图10所描述的方法，可移动平台能够准确地获取目标对象的深度信息。
请参阅图11，图11为本发明实施例公开的一种目标对象的深度信息获取方法的流程示意图。其中，1102和1103为102的具体实施方式。如图11所示，该目标对象的深度信息获取方法可包括步骤1101～1103。其中：
1101、可移动平台获取目标对象的第一区域指示信息。
1102、可移动平台将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息。其中，该第三区域指示信息用于指示目标对象在深度图像上的图像区域。
1103、可移动平台根据第三区域指示信息从深度图像中获取目标对象的深度信息。
本申请实施例中，可移动平台可直接将第一区域指示信息指示的图像区域投影到深度图像，并将所得到的投影区域确定为目标对象在深度图像上的图像区域。例如，如图12所示，目标对象为人物1201，第一区域指示信息指示的图像区域为1202所示的区域。可移动平台可直接将第一区域指示信息指示的图像区域1202投影到深度图像中，所得到的投影区域1203就为目标对象在深度图像上的图像区域，即第三区域指示信息指示的图像区域为1203所示的区域。目标对象的第三区域指示信息指示投影区域1203。可移动平台根据第三区域指示信息就可从深度图像中获取目标对象的深度信息。
在实际应用中，云台的关节角可能存在误差，因此根据云台的关节角将第一区域指示信息指示的图像区域投影到深度图像，得到的投影区域可能并不是目标对象在深度图像上的图像区域，即投影具有误差。但是也存在云台的关节角没有误差或者误差已知的情况，因此，可直接将第一区域指示信息指示的图像区域投影到深度图像，并将所得到的投影区域确定为目标对象在深度图像上的图像区域。
通过实施图11所描述的方法，可移动平台能够准确地获取目标对象的深度信息。
作为一种可选的实施方式，可移动平台根据该第三区域指示信息从深度图像中获取目标对象的深度信息的具体实施方式为：按照预设的方式对该第三区域指示信息指示的图像区域内的深度图像进行聚类运算；将聚类运算获取的深度信息确定为目标对象的深度信息。该实施方式的具体实现可参见图6对应的实施例中对应的描述，在此不赘述。
作为一种可选的实施方式，拍摄装置通过云台配置在可移动平台的机身上，将该第一区域指示信息指示的图像区域投影到深度图像中以获取目标对象的第三区域指示信息的具体实施方式为：获取云台的关节角误差；根据关节角误差将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息。
在该实施方式中，若云台的关节角存在误差，将第一区域指示信息指示的图像区域投影到深度图像中所得到的投影区域可能不是目标对象在深度图像上的图像区域。因此可以先计算出云台的关节角误差，再根据关节角误差对测量得到的云台的关节角进行纠正。再根据纠正后的云台的关节角将第一区域指 示信息指示的图像区域投影到深度图像中，此时得到的投影区域就为目标对象在深度图像上的图像区域。进一步地，可以根据纠正后的云台的关节角、承载拍摄装置的云台的姿态信息、机身的姿态信息、深度传感器和可移动平台的惯性测量单元(Inertial measurement unit，IMU)之间的几何位置关系和所述云台与所述惯性测量单元之间的几何位置关系将该第一区域指示信息指示的图像区域投影到深度图像中以获取目标对象的第三区域指示信息。可见，通过实施该实施方式可以准确地投影得到目标对象在深度图像上的图像区域。
作为一种可选的实施方式，可移动平台获取云台的关节角误差的具体实施方式为：获取拍摄装置输出的图像中的图像特征；获取与深度图像对应的灰度图像中的图像特征，其中，灰度图像是深度传感器输出的；将拍摄装置输出的图像中的图像特征和灰度图像中的图像特征进行匹配，以获取匹配成功的拍摄装置输出的图像中的第一图像特征和对应的灰度图像中的第二图像特征；根据第一图像特征在拍摄装置输出的图像中的位置信息和第二图像特征在灰度图像中的位置信息获取云台的关节角误差。通过实施该实施方式，可以准确地计算出云台的关节角误差。
也就是说，在该实施方式中，深度传感器是可以获取灰度图像和深度图像的传感器。拍摄装置输出的图像的第一图像特征与深度传感器输出的灰度图像中的第二图像特征相匹配时，可移动平台根据第一图像特征在拍摄装置输出的图像中的位置信息和第二图像特征在灰度图像中的位置信息获取云台的关节角误差。
可选的，可移动平台可将拍摄装置输出的图像输入到第四预设神经网络(例如卷积神经网络)中，并获取第四预设神经网络输出拍摄装置输出的图像的图像特征。同理，可移动平台可将深度传感器输出的灰度图像输入到第五预设神经网络(例如卷积神经网络)中，并获取第五预设神经网络输出深度传感器输出的灰度图像的图像特征。或者，可移动平台还可通过其他方式获取目标对象的图像特征，本申请实施例不做限定。
作为一种可选的实施方式，可移动平台获取目标对象的深度信息之后，还可根据目标对象的深度信息确定目标对象的位置信息，并根据目标对象的位置信息对目标对象进行跟踪。
根据目标对象的深度信息来确定目标对象的位置信息，可以准确地确定目 标对象的位置信息。当然也可以将目标对象的深度信息和目标对象的第一区域指示信息相结合来确定目标对象的位置信息。这样可以更加准确地确定目标对象的位置信息。
本申请实施例提供了一种可移动平台。该可移动平台的机身上配置拍摄装置和深度传感器，该可移动平台至少可以包括处理单元，其中：
处理单元，用于获取目标对象的第一区域指示信息，其中，第一区域指示信息用于指示目标对象在拍摄装置输出的图像中的图像区域；
该处理单元，还用于根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息。
可选的，该处理单元根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息，包括：
将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域，其中，灰度图像是深度传感器输出的；
根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息，其中，参考灰度图像为参考图像区域内的灰度图像。
可选的，该处理单元还用于获取目标对象的类型；
该处理单元根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息，包括：
获取至少一个与目标对象的类型相同的对象的第二区域指示信息，其中，第二区域指示信息用于指示至少一个对象在参考灰度图像中的图像区域，至少一个对象中包括目标对象；
根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息。
可选的，该处理单元根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息，包括：
从至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息；
根据对应关系和目标对象的第二区域指示信息，确定目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区 域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，该至少一个对象的第二区域指示信息包括多个对象的第二区域指示信息，
该处理单元从至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息，包括：
确定每一个对象的第二目标信息的评价参数；
将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息。
可选的，评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离，
该处理单元将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息，包括：
将距离最小的对象的第二区域指示信息确定为目标对象的第二区域指示信息。
可选的，该处理单元根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息，包括：
根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，确定至少一个对象的第三区域指示信息，第三区域指示信息用于指示对象在深度图像上的图像区域；
根据至少一个对象的第三区域指示信息从深度图像获取至少一个对象的深度信息；
从至少一个对象的深度信息中获取目标对象的深度信息。
可选的，至少一个对象的深度信息包括多个对象的深度信息，
该处理单元从至少一个对象的深度信息中获取目标对象的深度信息包括：
获取至少一个对象中的每一个对象的深度信息的评价参数；
将评价参数的符合预设要求的对象的深度信息确定为目标对象的深度信息。
可选的，评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间 的差异；
该处理单元将评价参数的符合预设要求的对象的深度信息确定为目标对象的深度信息包括：
将距离最小和/或差异最小的对象的深度信息确定为目标对象的深度信息。
可选的，该处理单元还用于获取目标对象在图像中的图像特征；
该处理单元根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息包括：
获取与目标对象的图像特征匹配的对象的第二区域指示信息，将图像特征匹配的对象的第二区域指示信息确定为目标对象的第二区域指示信息，其中，第二区域指示信息用于指示与图像特征匹配的对象在参考灰度图像中的图像区域；
根据对应关系和目标对象的第二区域指示信息确定目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，该处理单元根据第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息包括：
将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，拍摄装置通过云台配置在可移动平台的机身上，
该处理单元将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息包括：
获取云台的关节角误差；
根据关节角误差将第一区域指示信息指示的图像区域投影到深度图像中以获取目标对象的第三区域指示信息。
可选的，该处理单元获取云台的关节角误差，包括：
获取拍摄装置输出的图像中的图像特征；
获取与深度图像对应的灰度图像中的图像特征，其中，灰度图像是深度传感器输出的；
将拍摄装置输出的图像中的图像特征和灰度图像中的图像特征进行匹配，以获取匹配成功的拍摄装置输出的图像中的第一图像特征和对应的灰度图像中的第二图像特征；
根据第一图像特征在拍摄装置输出的图像中的位置信息和第二图像特征在灰度图像中的位置信息获取云台的关节角误差。
可选的，该处理单元根据第三目标区域指示信息从深度图像中获取目标对象的深度信息包括：
按照预设的方式对第三区域指示信息指示的图像区域内的深度图像进行聚类运算；
将聚类运算获取的深度信息确定为目标对象的深度信息。
可选的，该处理单元还用于根据目标对象的深度信息确定目标对象的位置信息；根据目标对象的位置信息对目标对象进行跟踪。
请参阅图13，图13是本发明实施例提供的一种可移动平台的结构示意图。如图13所示，该可移动平台包括存储器1301、处理器1302、拍摄装置1303和深度传感器1304。可选的，存储器1301、处理器1302和拍摄装置1303和深度传感器1304可通过总线系统1305相连。
存储器1301，用于存储程序指令。存储器1301可以包括易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；存储器1301也可以包括非易失性存储器(non-volatile memory)，例如快闪存储器(flash memory)，固态硬盘(solid-state drive，SSD)等；存储器1301还可以包括上述种类的存储器的组合。
处理器1302可以包括中央处理器(central processing unit，CPU)。处理器1302还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmable logic device，PLD)等。上述PLD可以是现场可编程逻辑门阵列(field-programmable gate array，FPGA)，通用阵列逻辑(generic array logic， GAL)等。其中，处理器1302调用存储器1301中的程序指令用于执行以下步骤：
获取目标对象的第一区域指示信息，其中，第一区域指示信息用于指示目标对象在拍摄装置1303输出的图像中的图像区域；
根据第一区域指示信息从深度传感器1304输出的深度图像中获取目标对象的深度信息。
可选的，处理器1302根据第一区域指示信息从深度传感器1304输出的深度图像中获取目标对象的深度信息，包括：
将第一目标区域信息指示的图像区域投影到与深度图像对应的灰度图像中，以获取参考图像区域，其中，灰度图像是深度传感器1304输出的；
根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息，其中，参考灰度图像为参考图像区域内的灰度图像。
可选的，处理器1302，调用程序指令还用于：
获取目标对象的类型；
处理器1302根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息，包括：
获取至少一个与目标对象的类型相同的对象的第二区域指示信息，其中，第二区域指示信息用于指示至少一个对象在参考灰度图像中的图像区域，至少一个对象中包括目标对象；
根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息。
可选的，处理器1302根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息，包括：
从至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息；
根据对应关系和目标对象的第二区域指示信息，确定目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，至少一个对象的第二区域指示信息包括多个对象的第二区域指示 信息，
处理器1302从至少一个对象的第二区域指示信息中确定目标对象的第二区域指示信息，包括：
确定每一个对象的第二目标信息的评价参数；
将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息。
可选的，评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离，
处理器1302将评价参数符合预设要求的对象的第二区域指示信息确定为目标对象的第二区域指示信息，包括：
将距离最小的对象的第二区域指示信息确定为目标对象的第二区域指示信息。
可选的，处理器1302根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，从深度图像中获取目标对象的深度信息，包括：
根据灰度图像与深度图像的对应关系和至少一个对象的第二区域指示信息，确定至少一个对象的第三区域指示信息，第三区域指示信息用于指示对象在深度图像上的图像区域；
根据至少一个对象的第三区域指示信息从深度图像获取至少一个对象的深度信息；
从至少一个对象的深度信息中获取目标对象的深度信息。
可选的，至少一个对象的深度信息包括多个对象的深度信息，
处理器1302从至少一个对象的深度信息中获取目标对象的深度信息包括：
获取至少一个对象中的每一个对象的深度信息的评价参数；
将评价参数的符合预设要求的对象的深度信息确定为目标对象的深度信息。
可选的，评价参数包括第二区域指示信息指示的图像区域与参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间的差异；
处理器1302将评价参数的符合预设要求的对象的深度信息确定为目标对 象的深度信息包括：
将距离最小和/或差异最小的对象的深度信息确定为目标对象的深度信息。
可选的，处理器1302，调用程序指令还用于：
获取目标对象在图像中的图像特征；
处理器1302根据灰度图像与深度图像的对应关系和参考灰度图像，从深度图像中获取目标对象的深度信息包括：
获取与目标对象的图像特征匹配的对象的第二区域指示信息，将图像特征匹配的对象的第二区域指示信息确定为目标对象的第二区域指示信息，其中，第二区域指示信息用于指示与图像特征匹配的对象在参考灰度图像中的图像区域；
根据对应关系和目标对象的第二区域指示信息确定目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，处理器1302根据第一区域指示信息从深度传感器1304输出的深度图像中获取目标对象的深度信息包括：
将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息，其中，第三区域指示信息用于指示目标对象在深度图像上的图像区域；
根据第三区域指示信息从深度图像中获取目标对象的深度信息。
可选的，拍摄装置1303通过云台配置在可移动平台的机身上，
处理器1302将第一区域指示信息指示的图像区域投影到深度图像中，以获取目标对象的第三区域指示信息包括：
获取云台的关节角误差；
根据关节角误差将第一区域指示信息指示的图像区域投影到深度图像中以获取目标对象的第三区域指示信息。
可选的，处理器1302获取云台的关节角误差，包括：
获取拍摄装置1303输出的图像中的图像特征；
获取与深度图像对应的灰度图像中的图像特征，其中，灰度图像是深度传 感器1304输出的；
将拍摄装置1303输出的图像中的图像特征和灰度图像中的图像特征进行匹配，以获取匹配成功的拍摄装置1303输出的图像中的第一图像特征和对应的灰度图像中的第二图像特征；
根据第一图像特征在拍摄装置1303输出的图像中的位置信息和第二图像特征在灰度图像中的位置信息获取云台的关节角误差。
可选的，处理器1302根据第三目标区域指示信息从深度图像中获取目标对象的深度信息包括：
按照预设的方式对第三区域指示信息指示的图像区域内的深度图像进行聚类运算；
将聚类运算获取的深度信息确定为目标对象的深度信息。
可选的，处理器1302，调用程序指令还用于：
根据目标对象的深度信息确定目标对象的位置信息；
根据目标对象的位置信息对目标对象进行跟踪。
基于同一发明构思，本申请实施例中提供的可移动平台解决问题的原理与本申请方法实施例相似，因此可移动平台的实施可以参见方法的实施，可移动平台的有益效果可以参见方法的有益效果，为简洁描述，在这里不再赘述。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已， 并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (30)

  1. 一种目标对象的深度信息获取方法，应用于可移动平台，其中，所述可移动平台的机身上配置拍摄装置和深度传感器，其特征在于，所述方法包括：
    获取目标对象的第一区域指示信息，其中，所述第一区域指示信息用于指示所述目标对象在所述拍摄装置输出的图像中的图像区域；
    根据所述第一区域指示信息从所述深度传感器输出的深度图像中获取所述目标对象的深度信息。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述第一区域指示信息从所述深度传感器输出的深度图像中获取所述目标对象的深度信息，包括：
    将所述第一目标区域信息指示的图像区域投影到与所述深度图像对应的灰度图像中，以获取参考图像区域，其中，所述灰度图像是所述深度传感器输出的；
    根据所述灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息，其中，所述参考灰度图像为参考图像区域内的灰度图像。
  3. 根据权利要求2所述的方法，其特征在于，所述方法还包括：
    获取目标对象的类型；
    所述根据所述灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息，包括：
    获取至少一个与所述目标对象的类型相同的对象的第二区域指示信息，其中，所述第二区域指示信息用于指示所述至少一个对象在所述参考灰度图像中的图像区域，所述至少一个对象中包括所述目标对象；
    根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息。
  4. 根据权利要求3所述的方法，其特征在于，所述根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深 度图像中获取所述目标对象的深度信息，包括：
    从所述至少一个对象的第二区域指示信息中确定所述目标对象的第二区域指示信息；
    根据所述对应关系和目标对象的第二区域指示信息，确定所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
    根据所述第三区域指示信息从所述深度图像中获取目标对象的深度信息。
  5. 根据权利要求4所述的方法，其特征在于，所述至少一个对象的第二区域指示信息包括多个对象的第二区域指示信息，
    所述从至少一个对象的第二区域指示信息中确定所述目标对象的第二区域指示信息，包括：
    确定每一个对象的第二目标信息的评价参数；
    将评价参数符合预设要求的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息。
  6. 根据权利要求5所述的方法，其特征在于，所述评价参数包括所述第二区域指示信息指示的图像区域与所述参考图像区域之间的距离，
    所述将评价参数符合预设要求的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息，包括：
    将所述距离最小的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息。
  7. 根据权利要求3所述的方法，其特征在于，所述根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息，包括：
    根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，确定所述至少一个对象的第三区域指示信息，所述第三区域指示信息用于指示对象在所述深度图像上的图像区域；
    根据所述至少一个对象的第三区域指示信息从所述深度图像获取所述至 少一个对象的深度信息；
    从所述至少一个对象的深度信息中获取所述目标对象的深度信息。
  8. 根据权利要求7所述的方法，其特征在于，所述至少一个对象的深度信息包括多个对象的深度信息，
    所述从所述至少一个对象的深度信息中获取所述目标对象的深度信息包括：
    获取所述至少一个对象中的每一个对象的深度信息的评价参数；
    将评价参数的符合预设要求的对象的深度信息确定为所述目标对象的深度信息。
  9. 根据权利要求8所述的方法，其特征在于，所述评价参数包括第二区域指示信息指示的图像区域与所述参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间的差异；
    所述将评价参数的符合预设要求的对象的深度信息确定为所述目标对象的深度信息包括：
    将所述距离最小和/或差异最小的对象的深度信息确定为所述目标对象的深度信息。
  10. 根据权利要求2所述的方法，其特征在于，所述方法还包括：
    获取目标对象在所述图像中的图像特征；
    所述根据灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息包括：
    获取与所述目标对象的图像特征匹配的对象的第二区域指示信息，将与所述图像特征匹配的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息，其中，所述第二区域指示信息用于与指示所述图像特征匹配的对象在所述参考灰度图像中的图像区域；
    根据所述对应关系和所述目标对象的第二区域指示信息确定所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
    根据所述第三区域指示信息从所述深度图像中获取所述目标对象的深度信息。
  11. 根据权利1要求所述的方法，其特征在于，所述根据所述第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息包括：
    将所述第一区域指示信息指示的图像区域投影到所述深度图像中，以获取所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
    根据所述第三区域指示信息从所述深度图像中获取所述目标对象的深度信息。
  12. 根据权利要求11所述的方法，其特征在于，所述拍摄装置通过云台配置在可移动平台的机身上，
    将所述第一区域指示信息指示的图像区域投影到所述深度图像中，以获取所述目标对象的第三区域指示信息包括：
    获取所述云台的关节角误差；
    根据所述关节角误差将所述第一区域指示信息指示的图像区域投影到所述深度图像中以获取目标对象的第三区域指示信息。
  13. 根据权利要求12所述的方法，其特征在于，
    所述获取所述云台的关节角误差，包括：
    获取所述拍摄装置输出的图像中的图像特征；
    获取与所述深度图像对应的灰度图像中的图像特征，其中，所述灰度图像是所述深度传感器输出的；
    将所述拍摄装置输出的图像中的图像特征和所述灰度图像中的图像特征进行匹配，以获取匹配成功的所述拍摄装置输出的图像中的第一图像特征和对应的所述灰度图像中的第二图像特征；
    根据第一图像特征在所述拍摄装置输出的图像中的位置信息和第二图像特征在所述灰度图像中的位置信息获取所述云台的关节角误差。
  14. 根据权利要求4或10或11所述的方法，其特征在于，所述根据所述第三目标区域指示信息从所述深度图像中获取目标对象的深度信息包括：
    按照预设的方式对所述第三区域指示信息指示的图像区域内的深度图像进行聚类运算；
    将聚类运算获取的深度信息确定为所述目标对象的深度信息。
  15. 根据权利要求1～14任意一项所述的方法，其特征在于，所述方法还包括：
    根据所述目标对象的深度信息确定所述目标对象的位置信息；
    根据所述目标对象的位置信息对所述目标对象进行跟踪。
  16. 一种可移动平台，其特征在于，所述可移动平台包括：存储器、处理器、拍摄装置和深度传感器，其中：
    所述存储器，用于存储程序指令；
    所述处理器，调用所述程序指令以用于：
    获取目标对象的第一区域指示信息，其中，所述第一区域指示信息用于指示所述目标对象在所述拍摄装置输出的图像中的图像区域；
    根据所述第一区域指示信息从所述深度传感器输出的深度图像中获取所述目标对象的深度信息。
  17. 根据权利要求16所述的可移动平台，其特征在于，所述处理器根据所述第一区域指示信息从所述深度传感器输出的深度图像中获取所述目标对象的深度信息时，具体用于：
    将所述第一目标区域信息指示的图像区域投影到与所述深度图像对应的灰度图像中，以获取参考图像区域，其中，所述灰度图像是所述深度传感器输出的；
    根据所述灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息，其中，所述参考灰度图像为参考图像区域内的灰度图像。
  18. 根据权利要求17所述的可移动平台，其特征在于，所述处理器，调用所述程序指令还用于：
    获取目标对象的类型；
    所述处理器根据所述灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息时，具体用于：
    获取至少一个与所述目标对象的类型相同的对象的第二区域指示信息，其中，所述第二区域指示信息用于指示所述至少一个对象在所述参考灰度图像中的图像区域，所述至少一个对象中包括所述目标对象；
    根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息。
  19. 根据权利要求18所述的可移动平台，其特征在于，所述处理器根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息时，具体用于：
    从所述至少一个对象的第二区域指示信息中确定所述目标对象的第二区域指示信息；
    根据所述对应关系和目标对象的第二区域指示信息，确定所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
    根据所述第三区域指示信息从所述深度图像中获取目标对象的深度信息。
  20. 根据权利要求19所述的可移动平台，其特征在于，所述至少一个对象的第二区域指示信息包括多个对象的第二区域指示信息，
    所述处理器从至少一个对象的第二区域指示信息中确定所述目标对象的第二区域指示信息时，具体用于：
    确定每一个对象的第二目标信息的评价参数；
    将评价参数符合预设要求的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息。
  21. 根据权利要求20所述的可移动平台，其特征在于，所述评价参数包 括所述第二区域指示信息指示的图像区域与所述参考图像区域之间的距离，
    所述处理器将评价参数符合预设要求的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息时，具体用于：
    将所述距离最小的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息。
  22. 根据权利要求18所述的可移动平台，其特征在于，所述处理器根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，从所述深度图像中获取所述目标对象的深度信息时，具体用于：
    根据所述灰度图像与所述深度图像的对应关系和所述至少一个对象的第二区域指示信息，确定所述至少一个对象的第三区域指示信息，所述第三区域指示信息用于指示对象在所述深度图像上的图像区域；
    根据所述至少一个对象的第三区域指示信息从所述深度图像获取所述至少一个对象的深度信息；
    从所述至少一个对象的深度信息中获取所述目标对象的深度信息。
  23. 根据权利要求22所述的可移动平台，其特征在于，所述至少一个对象的深度信息包括多个对象的深度信息，
    所述处理器从所述至少一个对象的深度信息中获取所述目标对象的深度信息时，具体用于：
    获取所述至少一个对象中的每一个对象的深度信息的评价参数；
    将评价参数的符合预设要求的对象的深度信息确定为所述目标对象的深度信息。
  24. 根据权利要求23所述的可移动平台，其特征在于，所述评价参数包括第二区域指示信息指示的图像区域与所述参考图像区域之间的距离和/或对象的深度信息与历史时刻获取的目标对象的深度信息之间的差异；
    所述处理器将评价参数的符合预设要求的对象的深度信息确定为所述目标对象的深度信息时，具体用于：
    将所述距离最小和/或差异最小的对象的深度信息确定为所述目标对象的 深度信息。
  25. 根据权利要求17所述的可移动平台，其特征在于，所述处理器，调用所述程序指令还用于：
    获取目标对象在所述图像中的图像特征；
    所述处理器根据灰度图像与所述深度图像的对应关系和参考灰度图像，从所述深度图像中获取所述目标对象的深度信息时，具体用于：
    获取与所述目标对象的图像特征匹配的对象的第二区域指示信息，将与所述图像特征匹配的对象的第二区域指示信息确定为所述目标对象的第二区域指示信息，其中，所述第二区域指示信息用于与指示所述图像特征匹配的对象在所述参考灰度图像中的图像区域；
    根据所述对应关系和所述目标对象的第二区域指示信息确定所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
    根据所述第三区域指示信息从所述深度图像中获取所述目标对象的深度信息。
  26. 根据权利要求16所述的可移动平台，其特征在于，所述处理器根据所述第一区域指示信息从深度传感器输出的深度图像中获取目标对象的深度信息时，具体用于：
    将所述第一区域指示信息指示的图像区域投影到所述深度图像中，以获取所述目标对象的第三区域指示信息，其中，所述第三区域指示信息用于指示所述目标对象在所述深度图像上的图像区域；
    根据所述第三区域指示信息从所述深度图像中获取所述目标对象的深度信息。
  27. 根据权利要求26所述的可移动平台，其特征在于，所述拍摄装置通过云台配置在可移动平台的机身上，
    所述处理器将所述第一区域指示信息指示的图像区域投影到所述深度图像中，以获取所述目标对象的第三区域指示信息时，具体用于：
    获取所述云台的关节角误差；
    根据所述关节角误差将所述第一区域指示信息指示的图像区域投影到所述深度图像中以获取目标对象的第三区域指示信息。
  28. 根据权利要求27所述的可移动平台，其特征在于，所述处理器获取所述云台的关节角误差时，具体用于：
    获取所述拍摄装置输出的图像中的图像特征；
    获取与所述深度图像对应的灰度图像中的图像特征，其中，所述灰度图像是所述深度传感器输出的；
    将所述拍摄装置输出的图像中的图像特征和所述灰度图像中的图像特征进行匹配，以获取匹配成功的所述拍摄装置输出的图像中的第一图像特征和对应的所述灰度图像中的第二图像特征；
    根据第一图像特征在所述拍摄装置输出的图像中的位置信息和第二图像特征在所述灰度图像中的位置信息获取所述云台的关节角误差。
  29. 根据权利要求19或25或26所述的可移动平台，其特征在于，所述处理器根据所述第三目标区域指示信息从所述深度图像中获取目标对象的深度信息时，具体用于：
    按照预设的方式对所述第三区域指示信息指示的图像区域内的深度图像进行聚类运算；
    将聚类运算获取的深度信息确定为所述目标对象的深度信息。
  30. 根据权利要求16～29任意一项所述的可移动平台，其特征在于，所述处理器，调用所述程序指令还用于：
    根据所述目标对象的深度信息确定所述目标对象的位置信息；
    根据所述目标对象的位置信息对所述目标对象进行跟踪。
PCT/CN2018/096636 2018-07-23 2018-07-23 一种目标对象的深度信息获取方法及可移动平台 WO2020019111A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880010542.3A CN110291771B (zh) 2018-07-23 2018-07-23 一种目标对象的深度信息获取方法及可移动平台
PCT/CN2018/096636 WO2020019111A1 (zh) 2018-07-23 2018-07-23 一种目标对象的深度信息获取方法及可移动平台
US17/027,358 US20210004978A1 (en) 2018-07-23 2020-09-21 Method for acquiring depth information of target object and movable platform

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/096636 WO2020019111A1 (zh) 2018-07-23 2018-07-23 一种目标对象的深度信息获取方法及可移动平台

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/027,358 Continuation US20210004978A1 (en) 2018-07-23 2020-09-21 Method for acquiring depth information of target object and movable platform

Publications (1)

Publication Number Publication Date
WO2020019111A1 true WO2020019111A1 (zh) 2020-01-30

Family

ID=68001268

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/096636 WO2020019111A1 (zh) 2018-07-23 2018-07-23 一种目标对象的深度信息获取方法及可移动平台

Country Status (3)

Country Link
US (1) US20210004978A1 (zh)
CN (1) CN110291771B (zh)
WO (1) WO2020019111A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815678A (zh) * 2020-07-10 2020-10-23 北京猎户星空科技有限公司 目标跟随方法、装置和电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022040941A1 (zh) * 2020-08-25 2022-03-03 深圳市大疆创新科技有限公司 深度计算方法、装置、可移动平台及存储介质
CN114556904A (zh) * 2020-12-30 2022-05-27 深圳市大疆创新科技有限公司 云台系统的控制方法、控制设备、云台系统和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212836A1 (en) * 2003-05-29 2008-09-04 Kikuo Fujimura Visual Tracking Using Depth Data
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
CN104751491A (zh) * 2015-04-10 2015-07-01 中国科学院宁波材料技术与工程研究所 一种人群跟踪及人流量统计方法及装置
CN104794737A (zh) * 2015-04-10 2015-07-22 电子科技大学 一种深度信息辅助粒子滤波跟踪方法
US20170006211A1 (en) * 2015-07-01 2017-01-05 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8265425B2 (en) * 2008-05-20 2012-09-11 Honda Motor Co., Ltd. Rectangular table detection using hybrid RGB and depth camera sensors
US9014848B2 (en) * 2010-05-20 2015-04-21 Irobot Corporation Mobile robot system
US20140022171A1 (en) * 2012-07-19 2014-01-23 Omek Interactive, Ltd. System and method for controlling an external system using a remote device with a depth sensor
WO2014154839A1 (en) * 2013-03-27 2014-10-02 Mindmaze S.A. High-definition 3d camera device
CN104715471B (zh) * 2014-01-03 2018-01-02 杭州海康威视数字技术股份有限公司 目标定位跟踪方法及其装置
CN103971103A (zh) * 2014-05-23 2014-08-06 西安电子科技大学宁波信息技术研究院 一种人数统计系统
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
US11263461B2 (en) * 2015-10-05 2022-03-01 Pillar Vision, Inc. Systems and methods for monitoring objects at sporting events
CN106203361A (zh) * 2016-07-15 2016-12-07 苏州宾果智能科技有限公司 一种机器人跟踪方法和装置
CN107689060A (zh) * 2016-08-03 2018-02-13 北京三星通信技术研究有限公司 目标对象的视觉处理方法、装置及基于视觉处理的设备
CN108256421A (zh) * 2017-12-05 2018-07-06 盈盛资讯科技有限公司 一种动态手势序列实时识别方法、系统及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080212836A1 (en) * 2003-05-29 2008-09-04 Kikuo Fujimura Visual Tracking Using Depth Data
CN102779347A (zh) * 2012-06-14 2012-11-14 清华大学 一种用于飞行器的目标跟踪与定位方法和装置
CN104751491A (zh) * 2015-04-10 2015-07-01 中国科学院宁波材料技术与工程研究所 一种人群跟踪及人流量统计方法及装置
CN104794737A (zh) * 2015-04-10 2015-07-22 电子科技大学 一种深度信息辅助粒子滤波跟踪方法
US20170006211A1 (en) * 2015-07-01 2017-01-05 Sony Corporation Method and apparatus for autofocus area selection by detection of moving objects
CN106780601A (zh) * 2016-12-01 2017-05-31 北京未动科技有限公司 一种空间位置追踪方法、装置及智能设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111815678A (zh) * 2020-07-10 2020-10-23 北京猎户星空科技有限公司 目标跟随方法、装置和电子设备
CN111815678B (zh) * 2020-07-10 2024-01-23 北京猎户星空科技有限公司 目标跟随方法、装置和电子设备

Also Published As

Publication number Publication date
CN110291771B (zh) 2021-11-16
CN110291771A (zh) 2019-09-27
US20210004978A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
CN111060101B (zh) 视觉辅助的距离slam方法及装置、机器人
US10928838B2 (en) Method and device of determining position of target, tracking device and tracking system
US20210289141A1 (en) Control method and apparatus for photographing device, and device and storage medium
WO2018068771A1 (zh) 目标跟踪方法、系统、电子设备和计算机存储介质
US20210004978A1 (en) Method for acquiring depth information of target object and movable platform
US20170061632A1 (en) Systems and methods for depth map sampling
US20200264011A1 (en) Drift calibration method and device for inertial measurement unit, and unmanned aerial vehicle
WO2019037088A1 (zh) 一种曝光的控制方法、装置以及无人机
CN109143205B (zh) 一体化传感器外参数标定方法、装置
KR102595787B1 (ko) 전자 장치 및 그 제어 방법
CN113165651B (zh) 电子装置及其控制方法
CN114267041B (zh) 场景中对象的识别方法及装置
CN114578329A (zh) 多传感器联合标定方法、设备、存储介质及程序产品
EP3703008A1 (en) Object detection and 3d box fitting
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN112560769B (zh) 用于检测障碍物的方法、电子设备、路侧设备和云控平台
CN110941975A (zh) 图像获取方法、角度调整方法、装置及驾驶系统
CN113063421A (zh) 导航方法及相关装置、移动终端、计算机可读存储介质
KR20200076628A (ko) 모바일 디바이스의 위치 측정 방법, 위치 측정 장치 및 전자 디바이스
CN109460077B (zh) 一种自动跟踪方法、自动跟踪设备及自动跟踪系统
WO2020237553A1 (zh) 图像处理方法、系统及可移动平台
US11763492B1 (en) Apparatus and methods to calibrate a stereo camera pair
US11557052B2 (en) Vanishing point extraction devices and methods of extracting vanishing point
CN112291701B (zh) 定位验证方法、装置、机器人、外部设备和存储介质
US20170115132A1 (en) Vehicle terminal

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18927924

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18927924

Country of ref document: EP

Kind code of ref document: A1