WO2021102994A1 - 高度确定方法、飞行器及计算机可读存储介质 - Google Patents

高度确定方法、飞行器及计算机可读存储介质 Download PDF

Info

Publication number
WO2021102994A1
WO2021102994A1 PCT/CN2019/122172 CN2019122172W WO2021102994A1 WO 2021102994 A1 WO2021102994 A1 WO 2021102994A1 CN 2019122172 W CN2019122172 W CN 2019122172W WO 2021102994 A1 WO2021102994 A1 WO 2021102994A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
height
target
aircraft
water surface
Prior art date
Application number
PCT/CN2019/122172
Other languages
English (en)
French (fr)
Inventor
苏坤岳
蔡剑钊
周游
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201980060094.2A priority Critical patent/CN112740222A/zh
Priority to PCT/CN2019/122172 priority patent/WO2021102994A1/zh
Publication of WO2021102994A1 publication Critical patent/WO2021102994A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Definitions

  • This application relates to the technical field of aircraft, and in particular to a method for determining altitude, an aircraft, and a computer-readable storage medium.
  • the aircraft uses visual odometer to measure the height of the aircraft, but the visual odometer cannot effectively process the dynamic texture of the image, and the accuracy of the height measurement is poor.
  • the height of the aircraft changes by 1-2 meters. The impact is small, but during low-altitude flight, as the aircraft is close to the ground, the altitude of the aircraft is particularly important at this time.
  • the aircraft During low-altitude flight, the aircraft’s ultrasonic sensor or Time of Flight (TOF) sensor is generally used to measure the height of the aircraft, but the TOF sensor uses laser ranging, which is a mirror reflection to the water surface.
  • TOF Time of Flight
  • the TOF sensor uses laser ranging, which is a mirror reflection to the water surface.
  • the TOF sensor cannot receive the reflected light and cannot accurately measure the height of the aircraft from the water surface, which may easily cause the aircraft to fall high and fall into the water. Therefore, how to accurately measure the height of the aircraft from the water surface is a problem that needs to be solved urgently.
  • this application provides a method for determining altitude, an aircraft, and a computer-readable storage medium, aiming to accurately measure the altitude of the aircraft from the water surface and improve the flight safety of the aircraft.
  • this application provides a method for determining altitude, which is applied to an aircraft, the aircraft includes a camera, and the method includes:
  • the target height of the aircraft from the water surface is determined.
  • the present application also provides an aircraft, the aircraft including a camera, a memory, and a processor;
  • the photographing device is used for photographing images
  • the memory is used to store a computer program
  • the processor is configured to execute the computer program and, when executing the computer program, implement the following steps:
  • the target height of the aircraft from the water surface is determined.
  • the present application also provides a computer-readable storage medium, the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor realizes the above-mentioned high degree of determination Method steps.
  • the embodiments of the present application provide a method for determining altitude, an aircraft, and a computer-readable storage medium.
  • Two images are taken, and each image contains an image area including the aircraft reflection and an image area excluding the aircraft reflection, and is based on the two
  • the image area including the reflection of the aircraft in the two images can determine the height of the aircraft from the water surface.
  • the other height of the aircraft from the water surface can be determined, and finally based on the distance from the aircraft to the water surface.
  • the two heights can accurately determine the height of the aircraft from the water surface, effectively improving the flight safety of the aircraft.
  • Figure 1 is a schematic structural diagram of an aircraft implementing the altitude determination method of the present application
  • FIG. 2 is a schematic flowchart of steps of a height determination method provided by an embodiment of the present application.
  • FIG. 3 is a schematic diagram of the aircraft flying on the water surface in the embodiment of the present application.
  • FIG. 4 is a schematic flowchart of sub-steps of the height determination method in FIG. 2;
  • FIG. 5 is a schematic flowchart of sub-steps of the height determination method in FIG. 2;
  • FIG. 6 is a schematic block diagram of the structure of an aircraft provided by an embodiment of the present application.
  • This application provides an altitude determination method, which is applied to an aircraft to accurately determine the altitude of the aircraft from the water surface and improve the flight safety of the aircraft.
  • the aircraft includes unmanned aerial vehicles.
  • Unmanned aerial vehicles include rotary-wing unmanned aerial vehicles, such as four-rotor unmanned aerial vehicles, hexa-rotor unmanned aerial vehicles, and eight-rotor unmanned aerial vehicles. It can also be a fixed-wing unmanned aerial vehicle or a rotary wing type. The combination with the fixed-wing unmanned aerial vehicle is not limited here.
  • FIG. 1 is a schematic structural diagram of an aircraft implementing the height determination method of the present application. As shown in FIG.
  • the aircraft 100 includes a flying body 101 and a photographing device 102, and the photographing device 102 is used to photograph an image below the aircraft.
  • the photographing device 102 may be a binocular photographing device or a monocular photographing device.
  • FIG. 2 is a schematic flowchart of steps of a height determination method provided by an embodiment of the present application.
  • the height determination method includes step S101 to step S105.
  • the photographing device includes a binocular photographing device and a monocular photographing device.
  • the image taken by the photographing device includes a first image and a second image. If the photographing device is a binocular photographing device, the first image and the second image Including the left-eye image and the right-eye image of the binocular camera. If the camera is a monocular camera, the first image and the second image are two images taken by the monocular camera at different times, that is, the first image The shooting time of the second image is different. The aircraft obtains the image taken by the camera.
  • the first target image area and the second target image area in the first image are determined, and the first target image area and the second target image area in the second image are determined.
  • the first target image area is an image area that does not include the reflection of the aircraft
  • the second target image area is an image area that includes the reflection of the aircraft.
  • FIG. 3 is a schematic diagram of the aircraft flying on the water surface in the embodiment of the present application. As shown in FIG. 3, the aircraft is flying on the water surface, that is, the aircraft is located on the water surface A, and the aircraft reflection B exists on the water surface.
  • a preset aircraft water surface reflection recognition model is acquired; through the aircraft water surface reflection recognition model, the first target image area and the second target image area in the first image and the second image are determined, that is, the first image Input to the aircraft water surface reflection recognition model to obtain the first target image area and the second target image area in the first image, and input the second image to the aircraft water surface reflection recognition model to obtain the first target image area in the second image And the second target image area.
  • the aircraft water reflection recognition model can accurately and quickly determine the image area excluding the aircraft reflection and the image area including the aircraft reflection.
  • the aircraft water surface reflection recognition model is a neural network model trained in advance, that is, a sample image set marked with aircraft water surface reflection or no aircraft water surface reflection is obtained, and the neural network model is trained based on the sample image set until the neural network The network model converges, and the aircraft reflection recognition model is obtained.
  • the aforementioned neural network model includes, but is not limited to, a convolutional neural network model, a recurrent neural network, and a recurrent convolutional neural network.
  • the first height of is, that is, based on the two first target image regions, the homography matrix is determined, and the first height is determined according to the homography matrix; the first height is determined as the target height of the aircraft from the water surface.
  • a pre-stored water surface area recognition model is acquired; through the water surface area recognition model, it is determined whether there is a water surface area in the first image and the second image, that is, the first image is input to the water surface area recognition model to obtain the output of the water surface area recognition model Type label. If the type label is a label corresponding to the water surface area, it can be determined that there is a water surface area in the first image. If the type label is not a label corresponding to the water surface area, it can be determined that there is no water surface area in the first image. .
  • the water surface area recognition model can accurately and quickly determine whether there is a water surface area in the image.
  • the water surface area recognition model is a neural network model trained in advance, that is, a sample image set marked with a water surface area is obtained, and the neural network model is trained based on the sample image set until the neural network model converges to obtain the water surface area Identify the model.
  • the aforementioned neural network model includes, but is not limited to, a convolutional neural network model, a recurrent neural network, and a recurrent convolutional neural network.
  • S103 Determine the first height of the aircraft from the water surface according to the first target image area in the first image and the second image.
  • the first height of the water can be accurately determined through two image areas that do not include the aircraft's reflection.
  • step S103 specifically includes: sub-steps S1031 to S1032.
  • the image area that does not include the aircraft reflection in the first image and the image area that does not include the aircraft reflection in the second image determine the difference between the first image and the second image. Homology matrix.
  • a plurality of pixel matching pairs are extracted from the first target image area of the first image and the first target image area of the second image; For matching pairs, the homography matrix between the first image and the second image is calculated.
  • a pixel point matching pair includes a pixel point extracted from the first target image area of the first image and a pixel point extracted from the first target image area of the second image.
  • the pixel point matching algorithm includes but not Limited to ORB (Oriented FAST and Rotated Brief) algorithm, Harris corner detection algorithm and Surf algorithm. It is understandable that the number of pixel point matching pairs can be set based on actual conditions, which is not specifically limited in this application. Optionally, the number of pixel point matching pairs is 4, 10, 16, 25, 50, 76, or 100 pairs.
  • the internal parameter matrix and the binocular distance of the binocular camera are acquired; the first height is determined according to the homography matrix, the internal parameter matrix and the binocular distance.
  • the internal reference matrix includes internal parameter values of the binocular camera, and the binocular distance is the distance between the left-eye camera and the right-eye camera in the binocular camera.
  • the homography matrix H, according to the definition of the homography matrix:
  • K is the internal reference matrix
  • R is a rotation matrix
  • R I
  • I is a unit matrix
  • t [b 0 0] T
  • b binocular distance
  • d 1 is a first height
  • N T is the fitting surface
  • S104 Determine the second height of the aircraft from the water surface according to the second target image area in the first image and the second image.
  • the depth map of the second target image area is determined according to the second target image area of the first image and the second target image area of the second image, and the target depth value is determined according to the depth map; the method of determining the water surface Vector; Determine the second height of the aircraft from the water surface according to the normal vector of the water surface and the target depth value.
  • the normal vector of the water surface can be a unit normal vector. It is understandable that the depth map of the second target image area can be determined based on the semi-global block matching algorithm (Semi-Global Block Matching, SGBM) based on the second target image area of the first image and the second target image area of the second image .
  • SGBM semi-global block matching algorithm
  • half of the target depth value is taken as the third height, and direction correction processing is performed on the third height through the normal vector of the water surface to obtain the second height of the aircraft from the water surface.
  • the normal vector of the water surface is perpendicular to the water surface, and the target depth value is an oblique depth value.
  • the direction correction processing is performed on half of the target depth value through the normal vector of the water surface to obtain an accurate second height.
  • obtain the average depth value corresponding to the depth map according to the depth map use the average depth value as the target depth value; or determine the central pixel of the second target image area; obtain the central pixel from the depth map
  • the depth value corresponding to the point, and the depth value corresponding to the center pixel point is used as the target depth value.
  • the method of obtaining the average depth value is specifically: obtaining the depth value of each pixel from the depth map, and counting the number of pixels in the depth map; accumulating the depth value of each pixel to obtain the total depth value, And according to the total depth value and the number of pixels, the average depth value of the depth map is calculated.
  • the homography matrix between the first image and the second image is determined according to the first target area in the first image and the first target image area in the second image; the homography matrix is determined according to the homography matrix.
  • the normal vector that is, calculate the unit normal vector of the water surface according to the homography matrix, and use the unit normal vector as the normal vector of the water surface.
  • S105 Determine the target height of the aircraft from the water surface according to the first height and the second height.
  • the target height of the aircraft from the water surface through the first and second heights of the aircraft from the water surface. Since the image area of the aircraft reflection in the image and the rest of the image area without the aircraft reflection in the image are comprehensively considered, the target height of the aircraft from the water surface can be accurately determined . After determining the target height of the aircraft from the water surface, the target height is sent to the flight control system of the aircraft, and the flight control system controls the aircraft to fly based on the target height to avoid accidents caused by the aircraft falling high and falling into the water.
  • step S105 specifically includes: sub-steps S1051 to S1053.
  • the difference between the first height and the second height is calculated, and it is determined whether the absolute value of the difference between the first height and the second height is less than or equal to the preset threshold; if the first height and the second height If the absolute value of the difference between is less than or equal to the preset threshold, it is determined that the second height passes the verification; if the absolute value of the difference between the first height and the second height is greater than the preset threshold, the second height is determined Failed to verify.
  • the above-mentioned preset threshold may be set based on actual conditions, which is not specifically limited in this application. Optionally, the preset threshold is 3 cm.
  • the first height is d 1
  • the second height is d′ 2
  • d th is the preset threshold.
  • the first weight coefficient corresponding to the first height and the first weight coefficient corresponding to the second height are determined. Two weighting coefficients, when the second altitude fails the verification, the first altitude is taken as the height of the aircraft from the water surface.
  • mapping relationship table between the pre-stored weight coefficient and the absolute value of the difference calculates the difference between the first height and the second height; query the mapping relationship table, and the weight corresponding to the absolute value of the difference
  • the coefficient is used as the first weight coefficient corresponding to the first height, and based on the first weight coefficient, the second weight coefficient corresponding to the second height is determined.
  • the sum of the first weighting coefficient and the second weighting coefficient is 1. It can be understood that the above-mentioned mapping relationship table between the pre-stored weight coefficient and the absolute value of the difference can be set based on actual conditions, which is not specifically limited in this application.
  • S1053 Determine the target height of the aircraft from the water surface according to the first height, the second height, the first weight coefficient, and the second weight coefficient.
  • the product of the first height and the first weighting coefficient is calculated, and the product of the first height and the first weighting coefficient is taken as the first fusion height; the product of the second height and the second weighting coefficient is calculated, and the second height
  • the product of the second weight coefficient is used as the second fusion height; the sum of the first fusion height and the second fusion height is calculated, and the sum of the first fusion height and the second fusion height is taken as the target height of the aircraft from the water surface.
  • the target height d ⁇ d′ 2 +(1- ⁇ ) ⁇ d 1
  • ⁇ is the second weight coefficient corresponding to the second height
  • 1- ⁇ is the first weight coefficient corresponding to the first height.
  • the height determination method provided in the above embodiment takes two images, and each image contains an image area including the aircraft reflection and an image area not including the aircraft reflection, and based on the image area including the aircraft reflection in the two images, Determine the height of the aircraft from the water surface. At the same time, based on the image area that does not include the reflection of the aircraft in the two images, the other height of the aircraft from the water surface can be determined. Finally, based on the two heights of the aircraft from the water surface, the aircraft distance can be accurately determined. The height of the water surface effectively improves the flight safety of the aircraft.
  • FIG. 6 is a schematic block diagram of an aircraft provided by an embodiment of the present application.
  • the aircraft 200 includes a processor 201, a memory 202, and a camera 203.
  • the processor 201, the memory 202 and the camera 203 are connected by a bus 204, which is, for example, an I2C (Inter-integrated Circuit) bus.
  • the aircraft can be a rotary-wing unmanned aerial vehicle, such as a four-rotor unmanned aerial vehicle, a six-rotor unmanned aerial vehicle, an eight-rotor unmanned aerial vehicle, a fixed-wing unmanned aerial vehicle, or a rotary-wing and fixed-wing unmanned aerial vehicle.
  • the combination of is not limited here.
  • the processor 201 may be a micro-controller unit (MCU), a central processing unit (CPU), a digital signal processor (Digital Signal Processor, DSP), or the like.
  • MCU micro-controller unit
  • CPU central processing unit
  • DSP Digital Signal Processor
  • the memory 202 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) disk, an optical disk, a U disk, or a mobile hard disk.
  • the photographing device 203 may be a monocular photographing device and a binocular photographing device.
  • the processor 201 is configured to run a computer program stored in the memory 202, and implement the following steps when the computer program is executed:
  • the target height of the aircraft from the water surface is determined.
  • the processor implements the determination of the first target image area and the second target image area in the first image and the second image, it is used to implement:
  • the first target image area and the second target image area in the first image and the second image are determined by the aircraft water surface reflection recognition model.
  • the processor determines the first height of the aircraft from the water surface according to the first target image area in the first image and the second image, it is used to achieve:
  • the first height is determined according to the homography matrix.
  • the processor when the processor implements the determination of the homography matrix between the first image and the second image, it is used to implement:
  • the camera includes a binocular camera, and the first image and the second image include a left-eye image and a right-eye image taken by the binocular camera; the processor implements the determination according to the homography matrix When the first height is used, it is used to realize:
  • the first height is determined according to the homography matrix, the internal parameter matrix and the binocular distance.
  • the processor determines the second height of the aircraft from the water surface according to the second target image area in the first image and the second image, it is used to achieve:
  • the second height is determined according to the normal vector and the target depth value.
  • the processor realizes that the second height is determined according to the normal vector and the target depth value, it is used to realize:
  • the processor realizes the determination of the target depth value according to the depth map, it is used to realize:
  • the average depth value is used as the target depth value.
  • the processor realizes the determination of the target depth value according to the depth map, it is used to realize:
  • the processor realizes the determination of the normal vector of the water surface, it is used to realize:
  • the normal vector is determined according to the homography matrix.
  • the processor realizes that the target height of the aircraft from the water surface is determined according to the first height and the second height, it is used to realize:
  • the target height of the aircraft from the water surface is determined.
  • the processor realizes that the target height of the aircraft from the water surface is determined according to the first height and the second height, it is used to realize:
  • the first height is determined as the target height of the aircraft from the water surface.
  • the processor realizes the verification of the second height according to the first height, it is used to realize:
  • the processor when the processor implements the determination of the first weight coefficient corresponding to the first height, the processor is configured to implement:
  • the processor is further configured to implement:
  • the step of determining the first target image area and the second target image area in the first image and the second image is performed.
  • the processor is further configured to implement:
  • the first height is determined as the target height of the aircraft from the water surface.
  • the processor when the processor is implemented to determine whether there is a water surface area in the first image and the second image, it is used to implement:
  • the embodiments of the present application also provide a computer-readable storage medium, the computer-readable storage medium stores a computer program, the computer program includes program instructions, and the processor executes the program instructions to implement the foregoing implementation The steps of the height determination method provided in the example.
  • the computer-readable storage medium may be the internal storage unit of the control terminal or unmanned aerial vehicle described in any of the foregoing embodiments, such as the hard disk or memory of the control terminal or unmanned aerial vehicle.
  • the computer-readable storage medium may also be an external storage device of the control terminal or unmanned aerial vehicle, such as a plug-in hard disk equipped on the control terminal or unmanned aerial vehicle, or a smart memory card (Smart Media Card, SMC). , Secure Digital (SD) card, Flash Card (Flash Card), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种高度确定方法、飞行器及计算机可读存储介质，该方法包括：获取拍摄装置拍摄的图像，其中，所述图像包括第一图像和第二图像(S101)；确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域(S102)；根据所述第一图像第二图像中的第一目标图像区域，确定飞行器距离水面的第一高度(S103)；根据所述第一图像第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度(S104)；根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度(S105)。该方法旨在准确的确定高度。

Description

高度确定方法、飞行器及计算机可读存储介质 技术领域
本申请涉及飞行器技术领域，尤其涉及一种高度确定方法、飞行器及计算机可读存储介质。
背景技术
目前，飞行器通过视觉里程计测算飞行器的高度，但视觉里程计无法有效的处理图像的动态纹理，高度的测算精度较差，而在高空飞行过程中，飞行器的高度变化1-2米对飞行器的影响较小，但在低空飞行过程中，由于飞行器贴近地面，此时飞行器的定高尤为重要。
低空飞行过程中，一般通过飞行器的超声波传感器或飞行时间(Time of Flight，TOF)传感器测算飞行器的高度，但TOF传感器采用的是激光测距，对于水面而言是镜面反射，当飞行器前后运动时，机身发生倾转，TOF传感器发出的激光被水面完全反射，导致TOF传感器接收不到反射光，也无法准确的测算出飞行器距离水面的高度，容易导致飞行器掉高落水发生事故。因此，如何准确测算飞行器距离水面的高度是目前亟待解决的问题。
发明内容
基于此，本申请提供了一种高度确定方法、飞行器及计算机可读存储介质，旨在准确测算飞行器距离水面的高度，提高飞行器的飞行安全。
第一方面，本申请提供了一种高度确定方法，应用于飞行器，所述飞行器包括拍摄装置，所述方法包括：
获取所述拍摄装置拍摄的图像，其中，所述图像包括第一图像和第二图像；
确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域，其中，第一目标图像区域为不包括飞行器倒影的图像区域，第二目标图像区域为包括飞行器倒影的图像区域；
根据所述第一图像和第二图像中的第一目标图像区域，确定所述飞行器距离水面的第一高度；
根据所述第一图像和第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度；
根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度。
第二方面，本申请还提供了一种飞行器，所述飞行器包括拍摄装置、存储器和处理器；
所述拍摄装置，用于拍摄图像；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取所述拍摄装置拍摄的图像，其中，所述图像包括第一图像和第二图像；
确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域，其中，第一目标图像区域为不包括飞行器倒影的图像区域，第二目标图像区域为包括飞行器倒影的图像区域；
根据所述第一图像和第二图像中的第一目标图像区域，确定所述飞行器距离水面的第一高度；
根据所述第一图像和第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度；
根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度。
第三方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的高度确定方法的步骤。
本申请实施例提供了一种高度确定方法、飞行器及计算机可读存储介质，通过拍摄两个图像，且每个图像包含有包括飞行器倒影的图像区域和不包括飞行器倒影的图像区域，并基于两个图像中的包括飞行器倒影的图像区域，可以确定飞行器距离水面的一高度，同时基于两个图像中的不包括飞行器倒影的图像区域，可以确定飞行器距离水面的另一高度，最后基于飞行器距离水面的两个高度，可以准确的确定飞行器距离水面的高度，有效的提高飞行器的飞行安全。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本申请高度确定方法的飞行器的结构示意图；
图2是本申请一实施例提供的一种高度确定方法的步骤示意流程图；
图3是本申请实施例中飞行器在水面飞行的一示意图；
图4是图2中的高度确定方法的子步骤示意流程图；
图5是图2中的高度确定方法的子步骤示意流程图；
图6是本申请一实施例提供的一种飞行器的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
本申请提供一种高度确定方法，该高度确定方法应用于飞行器，用于准确的确定飞行器距离水面的高度，提高飞行器的飞行安全。该飞行器包括无人飞行器，无人飞行器包括旋翼型无人飞行器，例如四旋翼无人飞行器、六旋翼无人飞行器、八旋翼无人飞行器，也可以是固定翼无人飞行器，还可以是旋翼型与固定翼无人飞行器的组合，在此不作限定。请参照图1，图1是实施本申请高度确定方法的飞行器的结构示意图，如图1所示，飞行器100包括飞行主体101和拍摄装置102，拍摄装置102用于拍摄飞行器下方的图像。其中，拍摄装置102可以为双目拍摄装置，也可以为单目拍摄装置。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图2，图2是本申请一实施例提供的一种高度确定方法的步骤示意流程图。
具体地，如图2所示，该高度确定方法包括步骤S101至步骤S105。
S101、获取所述拍摄装置拍摄的图像，其中，所述图像包括第一图像和第二图像。
其中，所述拍摄装置包括双目拍摄装置和单目拍摄装置，所述拍摄装置拍摄的图像包括第一图像和第二图像，若拍摄装置为双目拍摄装置，则第一图像和第二图像包括双目拍摄装置的左目图像和右目图像，若所述拍摄装置为单目拍摄装置，则第一图像和第二图像为单目拍摄装置在不同时刻拍摄得到的两个图像，即第一图像与第二图像的拍摄时间不同。飞行器获取该拍摄装置拍摄的图像。
S102、确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域。
在获取到拍摄装置拍摄的图像之后，确定第一图像中的第一目标图像区域和第二目标图像区域以及确定第二图像中的第一目标图像区域和第二目标图像区域。其中，第一目标图像区域为不包括飞行器倒影的图像区域，第二目标图像区域为包括飞行器倒影的图像区域。请参照图3，图3是本申请实施例中飞行器在水面飞行的一示意图，如图3所示，飞行器在水面上飞行，即飞行器位于水面A之上，水面存在飞行器倒影B。
在一实施例中，获取预设的飞行器水面倒影识别模型；通过该飞行器水面倒影识别模型，确定第一图像和第二图像中的第一目标图像区域和第二目标图像区域，即将第一图像输入至飞行器水面倒影识别模型，得到第一图像中的第一目标图像区域和第二目标图像区域，以及将第二图像输入至飞行器水面倒影识别模型，得到第二图像中的第一目标图像区域和第二目标图像区域。通过飞行器水面倒影识别模型可以准确且快速的确定图像的不包括飞行器倒影的图像区域和包括飞行器倒影的图像区域。
其中，所述飞行器水面倒影识别模型为提前训练好的神经网络模型，即获取标记有飞行器水面倒影或者无飞行器水面倒影的样本图像集，并基于该样本图像集对神经网络模型进行训练，直到神经网络模型收敛，得到飞行器水面倒影识别模型。可以理解的是，上述神经网络模型包括但不限于卷积神经网络模型、循环神经网络和循环卷积神经网络。
在一实施例中，确定第一图像和第二图像中是否存在水面区域；若所述第一图像和第二图像中存在水面区域，则进一步地确定第一图像和第二图像中的第一目标图像区域和第二目标图像区域；若第一图像和第二图像中至少一个图像不存在第二目标图像区域，则根据第一图像和第二图像中的第一目标图像区域确定飞行器距离水面的第一高度，即基于两个第一目标图像区域，确定单应矩阵，并根据该单应矩阵确定该第一高度；将第一高度确定为飞行器距离水面 的目标高度。
具体地，获取预存的水面区域识别模型；通过该水面区域识别模型，确定第一图像和第二图像中是否存在水面区域，即将第一图像输入该水面区域识别模型，得到水面区域识别模型输出的类型标签，如果该类型标签为存在水面区域对应的标签，则可以确定第一图像中存在水面区域，如果该类型标签不为存在水面区域对应的标签，则可以确定第一图像中不存在水面区域。通过水面区域识别模型可以准确且快速的确定图像中是否存在水面区域。
其中，所述水面区域识别模型为提前训练好的神经网络模型，即获取标记有水面区域的样本图像集，并基于该样本图像集对神经网络模型进行训练，直到神经网络模型收敛，得到水面区域识别模型。可以理解的是，上述神经网络模型包括但不限于卷积神经网络模型、循环神经网络和循环卷积神经网络。
S103、根据所述第一图像和第二图像中的第一目标图像区域，确定所述飞行器距离水面的第一高度。
根据第一图像中的第一目标区域和第二图像中的第一目标区域，即通过第一图像中不包括飞行器倒影的图像区域以及第二图像中不包括飞行器倒影的图像区域，确定飞行器距离水面的第一高度。通过两个不包括飞行器倒影的图像区域可以准确的确定飞行器距离水面的第一高度。
在一实施例中，如图4所示，步骤S103具体包括：子步骤S1031至S1032。
S1031、根据所述第一图像中的第一目标图像区域以及第二图像中的第一目标图像区域，确定所述第一图像与第二图像之间的单应矩阵。
具体地，基于最小二乘法或者随机采样一致性算法，根据第一图像中不包括飞行器倒影的图像区域以及第二图像中不包括飞行器倒影的图像区域，确定第一图像与第二图像之间的单应矩阵。
在一实施例中，基于预设的像素点匹配算法，从第一图像的第一目标图像区域以及第二图像的第一目标图像区域中提取多个的像素点匹配对；根据多个像素点匹配对，计算第一图像与第二图像之间的单应矩阵。其中，一个像素点匹配对包括一个从第一图像的第一目标图像区域提取得到的像素点以及一个从第二图像的第一目标图像区域提取得到的像素点，该像素点匹配算法包括但不限于ORB(Oriented FAST and Rotated BRIEF)算法、Harris角点检测算法和Surf算法。可以理解的是，像素点匹配对的数量可基于实际情况进行设置，本申请对此不作具体限定。可选地，像素点匹配对的数量为4、10、16、25、50、76或100对。
S1032、根据所述单应矩阵确定所述第一高度。
具体地，获取双目拍摄装置的内参矩阵和双目距离；根据单应矩阵、内参矩阵和双目距离确定第一高度。其中，内参矩阵包括双目拍摄装置的内部参数值，双目距离为双目拍摄装置中的左目拍摄装置与右目拍摄装置之间的距离。
其中，设单应矩阵为H，根据单应矩阵的定义可知：
Figure PCTCN2019122172-appb-000001
其中，K为内参矩阵，R为旋转矩阵，且R＝I，I为单位矩阵，t＝[b 0 0] T，b为双目距离，d 1为第一高度，N T为拟合水面的法向量，且N T＝[xyz]，在H、K、R和b已知的情况下，将H、K、R和b带入上式可以得到：
Figure PCTCN2019122172-appb-000002
通过整理可以得到：
Figure PCTCN2019122172-appb-000003
由于
Figure PCTCN2019122172-appb-000004
为已知量，则可以计算得到结果：
Figure PCTCN2019122172-appb-000005
所以
Figure PCTCN2019122172-appb-000006
则可以得到方程组：
Figure PCTCN2019122172-appb-000007
通过对上述方程组进行求解，可以得到第一高度：
Figure PCTCN2019122172-appb-000008
S104、根据所述第一图像和第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度。
根据第一图像中的第二目标区域和第二图像中的第二目标区域，即通过第一图像中的包括飞行器倒影的图像区域以及第二图像中的包括飞行器倒影的图像区域，确定飞行器距离水面的第二高度。
在一实施例中，根据第一图像的第二目标图像区域以及第二图像的第二目 标图像区域，确定第二目标图像区域的深度图，并根据深度图确定目标深度值；确定水面的法向量；根据水面的法向量和目标深度值，确定飞行器距离水面的第二高度。其中，水面的法向量可以为单位法向量。可以理解的是，第二目标图像区域的深度图可以基于半全局匹配算法(Semi-Global Block Matching，SGBM)，根据第一图像的第二目标图像区域以及第二图像的第二目标图像区域确定。
具体地，取目标深度值的一半作为第三高度，并通过水面的法向量对第三高度进行方向校正处理，得到飞行器距离水面的第二高度。其中，水面的法向量与水面垂直，而该目标深度值为倾斜的深度值，通过水面的法向量对目标深度值的一半进行方向校正处理，可以得到准确的第二高度。示例性的，设目标深度值为d 2，则第二高度d′ 2＝N Td 2/2，N T为水面的法向量。
在一实施例中，根据该深度图获取该深度图对应的平均深度值；将该平均深度值作为目标深度值；或者确定第二目标图像区域的中心像素点；从深度图中获取该中心像素点对应的深度值，并将该中心像素点对应的深度值作为目标深度值。其中，平均深度值的获取方式具体为：从该深度图中获取每个像素点的深度值，并统计深度图中的像素点个数；累加每个像素点的深度值，得到总深度值，并根据该总深度值和像素点个数，计算得到深度图的平均深度值。
在一实施例中，根据第一图像中的第一目标区域以及第二图像中的第一目标图像区域确定第一图像与第二图像之间的单应矩阵；根据该单应矩阵确定水面的法向量，即根据单应矩阵，计算得到水面的单位法向量，并将该单位法向量作为水面的法向量。
S105、根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度。
通过飞行器距离水面的第一高度和第二高度，确定飞行器距离水面的目标高度，由于综合考虑图像中飞行器倒影的图像区域以及无飞行器倒影的其余图像区域，可以准确的确定飞行器距离水面的目标高度。在确定飞行器距离水面的目标高度之后，将该目标高度发送至飞行器的飞行控制系统，由该飞行控制系统基于该目标高度，控制飞行器飞行，避免飞行器掉高落水发生事故。
在一实施例中，如图5所示，步骤S105具体包括：子步骤S1051至S1053。
S1051、根据所述第一高度，对所述第二高度进行校验。
具体地，计算第一高度与第二高度之间的差值，并确定第一高度与第二高度之间的差值的绝对值是否小于或等于预设阈值；若第一高度与第二高度之间 的差值的绝对值小于或等于预设阈值，则确定第二高度通过校验；若第一高度与第二高度之间的差值的绝对值大于预设阈值，则确定第二高度未通过校验。可以理解的是，上述预设阈值可基于实际情况进行设置，本申请对此不作具体限定。可选地，预设阈值为3厘米。
示例性的，第一高度为d 1，第二高度为d′ 2，d th为预设阈值，则在||d′ 2-d 1||≤d th时，第二高度d′ 2通过校验，则在||d′ 2-d 1||＞d th时，第二高度d′ 2未通过校验。
S1052、当所述第二高度通过校验时，确定所述第一高度对应的第一权重系数和所述第二高度对应的第二权重系数。
当第二高度通过校验，也即第一高度与第二高度之间的差值的绝对值小于或等于预设阈值时，确定第一高度对应的第一权重系数和第二高度对应的第二权重系数，当第二高度未通过校验，则将第一高度作为飞行器距离水面的高度。
具体地，获取预存的权重系数与差值的绝对值之间的映射关系表；计算第一高度与第二高度之间的差值；查询映射关系表，将该差值的绝对值对应的权重系数作为第一高度对应的第一权重系数，并基于第一权重系数，确定第二高度对应的第二权重系数。其中，第一权重系数与第二权重系数之和为1。可以理解的是，上述预存的权重系数与差值的绝对值之间的映射关系表可基于实际情况进行设置，本申请对此不作具体限定。
S1053、根据所述第一高度、第二高度、第一权重系数和第二权重系数，确定飞行器距离水面的目标高度。
具体地，计算第一高度与第一权重系数的乘积，并将第一高度与第一权重系数的乘积作为第一融合高度；计算第二高度与第二权重系数的乘积，并将第二高度与第二权重系数的乘积作为第二融合高度；计算第一融合高度与第二融合高度之和，并将第一融合高度与第二融合高度之和作为飞行器距离水面的目标高度。示例性的，目标高度d＝α·d′ 2+(1-α)·d 1，α为第二高度对应的第二权重系数，1-α为第一高度对应的第一权重系数。
上述实施例提供的高度确定方法，拍摄两个图像，且每个图像包含有包括飞行器倒影的图像区域和不包括飞行器倒影的图像区域，并基于两个图像中的包括飞行器倒影的图像区域，可以确定飞行器距离水面的一高度，同时基于两个图像中的不包括飞行器倒影的图像区域，可以确定飞行器距离水面的另一高度，最后基于飞行器距离水面的这两个高度，可以准确的确定飞行器距离水面的高度，有效的提高飞行器的飞行安全。
请参阅图6，图6是本申请一实施例提供的飞行器的示意性框图。该飞行 器200包括处理器201、存储器202和拍摄装置203，处理器201、存储器202和拍摄装置203通过总线204连接，该总线204比如为I2C(Inter-integrated Circuit)总线。其中，飞行器可以为旋翼型无人飞行器，例如四旋翼无人飞行器、六旋翼无人飞行器、八旋翼无人飞行器，也可以是固定翼无人飞行器，还可以是旋翼型与固定翼无人飞行器的组合，在此不作限定。
具体地，处理器201可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器202可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
具体地，拍摄装置203可以是单目拍摄装置和双目拍摄装置。
其中，所述处理器201用于运行存储在存储器202中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取所述拍摄装置拍摄的图像，其中，所述图像包括第一图像和第二图像；
确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域，其中，第一目标图像区域为不包括飞行器倒影的图像区域，第二目标图像区域为包括飞行器倒影的图像区域；
根据所述第一图像和第二图像中的第一目标图像区域，确定所述飞行器距离水面的第一高度；
根据所述第一图像和第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度；
根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度。
可选地，所述处理器实现确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域时，用于实现：
获取预设的飞行器水面倒影识别模型；
通过所述飞行器水面倒影识别模型，确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域。
可选地，所述处理器实现根据所述第一图像和第二图像中的第一目标图像区域，确定所述飞行器距离水面的第一高度时，用于实现：
根据所述第一图像中的第一目标图像区域以及第二图像中的第一目标图像区域，确定所述第一图像与第二图像之间的单应矩阵；
根据所述单应矩阵确定所述第一高度。
可选地，所述处理器实现确定所述第一图像与所述第二图像之间的单应矩阵时，用于实现：
基于预设的像素点匹配算法，从所述第一图像的第一目标图像区域以及所述第二图像的第一目标图像区域中提取多个的像素点匹配对；
根据多个所述像素点匹配对，计算所述第一图像与所述第二图像之间的单应矩阵。
可选地，所述拍摄装置包括双目拍摄装置，所述第一图像和第二图像包括所述双目拍摄装置拍摄的左目图像和右目图像；所述处理器实现根据所述单应矩阵确定所述第一高度时，用于实现：
获取所述双目拍摄装置的内参矩阵和双目距离；
根据所述单应矩阵、内参矩阵和双目距离确定所述第一高度。
可选地，所述处理器实现根据所述第一图像和第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度时，用于实现：
根据所述第一图像的第二目标图像区域以及所述第二图像的第二目标图像区域，确定第二目标图像区域的深度图，并根据所述深度图确定目标深度值；
确定所述水面的法向量；
根据所述法向量和所述目标深度值，确定所述第二高度。
可选地，所述处理器实现根据所述法向量和所述目标深度值确定所述第二高度时，用于实现：
取所述目标深度值的一半作为第三高度，并通过所述法向量对所述第三高度进行方向校正处理，得到所述第二高度。
可选地，所述处理器实现根据所述深度图确定目标深度值时，用于实现：
根据所述深度图获取所述深度图对应的平均深度值；
将所述平均深度值作为目标深度值。
可选地，所述处理器实现根据所述深度图确定目标深度值时，用于实现：
确定所述第二目标图像区域的中心像素点；
从所述深度图中获取所述中心像素点对应的深度值，并将所述中心像素点对应的深度值作为目标深度值。
可选地，所述处理器实现确定所述水面的法向量时，用于实现：
根据所述第一图像中的第一目标区域以及第二图像中的第一目标图像区域确定第一图像与第二图像之间的单应矩阵；
根据所述单应矩阵确定所述法向量。
可选地，所述处理器实现根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度时，用于实现：
根据所述第一高度，对所述第二高度进行校验；
当所述第二高度通过校验时，确定所述第一高度对应的第一权重系数和所述第二高度对应的第二权重系数；
根据所述第一高度、第二高度、第一权重系数和第二权重系数，确定飞行器距离水面的目标高度。
可选地，所述处理器实现根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度时，用于实现：
当所述第二高度未通过校验时，将所述第一高度确定为所述飞行器距离水面的目标高度。
可选地，所述处理器实现根据所述第一高度，对所述第二高度进行校验时，用于实现：
计算所述第一高度与第二高度之间的差值，并确定所述差值的绝对值是否小于或等于预设阈值；
若所述差值的绝对值小于或等于预设阈值，则确定所述第二高度通过校验；
若所述差值的绝对值大于预设阈值，则确定所述第二高度未通过校验。
可选地，所述处理器实现确定所述第一高度对应的第一权重系数时，用于实现：
获取预存的权重系数与差值的绝对值之间的映射关系表；
计算所述第一高度与第二高度之间的差值；
查询所述映射关系表，将所述差值的绝对值对应的权重系数作为所述第一高度对应的第一权重系数。
可选地，所述处理器，还用于实现：
确定所述第一图像和第二图像中是否存在水面区域；
若所述第一图像和第二图像中存在水面区域，则执行确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域的步骤。
可选地，所述处理器，还用于实现：
若所述第一图像和第二图像中至少一个图像不存在第二目标图像区域，则根据所述第一图像和第二图像中的第一目标图像区域确定所述飞行器距离水面的第一高度；
将所述第一高度确定为所述飞行器距离水面的目标高度。
可选地，所述处理器实现确定所述第一图像和第二图像中是否存在水面区域时，用于实现：
获取预存的水面区域识别模型；
通过所述水面区域识别模型，确定所述第一图像和第二图像中是否存在水面区域。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的飞行器的具体工作过程，可以参考前述高度确定方法实施例中的对应过程，在此不再赘述。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的高度确定方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的控制终端或无人飞行器的内部存储单元，例如所述控制终端或无人飞行器的硬盘或内存。所述计算机可读存储介质也可以是所述控制终端或无人飞行器的外部存储设备，例如所述控制终端或无人飞行器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (35)

  1. 一种高度确定方法，其特征在于，应用于飞行器，所述飞行器包括拍摄装置，所述方法包括：
    获取所述拍摄装置拍摄的图像，其中，所述图像包括第一图像和第二图像；
    确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域，其中，第一目标图像区域为不包括飞行器倒影的图像区域，第二目标图像区域为包括飞行器倒影的图像区域；
    根据所述第一图像和第二图像中的第一目标图像区域，确定所述飞行器距离水面的第一高度；
    根据所述第一图像和第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度；
    根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度。
  2. 根据权利要求1所述的高度确定方法，其特征在于，所述确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域，包括：
    获取预设的飞行器水面倒影识别模型；
    通过所述飞行器水面倒影识别模型，确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域。
  3. 根据权利要求1或2所述的高度确定方法，其特征在于，所述根据所述第一图像和第二图像中的第一目标图像区域，确定所述飞行器距离水面的第一高度，包括：
    根据所述第一图像中的第一目标图像区域以及第二图像中的第一目标图像区域，确定所述第一图像与第二图像之间的单应矩阵；
    根据所述单应矩阵确定所述第一高度。
  4. 根据权利要求3所述的高度确定方法，其特征在于，所述确定所述第一图像与所述第二图像之间的单应矩阵，包括：
    基于预设的像素点匹配算法，从所述第一图像的第一目标图像区域以及所述第二图像的第一目标图像区域中提取多个的像素点匹配对；
    根据多个所述像素点匹配对，计算所述第一图像与所述第二图像之间的单应矩阵。
  5. 根据权利要求3或4所述的高度确定方法，其特征在于，所述拍摄装置 包括双目拍摄装置，所述第一图像和第二图像包括所述双目拍摄装置拍摄的左目图像和右目图像；所述根据所述单应矩阵确定所述第一高度，包括：
    获取所述双目拍摄装置的内参矩阵和双目距离；
    根据所述单应矩阵、内参矩阵和双目距离确定所述第一高度。
  6. 根据权利要求1至5中任一项所述的高度确定方法，其特征在于，所述根据所述第一图像和第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度，包括：
    根据所述第一图像的第二目标图像区域以及所述第二图像的第二目标图像区域，确定第二目标图像区域的深度图，并根据所述深度图确定目标深度值；
    确定所述水面的法向量；
    根据所述法向量和所述目标深度值，确定所述第二高度。
  7. 根据权利要求6所述的高度确定方法，其特征在于，所述根据所述法向量和所述目标深度值确定所述第二高度，包括：
    取所述目标深度值的一半作为第三高度，并通过所述法向量对所述第三高度进行方向校正处理，得到所述第二高度。
  8. 根据权利要求6或7所述的高度确定方法，其特征在于，所述根据所述深度图确定目标深度值，包括：
    根据所述深度图获取所述深度图对应的平均深度值；
    将所述平均深度值作为目标深度值。
  9. 根据权利要求6或7所述的高度确定方法，其特征在于，所述根据所述深度图确定目标深度值，包括：
    确定所述第二目标图像区域的中心像素点；
    从所述深度图中获取所述中心像素点对应的深度值，并将所述中心像素点对应的深度值作为目标深度值。
  10. 根据权利要求6至9中任一所述的高度确定方法，其特征在于，所述确定所述水面的法向量，包括：
    根据所述第一图像中的第一目标区域以及第二图像中的第一目标图像区域确定第一图像与第二图像之间的单应矩阵；
    根据所述单应矩阵确定所述法向量。
  11. 根据权利要求1至10中任一项所述的高度确定方法，其特征在于，所述根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度，包括：
    根据所述第一高度，对所述第二高度进行校验；
    当所述第二高度通过校验时，确定所述第一高度对应的第一权重系数和所述第二高度对应的第二权重系数；
    根据所述第一高度、第二高度、第一权重系数和第二权重系数，确定飞行器距离水面的目标高度。
  12. 根据权利要求11所述的高度确定方法，其特征在于，所述根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度，包括：
    当所述第二高度未通过校验时，将所述第一高度确定为所述飞行器距离水面的目标高度。
  13. 根据权利要求11或12所述的高度确定方法，其特征在于，所述根据所述第一高度，对所述第二高度进行校验，包括：
    计算所述第一高度与第二高度之间的差值，并确定所述差值的绝对值是否小于或等于预设阈值；
    若所述差值的绝对值小于或等于预设阈值，则确定所述第二高度通过校验；
    若所述差值的绝对值大于预设阈值，则确定所述第二高度未通过校验。
  14. 根据权利要求11至13中任一项所述的高度确定方法，其特征在于，所述确定所述第一高度对应的第一权重系数，包括：
    获取预存的权重系数与差值的绝对值之间的映射关系表；
    计算所述第一高度与第二高度之间的差值；
    查询所述映射关系表，将所述差值的绝对值对应的权重系数作为所述第一高度对应的第一权重系数。
  15. 根据权利要求1至14中任一项所述的高度确定方法，其特征在于，还包括：
    确定所述第一图像和第二图像中是否存在水面区域；
    若所述第一图像和第二图像中存在水面区域，则执行确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域的步骤。
  16. 根据权利要求15所述的高度确定方法，其特征在于，还包括：
    若所述第一图像和第二图像中至少一个图像不存在第二目标图像区域，则根据所述第一图像和第二图像中的第一目标图像区域确定所述飞行器距离水面的第一高度；
    将所述第一高度确定为所述飞行器距离水面的目标高度。
  17. 根据权利要求15或16所述的高度确定方法，其特征在于，所述确定所述第一图像和第二图像中是否存在水面区域，包括：
    获取预存的水面区域识别模型；
    通过所述水面区域识别模型，确定所述第一图像和第二图像中是否存在水面区域。
  18. 一种飞行器，其特征在于，所述飞行器包括拍摄装置、存储器和处理器；
    所述拍摄装置，用于拍摄图像；
    所述存储器，用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    获取所述拍摄装置拍摄的图像，其中，所述图像包括第一图像和第二图像；
    确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域，其中，第一目标图像区域为不包括飞行器倒影的图像区域，第二目标图像区域为包括飞行器倒影的图像区域；
    根据所述第一图像和第二图像中的第一目标图像区域，确定所述飞行器距离水面的第一高度；
    根据所述第一图像和第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度；
    根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度。
  19. 根据权利要求18所述的飞行器，其特征在于，所述处理器实现确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域时，用于实现：
    获取预设的飞行器水面倒影识别模型；
    通过所述飞行器水面倒影识别模型，确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域。
  20. 根据权利要求18或19所述的飞行器，其特征在于，所述处理器实现根据所述第一图像和第二图像中的第一目标图像区域，确定所述飞行器距离水面的第一高度时，用于实现：
    根据所述第一图像中的第一目标图像区域以及第二图像中的第一目标图像区域，确定所述第一图像与第二图像之间的单应矩阵；
    根据所述单应矩阵确定所述第一高度。
  21. 根据权利要求20所述的飞行器，其特征在于，所述处理器实现确定所述第一图像与所述第二图像之间的单应矩阵时，用于实现：
    基于预设的像素点匹配算法，从所述第一图像的第一目标图像区域以及所述第二图像的第一目标图像区域中提取多个的像素点匹配对；
    根据多个所述像素点匹配对，计算所述第一图像与所述第二图像之间的单应矩阵。
  22. 根据权利要求20或21所述的飞行器，其特征在于，所述拍摄装置包括双目拍摄装置，所述第一图像和第二图像包括所述双目拍摄装置拍摄的左目图像和右目图像；所述处理器实现根据所述单应矩阵确定所述第一高度时，用于实现：
    获取所述双目拍摄装置的内参矩阵和双目距离；
    根据所述单应矩阵、内参矩阵和双目距离确定所述第一高度。
  23. 根据权利要求18至22中任一项所述的飞行器，其特征在于，所述处理器实现根据所述第一图像和第二图像中的第二目标图像区域，确定所述飞行器距离水面的第二高度时，用于实现：
    根据所述第一图像的第二目标图像区域以及所述第二图像的第二目标图像区域，确定第二目标图像区域的深度图，并根据所述深度图确定目标深度值；
    确定所述水面的法向量；
    根据所述法向量和所述目标深度值，确定所述第二高度。
  24. 根据权利要求23所述的飞行器，其特征在于，所述处理器实现根据所述法向量和所述目标深度值确定所述第二高度时，用于实现：
    取所述目标深度值的一半作为第三高度，并通过所述法向量对所述第三高度进行方向校正处理，得到所述第二高度。
  25. 根据权利要求23或24所述的飞行器，其特征在于，所述处理器实现根据所述深度图确定目标深度值时，用于实现：
    根据所述深度图获取所述深度图对应的平均深度值；
    将所述平均深度值作为目标深度值。
  26. 根据权利要求23或24所述的飞行器，其特征在于，所述处理器实现根据所述深度图确定目标深度值时，用于实现：
    确定所述第二目标图像区域的中心像素点；
    从所述深度图中获取所述中心像素点对应的深度值，并将所述中心像素点对应的深度值作为目标深度值。
  27. 根据权利要求23至26中任一所述的飞行器，其特征在于，所述处理器实现确定所述水面的法向量时，用于实现：
    根据所述第一图像中的第一目标区域以及第二图像中的第一目标图像区域确定第一图像与第二图像之间的单应矩阵；
    根据所述单应矩阵确定所述法向量。
  28. 根据权利要求18至27中任一项所述的飞行器，其特征在于，所述处理器实现根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度时，用于实现：
    根据所述第一高度，对所述第二高度进行校验；
    当所述第二高度通过校验时，确定所述第一高度对应的第一权重系数和所述第二高度对应的第二权重系数；
    根据所述第一高度、第二高度、第一权重系数和第二权重系数，确定飞行器距离水面的目标高度。
  29. 根据权利要求28所述的飞行器，其特征在于，所述处理器实现根据所述第一高度和所述第二高度，确定飞行器距离水面的目标高度时，用于实现：
    当所述第二高度未通过校验时，将所述第一高度确定为所述飞行器距离水面的目标高度。
  30. 根据权利要求28或29所述的飞行器，其特征在于，所述处理器实现根据所述第一高度，对所述第二高度进行校验时，用于实现：
    计算所述第一高度与第二高度之间的差值，并确定所述差值的绝对值是否小于或等于预设阈值；
    若所述差值的绝对值小于或等于预设阈值，则确定所述第二高度通过校验；
    若所述差值的绝对值大于预设阈值，则确定所述第二高度未通过校验。
  31. 根据权利要求28至30中任一项所述的飞行器，其特征在于，所述处理器实现确定所述第一高度对应的第一权重系数时，用于实现：
    获取预存的权重系数与差值的绝对值之间的映射关系表；
    计算所述第一高度与第二高度之间的差值；
    查询所述映射关系表，将所述差值的绝对值对应的权重系数作为所述第一高度对应的第一权重系数。
  32. 根据权利要求18至31中任一项所述的飞行器，其特征在于，所述处理器，还用于实现：
    确定所述第一图像和第二图像中是否存在水面区域；
    若所述第一图像和第二图像中存在水面区域，则确定所述第一图像和第二图像中的第一目标图像区域和第二目标图像区域。
  33. 根据权利要求32所述的飞行器，其特征在于，所述处理器，还用于实现：
    若所述第一图像和第二图像中至少一个图像不存在第二目标图像区域，则根据所述第一图像和第二图像中的第一目标图像区域确定所述飞行器距离水面的第一高度；
    将所述第一高度确定为所述飞行器距离水面的目标高度。
  34. 根据权利要求32或33所述的飞行器，其特征在于，所述处理器实现确定所述第一图像和第二图像中是否存在水面区域时，用于实现：
    获取预存的水面区域识别模型；
    通过所述水面区域识别模型，确定所述第一图像和第二图像中是否存在水面区域。
  35. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至17中任一项所述的高度确定方法。
PCT/CN2019/122172 2019-11-29 2019-11-29 高度确定方法、飞行器及计算机可读存储介质 WO2021102994A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980060094.2A CN112740222A (zh) 2019-11-29 2019-11-29 高度确定方法、飞行器及计算机可读存储介质
PCT/CN2019/122172 WO2021102994A1 (zh) 2019-11-29 2019-11-29 高度确定方法、飞行器及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/122172 WO2021102994A1 (zh) 2019-11-29 2019-11-29 高度确定方法、飞行器及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2021102994A1 true WO2021102994A1 (zh) 2021-06-03

Family

ID=75589259

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/122172 WO2021102994A1 (zh) 2019-11-29 2019-11-29 高度确定方法、飞行器及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN112740222A (zh)
WO (1) WO2021102994A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100002222A1 (en) * 1999-09-03 2010-01-07 Arete Associates Lidar with streak-tube imaging, including hazard detection in marine applications; related optics
CN108140245A (zh) * 2017-12-25 2018-06-08 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN110299030A (zh) * 2019-06-28 2019-10-01 汉王科技股份有限公司 手持终端、飞行器及其空域测量方法、控制方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100002222A1 (en) * 1999-09-03 2010-01-07 Arete Associates Lidar with streak-tube imaging, including hazard detection in marine applications; related optics
CN108140245A (zh) * 2017-12-25 2018-06-08 深圳市道通智能航空技术有限公司 测距方法、装置以及无人机
CN110299030A (zh) * 2019-06-28 2019-10-01 汉王科技股份有限公司 手持终端、飞行器及其空域测量方法、控制方法

Also Published As

Publication number Publication date
CN112740222A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
US9269188B2 (en) Densifying and colorizing point cloud representation of physical surface using image data
CN109300159A (zh) 位置检测方法、装置、设备、存储介质及车辆
US20210192761A1 (en) Image depth estimation method and device, readable storage medium, and electronic apparatus
WO2018227576A1 (zh) 地面形态检测方法及系统、无人机降落方法和无人机
US20140300736A1 (en) Multi-sensor camera recalibration
WO2019104571A1 (zh) 图像处理方法和设备
CN108665499B (zh) 一种基于视差法的近距飞机位姿测量方法
WO2021035731A1 (zh) 无人飞行器的控制方法、装置及计算机可读存储介质
WO2021195886A1 (zh) 距离确定方法、可移动平台及计算机可读存储介质
WO2020119467A1 (zh) 高精度稠密深度图像的生成方法和装置
US10348961B2 (en) Camera modeling system
CN113324528B (zh) 已知摄站位置的近景摄影测量目标定位方法及系统
WO2022183685A1 (zh) 目标检测方法、电子介质和计算机存储介质
WO2021081774A1 (zh) 一种参数优化方法、装置及控制设备、飞行器
CN111798507A (zh) 一种输电线安全距离测量方法、计算机设备和存储介质
WO2021174539A1 (zh) 物体检测方法、可移动平台、设备和存储介质
WO2021081958A1 (zh) 地形检测方法、可移动平台、控制设备、系统及存储介质
WO2021016806A1 (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
WO2021193672A1 (ja) 三次元モデル生成方法及び三次元モデル生成装置
WO2020019175A1 (zh) 图像处理方法和设备、摄像装置以及无人机
WO2021217450A1 (zh) 目标跟踪方法、设备及存储介质
WO2021102994A1 (zh) 高度确定方法、飞行器及计算机可读存储介质
WO2021051361A1 (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
CN109314774B (zh) 用于立体成像的系统和方法
CN116929290A (zh) 一种双目视角差立体深度测量方法、系统及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19954353

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19954353

Country of ref document: EP

Kind code of ref document: A1