WO2019127023A1 - 一种飞行器降落保护方法、装置及飞行器 - Google Patents

一种飞行器降落保护方法、装置及飞行器 Download PDF

Info

Publication number
WO2019127023A1
WO2019127023A1 PCT/CN2017/118662 CN2017118662W WO2019127023A1 WO 2019127023 A1 WO2019127023 A1 WO 2019127023A1 CN 2017118662 W CN2017118662 W CN 2017118662W WO 2019127023 A1 WO2019127023 A1 WO 2019127023A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature points
determining
image
area
aircraft
Prior art date
Application number
PCT/CN2017/118662
Other languages
English (en)
French (fr)
Inventor
朱颖
宋宇
Original Assignee
深圳市道通智能航空技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市道通智能航空技术有限公司 filed Critical 深圳市道通智能航空技术有限公司
Priority to EP17842281.2A priority Critical patent/EP3528081A4/en
Priority to PCT/CN2017/118662 priority patent/WO2019127023A1/zh
Priority to CN201780002740.0A priority patent/CN110402421A/zh
Priority to US15/894,126 priority patent/US10796148B2/en
Publication of WO2019127023A1 publication Critical patent/WO2019127023A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021—Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D45/00—Aircraft indicators or protectors not otherwise provided for
    • B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U70/00—Launching, take-off or landing arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/0202—Control of position or course in two dimensions specially adapted to aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/04—Control of altitude or depth
    • G05D1/06—Rate of change of altitude or depth
    • G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047—Navigation or guidance aids for a single aircraft
    • G08G5/0069—Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073—Surveillance aids
    • G08G5/0086—Surveillance aids for monitoring terrain
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/02—Automatic approach or landing aids, i.e. systems in which flight data of incoming planes are processed to provide landing data
    • G08G5/025—Navigation or guidance aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Definitions

  • the present invention relates to an aircraft, and more particularly to an aircraft landing protection method, apparatus and aircraft using the same.
  • Unsafe landing of the aircraft may cause a certain degree of damage to the aircraft. If it is needed, it may need to be repaired, and the aircraft may be "exploded".
  • the aircraft can automatically return to the takeoff point according to the settings.
  • An embodiment of the present invention provides an aircraft landing protection method, including:
  • the aircraft is controlled to stop landing or to control the aircraft to fly away from the dangerous landing zone.
  • the determining, according to the feature point, whether the to-be-landing area is a dangerous landing area comprises:
  • the first preset threshold is 3.
  • the determining, according to the feature point, whether the to-be-landing area is a dangerous landing area comprises:
  • the determining a normal vector (nx, ny, nz) of a plane obtained by fitting all feature points in the image includes:
  • the normal vector (nx, ny, nz) of the plane obtained by fitting all the feature points in the image is calculated by the following formula:
  • the camera device is a depth camera that can directly acquire the Zi
  • the world coordinates of the camera device relative to the aircraft of each of the feature points in the determined image includes:
  • cx, cy is the optical center coordinate of the depth camera
  • fx, fy is the focal length of the depth camera on the X-axis and the Y-axis.
  • the camera device is a depth camera that cannot directly acquire the Zi
  • the world coordinates of the camera device relative to the aircraft of each of the feature points in the image is determined to include:
  • cx, cy is the optical center coordinate of the depth camera
  • fx, fy is the focal length of the binocular camera on the X-axis and the Y-axis
  • b is the baseline distance of the depth camera.
  • the determining, according to the feature point, whether the to-be-landing area is a dangerous landing area comprises:
  • the determining a ratio Ro of the number of feature points not on the plane and the number of all feature points includes:
  • the determining, according to the feature point, whether the to-be-landing area is a dangerous landing area comprises:
  • the determining the ratio Rd of the feature points whose moving distance is greater than the fifth preset threshold in the adjacent two frames of images includes:
  • the feature point whose moving distance is greater than the fifth preset threshold If the xd or yd is greater than or equal to the fifth preset threshold, the feature point whose moving distance is greater than the fifth preset threshold;
  • the acquiring an image of the area to be dropped includes:
  • An image of the area to be landed is acquired by an imaging device.
  • the camera device is a depth camera.
  • the determining feature points in the image includes:
  • the feature points of the image are determined by a corner detection method or a speckle detection method.
  • the corner detection mode includes at least one of the following:
  • the determining feature points in the image includes:
  • the pixel point p is determined to be a feature point.
  • the method further includes:
  • An embodiment of the present invention further provides an aircraft landing protection device, the device comprising:
  • An acquisition module configured to acquire an image of a region to be dropped
  • a determining module for determining feature points in the image
  • a determining module configured to determine, according to the feature point, whether the to-be-landing area is a dangerous landing area
  • control module for controlling the aircraft to stop landing or to control the aircraft to fly away from the dangerous landing area.
  • the determining module is configured to:
  • the first preset threshold is 3.
  • the determining module is configured to:
  • the determining module is configured to:
  • the normal vector (nx, ny, nz) of the plane obtained by fitting all the feature points in the image is calculated by the following formula:
  • the camera device is a depth camera that can directly acquire Zi
  • the determining module is configured to:
  • cx, cy is the optical center coordinate of the depth camera
  • fx, fy is the focal length of the depth camera on the X-axis and the Y-axis.
  • the camera device is a depth camera that cannot directly acquire Zi
  • the determining module is configured to:
  • cx, cy is the optical center coordinate of the depth camera
  • fx, fy is the focal length of the binocular camera on the X-axis and the Y-axis
  • b is the baseline distance of the depth camera.
  • the determining module is configured to:
  • the determining module is configured to:
  • the determining module is configured to:
  • the determining module is configured to:
  • the feature point whose moving distance is greater than the fifth preset threshold If the xd or yd is greater than or equal to the fifth preset threshold, the feature point whose moving distance is greater than the fifth preset threshold;
  • the acquisition module is an imaging device of the aircraft.
  • the camera device is a depth camera.
  • the determining module determines a feature point in the image by using a corner detection mode or a spot detection mode.
  • the corner detection mode includes at least one of the following:
  • Accelerated segmentation detection feature FAST feature point detection method Harris Harris corner detection method.
  • the determining module is configured to:
  • the pixel point p is determined to be a feature point.
  • the device further includes:
  • the warning module is configured to send a prompt warning if the area to be landed is a dangerous landing area.
  • An embodiment of the present invention also provides an aircraft, including:
  • a processor disposed within the housing or arm;
  • a memory communicatively coupled to the processor, the memory being disposed within the housing or arm;
  • the memory stores instructions executable by the processor, and when the processor executes the instructions, implements an aircraft landing protection method as described above.
  • An embodiment of the present invention further provides a computer storage medium storing computer executable instructions, when the computer executable instructions are executed by a drone, causing the drone to perform the above The aircraft landing protection method.
  • the area to be landed is a dangerous landing area, and the safety of landing of the aircraft is ensured.
  • only the depth camera can be used to determine whether the current area is suitable for landing, and the device is simple; the computational complexity is not high, and the reliability is high.
  • FIG. 1 is a schematic structural view of an embodiment of an aircraft according to the present invention.
  • FIG. 2 is a flow chart showing an embodiment of a feature point in an aircraft determination image shown in FIG. 1 according to the present invention
  • FIG. 3 is a flow chart of an embodiment of the aircraft of FIG. 1 determining whether a landing area to be a dangerous landing area;
  • FIG. 4 is a flow chart showing another embodiment of the aircraft of FIG. 1 determining whether a landing area to be a dangerous landing area;
  • FIG. 5 is a coordinate relationship diagram of a feature point determined by the aircraft shown in FIG. 1, an imaging device of the aircraft, and a plane obtained by fitting a feature point;
  • Figure 6 is a flow chart showing still another embodiment of the aircraft of Figure 1 determining whether the area to be landed is a dangerous landing area;
  • Figure 7 is a flow chart showing still another embodiment of the aircraft of Figure 1 determining whether the area to be landed is a dangerous landing area;
  • FIG. 8 is a flow chart of determining, by the aircraft shown in FIG. 1, a ratio Rd of feature points whose moving distance is greater than a fifth predetermined threshold in two adjacent frames;
  • FIG. 9 is a flow chart of an embodiment of an aircraft landing protection method according to the present invention.
  • FIG. 10 is a structural block diagram of an embodiment of an aircraft landing protection device according to the present invention.
  • Embodiments of the present invention provide an aircraft landing protection method and apparatus that can be used in an aircraft such that the aircraft automatically determines whether the area to be dropped is suitable for landing when landing, to avoid landing to a dangerous landing area.
  • the dangerous landing area refers to all areas that are not suitable for the landing of the aircraft, for example, a ground having a large inclination (for example, a slope), a water surface, a bush, a ground where a foreign object exists, or the like.
  • the aircraft in the embodiment of the present invention may be an unmanned aerial vehicle, a manned aircraft, or the like.
  • an aircraft 10 of an embodiment of the present invention includes a housing 11, a boom 12, a power unit 13, an imaging device 14, and a processor 15.
  • the arm 12 is connected to the housing 11 , and the power unit 13 is disposed on the arm 12 .
  • the camera 14 is communicatively coupled to the processor 15 for capturing an image of the area to be landed. .
  • the camera device 14 is a depth camera
  • the depth camera may include, but is not limited to, a binocular camera, a TOF (Time of Flight) camera, and a structured light camera.
  • the aircraft 10 in this embodiment has four arms 12, that is, the aircraft 10 in this embodiment is a quadrotor.
  • the aircraft 10 may also be a helicopter, a three-rotor aircraft, a six-rotor aircraft, Eight-rotor aircraft, fixed-wing aircraft or aircraft with fixed-wing and rotor-mixed aircraft.
  • the power unit 13 typically includes a motor disposed at the end of the arm 12 and a propeller coupled to the motor shaft.
  • the motor drives the propeller to rotate to provide lift to the aircraft 10.
  • the power unit 13 is communicatively coupled to the processor 15.
  • the processor 15 may include a plurality of functional units, such as a flight control unit for controlling the flight attitude of the aircraft, a target recognition unit for identifying the target, a tracking unit for tracking a specific target, a navigation unit for navigating the aircraft (for example, GPS (Global Positioning System), Beidou, and a data processing unit for processing environmental information acquired by related airborne devices.
  • a flight control unit for controlling the flight attitude of the aircraft
  • a target recognition unit for identifying the target
  • a tracking unit for tracking a specific target
  • a navigation unit for navigating the aircraft ( For example, GPS (Global Positioning System), Beidou, and a data processing unit for processing environmental information acquired by related airborne devices.
  • GPS Global Positioning System
  • Beidou Beidou
  • the image of the area to be landed is first acquired by the imaging device 14.
  • the area to be landed may be a landing location set by the user, or may be a landing point selected by the aircraft 10 independently, such as a place where the aircraft needs to make an emergency landing in the case of low power.
  • the image of the area to be landed is continuously acquired by the imaging device 14.
  • the preset height may be a height set by the user in advance, or may be a height set when the aircraft 10 is shipped from the factory.
  • the preset height may be 5 meters.
  • the processor 15 After acquiring the image of the area to be dropped, the processor 15 needs to further determine the feature points in the image.
  • the feature point refers to a point where the gray value of the image changes drastically or a point where the curvature is larger on the edge of the image (ie, the intersection of the two edges).
  • the feature points can reflect the essential features of the image, can identify the target object in the image, and can match the image through the matching of the feature points.
  • the processor 15 can also determine feature points in the image by:
  • the pixel point p is determined to be a feature point.
  • the seventh preset threshold can be selected according to experience or actual situation.
  • the processor 15 may also determine a feature point of the image by using a corner detection method or a spot detection method.
  • the corner point refers to the corner of one side of the object in the image or the intersection between the lines (the point where the curvature on the edge of the image is large), and the spot usually refers to a point where the gray value of the image changes drastically.
  • corner detection methods there are a variety of corner detection methods and speckle detection methods, wherein, for the corner detection method, the method includes, but is not limited to, the Feature From Accelerated Segment Test (FAST) feature point detection method, Harris. Corner detection method.
  • FAST Feature From Accelerated Segment Test
  • the detected corner point is defined as that there are enough pixels in the neighborhood around the pixel point to be in a different area from the point.
  • Harris corner detection is a first-order derivative matrix detection method based on image gray scale. It is detected according to local self-similarity/autocorrelation, that is, according to the image block in a certain partial window and the window slightly moving in all directions. The similarity of the inner image blocks is judged.
  • the speckle detection method may include, but is not limited to, a method (LOG) using Gaussian Laplacian detection, a method using a pixel point Hessian matrix and its determinant value, and the like.
  • the processor 15 may determine whether the area to be dropped is a dangerous landing area according to the following method. If the area to be landed is a dangerous landing area, the aircraft 10 is controlled to stop landing or fly away from the dangerous landing area:
  • the processor 15 can determine whether the area to be dropped is a dangerous landing area by the following method:
  • the embodiment of the present invention needs to judge whether the landing area is a dangerous landing area according to the information of multiple feature points. If the feature points are not enough, the relevant determination cannot be performed.
  • the first preset threshold is 3. This is because when the number of feature points is less than 3, the plane cannot be fitted according to the feature points, so that the normal vector of the plane (nx, ny, nz) cannot be obtained. Therefore, when the number of feature points of the image is less than the first threshold, the landing area is directly determined to be a dangerous landing area.
  • the processor 15 can also determine whether the area to be dropped is a dangerous landing area by:
  • the normal vector (nx, ny, nz) of the plane obtained by fitting all the feature points can be obtained by the following method:
  • the normal vector (nx, ny, nz) of the plane obtained by fitting all the feature points in the image is calculated by the following formula:
  • determining a normal vector (nx, ny, nz) of a plane obtained by fitting all feature points in the image may also be obtained by using a Random Sample Consensus (RANSAC) algorithm.
  • the algorithm is based on a set of sample data sets containing abnormal data, calculates mathematical model parameters of the data, and obtains effective sample data.
  • Fig. 5 shows the coordinate relationship of the feature points (Xi, Yi, Zi), the image pickup device 14, and the plane.
  • the determining the world coordinates of each feature point in the image relative to the camera device can be divided into the following two cases:
  • the camera device 14 is a depth camera that can directly acquire Zi:
  • cx, cy is the optical center coordinate of the depth camera
  • fx, fy is the focal length of the depth camera on the X-axis and the Y-axis.
  • the camera device 14 is a depth camera that cannot directly acquire Zi, for example, a binocular camera can obtain Zi indirectly:
  • cx, cy is the optical center coordinate of the binocular camera
  • fx, fy is the focal length of the binocular camera on the X-axis and the Y-axis
  • b is the baseline distance of the binocular camera.
  • the second predetermined threshold is 0.9. Wherein, when nz is less than 0.9, it indicates that the slope of the area to be dropped is too large and is not suitable for landing.
  • the processor 15 may further determine whether the area to be dropped is a dangerous landing area by the following method:
  • the plane may also be a horizontal plane.
  • the distance of each feature point to the plane is first calculated by the following formula:
  • Determining that the feature point of the Di is greater than the fourth predetermined threshold is the feature point that is not in the plane; in an embodiment of the present invention, the fourth preset threshold may be 0.2 m;
  • the Ro is greater than the third preset threshold, indicating that the area to be dropped is not flat, and there may be foreign objects, which are not suitable for landing.
  • the third threshold may be set to 0.01.
  • the processor 15 may further determine whether the area to be dropped is a dangerous landing area by the following method:
  • the processor 15 may determine a ratio Rd of feature points whose moving distance is greater than a fifth preset threshold in two adjacent frames according to the following method:
  • determining the same feature points between the two frames before and after the image may be performed by using feature point matching, that is, determining whether the same feature point is based on the similarity degree of the two feature points.
  • Point matching is similar to feature point detection, and there are many algorithms, which are not described in the present invention.
  • the fifth preset threshold takes 2 pixels.
  • the Rd is greater than a sixth preset threshold, indicating that the area to be landed may be a water surface or other dangerous area, and is not suitable for aircraft landing.
  • the sixth preset threshold is 0.1.
  • the aircraft 10 may perform at least one of the following:
  • the processor 15 may send a prompt warning to the control terminal, receive a control instruction input by the user via the control terminal, and replace the area to be dropped according to the control instruction. Then, it is judged whether the replaced landing area is a dangerous landing area.
  • the processor 15 can also directly change the area to be dropped according to a preset rule.
  • the preset rule may be to control the aircraft 10 to fly a certain distance to a predetermined direction, and then use the lower part of the current position as the area to be dropped.
  • the processor 15 may also record the location of the dangerous landing area, and provide the landing strategy to the aircraft 10 according to the recorded location of the dangerous landing area.
  • the location can include geographic coordinates.
  • the processor 15 may send the location of the dangerous landing area to the control terminal, and the control terminal displays the location information, so that the user knows the geographical location, and prevents the user from setting the location again. To be in the area to be landed. In addition, in the course of future flight, if the area to be landed is the position, the processor 15 can also directly determine the dangerous landing area.
  • whether the area to be dropped is a dangerous landing area can be determined according to the acquired image, and the safety of landing of the aircraft is ensured. Moreover, the uneven ground surface and the inclined slope surface, and the foreign matter and the water surface of the descending area can be reliably judged by the embodiment of the present invention, and the problem of the bomber when the automatic landing in the above area is avoided is avoided. In addition, in the embodiment of the present invention, only the depth camera can be used to determine whether the current area is suitable for landing, the device is simple, the calculation complexity is not high, and the reliability is high.
  • an embodiment of the present invention further provides an aircraft landing protection method, the method comprising:
  • the image of the area to be landed can be acquired by the camera of the aircraft.
  • the camera device may be a depth camera, for example, a binocular camera, a TOF (Time of Flight) camera, a structured light camera.
  • the area to be landed may be a landing location set by the user, or may be a landing point selected by the aircraft 10 independently, such as a place where the aircraft needs to make an emergency landing in the case of low power.
  • the image of the area to be landed is continuously acquired by the imaging device 14.
  • the preset height may be a height set by the user in advance, or may be a height set when the aircraft 10 is shipped from the factory.
  • the preset height may be 5 meters.
  • an aircraft can determine feature points in an image by:
  • the pixel point p is determined to be a feature point.
  • the seventh preset threshold can be selected according to experience or actual situation.
  • feature points of the image may also be determined using a corner detection method or a speckle detection method.
  • the aircraft can determine whether the area to be landed is a dangerous landing area by the following method:
  • the embodiment of the present invention needs to judge whether the landing area is a dangerous landing area according to the information of multiple feature points. If the feature points are not enough, the relevant determination cannot be performed.
  • the first preset threshold is 3. This is because when the number of feature points is less than 3, the plane cannot be fitted according to the feature points, so that the normal vector of the plane (nx, ny, nz) cannot be obtained. Therefore, when the number of feature points of the image is less than the first threshold, the landing area is directly determined to be a dangerous landing area.
  • the aircraft may also determine whether the area to be landed is a dangerous landing area by:
  • the normal vector (nx, ny, nz) of the plane obtained by fitting all the feature points can be obtained by the following method:
  • the normal vector (nx, ny, nz) of the plane obtained by fitting all the feature points in the image is calculated by the following formula:
  • determining a normal vector (nx, ny, nz) of a plane obtained by fitting all feature points in the image may also be obtained by using a Random Sample Consensus (RANSAC) algorithm.
  • the algorithm is based on a set of sample data sets containing abnormal data, calculates mathematical model parameters of the data, and obtains effective sample data.
  • Fig. 5 shows the coordinate relationship of the feature points (Xi, Yi, Zi), the image pickup device 14, and the plane.
  • the determining the world coordinates of each feature point in the image relative to the camera device can be divided into the following two cases:
  • the camera is a depth camera that can directly obtain the Zi value:
  • cx, cy is the optical center coordinate of the depth camera
  • fx, fy is the focal length of the depth camera on the X-axis and the Y-axis.
  • the camera device cannot directly obtain the Zi value.
  • the camera device is a binocular camera, and the Zi can be obtained indirectly:
  • cx, cy is the optical center coordinate of the binocular camera
  • fx, fy is the focal length of the binocular camera on the X-axis and the Y-axis
  • b is the baseline distance of the binocular camera.
  • the second predetermined threshold is 0.9. Wherein, when nz is less than 0.9, it indicates that the slope of the area to be dropped is too large and is not suitable for landing.
  • the aircraft may also determine whether the area to be dropped is a dangerous landing area by the following method:
  • the plane may also be a horizontal plane.
  • the distance of each feature point to the plane is first calculated by the following formula:
  • Determining that the feature point of the Di is greater than the fourth predetermined threshold is the feature point that is not in the plane; in an embodiment of the present invention, the fourth preset threshold may be 0.2 m;
  • the Ro is greater than the third preset threshold, indicating that the area to be dropped is not flat, and there may be foreign objects, which are not suitable for landing.
  • the third threshold may be set to 0.01.
  • the aircraft may also determine whether the area to be dropped is a dangerous landing area by the following method:
  • an aircraft may determine a ratio Rd of feature points whose moving distance is greater than a fifth preset threshold in two adjacent frames according to the following method:
  • determining the same feature points between the two frames before and after the image may be performed by using feature point matching, that is, determining whether the same feature point is based on the similarity degree of the two feature points.
  • Point matching is similar to feature point detection, and there are many algorithms, which are not described in the present invention.
  • the fifth preset threshold takes 2 pixels.
  • the Rd is greater than a sixth preset threshold, indicating that the area to be landed may be a water surface or other dangerous area, and is not suitable for aircraft landing.
  • the sixth preset threshold is 0.1.
  • the aircraft 10 may perform at least one of the following:
  • the aircraft may send a prompt warning to the control terminal, receive a control command input by the user via the control terminal, and replace the area to be dropped according to the control command. Then, it is judged whether the replaced landing area is a dangerous landing area.
  • the aircraft may also directly change the area to be landed according to a preset rule, which may be to control the aircraft to fly a certain distance to a predetermined direction, and then use the lower part of the current position as the area to be landed.
  • a preset rule which may be to control the aircraft to fly a certain distance to a predetermined direction, and then use the lower part of the current position as the area to be landed.
  • the location of the dangerous landing area may also be recorded, and the aircraft independently selects the landing strategy according to the recorded location of the dangerous landing area.
  • the location can include geographic coordinates.
  • the location of the dangerous landing area may be sent to the control terminal, and the control terminal displays the location information, so that the user knows the geographical location, and prevents the user from setting the location again to be landed. region.
  • the control terminal displays the location information, so that the user knows the geographical location, and prevents the user from setting the location again to be landed. region.
  • the area to be landed is the position, it can be directly judged as a dangerous landing area.
  • the embodiment of the present invention further provides an aircraft landing protection device, which is used to implement the above embodiments and implementation manners, and has not been described again.
  • the term "module” may implement a combination of software and/or hardware of a predetermined function.
  • the devices described in the following embodiments may be implemented in software, hardware, or a combination of software and hardware, is also possible and contemplated.
  • an embodiment of the present invention further provides an aircraft landing protection device 100, the device comprising:
  • An obtaining module 101 configured to acquire an image of a region to be dropped
  • a determining module 102 configured to determine a feature point in the image
  • the determining module 103 is configured to determine, according to the feature point, whether the to-be-landing area is a dangerous landing area;
  • the control module 104 is configured to control the aircraft to stop landing or control the aircraft to fly away from the dangerous landing area.
  • the determining module 103 is configured to:
  • the first preset threshold is 3.
  • the determining module is configured to:
  • the determining module 103 is configured to:
  • the normal vector (nx, ny, nz) of the plane obtained by fitting all the feature points in the image is calculated by the following formula:
  • the camera device is a depth camera
  • the determining module 103 is configured to:
  • cx, cy is the optical center coordinate of the depth camera
  • fx, fy is the focal length of the depth camera on the X-axis and the Y-axis.
  • the camera device is a binocular camera
  • the determining module 103 is configured to:
  • cx, cy is the optical center coordinate of the binocular camera
  • fx, fy is the focal length of the binocular camera on the X-axis and the Y-axis
  • b is the baseline distance of the binocular camera.
  • the determining module 103 is configured to:
  • the determining module 103 is configured to:
  • the determining module 103 is configured to:
  • the determining module 103 is configured to:
  • the feature point whose moving distance is greater than the fifth preset threshold If the xd or yd is greater than or equal to the fifth preset threshold, the feature point whose moving distance is greater than the fifth preset threshold;
  • the acquisition module 101 is an imaging device of an aircraft.
  • the camera device is a depth camera.
  • the determining module 102 determines a feature point in the image by using a corner detection method or a spot detection method.
  • the corner detection mode includes at least one of the following:
  • Accelerated segmentation detection feature FAST feature point detection method Harris Harris corner detection method.
  • the determining module 102 is configured to:
  • the pixel point p is determined to be a feature point.
  • the device further includes:
  • the prompt warning module 105 is configured to send a prompt warning if the to-be-landed area is a dangerous landing area.
  • Embodiments of the present invention also provide an aircraft, including a processor and a computer readable storage medium, wherein the computer readable storage medium stores instructions for implementing any of the above when the instructions are executed by the processor Aircraft landing protection method.
  • Embodiments of the present invention also provide a computer readable storage medium having stored thereon a computer program that, when executed by a processor, implements any of the above-described aircraft landing protection methods.
  • the computer readable storage medium may include, but is not limited to, a USB flash drive, a Read-Only Memory (ROM), a Random Access Memory (RAM), a mobile hard disk, a magnetic disk, or an optical disk.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • the medium in which the program code is stored may include, but is not limited to, a USB flash drive, a Read-Only Memory (ROM), a Random Access Memory (RAM), a mobile hard disk, a magnetic disk, or an optical disk.
  • modules or steps of the embodiments of the present invention can be implemented by a general-purpose computing device, which can be centralized on a single computing device or distributed over a network of multiple computing devices. Alternatively, they may be implemented by program code executable by the computing device such that they may be stored in the storage device by the computing device and, in some cases, may be different from the order herein.
  • the steps shown or described are performed either separately as an integrated circuit module, or a plurality of modules or steps thereof are fabricated as a single integrated circuit module.
  • embodiments of the invention are not limited to any specific combination of hardware and software.

Abstract

一种飞行器降落保护方法，包括：获取待降落区域的图像；确定图像中的特征点；根据特征点判断待降落区域是否为危险降落区域；如果是，则控制飞行器中止降落或控制飞行器飞离危险降落区域。该方法可以根据获取到的图像判断待降落区域是否为危险降落区域，保证了飞行器降落的安全性。还包括一种飞行器降落保护装置，以及一种飞行器。

Description

一种飞行器降落保护方法、装置及飞行器 技术领域
本发明涉及一种飞行器，尤其是涉及一种飞行器降落保护方法、装置及使用该方法或装置的飞行器。
背景技术
飞行器能够安全降落对于飞行器非常重要，飞行器未安全降落可能导致飞行器发生一定程度的损坏，轻则需要检修，重则可能导致飞行器“炸机”。
相关技术中，飞行器可以按照设置自动返回起飞点。但也有很多情况，比如电量低，或者到达预定地点，需要飞行器自动在异地降落。
但是，在无法知晓当前降落区域是否适合飞行器安全降落的情况下，并不能保证飞行器降落的安全性。
发明内容
以下是对本发明详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本发明实施例提供了一种飞行器降落保护方法，包括：
获取待降落区域的图像；
确定所述图像中的特征点；
根据所述特征点判断所述待降落区域是否为危险降落区域；
如果是，则控制所述飞行器中止降落或控制所述飞行器飞离所述危险降落区域。
在本发明的一实施例中，所述根据所述特征点判断所述待降落区域是否为危险降落区域，包括：
判断所述图像中特征点的个数是否小于或等于第一预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述第一预设阈值为3。
在本发明的一实施例中，所述根据所述特征点判断所述待降落区域是否为危险降落区域，包括：
确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)；
判断在所述法向量(nx,ny,nz)中，nz是否小于第二预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)，包括：
确定所述图像中每个所述特征点相对于所述飞行器的摄像装置的世界坐标；
通过以下公式，计算所述图像中所有所述特征点拟合得到的平面的法向量(nx,ny,nz)：
Figure PCTCN2017118662-appb-000001
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中所述特征点的数量。
在本发明的一实施例中，所述摄像装置为可直接获取所述Zi的深度相机，所述确定图像中每个所述特征点的相对于所述飞行器的摄像装置的世界坐标，包括：
通过所述深度相机获取每个所述特征点的世界坐标中的Zi；
获取每个所述特征点的像素坐标xp,yp，并通过以下公式计算Xi，Yi：
Figure PCTCN2017118662-appb-000002
Figure PCTCN2017118662-appb-000003
其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述深度相机在X轴和Y轴上的焦距。
在本发明的一实施例中，所述摄像装置为不能直接获取所述Zi的深度相机，所述确定图像中每个所述特征点的相对于所述飞行器的摄像装置的世界坐标，包括：
获取在相邻两幅图像中同一个特征点的像素坐标xr,yr和xl,yl；
通过以下公式计算Zi，Xi和Yi：
Figure PCTCN2017118662-appb-000004
Figure PCTCN2017118662-appb-000005
Figure PCTCN2017118662-appb-000006
其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述双目相机在X轴和Y轴上的焦距，b为所述深度相机的基线距离。
在本发明的一实施例中，所述根据所述特征点判断所述待降落区域是否为危险降落区域，包括：
确定所有特征点拟合得到的平面；
确定不在所述平面上的特征点数量和所有特征点数量的比值Ro；
判断所述Ro是否大于第三预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述确定不在所述平面上的特征点数量和所有特征点数量的比值Ro，包括：
通过以下公式计算每个特征点到所述平面的距离：
Figure PCTCN2017118662-appb-000007
确定所述Di大于第四预设阈值的特征点为所述不在所述平面上的特征点；
计算不在所述平面上的特征点数量No和所有特征点数量N的比值Ro：
Ro＝No/N
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中特征点的数量，(nx,ny,nz)为所述图像中所有特征点拟合得到的平面的法向量。
在本发明的一实施例中，所述根据所述特征点判断所述待降落区域是否为危险降落区域，包括：
确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd；
判断所述Rd是否大于第六预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd，包括：
确定在相邻两帧图像中相同的特征点；
确定在所述相邻两帧图像中每个所述相同的特征点的位移坐标xd,yd；
若xd或yd大于或等于所述第五预设阈值，则为所述移动距离大于所述第五预设阈值的特征点；
计算移动大于第五预设阈值的特征点与在前后两帧图像之间相同的所有特征点的比例Rd。
在本发明的一实施例中，所述获取待降落区域的图像包括：
通过摄像装置获取所述待降落区域的图像。
在本发明的一实施例中，所述摄像装置为深度相机。
在本发明的一实施例中，所述确定所述图像中的特征点，包括：
采用角点检测方式或斑点检测方式确定所述图像的特征点。
在本发明的一实施例中，所述角点检测方式包括如下至少之一：
加速分割检测(Features From Accelerated Segment Test，FAST)特征点检测方式、哈里斯(Harris)角点检测方式。
在本发明的一实施例中，所述确定所述图像中的特征点，包括：
获取所述图像的灰度图；
在所述灰度图中任取一个像素点p，以所述像素点p为圆心，半径为r个像素的圆上选取m个像素点；
计算所述像素点p的灰度值与所述m个像素点中每个像素点的灰度值的差值的绝对值；
记录所述差值的绝对值大于第七预设阈值的个数；
若所述差值的绝对值大于第七预设阈值的个数大于第八预设阈值，则确定所述像素点p为特征点。
在本发明的一实施例中，所述方法还包括：
若所述待降落区域为危险降落区域，则发送提示警告。
本发明实施例还提供了一种飞行器降落保护装置，所述装置包括：
获取模块，用于获取待降落区域的图像；
确定模块，用于确定所述图像中的特征点；
判断模块，设置为根据所述特征点判断所述待降落区域是否为危险降落区域；
控制模块，用于控制所述飞行器中止降落或控制所述飞行器飞离所述危险降落区域。
在本发明的一实施例中，所述判断模块用于：
判断所述图像中特征点的个数是否小于或等于第一预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述第一预设阈值为3。
在本发明的一实施例中，所述判断模块用于：
确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)；
判断在所述法向量(nx,ny,nz)中，nz是否小于第二预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述判断模块用于：
确定所述图像中每个所述特征点相对于所述飞行器的摄像装置的世界坐标；
通过以下公式，计算所述图像中所有所述特征点拟合得到的平面的法向量(nx,ny,nz)：
Figure PCTCN2017118662-appb-000008
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中所述特征点的数量。
在本发明的一实施例中，所述摄像装置为可直接获取Zi的深度相机，所述判断模块用于：
通过所述深度相机获取每个所述特征点的世界坐标中的Zi；
获取每个所述特征点的像素坐标xp,yp，并通过以下公式计算Xi，Yi：
Figure PCTCN2017118662-appb-000009
Figure PCTCN2017118662-appb-000010
其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述深度相机在X轴和Y轴上的焦距。
在本发明的一实施例中，所述摄像装置为不能直接获取Zi的深度相机，所述判断模块用于：
获取在相邻两幅图像中同一个特征点的像素坐标xr,yr和xl,yl；
通过以下公式计算Zi，Xi和Yi：
Figure PCTCN2017118662-appb-000011
Figure PCTCN2017118662-appb-000012
Figure PCTCN2017118662-appb-000013
其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述双目相机在X轴和Y轴上的焦距，b为所述深度相机的基线距离。
在本发明的一实施例中，所述判断模块用于：
确定所有特征点拟合得到的平面；
确定不在所述平面上的特征点数量和所有特征点数量的比值Ro；
判断所述Ro是否大于第三预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述判断模块用于：
通过以下公式计算每个特征点到所述平面的距离：
Figure PCTCN2017118662-appb-000014
确定所述Di大于第四预设阈值的特征点为所述不在所述平面上的特征点；
计算不在所述平面上的特征点数量No和所有特征点数量N的比值Ro：
Ro＝No/N
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中特征点的数量，(nx,ny,nz)为所述图像中所有特征点拟合得到的平面的法向量。
在本发明的一实施例中，所述判断模块用于：
确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd；
判断所述Rd是否大于第六预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述判断模块用于：
确定在相邻两帧图像中相同的特征点；
确定在所述相邻两帧图像中每个所述相同的特征点的位移坐标xd,yd；
若xd或yd大于或等于所述第五预设阈值，则为所述移动距离大于所述第五预设阈值的特征点；
计算移动大于第五预设阈值的特征点与在前后两帧图像之间相同的所有特征点的比例Rd。
在本发明的一实施例中，所述获取模块为所述飞行器的摄像装置。
在本发明的一实施例中，所述摄像装置为深度相机。
在本发明的一实施例中，所述确定模块采用角点检测方式或斑点检测方式确定所述图像中的特征点。
在本发明的一实施例中，所述角点检测方式包括如下至少之一：
加速分割检测特征FAST特征点检测方式、哈里斯Harris角点检测方式。
在本发明的一实施例中，所述确定模块用于：
获取所述图像的灰度图；
在所述灰度图中任取一个像素点p，以所述像素点p为圆心，半径为r的圆上选取m个像素点；
计算所述像素点p的灰度值与所述m个像素点中每个像素点的灰度值的差值的绝对值；
记录所述差值的绝对值大于第七预设阈值的个数；
若所述差值的绝对值大于第七预设阈值的个数大于所述第八预设阈值，则确定所述像素点p为特征点。
在本发明的一实施例中，所述装置还包括：
提示警告模块，用于若所述待降落区域为危险降落区域，则发送提示警告。
本发明实施例还提供了一种飞行器，包括：
壳体；
与所述壳体连接的机臂；
设置在所述壳体或者机臂内的处理器；以及，
与所述处理器通信连接的存储器，所述存储器设在所述壳体或者机臂内；其中，
所述存储器存储有可被所述处理器执行的指令，所述处理器执行所述指令时，实现如上述所述的飞行器降落保护方法。
本发明实施例还提供了一种计算机存储介质，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人机执行时，使所述无人机执行如上述所述的飞行器降落保护方法。
在本发明可以根据获取到的图像判断待降落区域是否为危险降落区域，保证了飞行器降落的安全性。
在本发明的一实施例中，能够可靠地判断出不平的地面和倾斜的坡面，以及下降区域的异物和水面等，避免了自动降落时的炸机。
在本发明的一实施例中，只使用深度相机即可判断出当前区域是否适合降落，设备简单；计算复杂度不高，可靠性高。
附图说明
图1为本发明一种飞行器其中一实施例的结构示意图；
图2为本发明图1所示飞行器确定图像中的特征点其中一实施例的流程图；
图3为图1所示飞行器确定待降落区域是否为危险降落区域其中一实施例的流程图；
图4为图1所示飞行器确定待降落区域是否为危险降落区域另一实施例的流程图；
图5为图1所示飞行器确定的特征点、飞行器的摄像装置和由特征点拟合得到的平面的坐标关系图；
图6为图1所示飞行器确定待降落区域是否为危险降落区域又一实施例的流程图；
图7为图1所示飞行器确定待降落区域是否为危险降落区域再一实施例的流程图；
图8为图1所示飞行器确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd的流程图；
图9为本发明一种飞行器降落保护方法其中一实施例的流程图；
图10为本发明一种飞行器降落保护装置其中一实施例的结构框图。
具体实施例方式
下文中将结合附图对本发明的实施例进行详细说明。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明的实施例提供了一种飞行器降落保护方法及装置，该方法及装置可用于飞行器，从而使得该飞行器在降落时自动判断待降落区域是否适合降落，以避免降落至危险降落区域。在本发明的实施例中，危险降落区域指所有不适合飞行器降落的区域，例如，倾斜度较大的地面(例如，坡面)、水面、灌木丛、存在异物的地面等。
本发明实施例中的飞行器可以是无人飞行器、载人飞行器等。
参见图1，本发明实施例的飞行器10包括壳体11、机臂12、动力装置13、摄像装置14和处理器15。
其中，机臂12与壳体11相连，所述动力装置13设于机臂12上，所述摄像装置14与处理器15通信连接，用于拍摄待降落区域的图像。。
在本发明的一实施例中，所述摄像装置14为深度相机，深度相机可以包括但不限于：双目相机、TOF(Time of Flight，飞行时间)相机、结构光相机。
本实施例中的飞行器10具有四个机臂12，即本实施例中的飞行器10为四旋翼飞行器，在其他可能的实施例中，飞行器10还可以是直升机、三旋翼飞行器、六旋翼飞行器、八旋翼飞行器、固定翼飞行器或固定翼与旋翼混合的飞行器等。
动力装置13通常包括设置在机臂12末端的电机和与电机轴相连的螺旋桨。电机带动螺旋桨旋转从而给飞行器10提供升力。所述动力装置13与所述处理器15通信相连。
处理器15可以包括多个功能性单元，如，用于控制飞行器飞行姿态的飞行控制单元、用于识别目标的目标识别单元、用于跟踪特定目标的跟踪单元、用于导航飞行器的导航单元(例如GPS(Global Positioning System)、北斗)、以及用于处理相关机载设备所获取的环境信息的数据处理单元等。
在飞行器10准备降落时，首先通过摄像装置14获取待降落区域的图像。
所述待降落区域可以是用户设置的降落地点，也可以是飞行器10自主选择的降落点，例如飞行器在电量低的情况下需要紧急降落的地点。
在本发明的一实施例中，当飞行器10距离所述待降落区域的高度小于等于预设高度时，通过摄像装置14连续获取所述待降落区域的图像。
所述预设高度可以是用户预先设置的高度，也可以是飞行器10出厂时设置的高度，例如，该预设高度可以是5米。
在获取了待降落区域的图像之后，所述处理器15需要进一步确定所述图像中的特征点。
其中，所述特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。特征点能够反映图像的本质特征，能够标识图像中的目标物体，通过特征点的匹配能够完成图像的匹配。
如图2所示，在本发明的一实施例中，处理器15还可以通过以下方法确定图像中的特征点：
S20、获取所述图像的灰度图；
S21、在所述灰度图中任取一个像素点p，以像素点p为圆心，半径为r个像素的圆周上选取m个像素点；
S22、计算所述像素点p与m个像素点中每个像素点的灰度值的差值的绝对值；
S23、记录所述差值的绝对值大于第七预设阈值的个数；
S24、若所述差值的绝对值大于第七预设阈值的个数大于第八预设阈值，则确定所述像素点p为特征点。
在本发明的一实施例中，半径r＝3，m＝16，第八预设阈值通常取9。第七预设阈值可以根据经验或者实际情况选取。
在本发明的一实施例中，所述处理器15还可以采用角点检测方式或斑点检测方式确定所述图像的特征点。
其中，角点是指图像中一边物体的拐角或者线条之间的交叉部分(图像边缘上曲率较大的点)，斑点通常是指图像灰度值发生剧烈变化的点。
目前有多种角点检测方式和斑点检测方式，其中，对于角点检测方式来说，可包括但不限于加速分割检测(Features From Accelerated Segment Test，FAST)特征点检测方式、哈里斯(Harris)角点检测方式。
FAST特征点检测方式中，检测的角点定义为在像素点的周围邻域内有足够多的像素点与该点处于不同的区域。
Harris角点检测是一种基于图像灰度的一阶导数矩阵检测方法，根据局部自相似性/自相关性进行检测，即根据在某个局部窗口内图像块与在各个方向微小移动后的窗口内图像块的相似性进行判断。
对于斑点检测方式，可包括但不限于利用高斯拉普拉斯算子检测的方法(LOG)、利用像素点Hessian矩阵及其行列式值的方法等。
需要说明的是，目前角点检测方式和斑点检测方式很多，本发明不再赘述，只要能够检测出特征点即可，本申请不限于上面列举的几种检测方式。
在本发明的一实施例中，在确定了图像中的特征点后，处理器15可以根据以下方法判断判断所述待降落区域是否为危险降落区域。如果所述待降落区域为危险降落区域，则控制所述飞行器10中止降落或飞离所述危险降落区域：
如图3所示，处理器15可以通过以下方法判断所述待降落区域是否为危 险降落区域：
S30、判断所述图像中的特征点个数是否小于或等于第一预设阈值；
S31、若是，则判断所述待降落区域为危险降落区域。
由于本发明实施例需要根据多个特征点的信息判断降落区域是否为危险降落区域，如果特征点不够多，则无法进行相关判断。在本发明的一实施例中，第一预设阈值为3。这是因为当特征点的数量小于3时，无法根据特征点拟合平面，从而无法得到平面的法向量(nx,ny,nz)。所以所述图像的特征点个数小于第一阈值时，则直接判断该降落区域为危险降落区域。
如图4所示，在其他可能的实施例中，处理器15还可以通过以下方式确定所述待降落区域是否为危险降落区域：
S41、确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)。
在本发明的一实施例中，所有特征点拟合得到的平面的法向量(nx,ny,nz)可以通过以下方法获得：
确定所述图像中每个所述特征点相对于所述飞行器的摄像装置的世界坐标；
通过以下公式，计算所述图像中所有所述特征点拟合得到的平面的法向量(nx,ny,nz)：
Figure PCTCN2017118662-appb-000015
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中所述特征点的数量。
在本发明的其他实施例中，确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)，还可以采用随机抽样一致(Random Sample Consensus，RANSAC)算法得到，该算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。
参见图5，图5显示了特征点(Xi，Yi，Zi)、所述摄像装置14和所述平面的坐标关系。
在本发明的一实施例中，所述确定图像中每个特征点的相对于所述摄像装置的世界坐标，可以分为以下两种情况：
(1)摄像装置14为可直接获取Zi的深度相机：
获取每个所述特征点的像素坐标xp,yp，并通过以下公式计算Xi，Yi：
Figure PCTCN2017118662-appb-000016
Figure PCTCN2017118662-appb-000017
其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述深度相机在X轴和Y轴上的焦距。
(2)摄像装置14为不能直接获取Zi的深度相机，例如双目相机可以间接获得Zi：
获取在相邻两幅图像中同一个特征点的像素坐标xr,yr和xl,yl；
通过以下公式计算Zi，Xi和Yi：
Figure PCTCN2017118662-appb-000018
Figure PCTCN2017118662-appb-000019
Figure PCTCN2017118662-appb-000020
其中，cx，cy为所述双目相机的光心坐标，fx，fy为所述双目相机在X轴和Y轴上的焦距，b为所述双目相机的基线距离。
S42、判断在所述法向量(nx,ny,nz)中，nz是否小于第二预设阈值。
在本发明的一实施例中，第二预设阈值取0.9。其中，当nz小于0.9时，表示所述待降落区域倾斜度过大，不适合降落。
S43、若是，则判断所述待降落区域为危险降落区域。
如图6所示，在本发明的其他实施例中，处理器15还可以通过以下方法来判断所述待降落区域是否为危险降落区域：
S61、确定所有特征点拟合得到的平面。在本发明的一实施例中，该平面还可以是水平面。
S62、确定不在所述平面上的特征点数量和所有特征点数量的比值Ro；
在本发明的一实施例中，首先通过以下公式计算每个特征点到所述平面的距离：
Figure PCTCN2017118662-appb-000021
确定所述Di大于第四预设阈值的特征点为所述不在所述平面上的特征点；在本发明的一实施例中，所述第四预设阈值可取0.2m；
计算不在所述平面上的特征点数量No和所有特征点数量N的比值Ro：
Ro＝No/N
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中特征点的数量，(nx,ny,nz)为所述图像中所有特征点拟合得到的平面的法向量。
S63、判断所述Ro是否大于第三预设阈值；
其中，所述Ro大于第三预设阈值，表示待降落区域不平整，可能有异物，不适合降落。在本发明的一实施例中，第三阈值可设置为0.01。
S64、若是，则判断所述待降落区域为危险降落区域。
如图7所示，在本发明的其他实施例中，处理器15还可以通过以下方法来判断所述待降落区域是否为危险降落区域：
S70、确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd；
如图8所示，在本发明的一实施例中，处理器15可以根据以下方法来确定相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd：
S701、确定在相邻两帧图像中相同的特征点；
S702、确定在所述相邻两帧图像中每个所述相同的特征点的位移坐标xd,yd；
S703、若xd或yd大于或等于所述第五预设阈值，则为所述移动距离大于所述第五预设阈值的特征点；
在本发明的其他实施例中，确定在前后两帧图像之间相同的特征点可以采用特征点匹配的方式进行，也就是根据两个特征点的相似程度来判断是否为同一个特征点，特征点匹配与特征点检测类似，也有很多种算法，本发明不再赘述。
S704、计算移动大于第五预设阈值的特征点与在前后两帧图像之间相同的所有特征点的比例Rd。
在本发明的一实施例中，所述第五预设阈值取2个像素点。
S71、判断所述Rd是否大于第六预设阈值；
其中，所述Rd大于第六预设阈值，表示待降落区域可能是水面或者其他危险区域，不适合飞行器降落。在本发明的一实施例中，第六预设阈值取0.1。
S72、若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，处理器15判断所述待降落区域为危险降落区域之后，飞行器10还可执行如下至少之一：
发送提示警告至控制终端；
根据预设规则更换待降落区域。
其中，处理器15可以发送提示警告至控制终端，经由控制终端接收用户输入的控制指令，根据所述控制指令更换待降落区域。然后再判断更换后的所述待降落区域是否为危险降落区域。
处理器15还可以直接按照预设规则更换待降落区域，所述预设规则可以是控制所述飞行器10向某个预设方向飞行指定距离，然后将当前位置的下方 作为待降落区域。
在本发明的一实施例中，处理器15判断所述待降落区域为危险降落区域之后，还可以记录危险降落区域的位置，依据该记录的危险降落区域的位置给飞行器10提供降落策略。所述位置可以包括地理坐标。
在本发明的一实施例中，处理器15可以将所述危险降落区域的位置发送至控制终端，所述控制终端显示所述位置信息，以便使用户了解该地理位置，避免用户再次设置该位置为待降落区域。另外，在以后飞行的过程中，如果待降落区域为该位置时，处理器15也可以直接判断为危险降落区域。
在本发明实施例中，可以根据获取到的图像判断待降落区域是否为危险降落区域，保证了飞行器降落的安全性。而且，通过本发明实施例能够可靠地判断出不平的地面和倾斜的坡面，以及下降区域的异物和水面等，避免了自动降落在上述区域时的炸机问题。另外，在本发明实施例中，只使用深度相机即可判断出当前区域是否适合降落，设备简单，计算复杂度不高，可靠性高。
如图9所示，本发明实施例还提供了一种飞行器降落保护方法，该方法包括：
S90、获取待降落区域的图像。
在本发明的一实施例中，可通过飞行器的摄像装置来获取待降落区域的图像。摄像装置可以是深度相机，例如，双目相机、TOF(Time of Flight，飞行时间)相机、结构光相机。
所述待降落区域可以是用户设置的降落地点，也可以是飞行器10自主选择的降落点，例如飞行器在电量低的情况下需要紧急降落的地点。
在本发明的一实施例中，当飞行器10距离所述待降落区域的高度小于等于预设高度时，通过摄像装置14连续获取所述待降落区域的图像。
所述预设高度可以是用户预先设置的高度，也可以是飞行器10出厂时设置的高度，例如，该预设高度可以是5米。
S91、确定所述图像中的特征点。
如图2所示，在本发明的一实施例中，飞行器可以通过以下方法确定图像中的特征点：
S20、获取所述图像的灰度图；
S21、在所述灰度图中任取一个像素点p，以像素点p为圆心，半径为r个像素的圆周上选取m个像素点；
S22、计算所述像素点p与m个像素点中每个像素点的灰度值的差值的绝对值；
S23、记录所述差值的绝对值大于第七预设阈值的个数；
S24、若所述差值的绝对值大于第七预设阈值的个数大于第八预设阈值，则确定所述像素点p为特征点。
在本发明的一实施例中，半径r＝3，m＝16，第八预设阈值通常取9。第七预设阈值可以根据经验或者实际情况选取。
在本发明的其他实施例中，还可以采用角点检测方式或斑点检测方式确定所述图像的特征点。
S92、根据所述特征点判断所述待降落区域是否为危险降落区域。
如图3所示，飞行器可以通过以下方法判断所述待降落区域是否为危险降落区域：
S30、判断所述图像中的特征点个数是否小于或等于第一预设阈值；
S31、若是，则判断所述待降落区域为危险降落区域。
由于本发明实施例需要根据多个特征点的信息判断降落区域是否为危险降落区域，如果特征点不够多，则无法进行相关判断。在本发明的一实施例中，第一预设阈值为3。这是因为当特征点的数量小于3时，无法根据特征点拟合平面，从而无法得到平面的法向量(nx,ny,nz)。所以所述图像的特征点个数小于第一阈值时，则直接判断该降落区域为危险降落区域。
如图4所示，在其他可能的实施例中，飞行器还可以通过以下方式确定所述待降落区域是否为危险降落区域：
S41、确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)。
在本发明的一实施例中，所有特征点拟合得到的平面的法向量(nx,ny,nz)可以通过以下方法获得：
确定所述图像中每个所述特征点相对于所述飞行器的摄像装置的世界坐标；
通过以下公式，计算所述图像中所有所述特征点拟合得到的平面的法向量(nx,ny,nz)：
Figure PCTCN2017118662-appb-000022
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中所述特征点的数量。
在本发明的其他实施例中，确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)，还可以采用随机抽样一致(Random Sample Consensus，RANSAC)算法得到，该算法是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。
参见图5，图5显示了特征点(Xi，Yi，Zi)、所述摄像装置14和所述平面的坐标关系。
在本发明的一实施例中，所述确定图像中每个特征点的相对于所述摄像装置的世界坐标，可以分为以下两种情况：
(1)摄像装置为可直接获取Zi值的深度相机：
获取每个所述特征点的像素坐标xp,yp，并通过以下公式计算Xi，Yi：
Figure PCTCN2017118662-appb-000023
Figure PCTCN2017118662-appb-000024
其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述深度相机在X轴和Y轴上的焦距。
(2)摄像装置不能直接获取Zi值，例如摄像装置为双目相机，可以间接获得Zi：
获取在相邻两幅图像中同一个特征点的像素坐标xr,yr和xl,yl；
通过以下公式计算Zi，Xi和Yi：
Figure PCTCN2017118662-appb-000025
Figure PCTCN2017118662-appb-000026
Figure PCTCN2017118662-appb-000027
其中，cx，cy为所述双目相机的光心坐标，fx，fy为所述双目相机在X轴和Y轴上的焦距，b为所述双目相机的基线距离。
S42、判断在所述法向量(nx,ny,nz)中，nz是否小于第二预设阈值。
在本发明的一实施例中，第二预设阈值取0.9。其中，当nz小于0.9时，表示所述待降落区域倾斜度过大，不适合降落。
S43、若是，则判断所述待降落区域为危险降落区域。
如图6所示，在本发明的其他实施例中，飞行器还可以通过以下方法来判断所述待降落区域是否为危险降落区域：
S61、确定所有特征点拟合得到的平面。在本发明的一实施例中，该平面也可以是水平面。
S62、确定不在所述平面上的特征点数量和所有特征点数量的比值Ro；
在本发明的一实施例中，首先通过以下公式计算每个特征点到所述平面的距离：
Figure PCTCN2017118662-appb-000028
确定所述Di大于第四预设阈值的特征点为所述不在所述平面上的特征点；在本发明的一实施例中，所述第四预设阈值可取0.2m；
计算不在所述平面上的特征点数量No和所有特征点数量N的比值Ro：
Ro＝No/N
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中特征点的数量，(nx,ny,nz)为所述图像中所有特征点拟合得到的平面的法向量。
S63、判断所述Ro是否大于第三预设阈值；
其中，所述Ro大于第三预设阈值，表示待降落区域不平整，可能有异物，不适合降落。在本发明的一实施例中，第三阈值可设置为0.01。
S64、若是，则判断所述待降落区域为危险降落区域。
如图7所示，在本发明的其他实施例中，飞行器还可以通过以下方法来判断所述待降落区域是否为危险降落区域：
S70、确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd；
如图8所示，在本发明的一实施例中，飞行器可以根据以下方法来确定相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd：
S701、确定在相邻两帧图像中相同的特征点；
S702、确定在所述相邻两帧图像中每个所述相同的特征点的位移坐标xd,yd；
S703、若xd或yd大于或等于所述第五预设阈值，则为所述移动距离大于所述第五预设阈值的特征点；
在本发明的其他实施例中，确定在前后两帧图像之间相同的特征点可以采用特征点匹配的方式进行，也就是根据两个特征点的相似程度来判断是否 为同一个特征点，特征点匹配与特征点检测类似，也有很多种算法，本发明不再赘述。
S704、计算移动大于第五预设阈值的特征点与在前后两帧图像之间相同的所有特征点的比例Rd。
在本发明的一实施例中，所述第五预设阈值取2个像素点。
S71、判断所述Rd是否大于第六预设阈值；
其中，所述Rd大于第六预设阈值，表示待降落区域可能是水面或者其他危险区域，不适合飞行器降落。在本发明的一实施例中，第六预设阈值取0.1。
S72、若是，则判断所述待降落区域为危险降落区域。
S93、如果是，则所述飞行器中止降落或飞行器飞离所述危险降落区域。
在本发明的一实施例中，判断所述待降落区域为危险降落区域之后，飞行器10还可执行如下至少之一：
发送提示警告至控制终端；
根据预设规则更换待降落区域。
其中，飞行器可以发送提示警告至控制终端，经由控制终端接收用户输入的控制指令，根据所述控制指令更换待降落区域。然后再判断更换后的所述待降落区域是否为危险降落区域。
飞行器还可以直接按照预设规则更换待降落区域，所述预设规则可以是控制所述飞行器向某个预设方向飞行指定距离，然后将当前位置的下方作为待降落区域。
在本发明的一实施例中，判断所述待降落区域为危险降落区域之后，还可以记录危险降落区域的位置，飞行器依据该记录的危险降落区域的位置自主选择降落策略。所述位置可以包括地理坐标。
在本发明的一实施例中，可以将所述危险降落区域的位置发送至控制终端，所述控制终端显示所述位置信息，以便使用户了解该地理位置，避免用 户再次设置该位置为待降落区域。另外，在以后飞行的过程中，如果待降落区域为该位置时，也可以直接判断为危险降落区域。
有关该方法中各步骤的详细内容可以参考前述的描述，在此不再赘述。
本发明实施例还提供了一种飞行器降落保护装置，该装置用于实现上述实施例及实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置可以以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
如图10所示，本发明实施例还提供了一种飞行器降落保护装置100，该装置包括：
获取模块101，用于获取待降落区域的图像；
确定模块102，用于确定所述图像中特征点；
判断模块103，设置为根据所述特征点判断所述待降落区域是否为危险降落区域；
控制模块104，用于控制所述飞行器中止降落或控制所述飞行器飞离所述危险降落区域。
在本发明的一实施例中，所述判断模块103用于：
判断所述图像中特征点的个数是否小于或等于第一预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述第一预设阈值为3。
在本发明的一实施例中，所述判断模块用于：
确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)；
判断在所述法向量(nx,ny,nz)中，nz是否小于第二预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述判断模块103用于：
确定所述图像中每个所述特征点相对于所述飞行器的摄像装置的世界坐 标；
通过以下公式，计算所述图像中所有所述特征点拟合得到的平面的法向量(nx,ny,nz)：
Figure PCTCN2017118662-appb-000029
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中所述特征点的数量。
在本发明的一实施例中，所述摄像装置为深度相机，所述判断模块103用于：
通过所述深度相机获取每个所述特征点的世界坐标中的Zi；
获取每个所述特征点的像素坐标xp,yp，并通过以下公式计算Xi，Yi：
Figure PCTCN2017118662-appb-000030
Figure PCTCN2017118662-appb-000031
其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述深度相机在X轴和Y轴上的焦距。
在本发明的一实施例中，所述摄像装置为双目相机，所述判断模块103用于：
获取在相邻两幅图像中同一个特征点的像素坐标xr,yr和xl,yl；
通过以下公式计算Zi，Xi和Yi：
Figure PCTCN2017118662-appb-000032
Figure PCTCN2017118662-appb-000033
Figure PCTCN2017118662-appb-000034
其中，cx，cy为所述双目相机的光心坐标，fx，fy为所述双目相机在X轴和Y轴上的焦距，b为所述双目相机的基线距离。
在本发明的一实施例中，所述判断模块103用于：
确定所有特征点拟合得到的平面；
确定不在所述平面上的特征点数量和所有特征点数量的比值Ro；
判断所述Ro是否大于第三预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述判断模块103用于：
通过以下公式计算每个特征点到所述平面的距离：
Figure PCTCN2017118662-appb-000035
确定所述Di大于第四预设阈值的特征点为所述不在所述平面上的特征点；
计算不在所述平面上的特征点数量No和所有特征点数量N的比值Ro：
Ro＝No/N
其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中特征点的数量，(nx,ny,nz)为所述图像中所有特征点拟合得到的平面的法向量。
在本发明的一实施例中，所述判断模块103用于：
确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd；
判断所述Rd是否大于第六预设阈值；
若是，则判断所述待降落区域为危险降落区域。
在本发明的一实施例中，所述判断模块103用于：
确定在相邻两帧图像中相同的特征点；
确定在所述相邻两帧图像中每个所述相同的特征点的位移坐标xd,yd；
若xd或yd大于或等于所述第五预设阈值，则为所述移动距离大于所述第五预设阈值的特征点；
计算移动大于第五预设阈值的特征点与在前后两帧图像之间相同的所有特征点的比例Rd。
在本发明的一实施例中，所述获取模块101为飞行器的摄像装置。
在本发明的一实施例中，所述摄像装置为深度相机。
在本发明的一实施例中，所述确定模块102采用角点检测方式或斑点检测方式确定所述图像中的特征点。
在本发明的一实施例中，所述角点检测方式包括如下至少之一：
加速分割检测特征FAST特征点检测方式、哈里斯Harris角点检测方式。
在本发明的一实施例中，所述确定模块102用于：
获取所述图像的灰度图；
在所述灰度图中任取一个像素点p，以所述像素点p为圆心，半径为r的圆上选取m个像素点；
计算所述像素点p的灰度值与所述m个像素点中每个像素点的灰度值的差值的绝对值；
记录所述差值的绝对值大于第七预设阈值的个数；
若所述差值的绝对值大于第七预设阈值的个数大于所述第八预设阈值，则确定所述像素点p为特征点。
在本发明的一实施例中，所述装置还包括：
提示警告模块105，用于若所述待降落区域为危险降落区域，则发送提示警告。
有关该装置中各模块的详细内容可以参考前述的描述，在此不再赘述。
本发明实施例还提出了一种飞行器，包括处理器和计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令被所述处理器执行时，实现上述任意一种飞行器降落保护方法。
本发明实施例还提出了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种飞行器降落保护方法。
上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
显然，本领域的技术人员应该明白，上述的本发明实施例的模块或步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。
虽然本申请所揭露的实施方式如上，但所述的内容仅为便于理解本申请而采用的实施方式，并非用以限定本申请。任何本申请所属领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (36)

  1. 一种飞行器降落保护方法，其特征在于，包括：
    获取待降落区域的图像；
    确定所述图像中的特征点；
    根据所述特征点判断所述待降落区域是否为危险降落区域；
    如果是，则控制所述飞行器中止降落或控制所述飞行器飞离所述危险降落区域。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述特征点判断所述待降落区域是否为危险降落区域，包括：
    判断所述图像中特征点的个数是否小于或等于第一预设阈值；
    若是，则判断所述待降落区域为危险降落区域。
  3. 根据权利要求2所述的方法，其特征在于，所述第一预设阈值为3。
  4. 根据权利要求1所述的方法，其特征在于，所述根据所述特征点判断所述待降落区域是否为危险降落区域，包括：
    确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)；
    判断在所述法向量(nx,ny,nz)中，nz是否小于第二预设阈值；
    若是，则判断所述待降落区域为危险降落区域。
  5. 根据权利要求4所述的方法，其特征在于，所述确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)，包括：
    确定所述图像中每个所述特征点相对于所述飞行器的摄像装置的世界坐标；
    通过以下公式，计算所述图像中所有所述特征点拟合得到的平面的法向量(nx,ny,nz)：
    Figure PCTCN2017118662-appb-100001
    其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中所述特征点的数量。
  6. 根据权利要求5所述的方法，其特征在于，所述摄像装置为可直接获取所述Zi的深度相机，所述确定图像中每个所述特征点的相对于所述飞行器5的摄像装置的世界坐标，包括：
    通过所述深度相机获取每个所述特征点的世界坐标中的Zi；
    获取每个所述特征点的像素坐标xp,yp，并通过以下公式计算Xi，Yi：
    Figure PCTCN2017118662-appb-100002
    Figure PCTCN2017118662-appb-100003
    其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述深度相机在X轴和Y轴上的焦距。
  7. 根据权利要求5所述的方法，其特征在于，所述摄像装置为不能直接获取所述Zi的深度相机，所述确定图像中每个所述特征点的相对于所述飞行器的摄像装置的世界坐标，包括：
    获取在相邻两幅图像中同一个特征点的像素坐标xr,yr和xl,yl；
    通过以下公式计算Zi，Xi和Yi：
    Figure PCTCN2017118662-appb-100004
    Figure PCTCN2017118662-appb-100005
    Figure PCTCN2017118662-appb-100006
    其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述双目相机在X轴和Y轴上的焦距，b为所述深度相机的基线距离。
  8. 根据权利要求1所述的方法，其特征在于，所述根据所述特征点判断所述待降落区域是否为危险降落区域，包括：
    确定所有特征点拟合得到的平面；
    确定不在所述平面上的特征点数量和所有特征点数量的比值Ro；
    判断所述Ro是否大于第三预设阈值；
    若是，则判断所述待降落区域为危险降落区域。
  9. 根据权利要求8所述的方法，其特征在于，所述确定不在所述平面上的特征点数量和所有特征点数量的比值Ro，包括：
    通过以下公式计算每个特征点到所述平面的距离：
    Figure PCTCN2017118662-appb-100007
    确定所述Di大于第四预设阈值的特征点为所述不在所述平面上的特征点；
    计算不在所述平面上的特征点数量No和所有特征点数量N的比值Ro：
    Ro＝No/N
    其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中特征点的数量，(nx,ny,nz)为所述图像中所有特征点拟合得到的平面的法向量。
  10. 根据权利要求1所述的方法，其特征在于，所述根据所述特征点判断所述待降落区域是否为危险降落区域，包括：
    确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd；
    判断所述Rd是否大于第六预设阈值；
    若是，则判断所述待降落区域为危险降落区域。
  11. 根据权利要求10所述的方法，其特征在于，所述确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd，包括：
    确定在相邻两帧图像中相同的特征点；
    确定在所述相邻两帧图像中每个所述相同的特征点的位移坐标xd,yd；
    若xd或yd大于或等于所述第五预设阈值，则为所述移动距离大于所述第五预设阈值的特征点；
    计算移动大于第五预设阈值的特征点与在前后两帧图像之间相同的所有特征点的比例Rd。
  12. 根据权利要求1-11中任一项所述的方法，其特征在于，所述获取待降落区域的图像包括：
    通过摄像装置获取所述待降落区域的图像。
  13. 根据权利要求12所述的方法，其特征在于，所述摄像装置为深度相机。
  14. 根据权利要求1-13中任一项所述的方法，其特征在于，所述确定所述图像中的特征点，包括：
    采用角点检测方式或斑点检测方式确定所述图像的特征点。
  15. 根据权利要求14所述的方法，其特征在于，所述角点检测方式包括如下至少之一：
    加速分割检测(Features From Accelerated Segment Test，FAST)特征点检测方式、哈里斯(Harris)角点检测方式。
  16. 根据权利要求1-13任一项所述的方法，其特征在于，所述确定所述图像中的特征点，包括：
    获取所述图像的灰度图；
    在所述灰度图中任取一个像素点p，以所述像素点p为圆心，半径为r个像素的圆上选取m个像素点；
    计算所述像素点p的灰度值与所述m个像素点中每个像素点的灰度值的差值的绝对值；
    记录所述差值的绝对值大于第七预设阈值的个数；
    若所述差值的绝对值大于第七预设阈值的个数大于第八预设阈值，则确定所述像素点p为特征点。
  17. 根据权利要求1-16所述的方法，其特征在于，所述方法还包括：
    若所述待降落区域为危险降落区域，则发送提示警告。
  18. 一种飞行器降落保护装置，其特征在于，所述装置包括：
    获取模块，用于获取待降落区域的图像；
    确定模块，用于确定所述图像中的特征点；
    判断模块，设置为根据所述特征点判断所述待降落区域是否为危险降落区域；
    控制模块，用于控制所述飞行器中止降落或控制所述飞行器飞离所述危险降落区域。
  19. 根据权利要求18所述的装置，其特征在于，所述判断模块用于：
    判断所述图像中特征点的个数是否小于或等于第一预设阈值；
    若是，则判断所述待降落区域为危险降落区域。
  20. 根据权利要求19所述的装置，其特征在于，所述第一预设阈值为3。
  21. 根据权利要求18所述的装置，其特征在于，所述判断模块用于：
    确定所述图像中所有特征点拟合得到的平面的法向量(nx,ny,nz)；
    判断在所述法向量(nx,ny,nz)中，nz是否小于第二预设阈值；
    若是，则判断所述待降落区域为危险降落区域。
  22. 根据权利要求21所述的装置，其特征在于，所述判断模块用于：
    确定所述图像中每个所述特征点相对于所述飞行器的摄像装置的世界坐标；
    通过以下公式，计算所述图像中所有所述特征点拟合得到的平面的法向量(nx,ny,nz)：
    Figure PCTCN2017118662-appb-100008
    其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中所述特征点的数量。
  23. 根据权利要求22所述的装置，其特征在于，所述摄像装置为可直接获取Zi的深度相机，所述判断模块用于：
    通过所述深度相机获取每个所述特征点的世界坐标中的Zi；
    获取每个所述特征点的像素坐标xp,yp，并通过以下公式计算Xi，Yi：
    Figure PCTCN2017118662-appb-100009
    Figure PCTCN2017118662-appb-100010
    其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述深度相机在X轴和Y轴上的焦距。
  24. 根据权利要求22所述的装置，其特征在于，所述摄像装置为不能直接获取Zi的深度相机，所述判断模块用于：
    获取在相邻两幅图像中同一个特征点的像素坐标xr,yr和xl,yl；
    通过以下公式计算Zi，Xi和Yi：
    Figure PCTCN2017118662-appb-100011
    Figure PCTCN2017118662-appb-100012
    Figure PCTCN2017118662-appb-100013
    其中，cx，cy为所述深度相机的光心坐标，fx，fy为所述双目相机在X轴和Y轴上的焦距，b为所述深度相机的基线距离。
  25. 根据权利要求18所述的装置，其特征在于，所述判断模块用于：
    确定所有特征点拟合得到的平面；
    确定不在所述平面上的特征点数量和所有特征点数量的比值Ro；
    判断所述Ro是否大于第三预设阈值；
    若是，则判断所述待降落区域为危险降落区域。
  26. 根据权利要求25所述的装置，其特征在于，所述判断模块用于：
    通过以下公式计算每个特征点到所述平面的距离：
    Figure PCTCN2017118662-appb-100014
    确定所述Di大于第四预设阈值的特征点为所述不在所述平面上的特征点；
    计算不在所述平面上的特征点数量No和所有特征点数量N的比值Ro：
    Ro＝No/N
    其中，Xi,Yi,Zi为第i个特征点的相对于所述飞行器的摄像装置的世界坐标，i＝1……N，N为所述图像中特征点的数量，(nx,ny,nz)为所述图像中所有特征点拟合得到的平面的法向量。
  27. 根据权利要求18所述的装置，其特征在于，所述判断模块用于：
    确定在相邻两帧图像中，移动距离大于第五预设阈值的特征点的比例Rd；
    判断所述Rd是否大于第六预设阈值；
    若是，则判断所述待降落区域为危险降落区域。
  28. 根据权利要求27所述的装置，其特征在于，所述判断模块用于：
    确定在相邻两帧图像中相同的特征点；
    确定在所述相邻两帧图像中每个所述相同的特征点的位移坐标xd,yd；
    若xd或yd大于或等于所述第五预设阈值，则为所述移动距离大于所述第五预设阈值的特征点；
    计算移动大于第五预设阈值的特征点与在前后两帧图像之间相同的所有特征点的比例Rd。
  29. 根据权利要求18-28中任一项所述的装置，其特征在于，所述获取模块为所述飞行器的摄像装置。
  30. 根据权利要求29所述的装置，其特征在于，所述摄像装置为深度相机。
  31. 根据权利要求18-30中任一项所述的装置，其特征在于，所述确定 模块采用角点检测方式或斑点检测方式确定所述图像中的特征点。
  32. 根据权利要求31所述的装置，其特征在于，所述角点检测方式包括如下至少之一：
    加速分割检测特征FAST特征点检测方式、哈里斯Harris角点检测方式。
  33. 根据权利要求18-30任一项所述的装置，其特征在于，所述确定模块用于：
    获取所述图像的灰度图；
    在所述灰度图中任取一个像素点p，以所述像素点p为圆心，半径为r的圆上选取m个像素点；
    计算所述像素点p的灰度值与所述m个像素点中每个像素点的灰度值的差值的绝对值；
    记录所述差值的绝对值大于第七预设阈值的个数；
    若所述差值的绝对值大于第七预设阈值的个数大于所述第八预设阈值，则确定所述像素点p为特征点。
  34. 根据权利要求18-33所述的装置，其特征在于，所述装置还包括：
    提示警告模块，用于若所述待降落区域为危险降落区域，则发送提示警告。
  35. 一种飞行器，其特征在于，包括：
    壳体；
    与所述壳体连接的机臂；
    设置在所述壳体或者机臂内的处理器；以及，
    与所述处理器通信连接的存储器，所述存储器设在所述壳体或者机臂内；其中，
    所述存储器存储有可被所述处理器执行的指令，所述处理器执行所述指令时，实现如权利要求1-17中任一项所述的方法。
  36. 一种计算机存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人机执行时，使所述无 人机执行权利要求1-17任意一项所述的方法。
PCT/CN2017/118662 2017-12-26 2017-12-26 一种飞行器降落保护方法、装置及飞行器 WO2019127023A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP17842281.2A EP3528081A4 (en) 2017-12-26 2017-12-26 METHOD AND DEVICE FOR PROTECTING LANDING OF AIRCRAFT AND AIRCRAFT
PCT/CN2017/118662 WO2019127023A1 (zh) 2017-12-26 2017-12-26 一种飞行器降落保护方法、装置及飞行器
CN201780002740.0A CN110402421A (zh) 2017-12-26 2017-12-26 一种飞行器降落保护方法、装置及飞行器
US15/894,126 US10796148B2 (en) 2017-12-26 2018-02-12 Aircraft landing protection method and apparatus, and aircraft

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/118662 WO2019127023A1 (zh) 2017-12-26 2017-12-26 一种飞行器降落保护方法、装置及飞行器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/894,126 Continuation US10796148B2 (en) 2017-12-26 2018-02-12 Aircraft landing protection method and apparatus, and aircraft

Publications (1)

Publication Number Publication Date
WO2019127023A1 true WO2019127023A1 (zh) 2019-07-04

Family

ID=66950406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/118662 WO2019127023A1 (zh) 2017-12-26 2017-12-26 一种飞行器降落保护方法、装置及飞行器

Country Status (4)

Country Link
US (1) US10796148B2 (zh)
EP (1) EP3528081A4 (zh)
CN (1) CN110402421A (zh)
WO (1) WO2019127023A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10866593B2 (en) * 2017-09-20 2020-12-15 Autel Robotics Co., Ltd. Aerial vehicle landing method, ground control system, and flight control system
US11036240B1 (en) * 2018-06-18 2021-06-15 Amazon Technologies, Inc. Safe landing of aerial vehicles upon loss of navigation
US11808578B2 (en) * 2020-05-29 2023-11-07 Aurora Flight Sciences Corporation Global positioning denied navigation
EP4176230A1 (de) * 2020-07-01 2023-05-10 mdGroup Germany GmbH Verfahren und system zum steuern eines fluggeräts
CN115496930B (zh) * 2022-11-08 2023-03-21 之江实验室 一种图像处理方法、装置、存储介质及电子设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929284A (zh) * 2012-10-26 2013-02-13 哈尔滨工程大学 一种飞行器孤岛降落复飞决策方法
CN104058095A (zh) * 2014-06-12 2014-09-24 深圳市哈博森科技有限公司 飞行器降落伞控制系统及方法
CN105259917A (zh) * 2015-11-08 2016-01-20 杨珊珊 一种无人飞行器安全快速降落装置及方法
CN105518559A (zh) * 2014-12-15 2016-04-20 深圳市大疆创新科技有限公司 飞行器及其起飞控制方法及系统、降落控制方法及系统
CN105787192A (zh) * 2016-03-15 2016-07-20 联想(北京)有限公司 一种信息处理方法及飞行器
WO2017034595A1 (en) * 2015-08-25 2017-03-02 Skycatch, Inc. Autonomously landing an unmanned aerial vehicle
CN106494632A (zh) * 2016-09-05 2017-03-15 珠海市磐石电子科技有限公司 飞行器移动降落系统及移动降落方法
JP2017068298A (ja) * 2015-09-28 2017-04-06 株式会社日立システムズ 自律飛行移動体、ターゲット追跡方法
CN107310716A (zh) * 2016-04-26 2017-11-03 零度智控（北京）智能科技有限公司 飞行器自动降落的控制系统及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2460187C2 (ru) * 2008-02-01 2012-08-27 Рокстек Аб Переходная рама с встроенным прижимным устройством
SG192881A1 (en) * 2011-02-21 2013-09-30 Stratech Systems Ltd A surveillance system and a method for detecting a foreign object, debris, or damage in an airfield
JP5882693B2 (ja) * 2011-11-24 2016-03-09 株式会社トプコン 航空写真撮像方法及び航空写真撮像装置
GB201118694D0 (en) * 2011-10-28 2011-12-14 Bae Systems Plc Identification and analysis of aircraft landing sites
US8744126B1 (en) * 2012-03-07 2014-06-03 Ball Aerospace & Technologies Corp. Morphology based hazard detection
US20160093225A1 (en) * 2013-04-16 2016-03-31 Bae Systems Australia Limited Landing system for an aircraft
AU2014253694A1 (en) * 2013-04-16 2015-11-05 Bae Systems Australia Limited Landing site tracker
CN106068646B (zh) * 2015-12-18 2017-09-08 京东方科技集团股份有限公司 深度图生成方法、装置和非短暂性计算机可读介质
CN106326892B (zh) * 2016-08-01 2020-06-09 西南科技大学 一种旋翼式无人机的视觉着陆位姿估计方法
CN109690433B (zh) * 2016-09-13 2022-05-17 杭州零零科技有限公司 具有环境感知的无人驾驶空中车辆系统和方法
US10152059B2 (en) * 2016-10-10 2018-12-11 Qualcomm Incorporated Systems and methods for landing a drone on a moving base
CN106504321A (zh) * 2016-11-07 2017-03-15 达理 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法
CN106444797A (zh) * 2016-12-01 2017-02-22 腾讯科技（深圳）有限公司 一种控制飞行器降落的方法以及相关装置
US10402646B2 (en) * 2017-09-21 2019-09-03 Amazon Technologies, Inc. Object detection and avoidance for aerial vehicles

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929284A (zh) * 2012-10-26 2013-02-13 哈尔滨工程大学 一种飞行器孤岛降落复飞决策方法
CN104058095A (zh) * 2014-06-12 2014-09-24 深圳市哈博森科技有限公司 飞行器降落伞控制系统及方法
CN105518559A (zh) * 2014-12-15 2016-04-20 深圳市大疆创新科技有限公司 飞行器及其起飞控制方法及系统、降落控制方法及系统
WO2017034595A1 (en) * 2015-08-25 2017-03-02 Skycatch, Inc. Autonomously landing an unmanned aerial vehicle
JP2017068298A (ja) * 2015-09-28 2017-04-06 株式会社日立システムズ 自律飛行移動体、ターゲット追跡方法
CN105259917A (zh) * 2015-11-08 2016-01-20 杨珊珊 一种无人飞行器安全快速降落装置及方法
CN105787192A (zh) * 2016-03-15 2016-07-20 联想(北京)有限公司 一种信息处理方法及飞行器
CN107310716A (zh) * 2016-04-26 2017-11-03 零度智控（北京）智能科技有限公司 飞行器自动降落的控制系统及方法
CN106494632A (zh) * 2016-09-05 2017-03-15 珠海市磐石电子科技有限公司 飞行器移动降落系统及移动降落方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3528081A4 *

Also Published As

Publication number Publication date
EP3528081A4 (en) 2019-11-13
CN110402421A (zh) 2019-11-01
EP3528081A1 (en) 2019-08-21
US10796148B2 (en) 2020-10-06
US20190197291A1 (en) 2019-06-27

Similar Documents

Publication Publication Date Title
WO2019127023A1 (zh) 一种飞行器降落保护方法、装置及飞行器
EP3903164B1 (en) Collision avoidance system, depth imaging system, vehicle, map generator, amd methods thereof
EP3435282B1 (en) Laser speckle system for an aircraft
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
CA3032531C (en) Pallet localization systems and methods
EP3081902B1 (en) Method and apparatus for correcting aircraft state in real time
US8744126B1 (en) Morphology based hazard detection
US20190187725A1 (en) Obstacle avoidance method and apparatus and unmanned aerial vehicle
CN110221625B (zh) 无人机精确位置的自主降落导引方法
WO2018023333A1 (en) System and method for obstacle avoidance
WO2018046617A1 (en) Method and system for calibrating multiple cameras
CN108140245B (zh) 测距方法、装置以及无人机
EP3671397B1 (en) Computer-vision-based autonomous or supervised-autonomous landing of aircraft
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
FR3077393A1 (fr) Véhicules aériens à vision artificielle
KR20160112080A (ko) 무인 비행체의 비상 착륙 지점 검출 시스템 및 그 방법
US11922819B2 (en) System and method for autonomously landing a vertical take-off and landing (VTOL) aircraft
US11062613B2 (en) Method and system for interpreting the surroundings of a UAV
US10577101B2 (en) Water surface detection method and apparatus, unmanned aerial vehicle landing method and apparatus and unmanned aerial vehicle
CN107323677B (zh) 无人机辅助降落方法、装置、设备及存储介质
CN112597946A (zh) 障碍物表示方法、装置、电子设备及可读存储介质
KR20190094902A (ko) 항공측량을 위한 3차원 경로 비행 방법 및 장치
US10330769B1 (en) Method and apparatus for geolocating emitters in a multi-emitter environment
CN111615677B (zh) 一种无人机的安全降落方法、装置、无人机及介质
Kakillioglu et al. Autonomous altitude measurement and landing area detection for indoor uav applications

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017842281

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017842281

Country of ref document: EP

Effective date: 20180411

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17842281

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE