WO2020006732A1 - 无人机降落方法、装置及无人机 - Google Patents
无人机降落方法、装置及无人机 Download PDFInfo
- Publication number
- WO2020006732A1 WO2020006732A1 PCT/CN2018/094664 CN2018094664W WO2020006732A1 WO 2020006732 A1 WO2020006732 A1 WO 2020006732A1 CN 2018094664 W CN2018094664 W CN 2018094664W WO 2020006732 A1 WO2020006732 A1 WO 2020006732A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- drone
- reference image
- scene
- take
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
Definitions
- the present invention relates to the technical field of aircraft, and in particular, to a method, a device, a drone, and a computer-readable storage medium for landing a drone.
- the drones in the prior art have been able to accurately land the drone at the take-off point of the drone, but this technology needs to place auxiliary equipment such as a signal source at the take-off point and send signals to the drone. Guide the drone to land accurately.
- auxiliary equipment such as a signal source
- special signs can be set at the takeoff point or based on rich texture images, the texture pattern near the takeoff point can be used directly to guide the drone to land accurately.
- a drone landing method includes:
- the step of template matching is repeated until the drone reaches the take-off point; wherein the template matching includes:
- collecting images taken by the drone at different flight altitudes and including take-off points includes:
- An image containing the take-off point is collected every preset distance.
- the preset distance is 1 meter.
- the method further includes:
- the preset height is 15 meters.
- the method before the acquiring an image taken by the drone at a current flight altitude, the method further includes:
- the reference image matching the current flight altitude of the drone refers to a reference acquired during the take-off of the drone at the same flight altitude as the current flight altitude. image.
- the reference image that matches the current flight altitude of the drone refers to the reference image acquired during the take-off of the drone at the flight height closest to the current flight altitude. Reference image.
- the template matching further includes:
- performing template matching on the image captured by the drone at the current flight altitude with a reference image matching the current flight altitude of the drone includes:
- Template matching is performed on the feature map of the image taken by the drone at the current flying height and the feature map of the reference image.
- determining the category of a scene in the reference image that matches the current flying altitude of the drone includes:
- the feature map of the image taken by the drone at the current flight altitude and the feature map of the reference image that matches the current flight altitude of the drone include a gradient map.
- a feature map of an image taken by the drone at a current flight altitude and a feature map of the reference image that matches the current flight altitude of the drone further include a grayscale image.
- the method further includes:
- the feature map of the image taken by the drone at the current flight altitude and the feature map of the reference image include a two-step map.
- the value of the richness of the texture reflecting the scene in the reference image in the gradient histogram is not greater than the second preset value, it is determined that the scene in the reference image is No texture scene.
- the present invention also proposes a drone landing device, which includes:
- An acquisition module configured to acquire images including take-off points taken by the drone at different flight altitudes during the take-off of the drone, and collect the acquired images including the take-off points As a reference image;
- a template matching module configured to repeat the steps of template matching during the landing of the drone until the drone reaches the take-off point; wherein the template matching module includes:
- An acquisition module configured to acquire an image taken by the drone at a current flight height
- a matching module configured to perform template matching between an image taken by the drone at the current flight altitude and a reference image that matches the current flight altitude of the drone to obtain the coordinates of the takeoff point or the drone Distance from the take-off point;
- a control module configured to control the drone to fly to the take-off point according to the coordinates of the take-off point or the distance of the drone from the take-off point.
- the acquisition module is specifically configured to:
- An image containing the take-off point is collected every preset distance.
- the preset distance is 1 meter.
- the acquisition module is further configured to:
- the preset height is 15 meters.
- the template matching module further includes:
- the determining module determines that the current flying altitude of the UAV is within a preset altitude range.
- the reference image matching the current flight altitude of the drone refers to a reference acquired during the take-off of the drone at the same flight altitude as the current flight altitude. image.
- the reference image that matches the current flight altitude of the drone refers to the reference image acquired during the take-off of the drone at the flight height closest to the current flight altitude. Reference image.
- the template matching module further includes:
- a texture determination module configured to determine a category of the scene in the reference image that matches the current flying height of the drone, wherein the category of the scene includes a rich-texture scene or a sparse-texture scene;
- the matching module performs module matching on a feature map of an image taken by the drone at a current flight altitude and a feature map of the reference image.
- the texture determining module is specifically configured to:
- the feature map of the image taken by the drone at the current flight altitude and the feature map of the reference image that matches the current flight altitude of the drone include a gradient map.
- a feature map of an image taken by the drone at a current flight altitude and a feature map of the reference image that matches the current flight altitude of the drone further include a grayscale image.
- the texture determining module is further configured to:
- the feature map of the image taken by the drone at the current flight altitude and the feature map of the reference image include a two-step map.
- the texture determining module is further configured to:
- the value reflecting the texture richness of the scene in the reference image in the gradient histogram is not greater than the second preset value, it is determined that the scene in the reference image is an untextured scene.
- the present invention also proposes a drone, including:
- a machine arm connected to the fuselage
- a power unit provided on the machine arm
- a processor disposed in the fuselage or arm
- the memory stores instructions executable by the processor, and when the processor executes the instructions, the drone landing method described above is implemented.
- the present invention also proposes a computer-readable storage medium storing a computer program, and when the computer program is executed by a processor, the processor causes the processor to execute the drone landing method described above.
- the invention collects the reference image including the take-off point taken by the drone during take-off, and performs phased template matching during the landing of the drone. Distance to control the drone to keep close to the take-off point during the landing process, and finally land precisely on the take-off point. During the entire landing process of the drone, no other auxiliary equipment is needed, and the landing effect is good, and the accuracy of the sensors mounted on the drone is not high.
- FIG. 1 is a schematic structural diagram of an embodiment of a drone according to the present invention.
- FIG. 2 is a flowchart of an embodiment of a drone landing method according to the present invention.
- FIG. 3 is a flowchart of one embodiment of template matching in the method shown in FIG. 2 according to the present invention.
- step S114 is a flowchart of an embodiment of step S114 in the flowchart shown in FIG. 3;
- FIG. 5 is a structural block diagram of an embodiment of a drone landing device according to the present invention.
- the invention provides a method and a device for controlling a drone to accurately land at a take-off point, and a drone that can accurately land at a take-off point. With this method, precise landing of the drone can be achieved.
- the drone landing method of the present invention includes:
- the images containing the take-off point can be collected by the imaging equipment on the drone, and the captured images containing the take-off point can be stored in the drone's memory.
- the take-off point may refer to an area where the drone takes off, or a coordinate point of the take-off position of the drone.
- the imaging equipment will collect an image containing the take-off point.
- an image including a take-off point is collected every preset distance.
- the preset distance may be determined according to needs or experience. In an embodiment of the present invention, the preset distance is 1 meter.
- the preset distance may also be 2 meters, 3 meters, and the like.
- the flying height of the drone is greater than a preset altitude, the acquisition of an image including the take-off point is stopped.
- the preset height may also be determined according to needs or experience. In an embodiment of the present invention, the preset height is 15 meters. In other possible embodiments, when the GPS error on the drone is large, the preset height may also be set to 60 meters, 100 meters, and so on.
- the template matching step is repeated until the drone reaches the take-off point.
- repeating the template matching operation can obtain the distance of the drone from the take-off point in real time, so as to overcome the sensor error of the drone and control the drone to accurately land to the take-off point.
- the template matching further includes:
- the invention starts the template matching operation according to whether the flying height of the drone meets a preset condition. Therefore, the landing process of the drone can be divided into at least two altitude intervals based on the current flight altitude of the drone, and each altitude interval corresponds to a template matching, so it is also called a staged template matching. In other possible embodiments, template matching may be performed continuously during the entire landing of the drone, instead of performing template matching in stages.
- the landing process of a drone can be divided into the following three stages:
- the first stage the current flying height of the drone H ⁇ 25 meters;
- the second stage 25 meters> the current flight height of the drone H ⁇ 13 meters;
- the third stage 13 meters> the current flight height of the drone H ⁇ 4 meters.
- the reference image matching the current flying height of the drone refers to a reference image acquired at the same flying height as the current flying height of the drone during take-off of the drone.
- an image including a take-off point is collected as a reference image at a distance of 1 meter. If the current flying height of the drone is 15 meters, the reference image that matches the current flying height of the drone is the reference image collected when the drone is flying at a height of 15 meters.
- the reference image matching the current flight altitude of the drone may also refer to a reference image acquired at a height closest to the current flight altitude of the drone during the take-off of the drone.
- the current flying height of the drone is 25 meters. Since the reference image is no longer collected when the flying height of the drone is greater than 15 meters, the reference image that matches the current flying height of the drone is the drone at The last reference image acquired during takeoff, that is, the reference image acquired when the drone was flying at a height of 15 meters.
- S114 Determine a category of a scene in the reference image that matches the current flying height of the drone, where the category of the scene includes a rich-texture scene or a sparse-texture scene.
- the step further includes:
- a gradient image of the reference image may be extracted using a Sobel template.
- Gradient histogram is a basic technique in image processing, which can well describe the distribution of the gradient.
- the median range of a gradient image is 0-199; if the step size used is 2, there are 100 bins in total, which is recorded using the array hist [100]. Iterate through the entire gradient map. Each pixel value is calculated by taking the remainder of 2 as idx, and hist [idx] is accumulated. Record the maximum value max_hist and do normalization processing: each bin is multiplied by 199.0 / max_hist, and the range of values in the last hist array is: 0-199.
- a two-step gradient image of the reference image is still extracted by using a Sobel template.
- This step is basically the same as step S1142, and will not be repeated here.
- hist_ratio count_bin / 100.
- T 0.13 according to experience. Determine whether hist_ratio is greater than T.
- the value of the second preset value may be the same as or different from the first preset value.
- the feature maps to be extracted in step S115 are different.
- the feature map of the image collected by the drone at the current flying height and the feature map of the reference image that matches the current flying height of the drone include a gradient map. That is, a stepwise map of the image acquired by the drone at the current flight altitude and a stepwise map of the reference image that matches the current flight altitude of the drone.
- the feature map may further include a grayscale image of the image collected by the drone at the current flight altitude and a grayscale image of the reference image that matches the current flight altitude of the drone.
- the feature map of the image collected by the drone at the current flight altitude and the feature map of the reference image that matches the current flight altitude of the drone include a two-step map. That is, a two-step graph of the image acquired by the drone at the current flight altitude and a two-step graph of the reference image that matches the current flight altitude of the drone.
- the invention uses different feature maps to perform template matching for different scenarios, which can improve the accuracy and robustness of template matching.
- Template matching requires that the scale of the current image and the reference image be approximately equal. Therefore, before template matching, two images need to be pre-processed:
- Yaw angle estimation Taking the current yaw angle of the drone as 0 ° as an example, the current image collected is used as a reference, and the current image is turned counterclockwise from -18 ° to 18 °, and every 3 °, a template is made. Match and get a response value. In the 13 template matching results, the yaw angle angle corresponding to the maximum response value is found. At this time, the yaw angle of the drone is corrected to: the current yaw angle of the drone + angle.
- Altitude estimation The error of the altitude is from [-1,1], the step length is 0.5 meters, and a total of 5 template matchings are performed. The maximum corresponding height error is delta_z. At this time, the flying height of the drone is modified as: no one The aircraft's current flight altitude + delta_z.
- the scale s find the scale s, so that accurate X and Y can be obtained, that is, the horizontal distance of the drone in the X and Y directions from the takeoff point.
- the invention collects the reference image including the take-off point taken by the drone during take-off, and performs phased template matching during the landing of the drone. Distance to control the drone to keep close to the take-off point during the landing process, and finally land precisely on the take-off point.
- the present invention also proposes a drone landing device 20.
- the device 20 includes:
- An acquisition module 21 is configured to collect images including take-off points taken by the drone at different flight altitudes during the take-off of the drone, and collect the collected images including the take-off points. Images as reference images; and
- a template matching module 22 is configured to repeat the steps of template matching during the landing of the drone until the drone reaches the take-off point; wherein the template matching module 22 includes:
- a matching module 225 configured to perform template matching between an image taken by the drone at the current flight altitude and a reference image that matches the current flight altitude of the drone to obtain the coordinates of the takeoff point or the drone The distance of the aircraft from said take-off point;
- a control module 226 is configured to control the drone to fly to the take-off point according to the coordinates of the take-off point or the distance from the drone to the take-off point.
- the acquisition module 21 is specifically configured to:
- An image containing the take-off point is collected every preset distance.
- the preset distance is 1 meter.
- the acquisition module 21 is further configured to:
- the preset height is 15 meters.
- the template matching module 22 further includes:
- the determining module 222 determines that the flying height of the drone is within a preset height range.
- the reference image that matches the current flight altitude of the drone refers to a reference image acquired at the same flight altitude as the current flight altitude during the takeoff of the drone.
- the reference image matching the current flying height of the drone refers to a reference image acquired at a flying height closest to the current flying height during take-off of the drone.
- the template matching module 22 further includes:
- the texture determining module 223 is configured to determine a category of a scene in the reference image that matches the current flying height of the drone, where the category of the scene includes a rich-texture scene or a sparse-texture scene;
- An extraction module 224 configured to extract a feature map of the image taken by the drone at the current flight altitude and a feature map of the reference image that matches the current flight altitude of the drone according to the category of the scene; then:
- the matching module 225 performs module matching on a feature map of an image taken by the drone at a current flight altitude and a feature map of the reference image.
- the texture determining module 223 is specifically configured to:
- a feature map of an image taken by the drone at the current flight altitude and a feature map of the reference image that matches the current flight altitude of the drone include a step map.
- the feature map of the image taken by the drone at the current flight altitude and the feature map of the reference image that matches the current flight altitude of the drone further include a grayscale image.
- the texture determining module 223 is further configured to:
- the feature map of the image captured by the drone at the current flight altitude and the feature map of the reference image include a two-step map.
- the texture determining module 223 is further configured to:
- the value reflecting the texture richness of the scene in the reference image in the gradient histogram is not greater than the second preset value, it is determined that the scene in the reference image is an untextured scene.
- the acquisition module 21 may be an imaging device mounted on a drone, such as a camera.
- the template matching module 22 may be a processor on a drone or a field programmable logic gate array (Field Programmable Gate Array, FPGA).
- the acquisition module 221, the matching module 225, and the control module 226 may be flight control chips of the drone.
- the determination module 222 may be a height sensor of the drone, and the texture determination module 223 may be a vision chip of the drone.
- the invention also proposes a drone 30.
- the drone 30 includes a fuselage 31, a boom 32 connected to the fuselage 31, a power unit 33 provided at one end of the boom 32, and A gimbal 35 connected to the body 31, an imaging device 34 connected to the gimbal 35, and a processor 36 and a memory 37 provided in the body 31.
- the number of the arms 32 is four, that is, the aircraft is a quadrotor. In other possible embodiments, the number of the arms 32 may also be three, six, eight, ten, and the like.
- the drone 30 may also be other movable objects, such as a manned aircraft, an aircraft model, an unmanned airship, a fixed-wing drone, an unmanned hot air balloon, and the like.
- the power unit 33 includes a motor 332 provided at one end of the arm 32 and a propeller 331 connected to a rotating shaft of the motor 332.
- the rotating shaft of the motor 332 rotates to drive the propeller 331 to rotate to provide lift to the drone 30.
- the pan / tilt head 35 is used to reduce or even eliminate the vibration transmitted from the power unit 33 to the imaging device 34 to ensure that the imaging device 34 can shoot a stable and clear image or video.
- the imaging device 34 may be a binocular camera, a monocular camera, an infrared imaging device, an ultraviolet imaging device, a camcorder, or the like.
- the imaging device 34 can be directly mounted on the drone 30, or can be mounted on the drone 30 through the gimbal 35 as shown in this embodiment.
- the gimbal 35 allows the imaging device 34 to surround at least one relative to the drone 30 The shaft turns.
- the processor 36 may include multiple functional units, such as a flight control unit for controlling the flight attitude of the aircraft, a target recognition unit for identifying a target, a tracking unit for tracking a specific target, and a navigation unit for navigating the aircraft (for example, GPS (Global Positioning System), Beidou, and a data processing unit used to process environmental information acquired by relevant airborne equipment (such as imaging equipment 34).
- a flight control unit for controlling the flight attitude of the aircraft
- a target recognition unit for identifying a target
- a tracking unit for tracking a specific target
- a navigation unit for navigating the aircraft
- GPS Global Positioning System
- Beidou Beidou
- data processing unit used to process environmental information acquired by relevant airborne equipment (such as imaging equipment 34).
- a computer program is stored in the memory 36.
- the processor causes the processor to execute the methods described in the embodiments shown in FIGS. 1-3.
- the present invention also provides a computer-readable storage medium storing a computer program.
- the processor is caused to execute the method described in the embodiment shown in FIG. 1 to FIG. 3. .
- the program can be stored in a non-volatile computer-readable storage medium.
- the storage medium may be a magnetic disk, an optical disk, a read-only memory (ROM), or the like.
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
一种无人机降落方法、装置和无人机。通过采集无人机在起飞过程中拍摄的包含起飞点的参考图像，在无人机降落过程中进行分阶段模板匹配，能够消除无人机的传感器误差，实时获取无人机偏离起飞点的距离，从而控制无人机在降落过程中不断靠近起飞点，最终精准降落在起飞点上。在无人机的整个降落过程中，不需要其他辅助设备，且降落效果好，对无人机搭载的传感器精度要求不高。
Description
本发明涉及飞行器技术领域，特别是涉及一种无人机降落方法、装置、无人机及和计算机可读存储介质。
伴随着视觉算法的发展及该视觉算法在无人机(UAV,Unmanned Aerial Vehicle)平台上的应用，智能跟踪具备了良好的跟踪效果。而如何实现从跟踪到着陆的全程无人化是提高无人机智能化的重要方向。
目前，现有技术中的无人机已经能实现无人机精准着陆在无人机的起飞点上，但该技术需要在起飞点放置辅助设备，如信号源，并向无人机发送信号来引导无人机精准降落。此外，还可以在起飞点设置特殊标志或基于丰富纹理图像，直接使用起飞点附近的纹理图案结合视觉技术引导无人机精准降落。
然而，对于小型无人机来说，利用辅助设备引导无人机精准降落，有不便于携带的缺陷；对于在起飞点设置特殊标志的方式又存在操作不便的缺点。而对于基于丰富纹理图像，利用起飞点附近的纹理图案结合视觉技术引导无人机精准降落的方式在降落点的纹理稀疏，无人机搭载的传感器误差较大的情况下又存在降落效果差，降落地点存在误差的缺点。
发明内容
基于此，有必要针对现有技术中的上述问题，提供一种不需要其他辅助设备就能够精准降落至起飞点的无人机降落方法、装置、无人机和计算机可读存储介质。
一种无人机降落方法，该方法包括：
在所述无人机起飞过程中，采集所述无人机在不同飞行高度下拍摄的包含起飞点的图像，并将所述采集到的所述包含所述起飞点的图像作为参考图像；
在所述无人机降落过程中，重复模板匹配的步骤，直至所述无人机降落至 所述起飞点；其中，所述模板匹配包括：
获取所述无人机在当前飞行高度拍摄的图像；
获取与所述无人机当前飞行高度匹配的参考图像；
将所述无人机在当前飞行高度拍摄的图像与和所述无人机当前飞行高度匹配的参考图像进行模板匹配，以获取所述起飞点的坐标或所述无人机距所述起飞点的距离；
根据所述起飞点的坐标或所述无人机距所述起飞点的距离，控制所述无人机飞向所述起飞点。
在本发明的一实施例中，所述在所述无人机起飞过程中，采集所述无人机在不同飞行高度下拍摄的包含起飞点的图像，包括：
每隔预设距离，采集一幅包含所述起飞点的图像。
在本发明的一实施例中，所述预设距离为1米。
在本发明的一实施例中，该方法还包括：
在所述无人机起飞过程中，当所述无人机的飞行高度大于预设高度时，停止采集包含所述起飞点的图像。
在本发明的一实施例中，所述预设高度为15米。
在本发明的一实施例中，在所述获取所述无人机在当前飞行高度拍摄的图像之前，所述方法还包括：
确定所述无人机当前的飞行高度在预设的高度范围内。
在本发明的一实施例中，所述与所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度相同的飞行高度下采集的参考图像。
在本发明的一实施例中，所述和所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度最接近的飞行高度下采集的参考图像。
在本发明的一实施例中，所述模板匹配还包括：
确定所述与所述无人机当前飞行高度匹配的所述参考图像内的场景的类别，其中，所述场景的类别包括纹理丰富的场景或纹理稀疏的场景；
根据所述场景的类别，提取所述无人机在当前飞行高度拍摄的所述图像的特征图以及与所述无人机当前飞行高度匹配的所述参考图像的特征图；
则，所述将所述无人机在当前飞行高度拍摄的图像与和所述无人机当前飞行高度匹配的参考图像进行模板匹配，包括：
将所述无人机在当前飞行高度拍摄的图像的特征图与所述参考图像的特征图进行模板匹配。
在本发明的一实施例中，所述确定所述与所述无人机当前飞行高度匹配的参考图像内的场景的类别，包括：
提取所述与所述无人机当前飞行高度匹配的参考图像的一阶梯度图；
根据所述一阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图像的梯度直方图；
根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第一预设值；
若是，则判断所述参考图像内的场景为纹理丰富场景。
在本发明的一实施例中，所述无人机在当前飞行高度拍摄的图像的特征图和与所述无人机当前飞行高度匹配的所述参考图像的特征图包括一阶梯度图。
在本发明的一实施例中，所述无人机在当前飞行高度拍摄的图像的特征图和与所述无人机当前飞行高度匹配的所述参考图像的特征图还包括灰度图。
在本发明的一实施例中，若所述梯度直方图中反应所述场景的纹理丰富程度的值不大于所述第一预设值，所述方法还包括：
获取所述与所述无人机当前飞行高度匹配的参考图像的二阶梯度图；
根据所述二阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图像的梯度直方图；
根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第二预设值；
若是，则判断所述参考图像内的场景为纹理稀疏场景。
在本发明的一实施例中，所述无人机在当前飞行高度拍摄的图像的特征图与所述参考图像的特征图包括二阶梯度图。
在本发明的一实施例中，若所述梯度直方图中反应所述参考图像内的场景的纹理丰富程度的值不大于所述第二预设值，则判断所述参考图像内的场景为无纹理场景。
为解决其技术问题，本发明还提出了一种无人机降落装置，该装置包括：
采集模块，用于在所述无人机起飞过程中，采集所述无人机在不同飞行高度下拍摄的包含起飞点的图像，并将所述采集到的所述包含所述起飞点的图像作为参考图像；以及
模板匹配模块，用于在所述无人机降落过程中，重复模板匹配的步骤，直至所述无人机降落至所述起飞点；其中，所述模板匹配模块包括：
获取模块，用于获取所述无人机在当前飞行高度拍摄的图像；以及
获取与所述无人机当前飞行高度匹配的参考图像；
匹配模块，用于将所述无人机在当前飞行高度拍摄的图像与和所述无人机当前飞行高度匹配的参考图像进行模板匹配，以获取所述起飞点的坐标或所述无人机距所述起飞点的距离；以及
控制模块，用于根据所述起飞点的坐标或所述无人机距所述起飞点的距离，控制所述无人机飞向所述起飞点。
在本发明的一实施例中，所述采集模块具体用于：
每隔预设距离，采集一幅包含所述起飞点的图像。
在本发明的一实施例中，所述预设距离为1米。
在本发明的一实施例中，所述采集模块还用于：
在所述无人机起飞过程中，当所述无人机的飞行高度大于预设高度时，不再采集包含所述起飞点的图像。
在本发明的一实施例中，所述预设高度为15米。
在本发明的一实施例中，所述模板匹配模块还包括：
确定模块，确定所述无人机当前的飞行高度在预设的高度范围内。
在本发明的一实施例中，所述与所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度相同的飞行高度下采集的参考图像。
在本发明的一实施例中，所述和所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度最接近的飞行高度下采集的参考图像。
在本发明的一实施例中，所述模板匹配模块还包括：
纹理确定模块，用于确定所述与所述无人机当前飞行高度匹配的所述参考图像内的场景的类别，其中，所述场景的类别包括纹理丰富的场景或纹理稀疏的场景；以及
提取模块，用于根据所述场景的类别，提取所述无人机在当前飞行高度拍摄的所述图像的特征图以及所述无人机当前飞行高度匹配的所述参考图像的特征图；则：
所述匹配模块将所述无人机在当前飞行高度拍摄的图像的特征图与所述参考图像的特征图进行模块匹配。
在本发明的一实施例中，所述纹理确定模块具体用于：
提取所述与所述无人机当前飞行高度匹配的参考图像的一阶梯度图；
根据所述一阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图像的梯度直方图；
根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第一预设值；
若是，则判断所述参考图像内的场景为纹理丰富场景。
在本发明的一实施例中，所述无人机在当前飞行高度拍摄的图像的特征图和与所述无人机当前飞行高度匹配的所述参考图像的特征图包括一阶梯度图。
在本发明的一实施例中，所述无人机在当前飞行高度拍摄的图像的特征图和与所述无人机当前飞行高度匹配的所述参考图像的特征图还包括灰度图。
在本发明的一实施例中，所述纹理确定模块还用于：
若所述梯度直方图中反应所述参考图像内的场景的纹理丰富程度的值不大于所述第一预设值；
则，获取所述与所述无人机当前飞行高度匹配的参考图像的二阶梯度图；
根据所述二阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图 像的梯度直方图；
根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第二预设值；
若是，则判断所述参考图像内的场景为纹理稀疏场景。
在本发明的一实施例中，所述无人机在当前飞行高度拍摄的图像的特征图与所述参考图像的特征图包括二阶梯度图。
在本发明的一实施例中，所述纹理确定模块还用于：
若所述梯度直方图中反应所述参考图像内的场景的纹理丰富程度的值不大于所述第二预设值，则判断所述参考图像内的场景为无纹理场景。
为解决其技术问题，本发明还提出了一种无人机，包括：
机身；
机臂，与所述机身相连；
动力装置，设于所述机臂；
设置在所述机身或机臂内的处理器；以及
与所述处理器通信连接的存储器，所述存储器设置在所述机身或机臂内；其中，
所述存储器中存储有可被所述处理器执行的指令，所述处理器执行所述指令时，实现如上述所述的无人机降落方法。
为解决其技术问题，本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述所述的无人机降落方法。
本发明通过采集无人机在起飞过程中拍摄的包含起飞点的参考图像，在无人机降落过程中进行分阶段模板匹配，能够消除无人机的传感器误差，实时获取无人机偏离起飞点的距离，从而控制无人机在降落过程中不断靠近起飞点，最终精准降落在起飞点上。在无人机的整个降落过程中，不需要其他辅助设备，且降落效果好，对无人机搭载的传感器精度要求不高。
图1为本发明一种无人机其中一实施例的结构示意图。
图2为本发明一种无人机降落方法其中一实施例的流程图；
图3为本发明图2所示方法中模板匹配其中一实施例的流程图；
图4为图3所示流程图中步骤S114其中一实施例的流程图；
图5为本发明一种无人机降落装置其中一实施例的结构框图。
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供了一种控制无人机精准降落在起飞点的方法、装置以及可以精准降落在起飞点上的无人机。利用该方法，可以实现无人机的精准降落。
如图1所示，本发明的无人机降落方法包括：
S10、在无人机起飞过程中，采集无人机在不同飞行高度下拍摄的包含起飞点的图像，并将采集到的包含起飞点的图像作为参考图像。
采集包含起飞点的图像可以通过无人机上的影像设备进行采集，采集到的包含起飞点的图像可以储存在无人机的存储器内。值得注意的是，在本发明中，起飞点可以指无人机起飞的一片区域，也可以指无人机起飞位置的坐标点。在无人机起飞过程中，无人机每达到一定的高度，影像设备就会采集一幅包含起飞点的图像。在本发明的一实施例中，每隔预设距离，采集一幅包含起飞点的图像。该预设距离可以根据需要或者经验来确定，在本发明的一实施例中，预设距离为1米。在其他可能的实施例中，预设距离也可以是2米、3米等。此外，当无人机的飞行高度大于预设高度时，停止采集包含所述起飞点的图像。同理，预设高度也可以根据需要或者经验进行确定，在本发明的一实施例中，预设高度为15米。在其他可能的实施例中，当无人机上的GPS误差很大时，预设高度也可以设为60米、100米等。
S11、在无人机降落过程中，重复模板匹配的步骤，直至所述无人机降落至起飞点。
在无人机降落过程中，重复进行模板匹配的操作，可以实时获取无人机偏离起飞点的距离，从而克服无人机的传感器误差，控制无人机准确降落至起飞点。
如图2所示，在本发明的一实施例中，所述模板匹配又包括：
S111、在无人机降落过程中，确认无人机当前的飞行高度在预设的高度范围内。
本发明是依据无人机的飞行高度是否满足预设条件来启动模板匹配操作的。因此，可以将无人机的降落过程依据无人机当前的飞行高度划分为至少两个高度区间，每一个高度区间对应一次模板匹配，因此，也叫做分阶段模板匹配。在其他可能的实施例中，也可以在无人机降落的整个过程中，不断地进行模板匹配，而不是分阶段进行模板匹配。
例如，可将无人机的降落过程划分为以下三个阶段：
第一阶段：无人机当前的飞行高度H≥25米；
第二阶段：25米＞无人机当前的飞行高度H≥13米；
第三阶段：13米＞无人机当前的飞行高度H≥4米。
即，当检测到无人机的飞行高度H处于上述三个高度范围内的任意一个时，即启动一次模板匹配操作，因此，无人机的整个降落过程共进行三次模板匹配操作。
S112、获取所述无人机在当前飞行高度采集的图像。
S113、获取与所述无人机当前飞行高度匹配的参考图像。
在本发明的一实施例中，与无人机当前飞行高度匹配的参考图像是指在无人机起飞过程中，在与无人机当前飞行高度相同的飞行高度下采集的参考图像。在本发明的一实施例中，在步骤S10中，每隔1米的距离，采集一次包含起飞点的图像作为参考图像。如果无人机当前的飞行高度为15米，那么与无人机当前飞行高度匹配的参考图像就是无人机在起飞过程中，飞行高度为15米时采集的参考图像。
在其他可能的实施例中，与无人机当前飞行高度匹配的参考图像也可以指在无人机起飞过程中，在与无人机的当前飞行高度最接近的高度下采集的参考图像。例如，无人机当前的飞行高度为25米，由于当无人机的飞行高度大于15米后就不再采集参考图像，因此，与无人机当前飞行高度匹配的参考图像就是无人机在起飞过程中最后一次采集的参考图像，即在无人机飞行高度为15米时采集的参考图像。
S114、确定所述与无人机当前飞行高度匹配的参考图像内的场景的类别，其中，所述场景的类别包括纹理丰富的场景或纹理稀疏的场景。
如图3所示，在本发明的一实施例中，该步骤进一步包括：
S1141、提取所述与无人机当前飞行高度匹配的参考图像的一阶梯度图。
在本发明的一实施例中，提取所述参考图像的一阶梯度图可采用索伯(sobel)模板。
在X方向上，使用如下3×3的模板：
| -1 | 0 | 1 |
| -2 | 0 | 2 |
| -1 | 0 | 1 |
在Y方向上，使用如下3×3的模板：
| -1 | -2 | -1 |
| 0 | 0 | 0 |
| 1 | 2 | 1 |
从而分别得到X方向和Y方向的梯度图，然后按照公式：pixel＝(|pixel
x|+|pixel_y|)/2可以得到叠加后的一阶梯度图。
S1142、根据上述一阶梯度图，获取所述与无人机当前飞行高度匹配的参考图像的梯度直方图。
梯度直方图是图像处理中的基本技术，可以很好地描述梯度的分布情况。
具体做法为：
一阶梯度图像中值域为0-199；采用的步长为2，则总共有100个bin，使用数组hist[100]记录。遍历整个梯度图，每个像素值均对2求余数记为idx，则hist[idx]累加。记录最大的值max_hist，做归一化处理：每个bin都乘以199.0/max_hist，最后hist数组里的值的范围为：0-199。
S1143、根据上述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第一预设值。
得出梯度直方图后，进一步统计梯度直方图的分布，从100个bin中，统计大于15的个数，其中15为经验值，可根据经验选取。将大于15的个数记为count_bin，则可得到大于15的bin个数占总的bin的个数比例：即，hist_ratio＝count_bin/100。hist_ratio即为反应所述场景的纹理丰富程度的值。根据经验取第一预设值T＝0.1。判断hist_ratio是否大于T。
S1144、若hist_ratio＞T，则判断参考图像内的场景为纹理丰富的场景。
S1145、若hist_ratio不大于T，则需要获取所述与无人机当前飞行高度匹配的参考图像的二阶梯度图。
在本发明的一实施例中，提取所述参考图像的二阶梯度图仍然采用索伯(sobel)模板。
在X方向上，使用如下3×3的模板：
| -1 | 0 | 1 |
| -2 | 0 | 2 |
| -1 | 0 | 1 |
在Y方向上，使用如下3×3的模板：
| -1 | -2 | -1 |
| 0 | 0 | 0 |
| 1 | 2 | 1 |
从而分别得到X方向和Y方向的梯度图，然后按照公式：pixel＝(|pixel_x|+|pixel_y|)/2可以得到叠加后的二阶梯度图。
S1146、根据上述二阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图的梯度直方图。
该步骤与步骤S1142基本相同，在次不再赘述。
S1147、根据上述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第二预设值。
统计梯度直方图分布，从100个bin中，统计大于15的个数，其中15为经验值，可根据经验选取。将大于15的个数记为count_bin，则可得到大于15的bin占总的bin的比例：hist_ratio＝count_bin/100。根据经验取第二预设值T＝0.13。判断hist_ratio是否大于T。其中，第二预设值的取值可以与第一预设值相同，也可以不同。
S1148、若hist_ratio＞T，则判断参考图像内的场景为纹理稀疏的场景。
S1149、若hist_ratio不大于T，则判断所述参考图像内的场景为无纹理的场景或纹理非常稀疏的场景，此时本发明的方法将不再适用。
S115、根据所述参考图像内的场景的类别，提取所述无人机在当前飞行高度下采集的所述图像的特征图以及所述与所述无人机在当前飞行高度匹配的所述参考图像的特征图。
对于纹理丰富的场景和纹理稀疏的场景，步骤S115中需要提取的特征图不同。
对于纹理丰富的场景，所述无人机在当前飞行高度下采集的所述图像的特征图以及与所述无人机当前飞行高度匹配的所述参考图像的特征图包括一阶梯度图。即，无人机在当前飞行高度下采集的所述图像的一阶梯度图以及与所述无人机当前飞行高度匹配的所述参考图像的一阶梯度图。
在其他可能的实施例中，特征图还可以包括无人机在当前飞行高度下采集的所述图像的灰度图和与无人机当前飞行高度匹配的所述参考图的灰度图。
对于纹理稀疏的场景，所述无人机在当前飞行高度下采集的所述图像的特征图以及与所述无人机当前飞行高度匹配的所述参考图像的特征图包括二阶梯 度图。即，无人机在当前飞行高度下采集的所述图像的二阶梯度图以及与所述无人机当前飞行高度匹配的所述参考图像的二阶梯度图。
本发明针对不同的场景，使用不同的特征图进行模板匹配，可以提高模板匹配的准确度和鲁棒性。
S116、将所述无人机在当前飞行高度拍摄图像的特征图与所述参考图像的特征图进行模板匹配，以获取所述起飞点的坐标或所述无人机距所述起飞点的距离。
模板匹配要求当前图像和参考图像的尺度近似相等。因此在模板匹配之前，需要对两幅图像进行预处理：
以无人机的当前飞行高度为25米，以无人机在飞行高度为13米时采集的图像作为参考图像为例，则尺度近似相等是指，如果无人机在飞行高度为13米时采集的参考图像和无人机在飞行高度为25米采集的当前图像均包含同一个物体，那么这个物体的图像面积在两幅图像中基本一致。因为在相机模型中，距离近的物体大，距离远的物体小，所以把无人机在飞行高度为13米时采集的参考图像按照13/25＝0.52进行下采样，得到新的图像，那么该新的图像与无人机在飞行高度为25米采集的当前图像基本处于同一个尺度。
偏航角估计：以无人机当前的偏航角为0°为例，将采集的当前图像作为基准，将当前图像逆时针从-18°转到18°，每隔3°，做一次模板匹配，得到一个响应值。在13次模板匹配结果中，找到最大响应值对应的偏航角angle，此时将无人机的偏航角修正为：无人机当前的偏航角+angle。
高度估计：高度的误差从[-1,1]，步长为0.5米，共进行5次模板匹配，最大相应对应的高度误差为delta_z，此时将无人机的飞行高度修正为：无人机当前的飞行高度+delta_z。
计算水平距离：无人机在飞行高度为13米采集的参考图像通过之前的预处理，得到与飞行高度为25米时采集的当前图像相同尺度的图像，使用模板匹配算法，找到最大响应值对应的位置，并根据无人机的姿态，换算到世界坐标系下：假设像素坐标原点为光心位置，则匹配结果的像素坐标为(Δu，Δv)，相机内参矩阵(只包含焦距)为K，飞机旋转矩阵为R，计算出的起飞点在世界坐 标系下的坐标为(X,Y,Z)，则：
(X,Y,h)
T＝R
TK
-1s(Δu，Δv，1)
T
根据无人机当前的飞行高度h，求出尺度s，从而可以得到准确的X和Y，即无人机距离起飞点的X和Y方向上的水平距离。
S117、根据起飞点的坐标或无人机距起飞点的距离，控制无人机飞向起飞点。
本发明通过采集无人机在起飞过程中拍摄的包含起飞点的参考图像，在无人机降落过程中进行分阶段模板匹配，能够消除无人机的传感器误差，实时获取无人机偏离起飞点的距离，从而控制无人机在降落过程中不断靠近起飞点，最终精准降落在起飞点上。
如图4所示，本发明还提出了一种无人机降落装置20，该装置20包括：
采集模块21，用于在所述无人机起飞过程中，采集所述无人机在不同飞行高度下拍摄的包含起飞点的图像，并将所述采集到的所述包含所述起飞点的图像作为参考图像；以及
模板匹配模块22，用于在所述无人机降落过程中，重复模板匹配的步骤，直至所述无人机降落至所述起飞点；其中，所述模板匹配模块22包括：
获取模块221，用于获取所述无人机在当前飞行高度拍摄的图像；以及
获取与所述无人机当前飞行高度匹配的参考图像；
匹配模块225，用于将所述无人机在当前飞行高度拍摄的图像与和所述无人机当前飞行高度匹配的参考图像进行模板匹配，以获取所述起飞点的坐标或所述无人机距所述起飞点的距离；以及
控制模块226，用于根据所述起飞点的坐标或所述无人机距所述起飞点的距离，控制所述无人机飞向所述起飞点。
可选的，所述采集模块21具体用于：
每隔预设距离，采集一幅包含所述起飞点的图像。
可选的，所述预设距离为1米。
可选的于，所述采集模块21还用于：
在所述无人机起飞过程中，当所述无人机的飞行高度大于预设高度时，不再采集包含所述起飞点的图像。
可选的，所述预设高度为15米。
可选的，所述模板匹配模块22还包括：
确定模块222，确定所述无人机的飞行高度在预设的高度范围内。
可选的，所述与所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度相同的飞行高度下采集的参考图像。
可选的，所述和所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度最接近的飞行高度下采集的参考图像。
可选的，所述模板匹配模块22还包括：
纹理确定模块223，用于确定所述与所述无人机当前飞行高度匹配的所述参考图像内的场景的类别，其中，所述场景的类别包括纹理丰富的场景或纹理稀疏的场景；以及
提取模块224，用于根据所述场景的类别，提取所述无人机在当前飞行高度拍摄的所述图像的特征图以及所述无人机当前飞行高度匹配的所述参考图像的特征图；则：
所述匹配模块225将所述无人机在当前飞行高度拍摄的图像的特征图与所述参考图像的特征图进行模块匹配。
可选的，所述纹理确定模块223具体用于：
提取所述与所述无人机当前飞行高度匹配的参考图像的一阶梯度图；
根据所述一阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图像的梯度直方图；
根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第一预设值；
若是，则判断所述参考图像内的场景为纹理丰富场景。
可选的，所述无人机在当前飞行高度拍摄的图像的特征图和与所述无人机当前飞行高度匹配的所述参考图像的特征图包括一阶梯度图。
可选的，所述无人机在当前飞行高度拍摄的图像的特征图和与所述无人机 当前飞行高度匹配的所述参考图像的特征图还包括灰度图。
可选的，所述纹理确定模块223还用于：
若所述梯度直方图中反应所述参考图像内的场景的纹理丰富程度的值不大于所述第一预设值；
则，获取所述与所述无人机当前飞行高度匹配的参考图像的二阶梯度图；
根据所述二阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图像的梯度直方图；
根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第二预设值；
若是，则判断所述参考图像内的场景为纹理稀疏场景。
可选的，所述无人机在当前飞行高度拍摄的图像的特征图与所述参考图像的特征图包括二阶梯度图。
可选的，所述纹理确定模块223还用于：
若所述梯度直方图中反应所述参考图像内的场景的纹理丰富程度的值不大于所述第二预设值，则判断所述参考图像内的场景为无纹理场景。
在本发明的实施例中，采集模块21可以是无人机搭载的影像设备，例如相机等。模板匹配模块22可以是无人机上的处理器(processor)或者现场可编程逻辑门阵列(Field Programmable Gate Array，FPGA)。其中，获取模块221、匹配模块225、控制模块226可以是无人机的飞控芯片。确定模块222可以是无人机的高度传感器，纹理确定模块223可以是无人机的视觉芯片。
此外，有关该装置中各模块的详细作用可以参考无人机降落方法中的描述，在此不再赘述。
本发明还提出了一种无人机30，如图5所示，该无人机30包括机身31、与机身31相连的机臂32、设置在机臂32一端的动力装置33、与机身31相连的云台35、与云台35相连的影像设备34以及设置在机身31内的处理器36和存储器37。
在本实施例中，机臂32的数量为4，即该飞行器为四旋翼飞行器，在其他 可能的实施例中，机臂32的数量也可以为3、6、8、10等。无人机30还可以是其他可移动物体，例如载人飞行器、航模、无人飞艇、固定翼无人机和无人热气球等。
动力装置33包括设置在机臂32一端的电机332以及与电机332的转轴相连的螺旋桨331。电机332的转轴转动以带动螺旋桨331旋转从而给无人机30提供升力。
云台35用于减轻甚至消除动力装置33传递给影像设备34的振动，以保证影像设备34能够拍摄出稳定清晰的图像或视频。
影像设备34可以是双目摄像头、单目摄像头、红外线影像设备、紫外线影像设备、摄录机等类似的设备。影像设备34可以直接搭载在无人机30上，也可以通过如本实施例所示的云台35搭载在无人机30上，云台35允许影像设备34相对于无人机30绕至少一个轴转动。
处理器36可以包括多个功能性单元，如，用于控制飞行器飞行姿态的飞行控制单元、用于识别目标的目标识别单元、用于跟踪特定目标的跟踪单元、用于导航飞行器的导航单元(例如GPS(Global Positioning System)、北斗)、以及用于处理相关机载设备(如，影像设备34)所获取的环境信息的数据处理单元等。
存储器36中存储有计算机程序，计算机程序被处理器执行时，使得处理器执行在图1-图3所示的实施例中所描述的方法。
本发明还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行在图1-图3所示的实施例中所描述的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对 上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (32)
- 一种无人机降落方法，其特征在于，该方法包括：在所述无人机起飞过程中，采集所述无人机在不同飞行高度下拍摄的包含起飞点的图像，并将所述采集到的所述包含所述起飞点的图像作为参考图像；在所述无人机降落过程中，重复模板匹配的步骤，直至所述无人机降落至所述起飞点；其中，所述模板匹配包括：获取所述无人机在当前飞行高度拍摄的图像；获取与所述无人机当前飞行高度匹配的参考图像；将所述无人机在当前飞行高度拍摄的图像与和所述无人机当前飞行高度匹配的参考图像进行模板匹配，以获取所述起飞点的坐标或所述无人机距所述起飞点的距离；根据所述起飞点的坐标或所述无人机距所述起飞点的距离，控制所述无人机飞向所述起飞点。
- 根据权利要求1所述的无人机降落方法，其特征在于，所述在所述无人机起飞过程中，采集所述无人机在不同飞行高度下拍摄的包含起飞点的图像，包括：每隔预设距离，采集一幅包含所述起飞点的图像。
- 根据权利要求2所述的无人机降落方法，其特征在于，所述预设距离为1米。
- 根据权利要求1-3中任一项所述的无人机降落方法，其特征在于，该方法还包括：在所述无人机起飞过程中，当所述无人机的飞行高度大于预设高度时，停止采集包含所述起飞点的图像。
- 根据权利要求4所述的无人机降落方法，其特征在于，所述预设高度为15米。
- 根据权利要求1-5中任一项所述的无人机降落方法，其特征在于，在所述获取所述无人机在当前飞行高度拍摄的图像之前，所述方法还包括：确定所述无人机当前的飞行高度在预设的高度范围内。
- 根据权利要求1-6中任一项所述的无人机降落方法，其特征在于，所述与所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度相同的飞行高度下采集的参考图像。
- 根据权利要求1-6中任一项所述的无人机降落方法，其特征在于，所述和所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度最接近的飞行高度下采集的参考图像。
- 根据权利要求1-8中任一项所述的无人机降落方法，其特征在于，所述模板匹配还包括：确定所述与所述无人机当前飞行高度匹配的所述参考图像内的场景的类别，其中，所述场景的类别包括纹理丰富的场景或纹理稀疏的场景；根据所述场景的类别，提取所述无人机在当前飞行高度拍摄的所述图像的特征图以及与所述无人机当前飞行高度匹配的所述参考图像的特征图；则，所述将所述无人机在当前飞行高度拍摄的图像与和所述无人机当前飞行高度匹配的参考图像进行模板匹配，包括：将所述无人机在当前飞行高度拍摄的图像的特征图与所述参考图像的特征图进行模板匹配。
- 根据权利要求9所述的无人机降落方法，其特征在于，所述确定所述与所述无人机当前飞行高度匹配的参考图像内的场景的类别，包括：提取所述与所述无人机当前飞行高度匹配的参考图像的一阶梯度图；根据所述一阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图像的梯度直方图；根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第一预设值；若是，则判断所述参考图像内的场景为纹理丰富场景。
- 根据权利要求10所述的无人机降落方法，其特征在于，所述无人机在当前飞行高度拍摄的图像的特征图和与所述无人机当前飞行高度匹配的所述参考图像的特征图包括一阶梯度图。
- 根据权利要求11所述的无人机降落方法，其特征在于，所述无人机在 当前飞行高度拍摄的图像的特征图和与所述无人机当前飞行高度匹配的所述参考图像的特征图还包括灰度图。
- 根据权利要求10-12中任一项所述的无人机降落方法，其特征在于，若所述梯度直方图中反应所述场景的纹理丰富程度的值不大于所述第一预设值，所述方法还包括：获取所述与所述无人机当前飞行高度匹配的参考图像的二阶梯度图；根据所述二阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图像的梯度直方图；根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第二预设值；若是，则判断所述参考图像内的场景为纹理稀疏场景。
- 根据权利要求13所述的无人机降落方法，其特征在于，所述无人机在当前飞行高度拍摄的图像的特征图与所述参考图像的特征图包括二阶梯度图。
- 根据权利要求13或14所述的无人机降落方法，其特征在于，若所述梯度直方图中反应所述参考图像内的场景的纹理丰富程度的值不大于所述第二预设值，则判断所述参考图像内的场景为无纹理场景。
- 一种无人机降落装置，其特征在于，该装置包括：采集模块，用于在所述无人机起飞过程中，采集所述无人机在不同飞行高度下拍摄的包含起飞点的图像，并将所述采集到的所述包含所述起飞点的图像作为参考图像；以及模板匹配模块，用于在所述无人机降落过程中，重复模板匹配的步骤，直至所述无人机降落至所述起飞点；其中，所述模板匹配模块包括：获取模块，用于获取所述无人机在当前飞行高度拍摄的图像；以及获取与所述无人机当前飞行高度匹配的参考图像；匹配模块，用于将所述无人机在当前飞行高度拍摄的图像与和所述无人机当前飞行高度匹配的参考图像进行模板匹配，以获取所述起飞点的坐标或所述无人机距所述起飞点的距离；以及控制模块，用于根据所述起飞点的坐标或所述无人机距所述起飞点的距离， 控制所述无人机飞向所述起飞点。
- 根据权利要求1所述的无人机降落装置，其特征在于，所述采集模块具体用于：每隔预设距离，采集一幅包含所述起飞点的图像。
- 根据权利要求17所述的无人机降落装置，其特征在于，所述预设距离为1米。
- 根据权利要求16-18中任一项所述的无人机降落装置，其特征在于，所述采集模块还用于：在所述无人机起飞过程中，当所述无人机的飞行高度大于预设高度时，不再采集包含所述起飞点的图像。
- 根据权利要求19所述的无人机降落装置，其特征在于，所述预设高度为15米。
- 根据权利要求16-20中任一项所述的无人机降落装置，其特征在于，所述模板匹配模块还包括：确定模块，确定所述无人机当前的飞行高度在预设的高度范围内。
- 根据权利要求16-21中任一项所述的无人机降落装置，其特征在于，所述与所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度相同的飞行高度下采集的参考图像。
- 根据权利要求16-21中任一项所述的无人机降落装置，其特征在于，所述和所述无人机当前飞行高度匹配的参考图像指在所述无人机起飞过程中，在与所述当前飞行高度最接近的飞行高度下采集的参考图像。
- 根据权利要求16-23中任一项所述的无人机降落装置，其特征在于，所述模板匹配模块还包括：纹理确定模块，用于确定所述与所述无人机当前飞行高度匹配的所述参考图像内的场景的类别，其中，所述场景的类别包括纹理丰富的场景或纹理稀疏的场景；以及提取模块，用于根据所述场景的类别，提取所述无人机在当前飞行高度拍摄的所述图像的特征图以及所述无人机当前飞行高度匹配的所述参考图像的特 征图；则：所述匹配模块将所述无人机在当前飞行高度拍摄的图像的特征图与所述参考图像的特征图进行模块匹配。
- 根据权利要求24所述的无人机降落装置，其特征在于，所述纹理确定模块具体用于：提取所述与所述无人机当前飞行高度匹配的参考图像的一阶梯度图；根据所述一阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图像的梯度直方图；根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第一预设值；若是，则判断所述参考图像内的场景为纹理丰富场景。
- 根据权利要求25所述的无人机降落装置，其特征在于，所述无人机在当前飞行高度拍摄的图像的特征图和与所述无人机当前飞行高度匹配的所述参考图像的特征图包括一阶梯度图。
- 根据权利要求26所述的无人机降落装置，其特征在于，所述无人机在当前飞行高度拍摄的图像的特征图和与所述无人机当前飞行高度匹配的所述参考图像的特征图还包括灰度图。
- 根据权利要求25-27中任一项所述的无人机降落装置，其特征在于，所述纹理确定模块还用于：若所述梯度直方图中反应所述参考图像内的场景的纹理丰富程度的值不大于所述第一预设值；则，获取所述与所述无人机当前飞行高度匹配的参考图像的二阶梯度图；根据所述二阶梯度图，获取所述与所述无人机当前飞行高度匹配的参考图像的梯度直方图；根据所述梯度直方图，判断所述梯度直方图中反应所述场景的纹理丰富程度的值是否大于第二预设值；若是，则判断所述参考图像内的场景为纹理稀疏场景。
- 根据权利要求28所述的无人机降落装置，其特征在于，所述无人机在 当前飞行高度拍摄的图像的特征图与所述参考图像的特征图包括二阶梯度图。
- 根据权利要求28或29所述的无人机降落装置，其特征在于，所述纹理确定模块还用于：若所述梯度直方图中反应所述参考图像内的场景的纹理丰富程度的值不大于所述第二预设值，则判断所述参考图像内的场景为无纹理场景。
- 一种无人机，其特征在于，包括：机身；机臂，与所述机身相连；动力装置，设于所述机臂；设置在所述机身或机臂内的处理器；以及与所述处理器通信连接的存储器，所述存储器设置在所述机身或机臂内；其中，所述存储器中存储有可被所述处理器执行的指令，所述处理器执行所述指令时，实现如权利要求1-15中任一项所述的方法。
- 一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至15中任意一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/094664 WO2020006732A1 (zh) | 2018-07-05 | 2018-07-05 | 无人机降落方法、装置及无人机 |
| CN201880094799.1A CN112789571A (zh) | 2018-07-05 | 2018-07-05 | 无人机降落方法、装置及无人机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2018/094664 WO2020006732A1 (zh) | 2018-07-05 | 2018-07-05 | 无人机降落方法、装置及无人机 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2020006732A1 true WO2020006732A1 (zh) | 2020-01-09 |
Family
ID=69060717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2018/094664 Ceased WO2020006732A1 (zh) | 2018-07-05 | 2018-07-05 | 无人机降落方法、装置及无人机 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112789571A (zh) |
| WO (1) | WO2020006732A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113238574A (zh) * | 2021-05-08 | 2021-08-10 | 一飞(海南)科技有限公司 | 集群表演无人机落地检测控制方法、系统、终端及应用 |
| US20220253075A1 (en) * | 2019-10-25 | 2022-08-11 | Autel Robotics Co., Ltd. | Landing control method, aircraft and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447853A (zh) * | 2015-11-13 | 2016-03-30 | 深圳市道通智能航空技术有限公司 | 飞行装置、飞行控制系统及方法 |
| CN106371447A (zh) * | 2016-10-25 | 2017-02-01 | 南京奇蛙智能科技有限公司 | 一种无人机全天候精准降落的控制方法 |
| CN106774423A (zh) * | 2017-02-28 | 2017-05-31 | 亿航智能设备（广州）有限公司 | 一种无人机的降落方法及系统 |
| CN107065925A (zh) * | 2017-04-01 | 2017-08-18 | 成都通甲优博科技有限责任公司 | 一种无人机返航方法及装置 |
| WO2018035835A1 (en) * | 2016-08-26 | 2018-03-01 | SZ DJI Technology Co., Ltd. | Methods and system for autonomous landing |
| WO2018053861A1 (en) * | 2016-09-26 | 2018-03-29 | SZ DJI Technology Co., Ltd. | Methods and system for vision-based landing |
| CN107943090A (zh) * | 2017-12-25 | 2018-04-20 | 广州亿航智能技术有限公司 | 一种无人机的降落方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106054903B (zh) * | 2016-07-27 | 2019-11-08 | 中南大学 | 一种多旋翼无人机自适应降落方法及系统 |
| CN107450590A (zh) * | 2017-08-07 | 2017-12-08 | 深圳市科卫泰实业发展有限公司 | 一种无人机辅助降落方法 |
-
2018
- 2018-07-05 WO PCT/CN2018/094664 patent/WO2020006732A1/zh not_active Ceased
- 2018-07-05 CN CN201880094799.1A patent/CN112789571A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447853A (zh) * | 2015-11-13 | 2016-03-30 | 深圳市道通智能航空技术有限公司 | 飞行装置、飞行控制系统及方法 |
| WO2018035835A1 (en) * | 2016-08-26 | 2018-03-01 | SZ DJI Technology Co., Ltd. | Methods and system for autonomous landing |
| WO2018053861A1 (en) * | 2016-09-26 | 2018-03-29 | SZ DJI Technology Co., Ltd. | Methods and system for vision-based landing |
| CN106371447A (zh) * | 2016-10-25 | 2017-02-01 | 南京奇蛙智能科技有限公司 | 一种无人机全天候精准降落的控制方法 |
| CN106774423A (zh) * | 2017-02-28 | 2017-05-31 | 亿航智能设备（广州）有限公司 | 一种无人机的降落方法及系统 |
| CN107065925A (zh) * | 2017-04-01 | 2017-08-18 | 成都通甲优博科技有限责任公司 | 一种无人机返航方法及装置 |
| CN107943090A (zh) * | 2017-12-25 | 2018-04-20 | 广州亿航智能技术有限公司 | 一种无人机的降落方法及系统 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220253075A1 (en) * | 2019-10-25 | 2022-08-11 | Autel Robotics Co., Ltd. | Landing control method, aircraft and storage medium |
| US12124274B2 (en) * | 2019-10-25 | 2024-10-22 | Autel Robotics Co., Ltd. | Landing control method, aircraft and storage medium |
| CN113238574A (zh) * | 2021-05-08 | 2021-08-10 | 一飞(海南)科技有限公司 | 集群表演无人机落地检测控制方法、系统、终端及应用 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112789571A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210141378A1 (en) | Imaging method and device, and unmanned aerial vehicle | |
| CN111326023B (zh) | 一种无人机航线预警方法、装置、设备及存储介质 | |
| US10778967B2 (en) | Systems and methods for improving performance of a robotic vehicle by managing on-board camera defects | |
| CN110570463B (zh) | 一种目标状态估计方法、装置和无人机 | |
| US20190068829A1 (en) | Systems and Methods for Improving Performance of a Robotic Vehicle by Managing On-board Camera Obstructions | |
| CN107194399B (zh) | 一种视觉定标的方法、系统及无人机 | |
| WO2020164092A1 (zh) | 图像处理方法、设备、可移动平台、无人机及存储介质 | |
| US11543836B2 (en) | Unmanned aerial vehicle action plan creation system, method and program | |
| CN108140245B (zh) | 测距方法、装置以及无人机 | |
| CN107300377B (zh) | 一种绕飞轨迹下的旋翼无人机三维目标定位方法 | |
| CN106292126B (zh) | 一种智能航测飞行曝光控制方法、无人机控制方法及终端 | |
| WO2021081774A1 (zh) | 一种参数优化方法、装置及控制设备、飞行器 | |
| CN105335733A (zh) | 一种无人机自主着陆视觉定位方法及系统 | |
| CN112119428B (zh) | 获取降落位置的方法、设备、无人机、系统及存储介质 | |
| CN111666855A (zh) | 基于无人机的动物三维参数提取方法、系统及电子设备 | |
| CN109341686B (zh) | 一种基于视觉-惯性紧耦合的飞行器着陆位姿估计方法 | |
| WO2019061111A1 (zh) | 一种路径调整方法及无人机 | |
| CN114089787A (zh) | 基于多机协同飞行的地面三维语义地图及其构建方法 | |
| WO2021081958A1 (zh) | 地形检测方法、可移动平台、控制设备、系统及存储介质 | |
| CN105606073A (zh) | 无人飞行器处理系统及其飞行状态数据处理方法 | |
| KR20240020039A (ko) | 대형 송전선로 점검을 위한 무인 항공기 시스템 및 무인 항공기의 동작 방법 | |
| CN110083177A (zh) | 一种基于视觉着陆的四旋翼飞行器及控制方法 | |
| WO2020024211A1 (zh) | 无人机降落方法、装置及无人机 | |
| CN108225273B (zh) | 一种基于传感器先验知识的实时跑道检测方法 | |
| WO2020006732A1 (zh) | 无人机降落方法、装置及无人机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18925361 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 18925361 Country of ref document: EP Kind code of ref document: A1 |