WO2022104746A1 - 返航控制方法、装置、无人机及计算机可读存储介质 - Google Patents

返航控制方法、装置、无人机及计算机可读存储介质 Download PDF

Info

Publication number
WO2022104746A1
WO2022104746A1 PCT/CN2020/130636 CN2020130636W WO2022104746A1 WO 2022104746 A1 WO2022104746 A1 WO 2022104746A1 CN 2020130636 W CN2020130636 W CN 2020130636W WO 2022104746 A1 WO2022104746 A1 WO 2022104746A1
Authority
WO
WIPO (PCT)
Prior art keywords
semantic segmentation
return
target object
map
uav
Prior art date
Application number
PCT/CN2020/130636
Other languages
English (en)
French (fr)
Inventor
刘宝恩
王涛
李鑫超
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2020/130636 priority Critical patent/WO2022104746A1/zh
Publication of WO2022104746A1 publication Critical patent/WO2022104746A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions

Definitions

  • the present application relates to the technical field of unmanned aerial vehicles, and in particular, to a return-to-home control method, device, unmanned aerial vehicle and computer-readable storage medium.
  • lidar, TOF sensors, and binocular vision sensors can be used to determine whether the airspace above the UAVs is safe. Radar, TOF sensors, and binocular vision sensors are used to determine whether the airspace above the drone is safe, and the return of the drone cannot be guaranteed, and the user experience is not good.
  • the embodiments of the present application provide a return-to-home control method, device, unmanned aerial vehicle, and a computer-readable storage medium, which aim to improve the return-to-home safety of the unmanned aerial vehicle.
  • an embodiment of the present application provides a return-to-home control method, including:
  • the UAV is controlled to ascend until the height of the UAV reaches the preset return-to-home altitude.
  • an embodiment of the present application further provides a return-to-home control device, where the return-to-home control device includes a memory and a processor;
  • the memory is used to store computer programs
  • the processor is configured to execute the computer program and implement the following steps when executing the computer program:
  • the UAV is controlled to ascend until the height of the UAV reaches the preset return-to-home altitude.
  • an embodiment of the present application further provides an unmanned aerial vehicle, the unmanned aerial vehicle comprising:
  • a photographing device which is arranged on the body and is used to collect the environmental image of the airspace above the drone;
  • a power system arranged on the body, for providing flight power for the drone;
  • the above-mentioned return-to-home control device is provided in the body, and is used to control the UAV to return to home.
  • an embodiment of the present application further provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor implements the above-mentioned The steps of the return-to-home control method.
  • the embodiments of the present application provide a return-to-home control method, device, UAV, and computer-readable storage medium, by acquiring a first environment image of the airspace above the UAV, and semantically implementing a region of interest in the first environment image Segmentation processing, obtaining a first semantic segmentation map, and then determining the relative size information of the semantic segmentation region corresponding to the target object in the first semantic segmentation map relative to the first semantic segmentation map and the semantic segmentation category of the target object, and calculating the relative size as the relative size.
  • FIG. 1 is a schematic diagram of a scenario for implementing a return-to-home control method provided by an embodiment of the present application
  • FIG. 2 is a schematic flowchart of steps of a return-to-home control method provided by an embodiment of the present application
  • FIG. 3 is a schematic flowchart of sub-steps of the return-to-home control method in FIG. 2;
  • FIG. 4 is a schematic diagram of a region of interest in a first environment image in an embodiment of the present application.
  • FIG. 5 is a schematic diagram of an environment image and a semantic segmentation map corresponding to the environment image in an embodiment of the present application
  • FIG. 6 is a schematic flowchart of steps of another return-to-home control method provided by an embodiment of the present application.
  • FIG. 7 is a schematic diagram of a first environment image and a semantic segmentation map corresponding to a region of interest in an embodiment of the present application
  • FIG. 8 is a schematic diagram of splitting a second semantic segmentation graph into multiple semantic segmentation subgraphs in an embodiment of the present application
  • FIG. 9 is a schematic block diagram of the structure of a return-to-home control device provided by an embodiment of the present application.
  • FIG. 10 is a schematic block diagram of the structure of an unmanned aerial vehicle provided by an embodiment of the present application.
  • lidar, TOF sensors, and binocular vision sensors can be used to determine whether the airspace above the UAVs is safe. Radar, TOF sensors, and binocular vision sensors are used to determine whether the airspace above the drone is safe, and the return of the drone cannot be guaranteed, and the user experience is not good.
  • the embodiments of the present application provide a return-to-home control method, device, unmanned aerial vehicle, and computer-readable storage medium.
  • FIG. 1 is a schematic diagram of a scenario for implementing the return-to-home control method provided by the embodiment of the present application.
  • the scene includes a UAV 100 and a control terminal 200.
  • the UAV 100 is connected to the control terminal 200 in communication.
  • the control terminal 200 is used to control the flight of the UAV 100.
  • the UAV 100 includes a body 110, a device The power system 120 on the body and the photographing device 130 provided on the body, the power system 120 provides the flying power for the UAV 100 , and the photographing device 130 is used for collecting environmental images of the airspace above the UAV 100 .
  • the drone 100 further includes a first wireless communication device (not shown in FIG. 1 ), and the control terminal 200 includes a display device 110 and a second wireless communication device (not shown in FIG. 1 ).
  • the first wireless communication device can communicate with the second wireless communication device in the control terminal 200 , thereby establishing a communication connection between the drone 100 and the control terminal 200 .
  • the control terminal 200 displays the encoded video frame transmitted by the drone 100 through the display device 210 for the user to watch.
  • the display device 210 includes a display screen disposed on the control terminal 200 or a display independent of the control terminal 200, and the display independent of the control terminal 200 may include a mobile phone, a tablet computer, a personal computer, etc. Other electronic equipment with a display screen.
  • the display screen includes an LED display screen, an OLED display screen, an LCD display screen, etc.
  • the control terminal 100 includes a remote control, a ground control platform, a mobile phone, a tablet computer, a notebook computer, a PC computer, and the like.
  • one or more of the power systems 120 in the horizontal direction may rotate in a clockwise direction, and one or more of the power systems 120 in the horizontal direction may rotate in a counterclockwise direction.
  • the rotational rate of each power system 120 in the horizontal direction can be varied independently to achieve lift and/or push operations caused by each power system 120 to adjust the spatial orientation, velocity and/or acceleration of the UAV 100 (eg, relative to up to three degrees of freedom for rotation and translation).
  • the power system 120 enables the drone 100 to take off vertically from the ground, or to land vertically on the ground, without any horizontal movement of the drone 100 (eg, without taxiing on a runway).
  • the power system 120 may allow the drone 100 to preset positions and/or turn the steering wheel in the air.
  • One or more of the powertrains 120 may be controlled independently of the other powertrains 120 .
  • one or more power systems 120 may be controlled simultaneously.
  • the drone 100 may have multiple horizontally oriented power systems 120 to track the lift and/or push of the target.
  • the horizontally oriented power system 120 may be actuated to provide the ability of the drone 100 to take off vertically, land vertically, and hover.
  • the UAV 100 may also include a sensing system, which may include one or more sensors to sense the spatial orientation, velocity, and/or acceleration of the UAV 100 (eg, relative to up to three degrees of freedom rotation and translation), angular acceleration, attitude, position (absolute position or relative position), etc.
  • the one or more sensors include GPS sensors, motion sensors, inertial sensors, proximity sensors, or image sensors.
  • the sensing system may also be used to collect data on the environment in which the UAV 100 is located, such as climatic conditions, potential obstacles to be approached, locations of geographic features, locations of man-made structures, and the like.
  • the UAV 100 further includes a return-to-home control device (not shown in FIG. 1 ), and the return-to-home control device can acquire a first environment image of the airspace above the UAV 100, and sense the senses in the first environment image.
  • the region of interest is subjected to semantic segmentation processing to obtain a first semantic segmentation map, and then the relative size information of the semantic segmentation region corresponding to the target object in the first semantic segmentation map relative to the first semantic segmentation map and the semantic segmentation category of the target object are determined, And when the relative size information and the semantic segmentation category meet the preset return-to-home conditions, control the drone 100 to ascend until the height of the drone 100 reaches the set return-to-home altitude, so that unmanned aerial vehicles without omnidirectional obstacle avoidance functions are enabled.
  • the drone can also accurately determine whether the airspace above the drone is safe, ensure the safety of the drone's return, and improve the return safety and user experience of the drone.
  • the first environment image may be collected by the photographing device 130 with the lens facing the sky.
  • the return-to-home control method provided by the embodiments of the present application will be described in detail with reference to the scenario in FIG. 1 .
  • the scenario in FIG. 1 is only used to explain the return-to-home control method provided by the embodiment of the present application, but does not constitute a limitation on the application scenario of the return-to-home control method provided by the embodiment of the present application.
  • FIG. 2 is a schematic flowchart of steps of a return-to-home control method provided by an embodiment of the present application.
  • the return-to-home control method can be applied to the UAV to control the return-to-home of the UAV, so as to improve the return-to-home safety of the UAV.
  • the return-to-home control method includes steps S101 to S103.
  • Step S101 Acquire a first environment image of the airspace above the drone, and perform semantic segmentation processing on the region of interest in the first environment image to obtain a first semantic segmentation map.
  • a first environment image of the airspace above the drone is acquired, and semantic segmentation processing is performed on the region of interest in the first environment image to obtain a first semantic segmentation map.
  • the first environment image may be acquired by the first photographing device or the second photographing device of the drone.
  • the step of acquiring the first environment image of the airspace above the drone may include sub-steps S1011 to S1012.
  • Sub-step S1011 adjust the posture of the first photographing device until the lens direction of the first photographing device after the posture is adjusted faces the sky;
  • Sub-step S1012 after the lens of the first photographing device faces the sky, control the first photographing device to take pictures to obtain a first environment image of the airspace above the drone.
  • the drone includes a first photographing device, and the first photographing device may be a front-view photographing device of the drone.
  • the posture of the first photographing device is adjusted until the first photographing device after the posture is adjusted.
  • the direction of the lens of the photographing device faces the sky, and after the lens of the first photographing device faces the sky, the first photographing device is controlled to take pictures, so that the first environmental image of the airspace above the drone can be obtained without adding a new photographing device, reducing device cost and complexity.
  • the angle between the lens direction of the first photographing device after the attitude adjustment and the horizontal direction is within a preset angle range, that is, the elevation angle of the lens of the first photographing device after the attitude adjustment is within the preset angle.
  • the included angle is within the range, it can be determined that the direction of the lens of the first photographing device after the posture is adjusted faces the sky.
  • the preset angle range may be set based on the actual situation, which is not specifically limited in this embodiment of the present application. For example, the preset included angle range is 45° to 90° or the preset included angle range is 60° to 90°.
  • the drone includes a second photographing device, the lens of the second photographing device is directed toward the sky, and the first environment image may be captured by the second photographing device.
  • the first environment image of the airspace above the drone can be obtained by controlling the second photographing device to take pictures.
  • the angle between the lens direction of the second photographing device and the horizontal direction is within a preset angle range.
  • the semantic segmentation process is performed on the region of interest in the first environment image to obtain the semantic segmentation map of the airspace above the UAV. , and the angle between the lens direction of the first photographing device or the second photographing device and the horizontal direction; according to the angle of view, the angle and the preset image size, extract the region of interest in the first environmental image;
  • the region of interest is input to a preset semantic segmentation network for semantic segmentation processing to output a first semantic segmentation map, wherein the preset semantic segmentation network is a pre-trained convolutional neural network.
  • the preset image size may be set according to the actual situation, which is not specifically limited in this embodiment of the present application.
  • the region of interest extracted from the field of view of the camera, the angle between the lens direction and the horizontal direction, and the preset image size best matches the image region corresponding to the airspace during the UAV's return process, which is convenient for subsequent accurate determination of no Whether the airspace during the man-machine return process is safe, and improve the return safety of the drone.
  • the method of extracting the region of interest in the first environment image may be: according to the field of view and the included angle, determine whether the drone is in the first environment.
  • a projection area in an environment image extracting a region of interest in the first environment image according to the pixel coordinates of the center point of the projection area and the preset image size.
  • the size of the region of interest is the same as the preset image size.
  • the area selected by the rectangular frame 11 is the area of interest in the first environment image, that is, the area of interest overlaps with the projection area of the drone in the first environment image.
  • a method for obtaining a preset semantic segmentation network may be: collecting an environmental image of the airspace above the drone through a photographing device of the drone; performing semantic segmentation on the environmental image.
  • Class annotation is used to obtain the semantic segmentation map corresponding to the environmental image, so that multiple sets of sample data including the environmental image and the semantic segmentation map corresponding to the environmental image can be constructed and obtained; the convolutional neural network is trained according to the multiple sets of sample data until the training After the convolutional neural network converges, or the number of training times reaches the preset number of training times, a preset semantic segmentation network is obtained.
  • the marked semantic segmentation categories include sky, buildings, trees and other objects
  • the color of the image area corresponding to each semantic segmentation category in the marked semantic segmentation map is different.
  • the color of the image region corresponding to each semantic segmentation category in the labeled semantic segmentation map can be set based on the actual situation, which is not specifically limited in this embodiment of the present application. For example, the color of the image region corresponding to the semantic segmentation category of sky The color is blue, the color of the image area corresponding to the semantic segmentation category of buildings is yellow, the color of the image area corresponding to the semantic segmentation category of trees is green, and the color of the image area corresponding to the semantic segmentation category of other objects is grey.
  • the environmental image 20 includes an image area 21 corresponding to trees, an image area 22 corresponding to a building, and an image area 23 corresponding to the sky.
  • the segmentation map 30, the semantic segmentation map 30 includes a semantic segmentation area 31, a semantic segmentation area 32 and a semantic segmentation area 33, and the semantic segmentation area 31 is obtained by color-filling the image area 21 corresponding to the tree, and the semantic segmentation area 32 is the tree.
  • the corresponding image area 22 is obtained by color-filling
  • the semantic segmentation area 33 is obtained by color-filling the image area 23 corresponding to the sky.
  • Step S102 Determine the relative size information of the semantic segmentation region corresponding to the target object in the first semantic segmentation map relative to the first semantic segmentation map and the semantic segmentation category of the target object.
  • the target object includes objects other than the sky, for example, the target object includes buildings, trees and other objects, and other objects include wires, etc.
  • the relative size information includes at least one of the following: a semantic segmentation area corresponding to the target object The area ratio relative to the first semantic segmentation map; the first ratio of the maximum length of the semantic segmentation region corresponding to the target object to the length of the first semantic segmentation map; the semantic segmentation region corresponding to the target object The second ratio of the maximum width of the target object to the width of the first semantic segmentation map; the third ratio of the maximum size of the semantic segmentation region corresponding to the target object to the size of the first semantic segmentation map in the same direction,
  • the maximum size of the semantic segmentation region corresponding to the target object may be determined according to the maximum width and maximum length of the semantic segmentation region corresponding to the target object.
  • the manner of determining the semantic segmentation category of the target object in the first semantic segmentation map may be: acquiring the color of each semantic segmentation region in the first semantic segmentation map; A preset color set is used to determine a semantic segmentation area and a semantic segmentation category corresponding to the target object in the first semantic segmentation map.
  • the preset color set includes different colors corresponding to the three semantic segmentation categories of buildings, trees and other objects, for example, the preset color set includes yellow, green and gray.
  • the first area of the semantic segmentation area corresponding to the target object is determined, and the second area of the first semantic segmentation map is determined; according to the first area and the second area, the semantic segmentation area corresponding to the target object is determined relative to the first area.
  • the area ratio of the semantic segmentation map that is, determining the ratio of the first area to the second area, and determining the ratio of the first area to the second area as the area of the semantic segmentation area corresponding to the target object relative to the first semantic segmentation map Proportion.
  • determining the maximum length of the semantic segmentation region corresponding to the target object and the length of the first semantic segmentation map, and determining the ratio of the maximum length of the semantic segmentation region corresponding to the target object to the length of the first semantic segmentation map, and The ratio of the maximum length of the semantic segmentation region corresponding to the target object to the length of the first semantic segmentation map is determined as the first ratio.
  • the ratio of the maximum width of the corresponding semantic segmentation region to the width of the first semantic segmentation map is determined as the second ratio.
  • Step S103 when the relative size information and the semantic segmentation category satisfy the preset return-to-home condition, control the drone to ascend until the height of the drone reaches the preset return-to-home altitude.
  • the preset return-to-home condition includes that the relative size information is smaller than the relative size information threshold corresponding to the semantic segmentation category. Further, the preset return-to-home condition includes that the relative size information is smaller than the relative size information threshold corresponding to the semantic segmentation category, and the difference between the relative size information and the relative size information threshold corresponding to the semantic segmentation category is greater than the preset difference.
  • the relative size information thresholds corresponding to different semantic segmentation categories are different, and the preset difference and the relative size information thresholds corresponding to different semantic segmentation categories may be set based on actual conditions, which are not specifically limited in this embodiment of the present application.
  • the preset return-to-home condition includes at least one of the following: the area ratio is smaller than the area ratio threshold corresponding to the semantic segmentation category; the first ratio is smaller than the first proportional threshold corresponding to the semantic segmentation category; The second proportion is smaller than the second proportion threshold corresponding to the semantic segmentation category; the third proportion is smaller than the third proportion threshold corresponding to the semantic segmentation category.
  • the area ratio thresholds, the first ratio threshold, the second ratio threshold and the third ratio threshold corresponding to different semantic segmentation categories are different.
  • the area ratio thresholds corresponding to different semantic segmentation categories can be shown in Table 1.
  • Semantic Segmentation Category Area Proportion Threshold trees 50% building 20% other objects 10%
  • the area proportion threshold corresponding to the semantic segmentation category of trees is 50%
  • the area proportion threshold corresponding to the semantic segmentation category of buildings is 20%
  • the area proportion threshold corresponding to the semantic segmentation category of other objects is 10%.
  • the target objects in the first semantic segmentation map are trees and buildings
  • the area ratio of the semantic segmentation area corresponding to the tree to the first semantic segmentation map is 30%
  • the semantic segmentation area corresponding to the building is relative to the first semantic segmentation area.
  • the area ratio of the map is 10%.
  • the area ratio of the semantic segmentation area corresponding to trees relative to the first semantic segmentation map is 30% smaller than the area ratio threshold corresponding to the semantic segmentation category of trees, 50%, and the semantic segmentation area corresponding to buildings If the area ratio relative to the first semantic segmentation map is 10% smaller than the area ratio threshold corresponding to the semantic segmentation category building, 20%, the area ratio and semantics of the semantic segmentation region corresponding to the target object relative to the first semantic segmentation map can be determined.
  • the split category meets the preset return-to-home condition.
  • the relative size information threshold is kept fixed, it is impossible to accurately determine whether the airspace above the drone is safe, for example, there is a In fact, the preset return-to-home condition is not met, but it is determined that the preset return-to-home condition is met, resulting in unsafe return of the drone. Therefore, after determining the relative size information and semantic segmentation category of the target object, obtain the suspension of the drone. stop height, and determine the corresponding target relative size information threshold for each semantic segmentation category according to the hovering height of the drone, and then determine whether the relative size information and semantic segmentation category of the target object meet the preset return according to the target relative size information threshold.
  • the method of determining the corresponding target relative size information threshold of each semantic segmentation category according to the hovering height of the UAV may be: determining the hovering height range where the hovering height is located, and obtaining the The mapping relationship between the hovering height range, the semantic segmentation category and the relative size information threshold; according to the mapping relationship and the hovering height range where the hovering height is located, the target relative size information threshold corresponding to each semantic segmentation category is determined.
  • the target relative size information threshold is negatively correlated with the hovering height, that is, the higher the hovering height is, the smaller the target relative size information threshold is, and the lower the hovering height is, the larger the target relative size information threshold is.
  • the size information threshold includes an area ratio threshold, and the mapping relationship between the hovering height range, the semantic segmentation category and the area ratio threshold can be set based on the actual situation, which is not specifically limited in this application.
  • the mapping relationship between hover height, semantic segmentation category and area ratio threshold can be shown in Table 2.
  • the hovering height of the drone is 2.5 meters, and 2.5 meters is in the hovering height range of 2 to 3 meters. Therefore, it can be seen from Table 2 that within the hovering height range of 2 to 3 meters, the semantic segmentation of trees
  • the area proportion threshold corresponding to the category is 50%
  • the area proportion threshold corresponding to the semantic segmentation category of buildings is 20%
  • the area proportion threshold corresponding to the semantic segmentation category of other objects is 10%.
  • the return-to-home control method obtained by the above-mentioned embodiment obtains a first semantic segmentation map by acquiring a first environmental image of the airspace above the drone, and performs semantic segmentation processing on the region of interest in the first environmental image, and then determines the first semantic segmentation map.
  • the semantic segmentation area corresponding to the target object in the segmentation map is relative to the relative size information of the first semantic segmentation map and the semantic segmentation category of the target object, and when the relative size information and the semantic segmentation category meet the preset return-to-home condition, control no
  • the man-machine rises until the height of the drone reaches the set return altitude, so that the drone without omnidirectional obstacle avoidance function can accurately determine whether the airspace above the drone is safe and ensure the safety of the drone's return. , to improve the return flight safety and user experience of the drone.
  • FIG. 6 is a schematic flowchart of steps of another return-to-home control method provided by an embodiment of the present application.
  • the return-to-home control method includes steps S201 to S206.
  • Step S201 acquiring a first environment image of the airspace above the drone, and performing semantic segmentation processing on the region of interest in the first environment image to obtain a first semantic segmentation map.
  • the first environment image can be acquired by the first photographing device or the second photographing device of the drone, the first photographing device can be the front-view photographing device of the drone, the posture of the first photographing device can be adjusted, and the first photographing device can be adjusted.
  • the direction of the lens of a photographing device changes with the change of the posture of the first photographing device.
  • the direction of the lens of the first photographing device can face the sky, and the second photographing device is a top-view photographing device of a drone.
  • the camera direction is towards the sky.
  • Step S202 Determine the relative size information of the semantic segmentation region corresponding to the target object in the first semantic segmentation map relative to the first semantic segmentation map and the semantic segmentation category of the target object.
  • the target objects include objects other than the sky, for example, the target objects include buildings, trees and other objects, and the other objects include wires and the like.
  • the color of each semantic segmentation region in the first semantic segmentation map is obtained; according to the color of each semantic segmentation region and a preset color set, the semantic segmentation region and the corresponding target object in the first semantic segmentation map are determined.
  • Semantic segmentation category determine the first size information of the semantic segmentation area corresponding to the target object, and determine the second size information of the first semantic segmentation map; determine the first semantic segmentation map based on the first size information and the second size information. relative size information of the semantic segmentation region corresponding to the target object with respect to the first semantic segmentation map.
  • Step S203 When the relative size information and the semantic segmentation category do not meet the preset return-to-home condition, perform semantic segmentation processing on the first environment image to obtain a second semantic segmentation map.
  • the relative size information and the semantic segmentation category do not meet the preset return-to-home conditions, that is, when the relative size information is greater than or equal to the relative size information threshold corresponding to the semantic segmentation category, perform semantic segmentation processing on the first environment image to obtain the second semantic segmentation picture.
  • a semantic segmentation process is performed on the region of interest 41 in the first environment image 40 to obtain a first semantic segmentation map 50 .
  • the first semantic segmentation map 50 includes a semantic segmentation region corresponding to the semantic segmentation category of sky. 51.
  • the semantic segmentation area 52 corresponding to the semantic segmentation category of buildings and the semantic segmentation area 53 corresponding to the semantic segmentation category of trees are obtained through calculation, and the area ratio of the semantic segmentation area 51 relative to the first semantic segmentation map 50 is 30 %, the area ratio of the semantic segmentation region 52 relative to the first semantic segmentation map 50 is 33%, and the area ratio of the semantic segmentation region 53 relative to the first semantic segmentation map 50 is 37%, that is, the area ratio of trees is 37%,
  • the area proportion of buildings is 33%
  • the area proportion threshold corresponding to the semantic segmentation category of trees is 20%
  • the area proportion threshold corresponding to the semantic segmentation category of buildings is 50%. Therefore, the area proportion of trees exceeds 37%. If the area ratio threshold is 20%, it can be determined that the area ratio and the semantic segmentation category do not meet the preset return-to-home conditions.
  • Step S204 according to the second semantic segmentation map, determine the side movement direction and side movement distance of the UAV.
  • the second semantic segmentation map is split into a plurality of semantic segmentation sub-maps, and the relative size information and semantic segmentation category of the target object in each semantic segmentation sub-map relative to the semantic segmentation sub-map are determined;
  • the relative size information and semantic segmentation category of the target object in the semantic segmentation sub-image relative to the semantic segmentation sub-image determine the target semantic segmentation sub-image from multiple semantic segmentation sub-images; according to the target semantic segmentation sub-image, determine the UAV's Sideshift direction and sideshift distance.
  • the relative size information of the target object in the target semantic segmentation sub-image relative to the target semantic segmentation sub-image is smaller than the relative size information threshold corresponding to the semantic segmentation category, the size of each semantic segmentation sub-image is equal, and the generated semantic segmentation sub-images are smaller than the corresponding relative size information threshold. can overlap.
  • the method of splitting the second semantic segmentation map into multiple semantic segmentation sub-images may be: generating a sliding frame corresponding to a preset image size, and moving the sliding frame in a left-to-right and top-to-bottom manner
  • the pixel length is preset to split the second semantic segmentation map into multiple semantic segmentation sub-maps.
  • the preset image size and the preset pixel length may be set based on actual conditions, which are not specifically limited in this embodiment of the present application. Exemplarily, as shown in FIG. 8 , the sliding frame 61 moves in the second semantic segmentation map 60 in a left-to-right and top-to-bottom manner, and the preset pixel length is moved each time, so that the semantic segmentation sub-map 1 can be obtained.
  • the semantic segmentation subgraph 15 there are 15 semantic segmentation subgraphs in total.
  • the relative size information and semantic segmentation category of the target objects in the 15 semantic segmentation subgraphs relative to the semantic segmentation subgraph are determined.
  • the relative size information thresholds corresponding to the segmentation categories it can be obtained that the area ratio of the semantic segmentation subgraph 8 is smaller than the relative size information threshold corresponding to the semantic segmentation category of the target object, so the semantic segmentation subgraph 8 can be determined as the target semantic segmentation subgraph .
  • the method of determining the lateral movement direction and the lateral movement distance of the UAV may be: determining the relative relationship between the target semantic segmentation sub-map and the region of interest in the first environment image. Positional relationship; according to the relative positional relationship and the installation position of the photographing device in the drone on the drone, determine the side-shift direction and side-shift distance of the drone.
  • the relative positional relationship between the target semantic segmentation sub-image and the region of interest in the first environment image includes relative orientation and relative distance.
  • the relative orientation can determine the side movement direction of the drone, and the relative distance can determine the unmanned aerial vehicle.
  • the sideshift distance of the machine For example, as shown in FIG. 7 and FIG. 8 , the semantic segmentation sub-graph 8 is located at the lower right of the region of interest 41 , then it can be determined that the lateral movement direction of the UAV is the right rear.
  • Step S205 controlling the UAV to move along the side-moving direction until the moving distance of the UAV reaches the side-moving distance.
  • the drone After determining the side movement direction and side movement distance of the drone, control the drone to move along the side movement direction until the movement distance of the drone reaches the side movement distance.
  • the pixel distance between the semantic segmentation map corresponding to the region of interest in the environmental image collected by the camera at this time and the target semantic segmentation sub-map is less than or equal to the preset pixel distance, and the preset pixel distance may be set based on the actual situation, which is not specifically limited in this embodiment of the present application.
  • Step S206 controlling the UAV to ascend until the height of the UAV reaches a preset return-to-home altitude.
  • the preset return-to-home height may be set based on the actual situation, which is not specifically limited in this embodiment of the present application, for example, the preset return-to-home height is 5 meters.
  • the drone when the height of the drone reaches the preset return altitude, the drone is controlled to send the return prompt information to the control terminal, so that the control terminal can output the return prompt information, so as to remind the user that the return height has met the return home requirement, and the control terminal
  • the control terminal When receiving the return confirmation command triggered by the user, send the return confirmation command to the drone, and when the drone receives the return confirmation command, control the drone to automatically return according to the return confirmation command.
  • the size change trend of the target object in the semantic segmentation map is obtained; when the size change trend is the size of the target object in the semantic segmentation map When it gradually decreases, control the drone to rise until the altitude of the drone reaches the preset return-to-home altitude.
  • a first minimum distance for direct ascent is set. If the drone determines that the return-to-home condition is not met until the first minimum distance is directly raised, it is judged again whether the drone meets the return-to-home condition. If the preset return-to-home conditions are still not met, stop direct ascent and take other automatic return-to-home measures.
  • a second minimum distance for direct descent is set.
  • the distance measurement operation is performed in combination with the downward-looking camera, and the drone is instructed to move down the second minimum distance. After the drone descends the second minimum distance, other automatic return-to-home measures are taken to improve the safety of return-to-home.
  • the method of acquiring the size change trend of the target object in the semantic segmentation map may be: controlling the drone to ascend a preset distance, and after the drone ascends the preset distance, acquire the size of the airspace above the drone. the second environment image; perform semantic segmentation on the region of interest in the second environment image to obtain a third semantic segmentation map; determine the difference between the semantic segmentation region corresponding to the target object in the third semantic segmentation map and the third semantic segmentation map Relative size information; according to the relative size information of the semantic segmentation region corresponding to the target object in the first semantic segmentation map relative to the first semantic segmentation map and the semantic segmentation region corresponding to the target object in the third semantic segmentation map relative to the third semantic segmentation map
  • the relative size information of the segmentation map determines the size change trend of the target object in the semantic segmentation map.
  • the preset distance may be set based on the actual situation, which is not specifically limited in this embodiment of the present application, for example, the preset distance is 1 meter.
  • the size change trend of the target object in the semantic segmentation map is obtained; when the size change trend is that the size of the target object in the semantic segmentation map gradually increases. When it decreases, control the drone to rise until the altitude of the drone reaches the preset return-to-home altitude.
  • the side-shift direction and side-shift distance of the drone are determined, and the drone is controlled along the side-shift direction. Move until the moving distance of the drone reaches the side shift distance, and then control the drone to rise until the altitude of the drone reaches the preset return altitude, so that the drone without omnidirectional obstacle avoidance function can also accurately Determine whether the airspace above the drone is safe, ensure the return of the drone, and improve the return safety and user experience of the drone.
  • FIG. 9 is a schematic structural block diagram of a return-to-home control device provided by an embodiment of the present application.
  • the return-to-home control device 300 includes a processor 301 and a memory 302, and the processor 301 and the memory 302 are connected through a bus 303, such as an I2C (Inter-integrated Circuit) bus.
  • a bus 303 such as an I2C (Inter-integrated Circuit) bus.
  • the processor 301 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU) or a digital signal processor (Digital Signal Processor, DSP) or the like.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 302 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, a mobile hard disk, and the like.
  • ROM Read-Only Memory
  • the memory 302 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, a mobile hard disk, and the like.
  • the processor 301 is used for running the computer program stored in the memory 302, and implements the following steps when executing the computer program:
  • the UAV is controlled to ascend until the height of the UAV reaches the preset return-to-home altitude.
  • the target object includes objects other than the sky in the first semantically segmented image.
  • the UAV includes a first photographing device, and the acquiring a first environment image of the airspace above the UAV includes:
  • the first photographing device After the lens of the first photographing device faces the sky, the first photographing device is controlled to take pictures to obtain a first environment image of the airspace above the drone.
  • the angle between the lens direction and the horizontal direction of the first photographing device after the posture is adjusted is within a preset angle range.
  • the drone includes a second photographing device, the lens of the second photographing device is directed toward the sky, and the first environment image is collected by the second photographing device.
  • the UAV includes a first photographing device or a second photographing device, and the region of interest in the first environment image is subjected to semantic segmentation processing to obtain an image of the airspace above the UAV.
  • Semantic segmentation map including:
  • the region of interest is input into a preset semantic segmentation network for semantic segmentation processing to output the first semantic segmentation map, wherein the preset semantic segmentation network is a pre-trained convolutional neural network.
  • the relative size information includes at least one of the following:
  • the preset return-to-home condition includes that the relative size information satisfies a relative size information threshold corresponding to the semantic segmentation category.
  • the preset return-to-home condition includes at least one of the following:
  • the area ratio is less than the area ratio threshold corresponding to the semantic segmentation category
  • the first scale is smaller than the first scale threshold corresponding to the semantic segmentation category
  • the second scale is smaller than the second scale threshold corresponding to the semantic segmentation category
  • the third scale is smaller than a third scale threshold corresponding to the semantic segmentation category.
  • the processor implements determining the relative size information of the semantic segmentation region corresponding to the target object in the first semantic segmentation map with respect to the first semantic segmentation map and the semantic segmentation category of the target object After that, also used to implement:
  • Whether the relative size information and the semantic segmentation category satisfy a preset return-to-home condition is determined according to the target relative size information threshold.
  • the target relative size information threshold is negatively correlated with the hovering height.
  • the processor implements determining the relative size information of the semantic segmentation region corresponding to the target object in the first semantic segmentation map with respect to the first semantic segmentation map and the semantic segmentation category of the target object After that, also used to implement:
  • the second semantic segmentation map determine the side movement direction and side movement distance of the UAV
  • the determining the side-moving direction and the side-moving distance of the UAV according to the second semantic segmentation map includes:
  • the lateral movement direction and the lateral movement distance of the UAV are determined.
  • the determining the side-moving direction and the side-moving distance of the UAV according to the target semantic segmentation sub-graph includes:
  • the side shifting direction and the side shifting distance of the UAV are determined.
  • the processor implements determining the relative size information of the semantic segmentation region corresponding to the target object in the first semantic segmentation map with respect to the first semantic segmentation map and the semantic segmentation category of the target object After that, also used to implement:
  • the UAV is controlled to ascend until the height of the UAV reaches a preset return-to-home altitude.
  • the acquiring the size change trend of the target object in the semantic segmentation map includes:
  • the relative size information of the semantic segmentation region corresponding to the target object in the first semantic segmentation map relative to the first semantic segmentation map and the semantic segmentation region corresponding to the target object in the third semantic segmentation map Based on the relative size information of the third semantic segmentation map, determine the size change trend of the target object in the semantic segmentation map.
  • FIG. 10 is a schematic structural block diagram of an unmanned aerial vehicle provided by an embodiment of the present application.
  • the drone 400 includes a body 410 , a photographing device 420 arranged on the body 410 , a power system 430 arranged on the body 410 , and a return-to-home control device arranged in the body 410 , wherein the photographing device 420 uses
  • the power system 430 is used to provide the flight power for the UAV 400
  • the return control device 440 is used to control the UAV 400 to return.
  • Embodiments of the present application further provide a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, and the computer program includes program instructions, and the processor executes the program instructions to realize the provision of the above embodiments.
  • the steps of the return-to-home control method are described in detail below.
  • the computer-readable storage medium may be an internal storage unit of the UAV described in any of the foregoing embodiments, such as a hard disk or a memory of the UAV.
  • the computer-readable storage medium can also be an external storage device of the drone, such as a plug-in hard disk equipped on the drone, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, flash memory card (Flash Card), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种返航控制方法、装置、无人机及计算机可读存储介质，包括：获取无人机上方空域的第一环境图像，并对所述第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图(S101)；确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别(S102)；当所述相对尺寸信息和所述语义分割类别满足预设返航条件时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度(S103)。该方法提高了无人机的返航安全性。

Description

返航控制方法、装置、无人机及计算机可读存储介质 技术领域
本申请涉及无人机技术领域，尤其涉及一种返航控制方法、装置、无人机及计算机可读存储介质。
背景技术
对于无人机的返航控制，需要确定无人机上方空域是否安全，在无人机上方空域安全的前提下，控制无人机进行返航。目前，对于具备避障功能的无人机，可以通过激光雷达、TOF传感器和双目视觉传感器等来确定无人机上方空域是否安全，但对于不具备避障功能的无人机，无法通过激光雷达、TOF传感器和双目视觉传感器等来确定无人机上方空域是否安全，无法保证无人机的返航安全，用户体验不好。
发明内容
基于此，本申请实施例提供了一种返航控制方法、装置、无人机及计算机可读存储介质，旨在提高无人机的返航安全性。
第一方面，本申请实施例提供了一种返航控制方法，包括：
获取无人机上方空域的第一环境图像，并对所述第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图；
确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别；
当所述相对尺寸信息和所述语义分割类别满足预设返航条件时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
第二方面，本申请实施例还提供了一种返航控制装置，所述返航控制装置包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取无人机上方空域的第一环境图像，并对所述第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图；
确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别；
当所述相对尺寸信息和所述语义分割类别满足预设返航条件时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
第三方面，本申请实施例还提供了一种无人机，所述无人机包括：
机体；
拍摄装置，设于所述机体上，用于采集所述无人机上方空域的环境图像；
动力系统，设于所述机体上，用于为所述无人机提供飞行动力；
如上所述的返航控制装置，设于所述机体内，用于控制所述无人机返航。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的返航控制方法的步骤。
本申请实施例提供了一种返航控制方法、装置、无人机及计算机可读存储介质，通过获取无人机上方空域的第一环境图像，并对第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图，然后确定第一语义分割图中的目标对象对应的语义分割区域相对于第一语义分割图的相对尺寸信息和该目标对象的语义分割类别，并当相对尺寸信息和该语义分割类别满足预设返航条件时，控制无人机上升，直至无人机的高度达到预设返航高度，使得不具备避障功能的无人机也可以准确的确定无人机上方空域是否安全，保证无人机的返航安全，提高无人机的返航安全性和用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的返航控制方法的场景示意图；
图2是本申请实施例提供的一种返航控制方法的步骤示意流程图；
图3是图2中的返航控制方法的子步骤示意流程图；
图4是本申请实施例中的第一环境图像中的感兴趣区域的示意图；
图5是本申请实施例中的环境图像和环境图像对应的语义分割图的示意图；
图6是本申请实施例提供的另一种返航控制方法的步骤示意流程图；
图7是本申请实施例中的第一环境图像和感兴趣区域对应的语义分割图的示意图；
图8是本申请实施例中将第二语义分割图拆分为多个语义分割子图的示意图；
图9是本申请实施例提供的一种返航控制装置的结构示意性框图；
图10是本申请实施例提供的一种无人机的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
对于无人机的返航控制，需要确定无人机上方空域是否安全，在无人机上方空域安全的前提下，控制无人机进行返航。目前，对于具备避障功能的无人机，可以通过激光雷达、TOF传感器和双目视觉传感器等来确定无人机上方空域是否安全，但对于不具备避障功能的无人机，无法通过激光雷达、TOF传感器和双目视觉传感器等来确定无人机上方空域是否安全，无法保证无人机的返航安全，用户体验不好。
为解决上述问题，本申请实施例提供了一种返航控制方法、装置、无人机及计算机可读存储介质，通过获取无人机上方空域的第一环境图像，并对第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图，然后确定第一语义分割图中的目标对象对应的语义分割区域相对于第一语义分割图的相对尺寸信息和该目标对象的语义分割类别，并当相对尺寸信息和该语义分割类别满足预设返航条件时，控制无人机上升，直至无人机的高度达到预设返航高度，使得不具备全方向的避障功能的无人机也可以准确的确定无人机上方空域 是否安全，保证无人机的返航安全，提高无人机的返航安全性和用户体验。
请参阅图1，图1是实施本申请实施例提供的返航控制方法的场景示意图。
如图1所示，该场景包括无人机100和控制终端200，无人机100与控制终端200通信连接，控制终端200用于控制无人机100飞行，无人机100包括机体110、设于机体上的动力系统120和设于机体上的拍摄装置130，动力系统120为无人机100提供飞行动力，拍摄装置130用于采集无人机100上方空域的环境图像。其中，无人机100还包括第一无线通信装置(图1中未示出)，控制终端200包括显示装置110和第二无线通信装置(图1中未示出)，通过无人机100内的第一无线通信装置可以与控制终端200内的第二无线通信装置通信，从而建立无人机100与控制终端200的之间的通信连接。
其中，控制终端200通过显示装置210显示无人机100传输的编码后的视频帧，以供用户观看。需要说明的是，显示装置210包括设置在控制终端200上的显示屏或者独立于控制终端200的显示器，独立于控制终端200的显示器可以包括手机、平板电脑或者个人电脑等，或者也可以是带有显示屏的其他电子设备。其中，该显示屏包括LED显示屏、OLED显示屏、LCD显示屏等等，控制终端100包括遥控器、地面控制平台、手机、平板电脑、笔记本电脑和PC电脑等。
其中，水平方向的动力系统120中的一个或者多个可以顺时针方向旋转，而水平方向的动力系统120中的其它一个或者多个可以逆时针方向旋转。例如，顺时针旋转的动力系统120与逆时针旋转的动力系统120的数量一样。每一个水平方向的动力系统120的旋转速率可以独立变化，以实现每个动力系统120导致的提升及/或推动操作，从而调整无人机100的空间方位、速度及/或加速度(如相对于多达三个自由度的旋转及平移)。
在一实施例中，动力系统120能够使无人机100垂直地从地面起飞，或者垂直地降落在地面上，而不需要无人机100任何水平运动(如不需要在跑道上滑行)。可选的，动力系统120可以允许无人机100在空中预设位置和/或方向盘旋。一个或者多个动力系统120在受到控制时可以独立于其它的动力系统120。可选的，一个或者多个动力系统120可以同时受到控制。例如，无人机100可以有多个水平方向的动力系统120，以追踪目标的提升及/或推动。水平方向的动力系统120可以被致动以提供无人机100垂直起飞、垂直降落、盘旋的能力。
在一实施例中，无人机100还可以包括传感系统，传感系统可以包括一个或者多个传感器，以感测无人机100的空间方位、速度及/或加速度(如相对于 多达三个自由度的旋转及平移)、角加速度、姿态、位置(绝对位置或者相对位置)等。所述一个或者多个传感器包括GPS传感器、运动传感器、惯性传感器、近程传感器或者影像传感器。可选的，传感系统还可以用于采集，无人机100所处的环境数据，如气候条件、要接近的潜在的障碍、地理特征的位置、人造结构的位置等。
在一实施例中，无人机100还包括返航控制装置(图1中未示出)，返航控制装置能够获取无人机100上方空域的第一环境图像，并对第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图，然后确定第一语义分割图中的目标对象对应的语义分割区域相对于第一语义分割图的相对尺寸信息和该目标对象的语义分割类别，并当相对尺寸信息和该语义分割类别满足预设返航条件时，控制无人机100上升，直至无人机100的高度达到设定的返航高度，使得不具备全方向的避障功能的无人机也可以准确的确定无人机上方空域是否安全，保证无人机的返航安全，提高无人机的返航安全性和用户体验。其中，第一环境图像可以是通过镜头朝向天空的拍摄装置130采集到的。
以下，将结合图1中的场景对本申请的实施例提供的返航控制方法进行详细介绍。需知，图1中的场景仅用于解释本申请实施例提供的返航控制方法，但并不构成对本申请实施例提供的返航控制方法应用场景的限定。
请参阅图2，图2是本申请实施例提供的一种返航控制方法的步骤示意流程图。该返航控制方法可以应用于无人机中，用于控制无人机返航，以提高无人机的返航安全性。
如图2所示，该返航控制方法包括步骤S101至步骤S103。
步骤S101、获取无人机上方空域的第一环境图像，并对所述第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图。
在无人机返航之前，获取无人机上方空域的第一环境图像，并对第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图。其中，第一环境图像可以通过无人机的第一拍摄装置或第二拍摄装置采集得到。
在一实施例中，如图3所示，获取无人机上方空域的第一环境图像的步骤可以包括子步骤S1011至S1012。
子步骤S1011、调整所述第一拍摄装置的姿态，直至调整姿态后的所述第一拍摄装置的镜头方向朝向天空；
子步骤S1012、在所述第一拍摄装置的镜头朝向天空后，控制所述第一拍摄装置拍照，得到所述无人机上方空域的第一环境图像。
其中，无人机包括第一拍摄装置，第一拍摄装置可以为无人机的前视拍摄装置，在无人机需要返航时，通过调整第一拍摄装置的姿态，直至调整姿态后的第一拍摄装置的镜头方向朝向天空，并在第一拍摄装置的镜头朝向天空后，控制第一拍摄装置拍照，从而可以得到无人机上方空域的第一环境图像，不需要增加新的拍摄装置，减少器件成本和降低复杂度。
在一实施例中，调整姿态后的第一拍摄装置的镜头方向与水平方向之间的夹角位于预设夹角范围内，也即在调整姿态后的第一拍摄装置的镜头的仰角位于预设夹角范围内时，可以确定调整姿态后的第一拍摄装置的镜头方向朝向天空。其中，预设夹角范围可以基于实际情况进行设置，本申请实施例对此不做具体限定。例如，预设夹角范围为45°至90°或者预设夹角范围为60°至90°。
在一实施例中，无人机包括第二拍摄装置，第二拍摄装置的镜头方向朝向天空，第一环境图像可以是通过第二拍摄装置采集到的。例如，在无人机需要返航时，由于第二拍摄装置的镜头方向朝向天空，因此通过控制第二拍摄装置拍照，可以得到无人机上方空域的第一环境图像。其中，第二拍摄装置的镜头方向朝向天空时，第二拍摄装置的镜头方向与水平方向之间的夹角位于预设夹角范围内。通过设置一个镜头方向朝向天空的拍摄装置，在返航时不需要再次调整拍摄装置的姿态，能够快速的获取到无人机上方空域的环境图像，减少等待时间，提高用户体验。
在一实施例中，对第一环境图像中的感兴趣区域进行语义分割处理，得到无人机上方空域的语义分割图的方式可以为：获取第一拍摄装置或第二拍摄装置的视场角，以及第一拍摄装置或第二拍摄装置的镜头方向与水平方向之间的夹角；根据该视场角、该夹角和预设图像尺寸，提取第一环境图像中的感兴趣区域；将感兴趣区域输入至预设语义分割网络进行语义分割处理，以输出第一语义分割图，其中，预设语义分割网络为预先训练好的卷积神经网络。其中，预设图像尺寸可根据实际情况进行设置，本申请实施例对此不做具体限定。通过拍摄装置的视场角、镜头方向与水平方向之间的夹角和预设图像尺寸提取到的感兴趣区域与无人机返航过程的空域对应的图像区域最匹配，便于后续准确的确定无人机返航过程的空域是否安全，提高无人机的返航安全性。
在一实施例中，根据该视场角、该夹角和预设图像尺寸，提取第一环境图像中的感兴趣区域的方式可以为：根据该视场角和夹角确定无人机在第一环境图像中的投影区域；根据该投影区域的中心点的像素坐标和预设图像尺寸，提取第一环境图像中的感兴趣区域。其中，感兴趣区域的尺寸与预设图像尺寸相 同。如图4所示，矩形框11选中的区域为第一环境图像中的感兴趣区域，也即感兴趣区域与无人机在第一环境图像中的投影区域重叠。
在一实施例中，通过对卷积神经网络进行训练，得到预设语义分割网络的方式可以为：通过无人机的拍摄装置采集无人机上方空域的环境图像；对该环境图像进行语义分割类别标注，得到该环境图像对应的语义分割图，从而可以构建得到多组包含环境图像和该环境图像对应的语义分割图的样本数据；根据多组样本数据对卷积神经网络进行训练，直至训练后的卷积神经网络收敛，或者训练次数达到预设训练次数，得到预设语义分割网络。
其中，在对环境图像进行语义分割类别标注时，标注的语义分割类别包括天空、建筑物、树木和其它物体，标注得到的语义分割图中的每种语义分割类别对应的图像区域的颜色不同，标注得到的语义分割图中的每种语义分割类别对应的图像区域的颜色可基于实际情况进行设置，本申请实施例对此不做具体限定，例如，天空这一语义分割类别对应的图像区域的颜色为蓝色，建筑物这一语义分割类别对应的图像区域的颜色为黄色，树木这一语义分割类别对应的图像区域的颜色为绿色，其它物体这一语义分割类别对应的图像区域的颜色为灰色。
示例性的，如图5所示，环境图像20包括树木对应的图像区域21、建筑物对应的图像区域22、天空对应的图像区域23，对环境图像20进行语义分割类别标注后，可以得到语义分割图30，语义分割图30包括语义分割区域31、语义分割区域32和语义分割区域33，且语义分割区域31是对树木对应的图像区域21进行颜色填充得到的，语义分割区域32是对树木对应的图像区域22进行颜色填充得到的，语义分割区域33是对天空对应的图像区域23进行颜色填充得到的。
步骤S102、确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别。
其中，目标对象包括除天空以外的对象，例如，目标对象包括建筑物、树木和其它物体，其它物体包括电线等，所述相对尺寸信息包括如下至少一种：所述目标对象对应的语义分割区域相对于所述第一语义分割图的面积比例；所述目标对象对应的语义分割区域的最大长度相对于所述第一语义分割图的长度的第一比例；所述目标对象对应的语义分割区域的最大宽度相对于所述第一语义分割图的宽度的第二比例；所述目标对象对应的语义分割区域的最大尺寸相对于所述第一语义分割图在相同方向的尺寸的第三比例，所述目标对象对应的 语义分割区域的最大尺寸可以根据目标对象对应的语义分割区域的最大宽度和最大长度确定。
在一实施例中，确定第一语义分割图中的目标对象的语义分割类别的方式可以为：获取第一语义分割图中的每个语义分割区域的颜色；根据每个语义分割区域的颜色和预设颜色集合，确定第一语义分割图中的目标对象对应的语义分割区域和语义分割类别。其中，预设颜色集合包括建筑物、树木和其它物体这三个语义分割类别对应的不同颜色，例如，预设颜色集合包括黄色、绿色和灰色。
示例性的，确定该目标对象对应的语义分割区域的第一面积，并确定第一语义分割图的第二面积；根据第一面积和第二面积，确定目标对象对应的语义分割区域相对于第一语义分割图的面积比例，即确定第一面积与第二面积的比值，并将第一面积与第二面积的比值确定为该目标对象对应的语义分割区域相对于第一语义分割图的面积比例。
示例性的，确定该目标对象对应的语义分割区域的最大长度和第一语义分割图的长度，并确定该目标对象对应的语义分割区域的最大长度与第一语义分割图的长度的比值，且将该目标对象对应的语义分割区域的最大长度与第一语义分割图的长度的比值确定为第一比例。确定该目标对象对应的语义分割区域的最大宽度和第一语义分割图的宽度，并确定该目标对象对应的语义分割区域的最大宽度与第一语义分割图的宽度的比值，且将该目标对象对应的语义分割区域的最大宽度与第一语义分割图的宽度的比值确定为第二比例。
步骤S103、当所述相对尺寸信息和所述语义分割类别满足预设返航条件时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
其中，预设返航条件包括相对尺寸信息小于该语义分割类别对应的相对尺寸信息阈值。进一步地，预设返航条件包括相对尺寸信息小于该语义分割类别对应的相对尺寸信息阈值，且相对尺寸信息与该语义分割类别对应的相对尺寸信息阈值之间的差值大于预设差值。其中，不同语义分割类别对应的相对尺寸信息阈值不同，预设差值和不同语义分割类别对应的相对尺寸信息阈值可基于实际情况进行设置，本申请实施例对此不做具体限定。
在一实施例中，预设返航条件包括如下至少一种：所述面积比例小于所述语义分割类别对应的面积比例阈值；所述第一比例小于所述语义分割类别对应的第一比例阈值；所述第二比例小于所述语义分割类别对应的第二比例阈值；所述第三比例小于所述语义分割类别对应的第三比例阈值。不同语义分割类别 对应的面积比例阈值、第一比例阈、第二比例阈值和第三比例阈值不同，例如，不同语义分割类别对应的面积比例阈值可如表1所示。
表1
语义分割类别 面积比例阈值
树木 50％
建筑物 20％
其它物体 10％
如表1所示，树木这一语义分割类别对应的面积比例阈值为50％，建筑物这一语义分割类别对应的面积比例阈值为20％，其它物体这一语义分割类别对应的面积比例阈值为10％。如果第一语义分割图中的目标对象为树木和建筑物，且树木对应的语义分割区域相对于第一语义分割图的面积比例为30％，建筑物对应的语义分割区域相对于第一语义分割图的面积比例为10％，由于树木对应的语义分割区域相对于第一语义分割图的面积比例30％小于树木这一语义分割类别对应的面积比例阈值50％，且建筑物对应的语义分割区域相对于第一语义分割图的面积比例10％小于建筑物这一语义分割类别对应的面积比例阈值20％，则可以确定目标对象对应的语义分割区域相对于第一语义分割图的面积比例和语义分割类别满足预设返航条件。
在一实施例中，由于无人机的悬停高度对目标对象在语义分割图中的尺寸有影响，如果相对尺寸信息阈值保持固定，无法准确地确定无人机上方空域是否安全，例如，存在实际不满足预设返航条件，而判定满足预设返航条件的情况发生，导致无人机的返航不安全，因此，在确定目标对象的相对尺寸信息和语义分割类别之后，获取无人机的悬停高度，并根据无人机的悬停高度确定每个语义分割类别各自对应的目标相对尺寸信息阈值，然后根据目标相对尺寸信息阈值确定目标对象的相对尺寸信息和语义分割类别是否满足预设返航条件；当该相对尺寸信息和语义分割类别满足预设返航条件时，控制无人机上升，直至无人机的高度达到预设返航高度。通过无人机的悬停高度，确定语义分割类别对应的目标相对尺寸信息阈值，可以准确地确定无人机上方空域是否安全，提高无人机的返航安全性。
在一实施例中，根据无人机的悬停高度确定每个语义分割类别各自对应的目标相对尺寸信息阈值的方式可以为：确定悬停高度所处的悬停高度范围，并获取预存的悬停高度范围、语义分割类别和相对尺寸信息阈值之间的映射关系；根据该映射关系和悬停高度所处的悬停高度范围，确定每个语义分割类别各自 对应的目标相对尺寸信息阈值。其中，目标相对尺寸信息阈值与悬停高度呈负相关关系，也即，悬停高度越高，则目标相对尺寸信息阈值越小，悬停高度越低，则目标相对尺寸信息阈值越大，相对尺寸信息阈值包括面积比例阈值，悬停高度范围、语义分割类别和面积比例阈值之间的映射关系可基于实际情况进行设置，本申请对此不做具体限定。例如，悬停高度、语义分割类别和面积比例阈值之间的映射关系可如表2所示。
表2
Figure PCTCN2020130636-appb-000001
例如，无人机的悬停高度为2.5米，2.5米处于2至3米的悬停高度范围，因此，通过表2可知，在2至3米的悬停高度范围内，树木这一语义分割类别对应的面积比例阈值为50％，建筑物这一语义分割类别对应的面积比例阈值为20％，其它物体这一语义分割类别对应的面积比例阈值为10％。
上述实施例提供的返航控制方法，通过获取无人机上方空域的第一环境图像，并对第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图，然后确定第一语义分割图中的目标对象对应的语义分割区域相对于第一语义分割图的相对尺寸信息和该目标对象的语义分割类别，并当相对尺寸信息和该语义分割类别满足预设返航条件时，控制无人机上升，直至无人机的高度达到设定的返航高度，使得不具备全方向的避障功能的无人机也可以准确的确定无人机上方空域是否安全，保证无人机的返航安全，提高无人机的返航安全性和用户体验。
请参阅图6，图6是本申请实施例提供的另一种返航控制方法的步骤示意流程图。
如图6所示，该返航控制方法包括步骤S201至S206。
步骤S201、获取无人机上方空域的第一环境图像，并对所述第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图。
其中，第一环境图像可以通过无人机的第一拍摄装置或第二拍摄装置采集得到，第一拍摄装置可以为无人机的前视拍摄装置，第一拍摄装置的姿态可以调整，且第一拍摄装置的镜头方向随着第一拍摄装置的姿态的变化而发生变化，第一拍摄装置的镜头方向能够朝向天空，第二拍摄装置为无人机的上视拍摄装置，第二拍摄装置的镜头方向朝向天空。
步骤S202、确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别。
其中，目标对象包括除天空以外的对象，例如，目标对象包括建筑物、树木和其它物体，其它物体包括电线等。示例性的，获取第一语义分割图中的每个语义分割区域的颜色；根据每个语义分割区域的颜色和预设颜色集合，确定第一语义分割图中的目标对象对应的语义分割区域和语义分割类别；确定该目标对象对应的语义分割区域的第一尺寸信息，并确定第一语义分割图的第二尺寸信息；基于第一尺寸信息和第二尺寸信息，确定第一语义分割图中的目标对象对应的语义分割区域相对于第一语义分割图的相对尺寸信息。
步骤S203、当所述相对尺寸信息和所述语义分割类别不满足预设返航条件时，对所述第一环境图像进行语义分割处理，得到第二语义分割图。
当相对尺寸信息和语义分割类别不满足预设返航条件，也即相对尺寸信息大于或等于该语义分割类别对应的相对尺寸信息阈值时，对第一环境图像进行语义分割处理，得到第二语义分割图。如图7所示，对第一环境图像40中的感兴趣区域41进行语义分割处理，得到的第一语义分割图50，第一语义分割图50包括天空这一语义分割类别对应的语义分割区域51、建筑物这一语义分割类别对应的语义分割区域52和树木这一语义分割类别对应的语义分割区域53，通过计算得到，语义分割区域51相对于第一语义分割图50的面积比例为30％，语义分割区域52相对于第一语义分割图50的面积比例为33％，语义分割区域53相对于第一语义分割图50的面积比例为37％，也即树木的面积比例为37％，建筑物的面积比例为33％，而树木这一语义分割类别对应的面积比例阈值为20％，建筑物这一语义分割类别对应的面积比例阈值为50％，因此，树木的面积比例37％超过面积比例阈值20％，则可以确定面积比例和语义分割类别不满足预设返航条件。
步骤S204、根据所述第二语义分割图，确定所述无人机的侧移方向和侧移 距离。
示例性的，将第二语义分割图拆分为多个语义分割子图，并确定每个语义分割子图中的目标对象相对于语义分割子图的相对尺寸信息和语义分割类别；根据每个语义分割子图中的目标对象相对于语义分割子图的相对尺寸信息和语义分割类别，从多个语义分割子图中确定目标语义分割子图；根据目标语义分割子图，确定无人机的侧移方向和侧移距离。其中，目标语义分割子图中的目标对象相对于目标语义分割子图的相对尺寸信息小于语义分割类别对应的相对尺寸信息阈值，每个语义分割子图的大小相等，生成的语义分割子图之间可以交叠。
其中，将第二语义分割图拆分为多个语义分割子图的方式可以为：生成预设图像尺寸对应的滑动框，并按照从左到右、从上到下的方式，移动该滑动框预设像素长度，从而将第二语义分割图拆分为多个语义分割子图。其中，预设图像尺寸和预设像素长度可基于实际情况进行设置，本申请实施例对此不做具体限定。示例性的，如图8所示，滑动框61按照从左到右、从上到下的方式在第二语义分割图60中移动，每次移动预设像素长度，从而可以得到语义分割子图1至语义分割子图15，共计15个语义分割子图，通过确定这15个语义分割子图中的目标对象相对于语义分割子图的相对尺寸信息和语义分割类别，再将相对尺寸信息与语义分割类别对应的相对尺寸信息阈值进行比较，可以得到语义分割子图8的面积比例小于目标对象的语义分割类别对应的相对尺寸信息阈值，因此可以将语义分割子图8确定为目标语义分割子图。
在一实施例中，根据目标语义分割子图，确定无人机的侧移方向和侧移距离的方式可以为：确定目标语义分割子图与第一环境图像中的感兴趣区域之间的相对位置关系；根据该相对位置关系以及无人机中的拍摄装置在无人机上的安装位置，确定无人机的侧移方向和侧移距离。其中，目标语义分割子图与第一环境图像中的感兴趣区域之间的相对位置关系包括相对方位和相对距离，通过相对方位可以确定无人机的侧移方向，通过相对距离可以确定无人机的侧移距离。例如，如图7和图8所示，语义分割子图8位于感兴趣区域41的右下方，则可以确定无人机的侧移方向为右后方。
步骤S205、控制所述无人机沿着所述侧移方向移动，直至所述无人机的移动距离达到所述侧移距离。
在确定无人机的侧移方向和侧移距离后，控制无人机沿着该侧移方向移动，直至无人机的移动距离达到该侧移距离。其中，在无人机沿着该侧移方向移动 该侧移距离后，此时通过拍摄装置采集到的环境图像中的感兴趣区域对应的语义分割图与目标语义分割子图之间的像素距离小于或等于预设像素距离，该预设像素距离可基于实际情况进行设置，本申请实施例对此不做具体限定。
步骤S206、控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
在无人机沿着该侧移方向移动该侧移距离后，控制无人机上升，直至无人机的高度达到预设返航高度。其中，预设返航高度可基于实际情况进行设置，本申请实施例对此不做具体限定，例如，预设返航高度为5米。进一步地，在无人机的高度达到预设返航高度时，控制无人机向控制终端发送返航提示信息，以供控制终端输出该返航提示信息，以提示用户返航高度已满足返航要求，控制终端在接收到用户触发的返航确认指令时，向无人机发送该返航确认指令，无人机在接收到返航确认指令时，根据该返航确认指令，控制无人机自动返航。
在一实施例中，当相对尺寸信息和语义分割类别不满足预设返航条件时，获取目标对象在语义分割图中的尺寸变化趋势；当该尺寸变化趋势为目标对象在语义分割图中的尺寸逐渐减小时，控制无人机上升，直至无人机的高度达到预设返航高度。通过在相对尺寸信息和语义分割类别不满足预设返航条件时，基于目标对象在语义分割图中的尺寸变化趋势确定无人机上方空域是否安全，可以提高无人机的返航安全性。在另一实施例中，当相对尺寸信息和语义分割类别不满足预设返航条件时，设置直接上升的第一最小距离。若无人机判断不满足返航条件至直接上升该第一最小距离，则再次判断无人机是否满足返航条件。若仍旧不满足预设返航条件，则停止直接上升，并采取其他自动返航措施。在又一实施例中，当相对尺寸信息和语义分割类别不满足预设返航条件时，设置直接下降的第二最小距离。若无人机判断不满足返航条件，则结合下视摄像头进行测距操作，并指示无人机向下移动该第二最小距离。当无人机下降该第二最小距离之后，采取其他自动返航措施，以提高返航的安全性。
在一实施例中，获取目标对象在语义分割图中的尺寸变化趋势的方式可以为：控制无人机上升预设距离，并在无人机上升预设距离后，获取无人机上方空域的第二环境图像；对第二环境图像中的感兴趣区域进行语义分割处理，得到第三语义分割图；确定第三语义分割图中的目标对象对应的语义分割区域相对于第三语义分割图的相对尺寸信息；根据第一语义分割图中的目标对象对应的语义分割区域相对于第一语义分割图的相对尺寸信息和第三语义分割图中的目标对象对应的语义分割区域相对于第三语义分割图的相对尺寸信息，确定所 述目标对象在语义分割图中的尺寸变化趋势。其中，预设距离可基于实际情况进行设置，本申请实施例对此不做具体限定，例如，预设距离为1米。
在一实施例中，当相对尺寸信息和语义分割类别满足预设返航条件时，获取目标对象在语义分割图中的尺寸变化趋势；当该尺寸变化趋势为目标对象在语义分割图中的尺寸逐渐减小时，控制无人机上升，直至无人机的高度达到预设返航高度。通过在相对尺寸信息和语义分割类别满足预设返航条件时，基于目标对象在语义分割图中的尺寸变化趋势进一步地确定无人机上方空域是否安全，可以提高无人机的返航安全性。
上述实施例提供的返航控制方法，通过在相对尺寸信息和语义分割类别不满足预设返航条件时，确定无人机的侧移方向和侧移距离，并控制无人机沿着该侧移方向移动，直至无人机的移动距离达到侧移距离，然后控制无人机上升，直至无人机的高度达到预设返航高度，使得不具备全方向的避障功能的无人机也可以准确的确定无人机上方空域是否安全，保证无人机的返航安全，提高无人机的返航安全性和用户体验。
请参阅图9，图9是本申请实施例提供的一种返航控制装置的结构示意性框图。
如图9所示，该返航控制装置300包括处理器301和存储器302，处理器301和存储器302通过总线303连接，该总线303比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器301可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器302可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器301用于运行存储在存储器302中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取无人机上方空域的第一环境图像，并对所述第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图；
确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别；
当所述相对尺寸信息和所述语义分割类别满足预设返航条件时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
在一实施例中，所述目标对象包括所述第一语义分割图像中除天空以外的对象。
在一实施例中，所述无人机包括第一拍摄装置，所述获取无人机上方空域的第一环境图像，包括：
调整所述第一拍摄装置的姿态，直至调整姿态后的所述第一拍摄装置的镜头方向朝向天空；
在所述第一拍摄装置的镜头朝向天空后，控制所述第一拍摄装置拍照，得到所述无人机上方空域的第一环境图像。
在一实施例中，调整姿态后的所述第一拍摄装置的镜头方向与水平方向之间的夹角位于预设夹角范围。
在一实施例中，所述无人机包括第二拍摄装置，所述第二拍摄装置的镜头方向朝向天空，所述第一环境图像是通过所述第二拍摄装置采集到的。
在一实施例中，所述无人机包括第一拍摄装置或第二拍摄装置，所述对所述第一环境图像中的感兴趣区域进行语义分割处理，得到所述无人机上方空域的语义分割图，包括：
获取所述第一拍摄装置或第二拍摄装置的视场角，以及所述第一拍摄装置或第二拍摄装置的镜头方向与水平方向之间的夹角；
根据所述视场角、所述夹角和预设图像尺寸，提取所述第一环境图像中的感兴趣区域；
将所述感兴趣区域输入至预设语义分割网络进行语义分割处理，以输出所述第一语义分割图，其中，所述预设语义分割网络为预先训练好的卷积神经网络。
在一实施例中，所述相对尺寸信息包括如下至少一种：
所述目标对象对应的语义分割区域相对于所述第一语义分割图的面积比例；
所述目标对象对应的语义分割区域的最大长度相对于所述第一语义分割图的长度的第一比例；
所述目标对象对应的语义分割区域的最大宽度相对于所述第一语义分割图的宽度的第二比例；
所述目标对象对应的语义分割区域的最大尺寸相对于所述第一语义分割图在相同方向的尺寸的第三比例。
在一实施例中，所述预设返航条件包括所述相对尺寸信息满足所述语义分割类别对应的相对尺寸信息阈值。
在一实施例中，所述预设返航条件包括如下至少一种：
所述面积比例小于所述语义分割类别对应的面积比例阈值；
所述第一比例小于所述语义分割类别对应的第一比例阈值；
所述第二比例小于所述语义分割类别对应的第二比例阈值；
所述第三比例小于所述语义分割类别对应的第三比例阈值。
在一实施例中，所述处理器实现确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别之后，还用于实现：
获取所述无人机的悬停高度，并根据所述悬停高度确定每个所述语义分割类别各自对应的目标相对尺寸信息阈值；
根据所述目标相对尺寸信息阈值确定所述相对尺寸信息和所述语义分割类别是否满足预设返航条件。
在一实施例中，所述目标相对尺寸信息阈值与所述悬停高度呈负相关关系。
在一实施例中，所述处理器实现确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别之后，还用于实现：
当所述相对尺寸信息和所述语义分割类别不满足预设返航条件时，对所述第一环境图像进行语义分割处理，得到第二语义分割图；
根据所述第二语义分割图，确定所述无人机的侧移方向和侧移距离；
控制所述无人机沿着所述侧移方向移动，直至所述无人机的移动距离达到所述侧移距离；
控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
在一实施例中，所述根据所述第二语义分割图，确定所述无人机的侧移方向和侧移距离，包括：
将所述第二语义分割图拆分为多个语义分割子图，并确定每个所述语义分割子图中的目标对象相对于所述语义分割子图的相对尺寸信息和语义分割类别；
根据每个所述语义分割子图中的目标对象相对于所述语义分割子图的相对尺寸信息和语义分割类别，从所述多个语义分割子图中确定目标语义分割子图；
根据所述目标语义分割子图，确定所述无人机的侧移方向和侧移距离。
在一实施例中，所述根据所述目标语义分割子图，确定所述无人机的侧移方向和侧移距离，包括：
确定所述目标语义分割子图与所述第一环境图像中的感兴趣区域之间的相 对位置关系；
根据所述相对位置关系以及所述无人机中的拍摄装置在所述无人机上的安装位置，确定所述无人机的侧移方向和侧移距离。
在一实施例中，所述处理器实现确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别之后，还用于实现：
当所述相对尺寸信息和所述语义分割类别不满足预设返航条件时，获取所述目标对象在语义分割图中的尺寸变化趋势；
当所述尺寸变化趋势为所述目标对象在语义分割图中的尺寸逐渐减小时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
在一实施例中，所述获取所述目标对象在语义分割图中的尺寸变化趋势，包括：
控制所述无人机上升预设距离，并在所述无人机上升预设距离后，获取无人机上方空域的第二环境图像；
对所述第二环境图像中的感兴趣区域进行语义分割处理，得到第三语义分割图；
确定所述第三语义分割图中的所述目标对象对应的语义分割区域相对于所述第三语义分割图的相对尺寸信息；
根据所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述第三语义分割图中的所述目标对象对应的语义分割区域相对于所述第三语义分割图的相对尺寸信息，确定所述目标对象在语义分割图中的尺寸变化趋势。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的返航控制装置的具体工作过程，可以参考前述返航控制方法实施例中的对应过程，在此不再赘述。
请参阅图10，图10是本申请实施例提供的一种无人机的结构示意性框图。
如图10所示，无人机400包括机体410、设于机体410上的拍摄装置420、设于机体410上的动力系统430和设于机体410内的返航控制装置，其中，拍摄装置420用于采集无人机400上方空域的环境图像，动力系统430用于为无人机400提供飞行动力，返航控制装置440用于控制无人机400返航。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的无人机的具体工作过程，可以参考前述返航控制方法实施 例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的返航控制方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的无人机的内部存储单元，例如所述无人机的硬盘或内存。所述计算机可读存储介质也可以是所述无人机的外部存储设备，例如所述无人机上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (34)

  1. 一种返航控制方法，其特征在于，包括：
    获取无人机上方空域的第一环境图像，并对所述第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图；
    确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别；
    当所述相对尺寸信息和所述语义分割类别满足预设返航条件时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
  2. 根据权利要求1所述的返航控制方法，其特征在于，所述目标对象包括所述第一语义分割图像中除天空以外的对象。
  3. 根据权利要求1所述的返航控制方法，其特征在于，所述无人机包括第一拍摄装置，所述获取无人机上方空域的第一环境图像，包括：
    调整所述第一拍摄装置的姿态，直至调整姿态后的所述第一拍摄装置的镜头方向朝向天空；
    在所述第一拍摄装置的镜头朝向天空后，控制所述第一拍摄装置拍照，得到所述无人机上方空域的第一环境图像。
  4. 根据权利要求3所述的返航控制方法，其特征在于，调整姿态后的所述第一拍摄装置的镜头方向与水平方向之间的夹角位于预设夹角范围。
  5. 根据权利要求1所述的返航控制方法，其特征在于，所述无人机包括第二拍摄装置，所述第二拍摄装置的镜头方向朝向天空，所述第一环境图像是通过所述第二拍摄装置采集到的。
  6. 根据权利要求1所述的返航控制方法，其特征在于，所述无人机包括第一拍摄装置或第二拍摄装置，所述对所述第一环境图像中的感兴趣区域进行语义分割处理，得到所述无人机上方空域的语义分割图，包括：
    获取所述第一拍摄装置或第二拍摄装置的视场角，以及所述第一拍摄装置或第二拍摄装置的镜头方向与水平方向之间的夹角；
    根据所述视场角、所述夹角和预设图像尺寸，提取所述第一环境图像中的感兴趣区域；
    将所述感兴趣区域输入至预设语义分割网络进行语义分割处理，以输出所述第一语义分割图，其中，所述预设语义分割网络为预先训练好的卷积神经网 络。
  7. 根据权利要求1所述的返航控制方法，其特征在于，所述相对尺寸信息包括如下至少一种：
    所述目标对象对应的语义分割区域相对于所述第一语义分割图的面积比例；
    所述目标对象对应的语义分割区域的最大长度相对于所述第一语义分割图的长度的第一比例；
    所述目标对象对应的语义分割区域的最大宽度相对于所述第一语义分割图的宽度的第二比例；
    所述目标对象对应的语义分割区域的最大尺寸相对于所述第一语义分割图在相同方向的尺寸的第三比例。
  8. 根据权利要求7所述的返航控制方法，其特征在于，所述预设返航条件包括所述相对尺寸信息满足所述语义分割类别对应的相对尺寸信息阈值。
  9. 根据权利要求8所述的返航控制方法，其特征在于，所述预设返航条件包括如下至少一种：
    所述面积比例小于所述语义分割类别对应的面积比例阈值；
    所述第一比例小于所述语义分割类别对应的第一比例阈值；
    所述第二比例小于所述语义分割类别对应的第二比例阈值；
    所述第三比例小于所述语义分割类别对应的第三比例阈值。
  10. 根据权利要求1所述的返航控制方法，其特征在于，所述确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别之后，还包括：
    获取所述无人机的悬停高度，并根据所述悬停高度确定每个所述语义分割类别各自对应的目标相对尺寸信息阈值；
    根据所述目标相对尺寸信息阈值确定所述相对尺寸信息和所述语义分割类别是否满足预设返航条件。
  11. 根据权利要求10所述的返航控制方法，其特征在于，所述目标相对尺寸信息阈值与所述悬停高度呈负相关关系。
  12. 根据权利要求1-11中任一项所述的返航控制方法，其特征在于，所述确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别之后，还包括：
    当所述相对尺寸信息和所述语义分割类别不满足预设返航条件时，对所述第一环境图像进行语义分割处理，得到第二语义分割图；
    根据所述第二语义分割图，确定所述无人机的侧移方向和侧移距离；
    控制所述无人机沿着所述侧移方向移动，直至所述无人机的移动距离达到所述侧移距离；
    控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
  13. 根据权利要求12所述的返航控制方法，其特征在于，所述根据所述第二语义分割图，确定所述无人机的侧移方向和侧移距离，包括：
    将所述第二语义分割图拆分为多个语义分割子图，并确定每个所述语义分割子图中的目标对象相对于所述语义分割子图的相对尺寸信息和语义分割类别；
    根据每个所述语义分割子图中的目标对象相对于所述语义分割子图的相对尺寸信息和语义分割类别，从所述多个语义分割子图中确定目标语义分割子图；
    根据所述目标语义分割子图，确定所述无人机的侧移方向和侧移距离。
  14. 根据权利要求13所述的返航控制方法，其特征在于，所述根据所述目标语义分割子图，确定所述无人机的侧移方向和侧移距离，包括：
    确定所述目标语义分割子图与所述第一环境图像中的感兴趣区域之间的相对位置关系；
    根据所述相对位置关系以及所述无人机中的拍摄装置在所述无人机上的安装位置，确定所述无人机的侧移方向和侧移距离。
  15. 根据权利要求1-11中任一项所述的返航控制方法，其特征在于，所述确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别之后，还包括：
    当所述相对尺寸信息和所述语义分割类别不满足预设返航条件时，获取所述目标对象在语义分割图中的尺寸变化趋势；
    当所述尺寸变化趋势为所述目标对象在语义分割图中的尺寸逐渐减小时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
  16. 根据权利要求15所述的返航控制方法，其特征在于，所述获取所述目标对象在语义分割图中的尺寸变化趋势，包括：
    控制所述无人机上升预设距离，并在所述无人机上升预设距离后，获取无人机上方空域的第二环境图像；
    对所述第二环境图像中的感兴趣区域进行语义分割处理，得到第三语义分割图；
    确定所述第三语义分割图中的所述目标对象对应的语义分割区域相对于所述第三语义分割图的相对尺寸信息；
    根据所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象对应的语义分割区域相对于所述第三语义分割图的相对尺寸信息，确定所述目标对象在语义分割图中的尺寸变化趋势。
  17. 一种返航控制装置，其特征在于，所述返航控制装置包括存储器和处理器；
    所述存储器用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    获取无人机上方空域的第一环境图像，并对所述第一环境图像中的感兴趣区域进行语义分割处理，得到第一语义分割图；
    确定所述第一语义分割图中的目标对象对应的语义分割区域相当于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别；
    当所述相对尺寸信息和所述语义分割类别满足预设返航条件时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
  18. 根据权利要求17所述的返航控制装置，其特征在于，所述目标对象包括所述第一语义分割图像中除天空以外的对象。
  19. 根据权利要求17所述的返航控制装置，其特征在于，所述无人机包括第一拍摄装置，所述获取无人机上方空域的第一环境图像，包括：
    调整所述第一拍摄装置的姿态，直至调整姿态后的所述第一拍摄装置的镜头方向朝向天空；
    在所述第一拍摄装置的镜头朝向天空后，控制所述第一拍摄装置拍照，得到所述无人机上方空域的第一环境图像。
  20. 根据权利要求19所述的返航控制装置，其特征在于，调整姿态后的所述第一拍摄装置的镜头方向与水平方向之间的夹角位于预设夹角范围。
  21. 根据权利要求17所述的返航控制装置，其特征在于，所述无人机包括第二拍摄装置，所述第二拍摄装置的镜头方向朝向天空，所述第一环境图像是通过所述第二拍摄装置采集到的。
  22. 根据权利要求17所述的返航控制装置，其特征在于，所述无人机包括第一拍摄装置或第二拍摄装置，所述对所述第一环境图像中的感兴趣区域进行语义分割处理，得到所述无人机上方空域的语义分割图，包括：
    获取所述第一拍摄装置或第二拍摄装置的视场角，以及所述第一拍摄装置 或第二拍摄装置的镜头方向与水平方向之间的夹角；
    根据所述视场角、所述夹角和预设图像尺寸，提取所述第一环境图像中的感兴趣区域；
    将所述感兴趣区域输入至预设语义分割网络进行语义分割处理，以输出所述第一语义分割图，其中，所述预设语义分割网络为预先训练好的卷积神经网络。
  23. 根据权利要求17所述的返航控制装置，其特征在于，所述相对尺寸信息包括如下至少一种：
    所述目标对象对应的语义分割区域相对于所述第一语义分割图的面积比例；
    所述目标对象对应的语义分割区域的最大长度相对于所述第一语义分割图的长度的第一比例；
    所述目标对象对应的语义分割区域的最大宽度相对于所述第一语义分割图的宽度的第二比例；
    所述目标对象对应的语义分割区域的最大尺寸相对于所述第一语义分割图在相同方向的尺寸的第三比例。
  24. 根据权利要求23所述的返航控制装置，其特征在于，所述预设返航条件包括所述相对尺寸信息满足所述语义分割类别对应的相对尺寸信息阈值。
  25. 根据权利要求24所述的返航控制装置，其特征在于，所述预设返航条件包括如下至少一种：
    所述面积比例小于所述语义分割类别对应的面积比例阈值；
    所述第一比例小于所述语义分割类别对应的第一比例阈值；
    所述第二比例小于所述语义分割类别对应的第二比例阈值；
    所述第三比例小于所述语义分割类别对应的第三比例阈值。
  26. 根据权利要求17所述的返航控制装置，其特征在于，所述处理器实现确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别之后，还用于实现：
    获取所述无人机的悬停高度，并根据所述悬停高度确定每个所述语义分割类别各自对应的目标相对尺寸信息阈值；
    根据所述目标相对尺寸信息阈值确定所述相对尺寸信息和所述语义分割类别是否满足预设返航条件。
  27. 根据权利要求26所述的返航控制装置，其特征在于，所述目标相对尺寸信息阈值与所述悬停高度呈负相关关系。
  28. 根据权利要求17-27中任一项所述的返航控制装置，其特征在于，所述处理器实现确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别之后，还用于实现：
    当所述相对尺寸信息和所述语义分割类别不满足预设返航条件时，对所述第一环境图像进行语义分割处理，得到第二语义分割图；
    根据所述第二语义分割图，确定所述无人机的侧移方向和侧移距离；
    控制所述无人机沿着所述侧移方向移动，直至所述无人机的移动距离达到所述侧移距离；
    控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
  29. 根据权利要求28所述的返航控制装置，其特征在于，所述根据所述第二语义分割图，确定所述无人机的侧移方向和侧移距离，包括：
    将所述第二语义分割图拆分为多个语义分割子图，并确定每个所述语义分割子图中的目标对象相对于所述语义分割子图的相对尺寸信息和语义分割类别；
    根据每个所述语义分割子图中的目标对象相对于所述语义分割子图的相对尺寸信息和语义分割类别，从所述多个语义分割子图中确定目标语义分割子图；
    根据所述目标语义分割子图，确定所述无人机的侧移方向和侧移距离。
  30. 根据权利要求29所述的返航控制装置，其特征在于，所述根据所述目标语义分割子图，确定所述无人机的侧移方向和侧移距离，包括：
    确定所述目标语义分割子图与所述第一环境图像中的感兴趣区域之间的相对位置关系；
    根据所述相对位置关系以及所述无人机中的拍摄装置在所述无人机上的安装位置，确定所述无人机的侧移方向和侧移距离。
  31. 根据权利要求17-27中任一项所述的返航控制装置，其特征在于，所述处理器实现确定所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述目标对象的语义分割类别之后，还用于实现：
    当所述相对尺寸信息和所述语义分割类别不满足预设返航条件时，获取所述目标对象在语义分割图中的尺寸变化趋势；
    当所述尺寸变化趋势为所述目标对象在语义分割图中的尺寸逐渐减小时，控制所述无人机上升，直至所述无人机的高度达到预设返航高度。
  32. 根据权利要求31所述的返航控制装置，其特征在于，所述获取所述目 标对象在语义分割图中的尺寸变化趋势，包括：
    控制所述无人机上升预设距离，并在所述无人机上升预设距离后，获取无人机上方空域的第二环境图像；
    对所述第二环境图像中的感兴趣区域进行语义分割处理，得到第三语义分割图；
    确定所述第三语义分割图中的所述目标对象对应的语义分割区域相对于所述第三语义分割图的相对尺寸信息；
    根据所述第一语义分割图中的目标对象对应的语义分割区域相对于所述第一语义分割图的相对尺寸信息和所述第三语义分割图中的所述目标对象对应的语义分割区域相对于所述第三语义分割图的相对尺寸信息，确定所述目标对象在语义分割图中的尺寸变化趋势。
  33. 一种无人机，其特征在于，所述无人机包括：
    机体；
    拍摄装置，设于所述机体上，用于采集所述无人机上方空域的环境图像；
    动力系统，设于所述机体上，用于为所述无人机提供飞行动力；
    如权利要求17至32中任一项所述的返航控制装置，设于所述机体内，用于控制所述无人机返航。
  34. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-16中任一项所述的返航控制方法的步骤。
PCT/CN2020/130636 2020-11-20 2020-11-20 返航控制方法、装置、无人机及计算机可读存储介质 WO2022104746A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/130636 WO2022104746A1 (zh) 2020-11-20 2020-11-20 返航控制方法、装置、无人机及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/130636 WO2022104746A1 (zh) 2020-11-20 2020-11-20 返航控制方法、装置、无人机及计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2022104746A1 true WO2022104746A1 (zh) 2022-05-27

Family

ID=81708285

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/130636 WO2022104746A1 (zh) 2020-11-20 2020-11-20 返航控制方法、装置、无人机及计算机可读存储介质

Country Status (1)

Country Link
WO (1) WO2022104746A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109562844A (zh) * 2016-08-06 2019-04-02 深圳市大疆创新科技有限公司 自动着陆表面地形评估以及相关的系统和方法
CN109823552A (zh) * 2019-02-14 2019-05-31 深圳市多翼创新科技有限公司 基于视觉的无人机精确降落方法、存储介质、装置及系统
CN109885086A (zh) * 2019-03-11 2019-06-14 西安电子科技大学 一种基于复合多边形标志引导的无人机垂直降落方法
CN110825101A (zh) * 2019-12-26 2020-02-21 电子科技大学 一种基于深度卷积神经网络的无人机自主降落方法
US10573024B1 (en) * 2016-08-22 2020-02-25 Amazon Technologies, Inc. Distance detection based on chromatic aberration

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109562844A (zh) * 2016-08-06 2019-04-02 深圳市大疆创新科技有限公司 自动着陆表面地形评估以及相关的系统和方法
US10573024B1 (en) * 2016-08-22 2020-02-25 Amazon Technologies, Inc. Distance detection based on chromatic aberration
CN109823552A (zh) * 2019-02-14 2019-05-31 深圳市多翼创新科技有限公司 基于视觉的无人机精确降落方法、存储介质、装置及系统
CN109885086A (zh) * 2019-03-11 2019-06-14 西安电子科技大学 一种基于复合多边形标志引导的无人机垂直降落方法
CN110825101A (zh) * 2019-12-26 2020-02-21 电子科技大学 一种基于深度卷积神经网络的无人机自主降落方法

Similar Documents

Publication Publication Date Title
US10936869B2 (en) Camera configuration on movable objects
US20220234733A1 (en) Aerial Vehicle Smart Landing
US20220091607A1 (en) Systems and methods for target tracking
US20210065400A1 (en) Selective processing of sensor data
US11797028B2 (en) Unmanned aerial vehicle control method and device and obstacle notification method and device
US20210358315A1 (en) Unmanned aerial vehicle visual point cloud navigation
US20230111493A1 (en) Methods and system for infrared tracking
US10599149B2 (en) Salient feature based vehicle positioning
US20180046187A1 (en) Unmanned aerial image capture platform
WO2017045251A1 (en) Systems and methods for uav interactive instructions and control
CN111344644A (zh) 用于基于运动的自动图像捕获的技术
CN111123964B (zh) 一种无人机降落方法、设备以及计算机可读介质
WO2021078003A1 (zh) 无人载具的避障方法、避障装置及无人载具
WO2021056139A1 (zh) 获取降落位置的方法、设备、无人机、系统及存储介质
CN115238018A (zh) 用于管理3d飞行路径的方法和相关系统
US20190072986A1 (en) Unmanned aerial vehicles
WO2021146973A1 (zh) 无人机返航的控制方法、设备、可移动平台和存储介质
WO2021146970A1 (zh) 基于语义分割的测距方法、装置、设备及系统
WO2021016875A1 (zh) 飞行器的降落方法、无人飞行器及计算机可读存储介质
WO2022104746A1 (zh) 返航控制方法、装置、无人机及计算机可读存储介质
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
WO2021146969A1 (zh) 距离测量方法、可移动平台、设备和存储介质
WO2022040941A1 (zh) 深度计算方法、装置、可移动平台及存储介质
WO2022160101A1 (zh) 朝向估计方法、装置、可移动平台及可读存储介质
WO2022227090A1 (zh) 点云数据处理方法、装置、终端设备、控制系统和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20962037

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20962037

Country of ref document: EP

Kind code of ref document: A1