WO2017033976A1 - 飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体 - Google Patents

飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2017033976A1
WO2017033976A1 PCT/JP2016/074684 JP2016074684W WO2017033976A1 WO 2017033976 A1 WO2017033976 A1 WO 2017033976A1 JP 2016074684 W JP2016074684 W JP 2016074684W WO 2017033976 A1 WO2017033976 A1 WO 2017033976A1
Authority
WO
WIPO (PCT)
Prior art keywords
flying object
fall
range
flying
fall range
Prior art date
Application number
PCT/JP2016/074684
Other languages
English (en)
French (fr)
Inventor
高橋　勝彦
健一朗 猪田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2017536465A priority Critical patent/JP6852672B2/ja
Publication of WO2017033976A1 publication Critical patent/WO2017033976A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D25/00—Emergency apparatus or devices, not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B64U30/26—Ducted or shrouded rotors

Definitions

  • the present invention relates to a flying object, in particular, a flying object control apparatus that controls a flight route of an unmanned airplane (UAV), a flying object control method, and a computer-readable recording program for realizing the flying object control apparatus.
  • UAV unmanned airplane
  • the present invention relates to a recording medium.
  • UAV has gained great expectations as a means of effectively utilizing low airspace. This is due to the fact that small UAVs have been provided at low cost due to the miniaturization and high output of electric motors and batteries. In particular, from the viewpoint of maneuverability and stability, many small UAVs are multi-copter types having a plurality of rotors.
  • UAVs are also equipped with computers, unlike conventional remote-controlled model helicopters. Therefore, as a method of controlling the flight route of UAV, in addition to a method in which a pilot operates manually, a method of autonomously flying along a coordinate path set in advance using GPS (Global Positioning System) is also realized. Has been.
  • GPS Global Positioning System
  • Patent Document 1 discloses a technique for automatically avoiding an obstacle when the UAV is too close to the obstacle by inputting the coordinates of the obstacle together with the flight route in the UAV. is suggesting.
  • Patent Document 2 discloses a technique in which when a surveillance camera installed in a building detects an intruder, the UAV is rushed there, and the camera installed in the UAV detects and tracks the intruder. Yes.
  • JP 2003-127994 A (FIG. 1) JP 2014-149620 A (FIG. 1)
  • the cause of the sudden drop may be a change in environmental conditions due to an operation error, a battery exhaustion, a fuel exhaustion, a gust of wind, or the like, or a communication failure.
  • the UAV should fall on the pedestrian's head due to such a sudden fall, it will be a life-and-death situation. It is also difficult to predict such a sudden fall. For this reason, in the present situation, in order to avoid the risk of a fall, the approach to sudden fall of the UAV is an emergency where the flight of the UAV is restricted to operation in a space where there is no person or the risk of fall It can only be restricted to operation in
  • An example of an object of the present invention is to solve the above-described problem and to enable a UAV to be operated at a low risk even in a place where a person exists and in the airspace in the vicinity thereof, a flying object control apparatus, a flying object control method, and a computer reading It is to provide a possible recording medium.
  • an aircraft control apparatus that detects a target from video data output by an imaging device that captures the underside of the flying object;
  • a fall range estimation unit for estimating a fall range of the flying object;
  • a control unit for controlling the flying body so that the detected position of the object and the fall range do not overlap; It is characterized by providing.
  • a flying object control method includes: (A) detecting a target from video data output by an imaging device that captures the underside of the flying object; and (B) estimating a fall range of the flying object; (C) controlling the flying body so that the detected position of the object and the fall range do not overlap; It is characterized by having.
  • a computer-readable recording medium On the computer, (A) detecting a target from video data output by an imaging device that captures the underside of the flying object; and (B) estimating a fall range of the flying object; (C) controlling the flying body so that the detected position of the object and the fall range do not overlap; A program including an instruction for executing is recorded.
  • UAV can be operated with low risk even in a place where a person exists and in the airspace in the vicinity thereof.
  • FIG. 1 is a block diagram showing the configuration of the flying object control apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a diagram showing an example of a flying object to be controlled and its fall range in the first embodiment of the present invention.
  • FIG. 3 is a diagram illustrating an example of the relationship between the flying object and the wind direction.
  • FIG. 4 is a diagram illustrating an example of a fall range according to wind speed and altitude.
  • FIG. 5 is a diagram illustrating an example of a positional relationship between a person existing on the ground and a fall range.
  • FIG. 6 is a diagram showing a case where the altitude of the flying object 200 is lowered from the state shown in FIG. FIG.
  • FIG. 7 is a flowchart showing the operation of the flying object control apparatus according to Embodiment 1 of the present invention.
  • FIG. 8 is a block diagram showing a configuration of the flying object control apparatus according to the second embodiment of the present invention.
  • FIG. 9 is a flowchart showing the operation of the flying object control apparatus according to the second embodiment of the present invention.
  • FIG. 10 is a block diagram showing a configuration of the flying object control apparatus according to Embodiment 3 of the present invention.
  • FIG. 11 is a flowchart showing the operation of the flying object control apparatus according to the third embodiment of the present invention.
  • FIG. 12 is a block diagram showing another example of the configuration of the flying object control apparatus according to Embodiment 3 of the present invention.
  • FIG. 13 is a block diagram showing an example of a computer that implements the flying object control apparatus according to the first to third embodiments of the present invention.
  • Embodiment 1 an aircraft control apparatus, an aircraft control method, and a program according to Embodiment 1 of the present invention will be described with reference to FIGS.
  • FIG. 1 is a block diagram showing the configuration of the flying object control apparatus according to Embodiment 1 of the present invention.
  • the flying object 200 includes everything that can fly, such as airplanes, helicopters, airships, and the like.
  • an unmanned aerial vehicle (UAV) is shown as an example of the flying body 200, but the flying body 200 may be either manned or unmanned.
  • the flying object control device 100 includes a detection unit 101, a fall range estimation unit 102, and a control unit 103.
  • the detection part 101 detects a target from the video data which the imaging device 201 which image
  • Targets include those that need to avoid collision with the flying object 200 due to the falling of the flying object 200, such as people, strollers, bicycles, automobiles, trains, ships, aircraft, endangered wild animals, buildings, and the like. Can be mentioned.
  • the fall range estimation unit 102 estimates the fall range of the flying object 200. Specifically, the fall range estimation unit 102 estimates the fall range when the flying object 200 has dropped due to the function of the flying object 200 being stopped or lowered.
  • the control unit 103 controls the flying object 200 so that the detected target position and the fall range do not overlap.
  • the flying object control device 100 detects an object for which a collision with the flying object 200 is desired to be avoided from the image of the imaging device 201 mounted on the flying object 200.
  • the flying object control apparatus 100 performs control so that the flying object 200 does not collide with the object if there is a possibility of collision with the object when the flying object 200 falls. For this reason, according to the flying object control apparatus 100, it is possible to operate the flying object 200 with low risk even in a place where a person exists and in the airspace in the vicinity thereof.
  • FIG. 2 is a diagram showing an example of a flying object to be controlled and its fall range in the first embodiment of the present invention.
  • the flying object 200 in the first embodiment, a multi-copter type UAV having four propellers is used as the flying object 200.
  • the flying object 200 is equipped with an imaging device 201 for photographing an object existing below the flying object 200.
  • reference numeral 206 denotes a collision avoidance target.
  • the target 206 indicates a person.
  • the flying object 200 includes a motor 203 that drives each propeller, and a motor drive unit 202 that supplies electric power to each motor in accordance with an instruction from the control unit 103.
  • the imaging apparatus 201 includes a visible light camera, a far-infrared camera, and a ToF (Time of Flight) camera.
  • the imaging device 201 may be configured by combining two or more of these.
  • the shooting direction of the imaging device 201 is set, for example, vertically below the flying object 200 in the example of FIG.
  • the shooting direction is not limited to the vertically downward direction, and may be set below the flying body 200 so that a fall range described later can be shot.
  • the shooting direction may be a direction inclined downward from the traveling direction of the flying object 200.
  • the flying object 200 when the flying object 200 includes a camera for tracking a person, the imaging device 201 may be used as the tracking camera.
  • the camera for tracking may be a separate camera.
  • the detection unit 101 detects a person who is a collision avoidance target from the video data output by the imaging device 201.
  • Various known detection methods can be used as the target detection method by the detection unit 101.
  • the imaging device 201 is a visible light camera
  • SVM Serial Vector Machine
  • a cascade classifier As the feature amount, HoG (Histogramsogramof Oriented Gradients) feature amount, Haar-Like feature amount, or the like can be used.
  • the imaging device 201 when the imaging device 201 is a far-infrared camera, a pixel whose pixel value corresponds to a temperature close to body temperature is extracted from an infrared video specified by the video data, and these adjacent pixels are joined. A person can be detected by extracting a two-dimensional region. Further, when the imaging device 201 is a far-infrared camera, a person can be detected by using a recognition dictionary, as in the case of a visible light camera. Specifically, in this case, a portion where the temperature is rapidly changed is extracted from the infrared image specified by the video data by image processing. Then, a feature amount is calculated from the extracted portion, and then the calculated feature amount is collated with a recognition dictionary, thereby detecting a person.
  • a recognition dictionary as in the case of a visible light camera.
  • a person can be detected by using a recognition dictionary as in the case of a visible light camera. Specifically, in this case, a location where the distance between adjacent pixels is discontinuous is extracted from the distance image specified by the video data. Then, a feature amount is calculated from the extracted location, and then the calculated feature amount is collated with a recognition dictionary, thereby detecting a person.
  • the detection unit 101 identifies the position of the target on the ground plane. Specifically, first, the three-dimensional coordinate system unique to the flying object 200, the internal parameters of the imaging device 201, the external parameters of the imaging device 201 with respect to the three-dimensional coordinate system unique to the flying object 200, and the ground height of the flying object 200 are determined. Suppose it is known. In this case, the detection unit 101 identifies the coordinates of the target in the video, and executes geometric calculation using the identified coordinates and the above-described known information, so that the target on the ground surface of the video is displayed. The position can be specified.
  • the three-dimensional coordinate system unique to the flying object 200 is a coordinate system set inside the flying object 200 in order to specify the position of each part of the flying object 200, and may be set in advance.
  • the internal parameters of the image pickup apparatus 201 for example, the focal length, etc. may be measured in advance.
  • External parameters of the imaging apparatus 201 with respect to the three-dimensional coordinate system unique to the flying object 200 are, for example, the angle of the optical axis of the lens with respect to the flying object 200, the position of the lens, and the like.
  • this external parameter only needs to be measured in advance.
  • the external parameters include a prior measurement value and position information from a sensor that detects the position of the imaging device 200 with respect to the flying object 200. Calculated by integrating and performing computational geometry.
  • the ground height of the flying object 200 is measured by calculating the distance from the flying object 200 to the ground based on the distance information output by the ToF camera. Good. Further, when the flying object 200 includes a device for measuring altitude such as a radio altimeter, the ground height of the flying object 200 may be calculated based on information from this device.
  • a coordinate system is set in order to express the position of the target on the ground surface.
  • this coordinate system is referred to as a “ground plane coordinate system”.
  • any coordinate system may be set as the ground plane coordinate system, and is not particularly limited.
  • a ground plane coordinate system a point where a perpendicular line extending in a vertical direction from the flying object 200 to be set toward the ground surface and the ground surface intersect is set as the origin, and the front direction (traveling direction of the flying object 200) ) Is an axis parallel to the x axis, and an axis orthogonal to the x axis is the y axis.
  • This coordinate system is a coordinate system set around the flying object 200 to be set, and the origin moves from moment to moment as the flying object 200 moves.
  • this ground plane coordinate case can be said to be a coordinate system that meets the object of the present invention.
  • ground plane coordinate system a coordinate system set in the video from the imaging device 201, that is, an image coordinate system may be mentioned.
  • examples of the ground plane coordinate system include a global coordinate system such as an ECEF (Earth Centered Earth Fixed) orthogonal coordinate system used in GPS and the like.
  • ECEF Earth Centered Earth Fixed
  • the position in the global coordinate system of the target is determined from the position in the global coordinate system of the flying object 200 to be set and the relative position of the target with reference to the flying object 200 to be set. Is calculated.
  • the position of the target on the ground surface is expressed by the global coordinate system.
  • the fall range estimation unit 102 estimates the fall range on the ground assumed when the flying object 200 to be controlled starts to fall at the current time.
  • the flying object 200 is a multicopter type, it is difficult for the flying object 200 to glide at the time of falling. For this reason, as shown in FIG. 2, for example, when there is no wind, it is considered that the flying object 200 falls into a circle 205 centered on a point 204 located immediately below it. Therefore, in this case, the fall range estimation unit 102 estimates the circle 205 as the fall range.
  • the fall range estimation unit 102 determines the radius of the circle 205 based on the relationship between the preset altitude and the radius of the circle 205. Set.
  • the fall range estimation unit 102 holds in advance a fall range for at least a combination of altitude and wind speed from the ground as a database, and estimates the fall range by referring to the database. Is preferred. This point will be described with reference to FIGS.
  • FIG. 3 is a diagram showing an example of the relationship between the flying object and the wind direction.
  • FIG. 4 is a diagram illustrating an example of a fall range according to wind speed and altitude. As shown in FIG. 3, it is assumed that the flying object 200 is affected by wind. In this case, the fall range estimation unit 102 sets the direction (direction indicated by the arrow 301) obtained by projecting a virtual arrow indicating the direction of the wind on the ground along the vertical direction as the main axis direction. An orthogonal direction (direction indicated by an arrow 302) is set as the sub-axis direction.
  • fall ranges 401 to 403 are set for various combinations of the wind speed and the current altitude of the flying object 200 as parameters.
  • the set fall ranges 401 to 403 are stored as a database in association with the corresponding combination.
  • the fall range estimation part 102 performs the physical simulation when the flying body 200 falls based on the direction of a wind, a wind speed, and the altitude of the flying body 200 instead of using a database, and is real-time.
  • the fall range can also be calculated.
  • the wind direction and the wind speed can be estimated by using the attitude control information of the flying object 200 at the time when the autonomous control before the start of the fall was functioning well.
  • the fall range estimation unit 102 uses the calculation geometry as in the case of target detection by the detection unit 101. Is used to set the fall range in the ground plane coordinate system.
  • a direction 301 obtained by projecting a virtual arrow indicating the wind direction onto the ground along the vertical direction is the main axis direction.
  • the main axis direction is indefinite.
  • the fall range is concentric with the current position of the flying object 200 as the center, so there is no problem even if the main axis direction is arbitrarily set.
  • the control unit 103 determines whether or not they overlap on the ground plane coordinate system. As a result of the determination, if the two overlap, the control unit 103 determines the position of the flying object 200 so that the target detected by the detection unit 101 is not located within the fall range estimated by the fall range estimation unit 102. To control. Specifically, the control unit 103 adjusts the output of each motor 203 via the motor driving unit 202 so that the target position and the fall range do not overlap, and causes the flying object 200 to perform avoidance motion. .
  • the following two can be cited as the main avoidance movement of the flying object 200 performed to avoid the overlap between the target position and the fall range.
  • One is an avoidance motion that moves the flying object 200 in the horizontal direction so that the detected object does not fall within the fall range.
  • the other is an avoidance exercise in which the flying object 200 is lowered to lower the altitude so that the detected object does not fall within the fall range.
  • the former merit is that since the relative position of the fall range with respect to the position of the flying object 200 does not basically change, it is only necessary to consider moving the fall range horizontally so that the detected object does not fall within the fall range. Is easy.
  • the direction and distance when the fall range moves horizontally corresponds to the direction and distance in which the flying object 200 should be moved.
  • the latter merit is that the area of the fall range can be narrowed down and the impact in the event of a fall can be reduced.
  • the reason why the area of the fall range can be reduced is that if the latter avoidance exercise is performed, the fall time until the flying object 200 reaches the ground is shortened, and the amount of movement of the flying object 200 in the horizontal direction at the time of dropping is ensured. It is because it falls.
  • FIG. 5 is a diagram illustrating an example of a positional relationship between a person existing on the ground and a fall range.
  • FIG. 6 is a diagram showing a case where the altitude of the flying object 200 is lowered from the state shown in FIG.
  • the flying object 200 when a plurality of persons 502 exist on the ground and the flying object 200 is located at the current altitude, no matter how the flying object 200 moves horizontally, it falls. It is assumed that the person 502 is in the range 501. In such a state, when the flying object 200 is caused to perform an avoidance movement to lower the altitude, the fall range 601 becomes narrower than the fall range 501 as shown in FIG. Can be made not to overlap.
  • FIG. 7 is a flowchart showing the operation of the flying object control apparatus according to Embodiment 1 of the present invention.
  • FIGS. 1 to 6 are referred to as appropriate.
  • the flying object control method is implemented by operating the flying object control apparatus 100. Therefore, the description of the flying object control method in the first embodiment is replaced with the following description of the operation of the flying object control apparatus 100.
  • the detection unit 101 acquires the video data output from the imaging device 201 (step A1).
  • the detection unit 101 detects a target from the video data acquired in Step A1 (Step A2).
  • the detection unit 101 performs geometric calculation by applying various parameters to the coordinates of the target in the video, and specifies the position of the detected target on the ground plane.
  • the fall range estimation unit 102 estimates the fall range when the flying object 200 falls (step A3). At this time, the fall range estimation unit 102 estimates the fall range in consideration of the wind direction and wind speed in the airspace where the flying object 200 is flying.
  • control unit 103 determines whether or not the target detected in step A2 and the fall range estimated in step A3 overlap, and if so, the flying object 200 is placed so that the target does not enter the fall range.
  • Control step A4. Specifically, the control unit 103 causes the flying object 200 to perform either or both of a movement in the horizontal direction and a decrease in altitude to avoid the overlap between the target and the fall range.
  • step A4 for example, when the control unit 103 controls the flying object 200 to move in the horizontal direction, the flying object 200 may not be able to resolve the overlap between the detected target position and the falling range.
  • the flying object 200 may be controlled so that the altitude of the vehicle is lowered so that the detected position of the target and the fall range do not overlap.
  • the program in the first embodiment may be a program that causes a computer to execute steps A1 to A4 shown in FIG.
  • a CPU Central Processing Unit
  • the aircraft control apparatus 100 and the aircraft control method according to the first embodiment can be realized.
  • a CPU Central Processing Unit
  • the control unit 103 to perform processing.
  • each computer may function as any of the detection unit 101, the fall range estimation unit 102, and the control unit 103, respectively.
  • FIG. 8 is a block diagram showing a configuration of the flying object control apparatus according to the second embodiment of the present invention.
  • the flying object control device 120 according to the second embodiment includes a moving range estimation unit 104 in addition to the detection unit 101, fall range estimation unit 102, and control unit 103 shown in FIG. 1. Is further provided.
  • the flying object control device 120 according to the second embodiment is different from the flying object control device 100 according to the first embodiment shown in FIG. Hereinafter, the difference from the first embodiment will be mainly described.
  • the movement range estimation unit 104 is a range in which the object detected by the detection unit 101 may move on the ground between the start of the fall and the arrival on the ground. (Hereinafter referred to as “expected moving range”).
  • the movement range estimation unit 104 estimates a circular range having a radius of 35 m centered on the location of the target person as an expected movement range. Note that the expected movement range is also finally expressed in the ground plane coordinate system.
  • the control unit 103 estimates the expected movement range estimated by the movement range estimation unit 104 when the movement range estimation unit 104 estimates the predicted movement range for the target. And whether the fall range overlaps. As a result of the determination, when the two overlap, the control unit 103 controls the flying object 200 so that they do not overlap.
  • the predicted movement range is also expressed in the ground plane coordinate system in the same manner as the fall range, so that it is easy to determine overlap in the control unit 103.
  • FIG. 9 is a flowchart showing the operation of the flying object control apparatus according to the second embodiment of the present invention.
  • FIG. 8 is taken into consideration as appropriate.
  • the flying object control method is implemented by operating the flying object control device 120. Therefore, the description of the flying object control method in the second embodiment will be replaced with the following description of the operation of the flying object control device 120.
  • the detection unit 101 acquires the video data output from the imaging device 201 (step B1).
  • the detection unit 101 detects a target from the video data acquired in Step B1 (Step B2).
  • the detection unit 101 identifies the position of the detected target on the ground plane.
  • Steps B1 and B2 are the same steps as steps A1 and A2 shown in FIG. 7, respectively.
  • the movement range estimation unit 104 estimates the expected movement range of the target detected in step B2 (step B3). Specifically, the moving range estimation unit 104 calculates the moving speed of the target on the video data, and further, the flying object 200 when starting to fall at the present time from the altitude and speed of the flying object 200 is on the ground. The time to reach is also calculated. Then, the movement range estimation unit 104 estimates the expected movement range using the calculated movement speed and time of the target.
  • the fall range estimation unit 102 estimates the fall range when the flying object 200 falls (step B4). Thereafter, the control unit 103 determines whether or not the predicted movement range estimated in Step B3 and the fall range estimated in Step B4 overlap. If they overlap, the expected movement range and the fall range do not overlap.
  • the flying object 200 is controlled (step B5). Specifically, the control unit 103 causes the flying object 200 to perform either or both of a movement in the horizontal direction and a decrease in altitude, and eliminates the overlap between the predicted movement range and the fall range.
  • Step B4 is the same as step A3 shown in FIG.
  • step B5 for example, when the control unit 103 controls the flying object 200 to move in the horizontal direction, the flying object 200 may not be able to resolve the overlap between the detected target position and the falling range.
  • the flying object 200 may be controlled so that the altitude of the aircraft is lowered so that the expected movement range and the fall range do not overlap.
  • the movement range estimation unit 104 represents the possibility that the flying object will collide with the target at the time of falling, such as the existence probability of the target at the time of falling of the flying object, for each set area instead of the above-described predicted movement range.
  • a numerical value may be calculated.
  • the control unit 103 controls the flying object 200 so as to move to an area where the value is the minimum value. According to this aspect, it is possible to reduce the risk of the flying object 200 falling to a place where more persons are present, and the optimal control of the flying object 200 is possible.
  • the program in the second embodiment may be a program that causes a computer to execute steps B1 to B5 shown in FIG.
  • a CPU Central Processing Unit
  • the flying object control device 120 and the flying object control method according to the second embodiment can be realized.
  • a CPU Central Processing Unit
  • a detection unit 101 a fall range estimation unit 102, a control unit 103, and a movement range estimation unit 104 to perform processing.
  • each computer may function as any one of the detection unit 101, the fall range estimation unit 102, the control unit 103, and the movement range estimation unit 104, respectively.
  • FIG. 10 is a block diagram showing a configuration of the flying object control apparatus according to Embodiment 3 of the present invention.
  • the flying object control device 130 according to the third embodiment includes a drop risk estimation unit in addition to the detection unit 101, the fall range estimation unit 102, and the control unit 103 shown in FIG. 1. 105 is further provided.
  • the flying object control device 130 according to the third embodiment is different from the flying object control device 100 according to the first embodiment shown in FIG. Hereinafter, the difference from the first embodiment will be mainly described.
  • the drop risk estimation unit 105 estimates the risk that the flying object 200 will fall based on the current situation of the flying object 200.
  • the drop risk estimation unit 105 includes, for example, the wind speed, the turbulence of the air current, the remaining battery level, the reception state of the radio wave for remote operation, the temperature of the motor 203, and the computer that constructs the flying object control device 130. Temperature, etc. are monitored from time to time, and the value of each item (shown as “monitoring information”) is acquired.
  • the fall risk estimation unit 105 determines whether or not the value of each item to be monitored is equal to or greater than a predetermined threshold indicating the fall risk.
  • the drop risk estimation unit 105 determines that the risk of drop is increasing, and outputs that fact to the control unit 103.
  • the drop risk estimation unit 105 determines that the risk of drop at the current time is low, and outputs that fact to the control unit 103.
  • the control unit 103 prevents the target position detected by the detection unit 101 from overlapping the fall range estimated by the fall range estimation unit 102. , Controlling the flying object 200.
  • the controller 103 determines that the risk of dropping is low, the target position detected by the detecting unit 101 overlaps with the falling range estimated by the dropping range estimating unit 102. Can be forgiven. In this case, the control unit 103 does not cause the flying object 200 to perform the avoidance motion.
  • FIG. 11 is a flowchart showing the operation of the flying object control apparatus according to the third embodiment of the present invention.
  • FIG. 10 is referred to as appropriate.
  • the flying object control method is implemented by operating the flying object control device 130. Therefore, the description of the flying object control method in the third embodiment is replaced with the following description of the operation of the flying object control device 130.
  • the detection unit 101 acquires the video data output from the imaging device 201 (step C1).
  • the detection unit 101 detects a target from the video data acquired in Step C1 (Step C2).
  • the detection unit 101 specifies the position of the detected target on the ground plane.
  • the fall range estimation unit 102 estimates the fall range when the flying object 200 falls (step C3). Steps C1 to C3 are the same as steps A1 to A3 shown in FIG. 7, respectively.
  • the fall risk estimation unit 105 estimates the risk that the flying object 200 will fall based on the current situation of the flying object 200 (step C4). Specifically, in step C4, the fall risk estimation unit 105 determines whether the value of each item that is constantly monitored is equal to or greater than a predetermined threshold value. The fall risk estimation unit 105 determines that the risk of dropping is increased when the threshold is exceeded in one or more items, and otherwise determines that the risk of falling is low. .
  • control unit 103 checks whether or not the risk is determined to be high in step C4. If the risk is determined to be high, the control unit 103 controls the flying object 200 so that the target does not enter the fall range. (Step C5).
  • the flying object 200 when the risk of falling is small, the flying object 200 can also fly over a person. Passing through the airspace is possible. As a result, the work efficiency of the flying object 200 is improved.
  • the flying object control apparatus 130 in the present third embodiment can also include the movement range estimation unit 104 shown in FIG. 8 in the second embodiment.
  • the control unit 103 controls the flying object 200 so that one of the target position and the expected movement range does not overlap the fall range.
  • the program in the third embodiment may be a program that causes a computer to execute steps C1 to C5 shown in FIG.
  • a CPU Central Processing Unit
  • the flying object control device 130 and the flying object control method according to the third embodiment can be realized.
  • a CPU Central Processing Unit
  • a detection unit 101 a fall range estimation unit 102, a control unit 103, and a fall risk estimation unit 105 to perform processing.
  • each computer may function as any of the detection unit 101, the fall range estimation unit 102, the control unit 103, and the fall risk estimation unit 105, respectively.
  • FIG. 13 is a block diagram showing an example of a computer that implements the flying object control apparatus according to the first to third embodiments of the present invention.
  • the computer shown in FIG. 13 is an embedded computer mounted on a flying object.
  • the computer may be a computer that performs data communication with the flying object from the ground.
  • the flying object control apparatus is constructed at a location different from the flying object.
  • the computer 110 includes a CPU 111, a main memory 112, a storage device 113, and a communication interface 114. These units are connected to each other via a bus 115 so that data communication is possible.
  • the CPU 111 performs various operations by developing the program (code) in the present embodiment stored in the storage device 113 in the main memory 112 and executing them in a predetermined order.
  • a specific example of the storage device 113 is a semiconductor storage device such as a flash memory.
  • the main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory).
  • the communication interface 114 mediates data transmission between the CPU 111 and another computer.
  • the program in the present embodiment is provided in a state stored in a computer-readable recording medium 116.
  • the recording medium 116 include general-purpose semiconductor storage devices such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), magnetic storage media such as a flexible disk, or CD-ROM ( Optical storage media such as Compact Disk (Read Only Memory).
  • the program in the present embodiment may be provided via the communication interface 114.
  • the flying object control apparatus in the present embodiment can be realized not by using a computer in which a program is installed but also by using hardware corresponding to each unit. Furthermore, a part of the flying object control apparatus may be realized by a program, and the remaining part may be realized by hardware.
  • a detection unit that detects a target from video data output by an imaging device that captures the underside of the flying object;
  • a fall range estimation unit for estimating a fall range of the flying object;
  • a control unit for controlling the flying body so that the detected position of the object and the fall range do not overlap;
  • a vehicle control apparatus comprising:
  • the fall range estimation unit estimates the fall range based on the altitude of the flying object from the ground and wind information specifying a wind direction and a wind speed.
  • the flying object control apparatus according to appendix 1.
  • the fall range estimation unit holds in advance a fall range for a combination of at least altitude and wind speed from the ground as a database, and refers to the database to estimate the fall range.
  • the flying object control apparatus according to attachment 2.
  • the detected object further includes a movement range estimation unit that estimates a range that may move on the ground as the expected movement range from when the flying object starts to fall to the ground. , The control unit controls the flying body so that the estimated expected movement range and the fall range do not overlap.
  • the flying object control apparatus according to appendix 1.
  • Appendix 6 Further comprising a fall risk estimation unit that estimates the risk of the flight body falling based on the status of the flight object; When the estimated risk exceeds a predetermined level, the control unit controls the flying object so that one of the detected position of the target and the expected movement range does not overlap the fall range. Control, The flying object control apparatus according to appendix 4.
  • a vehicle control method comprising:
  • the fall range is estimated based on the altitude of the flying object from the ground and wind information specifying the direction and speed of the wind.
  • step (b) At least a fall range for a combination of altitude and wind speed from the ground is held in advance as a database, and the fall range is estimated with reference to the database.
  • the method further comprises the step of estimating, as an expected movement range, a range in which the detected object may move on the ground between the time when the flying object starts to fall and the arrival on the ground. And In the step (c), the flying object is controlled so that the estimated expected movement range and the fall range do not overlap.
  • step (c) In the step (c), even if the flying object is controlled to move in the horizontal direction, if the overlap between the detected position of the object and the fall range cannot be resolved, the altitude of the flying object decreases. Controlling the flying body so that the detected position of the object and the fall range do not overlap, The aircraft control method according to appendix 7.
  • the fall range is estimated based on the altitude of the flying object from the ground and wind information specifying the direction and speed of the wind.
  • step (b) At least a fall range for a combination of altitude and wind speed from the ground is held in advance as a database, and the fall range is estimated with reference to the database.
  • step (c) Even if the flying object is controlled to move in the horizontal direction, if the overlap between the detected position of the object and the fall range cannot be resolved, the altitude of the flying object decreases. Controlling the flying body so that the detected position of the object and the fall range do not overlap, The computer-readable recording medium according to attachment 13.
  • a flying object such as a UAV can be operated at a low risk even in a place where a person exists and in the airspace in the vicinity thereof.
  • the present invention is useful for various aircraft.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

飛行体制御装置１００は、飛行体２００の下方を撮影する撮像装置２０１が出力した映像データから、対象を検知する、検知部１０１と、飛行体２００の落下範囲を推定する、落下範囲推定部１０２と、検知された対象の位置と落下範囲とが重ならないように飛行体２００を制御する、制御部１０３と、を備える。

Description

飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体
　本発明は、飛行体、特には、無人飛行機（ＵＡＶ：Unmanned Aerial Vehicle）の飛行ルートを制御する飛行体制御装置、飛行体制御方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　近年、ＵＡＶが低空域の有効活用を図る手段として大いなる期待を集めている。これは、電動モータ及びバッテリーの小型化及び高出力化により、小型のＵＡＶが安価で提供されるようになったことによる。とりわけ、操縦性及び安定性の点から、小型のＵＡＶの多くは、複数のローターを備えたマルチコプタータイプとなっている。
　また、コンピュータの高性能化及び小型化により、ＵＡＶには、従来からの遠隔操作の模型ヘリコプター等とは異なり、コンピュータも備えられている。このため、ＵＡＶの飛行ルートを制御する方法としては、操縦者がマニュアル操縦する方法のほか、ＧＰＳ（Global Positioning System）を用いてあらかじめ設定した座標経路に沿って自律的に飛行させる方法なども実現されている。
　また、ＵＡＶを自律的に飛行させる場合においては、鉄塔及び送電線などの障害物とＵＡＶとの衝突を回避する必要がある。このため、特許文献１は、ＵＡＶに障害物の座標をあらかじめ飛行ルートと共に入力しておくことで、ＵＡＶが障害物に接近しすぎた場合に、ＵＡＶに障害物を自動的に回避させる技術を提案している。
　更に、ＵＡＶは、防犯の分野での利用も期待されている。例えば、特許文献２は、建物に設置した監視カメラが侵入者を検知すると、ＵＡＶをそこに急行させて、ＵＡＶに搭載されているカメラによって、侵入者の検知及び追跡を行う技術を開示している。
特開２００３－１２７９９４号公報（第１図） 特開２０１４－１４９６２０号公報（第１図）
　しかしながら、ＵＡＶ、特にマルチコプタータイプのＵＡＶの活用においては、突然落下する危険性が大きいという問題がある。また、突然の落下の原因としては、操縦ミス、電池切れ、燃料切れ、突風などによる環境条件の変化、通信不能事態の発生といったことが考えられる。
　そして、このような突然の落下によって、ＵＡＶが歩行者の頭上に万一落下すると、生死にかかわる事態となる。また、このような突然の落下を予測することは難しい。このため、現状においては、ＵＡＶの突然の落下に対する手立ては、落下のリスクを避けるために、ＵＡＶの飛行を、人がいない空間での運用に制限する、または落下の危険性をいとわない緊急事態での運用に制限することしかないのである。
　本発明の目的の一例は、上記問題を解決し、人が存在する場所及びその付近の空域においても、ＵＡＶを低いリスクで運用可能とし得る、飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における飛行体制御装置は、
　飛行体の下方を撮影する撮像装置が出力した映像データから、対象を検知する、検知部と、
　前記飛行体の落下範囲を推定する、落下範囲推定部と、
　検知された前記対象の位置と前記落下範囲とが重ならないように前記飛行体を制御する、制御部と、
を備えることを特徴とする。
　また、上記目的を達成するため、本発明の一側面における飛行体制御方法は、
（ａ）飛行体の下方を撮影する撮像装置が出力した映像データから、対象を検知する、ステップと、
（ｂ）前記飛行体の落下範囲を推定する、ステップと、
（ｃ）検知された前記対象の位置と前記落下範囲とが重ならないように前記飛行体を制御する、ステップと、
を有することを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
（ａ）飛行体の下方を撮影する撮像装置が出力した映像データから、対象を検知する、ステップと、
（ｂ）前記飛行体の落下範囲を推定する、ステップと、
（ｃ）検知された前記対象の位置と前記落下範囲とが重ならないように前記飛行体を制御する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
　以上のように、本発明によれば、人が存在する場所及びその付近の空域においても、ＵＡＶを低いリスクで運用することができる。
図１は、本発明の実施の形態１における飛行体制御装置の構成を示すブロック図である。 図２は、本発明の実施の形態１において制御対象となる飛行体とその落下範囲の一例を示す図である。 図３は、飛行体と風向きとの関係の一例を示す図である。 図４は、風速及び高度に応じた落下範囲の一例を示す図である。 図５は、地上に存在する人と落下範囲との位置関係の一例を示す図である。 図６は、図５に示した状態から飛行体２００の高度を下げた場合を示す図である。 図７は、本発明の実施の形態１における飛行体制御装置の動作を示すフロー図である。 図８は、本発明の実施の形態２における飛行体制御装置の構成を示すブロック図である。 図９は、本発明の実施の形態２における飛行体制御装置の動作を示すフロー図である。 図１０は、本発明の実施の形態３における飛行体制御装置の構成を示すブロック図である。 図１１は、本発明の実施の形態３における飛行体制御装置の動作を示すフロー図である。 図１２は、本発明の実施の形態３における飛行体制御装置の構成の他の例を示すブロック図である。 図１３は、本発明の実施の形態１～３における飛行体制御装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態１）
　以下、本発明の実施の形態１における、飛行体制御装置、飛行体制御方法、及びプログラムについて、図１～図７を参照しながら説明する。
［装置構成］
　最初に、本実施の形態１における飛行体制御装置の構成について図１を用いて説明する。図１は、本発明の実施の形態１における飛行体制御装置の構成を示すブロック図である。
　図１に示す飛行体制御装置１００は、飛行体２００の制御を行なうための装置である。ここで、飛行体２００には、飛行機、ヘリコプター、飛行船等、飛行可能なもの全てが含まれる。また、図１においては、飛行体２００の一例として無人飛行機（ＵＡＶ）を示しているが、飛行体２００においては、有人及び無人の別は問われない。
　図１に示すように、飛行体制御装置１００は、検知部１０１と、落下範囲推定部１０２と、制御部１０３とを備えている。このうち、検知部１０１は、飛行体２００の下方を撮影する撮像装置２０１が出力した映像データから、対象を検知する。対象としては、飛行体２００の落下による飛行体２００との衝突を回避する必要があるもの、例えば、人、ベビーカー、自転車、自動車、列車、船舶、航空機、絶滅が危惧される野生動物、建物等が挙げられる。
　また、落下範囲推定部１０２は、飛行体２００の落下範囲を推定する。具体的には、落下範囲推定部１０２は、飛行体２００の機能が停止又は低下することによって、飛行体２００が落下した場合の落下範囲を推定する。制御部１０３は、検知された対象の位置と落下範囲とが重ならないように飛行体２００を制御する。
　このように、飛行体制御装置１００は、飛行体２００に搭載された撮像装置２０１の映像から、飛行体２００との衝突を回避したい対象を検出する。また、飛行体制御装置１００は、飛行体２００が落下した時に対象との衝突の可能性があると、飛行体２００が対象に衝突しないように制御する。このため、飛行体制御装置１００によれば、人が存在する場所及びその付近の空域であっても、飛行体２００を低リスクで運用することが可能となる。
　続いて、図１に加えて図２を用いて、本実施の形態１における飛行体制御装置の構成について更に具体的に説明する。図２は、本発明の実施の形態１において制御対象となる飛行体とその落下範囲の一例を示す図である。
　図２に示すように、本実施の形態１においては、飛行体２００として、４つのプロペラ備えるマルチコプタータイプのＵＡＶが用いられている。また、飛行体２００には、その下方に存在する対象を撮影するための撮像装置２０１が搭載されている。図２において、２０６は、衝突回避の対象を示している。なお、図２では、対象２０６は人を示している。更に、図１に示すように、飛行体２００は、各プロペラを駆動するモータ２０３と、制御部１０３の指示に応じて各モータに電力を供給するモータ駆動部２０２とを備えている。
　撮像装置２０１の具体例としては、例えば、可視光カメラ、遠赤外線カメラ、及びＴｏＦ（Time of Flight）カメラが挙げられる。また、撮像装置２０１は、これらのうちの２つ以上を組み合せて構成されていても良い。
　撮像装置２０１の撮影方向は、図２の例では、例えば、飛行体２００の鉛直下方に設定される。但し、撮影方向は、鉛直下方に限定されることはなく、後述する落下範囲が撮影可能となるように、飛行体２００の下方に設定されていれば良い。例えば、撮影方向は、飛行体２００の進行方向から下方に傾けた方向であっても良い。
　また、例えば、特許文献２に開示されているように、飛行体２００が、人物を追跡するためのカメラを備えている場合は、撮像装置２０１は、この追跡用のカメラと兼用であってもよいし、この追跡用のカメラとは別個のカメラであってもよい。
　検知部１０１は、上述したように、撮像装置２０１が出力した映像データから、衝突回避の対象となる人等を検知する。検知部１０１による対象の検知手法としては、既知のさまざまな検知手法を用いることができる。
　例えば、撮像装置２０１が可視光カメラの場合は、事前に機械学習手法を用いて構築され、且つ、認識対象に対応する特徴量が登録された認識辞書を用いることで、人物を検出できる。具体的には、まず、映像データで特定される映像からさまざまな矩形領域が切り出され、次いで、切り出された各矩形領域から特徴量が算出される。その後、算出された特徴量が認識辞書に照合され、それによって、人物を示す領域が特定され、特定された領域が人物として検出される。
　また、認識辞書を構築する際の学習アルゴリズムとしては、ＳＶＭ（Support Vector Machine）、カスケード型識別器などが挙げられる。また、特徴量としては、ＨｏＧ（Histograms of Oriented Gradients）特徴量、Ｈａａｒ－Ｌｉｋｅ特徴量などを用いることができる。
　また、例えば、撮像装置２０１が遠赤外線カメラの場合は、映像データで特定される赤外線映像から、画素値が体温に近い温度に対応している画素を抽出し、これらの隣接画素を接合して２次元的な領域を抽出することによって、人物を検出できる。更に、撮像装置２０１が遠赤外線カメラの場合も、可視光カメラの場合と同様に、認識辞書を用いることによって人物を検知できる。具体的には、この場合は、映像データで特定される赤外線画像から、画像処理により、温度が急激に変化している箇所が抽出される。そして、抽出された箇所から特徴量が算出され、その後、算出された特徴量が認識辞書に照合され、それによって、人物が検出される。
　加えて、撮像装置２０１がＴｏＦカメラの場合も、可視光カメラの場合と同様に、認識辞書を用いることによって人物を検知できる。具体的には、この場合は、映像データで特定される距離画像から、隣接する画素間の距離が不連続になっている箇所が抽出される。そして抽出された箇所から特徴量が算出され、その後、算出された特徴量が認識辞書に照合され、それによって、人物が検出される。
　また、検知部１０１は、対象を検知すると、地表平面上における対象の位置を特定する。具体的には、まず、飛行体２００に固有の３次元座標系、撮像装置２０１の内部パラメータ、飛行体２００に固有の３次元座標系に対する撮像装置２０１の外部パラメータ、飛行体２００の地上高が既知であるとする。この場合、検知部１０１は、映像中の対象の座標を特定し、特定した座標と上記の既知の情報とを用いて、幾何学計算を実行することによって、映像中の対象の地表上での位置を特定することができる。
　飛行体２００に固有の３次元座標系は、飛行体２００の各部の位置を特定するために、飛行体２００の内部に設定された座標系であり、あらかじめ設定されていればよい。撮像装置２０１の内部パラメータ、例えば、焦点距離などは、事前に計測されていればよい。
　飛行体２００に固有の３次元座標系に対する撮像装置２０１の外部パラメータは、例えば、飛行体２００に対するレンズの光軸の角度及びレンズの位置等である。撮像装置２００の位置及び向きが飛行体２００に対して固定されている場合は、この外部パラメータは、事前に計測されていればよい。一方、撮像装置２００の位置及び向きが飛行体２００に対して可動する場合は、外部パラメータは、事前の計測値と、飛行体２００に対する撮像装置２００の位置を検知するセンサからの位置情報とを統合して、計算幾何学を実行することによって算出される。
　飛行体２００の地上高は、例えば、撮像装置２０１がＴｏＦカメラであるならば、ＴｏＦカメラが出力する距離情報に基づいて、飛行体２００から地面までの距離を算出することによって計測されていればよい。また、飛行体２００が電波高度計などの高度を測定する装置を備えている場合は、飛行体２００の地上高は、この装置からの情報によって算出されればよい。
　また、検知部１０１においては、対象の地表上での位置を表現するために座標系が設定される。ここでは、この座標系のことを「地表平面座標系」と呼ぶこととする。本実施の形態１において、地表平面座標系としては、どのような座標系が設定されていてもよく、特に限定されるものではない。
　具体的には、地表平面座標系としては、設定対象となる飛行体２００から地表面に向かって鉛直方向に伸びる垂線と地表面との交わる点を原点とし、飛行体２００の正面方向（進行方向）に平行な軸をｘ軸、ｘ軸に直交する軸をｙ軸とする、座標系が挙げられる。この座標系は、設定対象となる飛行体２００を中心に設定される座標系であり、飛行体２００の移動に伴い、原点は時々刻々移動することになる。但し、本実施の形態１においては、飛行体２００に対する対象の相対位置を確定できれば、飛行体２００の制御を行えるので、この地表平面座標件は、本発明の目的にかなった座標系といえる。
　また、地表平面座標系としては、撮像装置２０１からの映像中に設定された座標系、即ち、画像座標系も挙げられる。また、地表平面座標系としては、ＧＰＳなどで用いられるＥＣＥＦ（Earth Centered Earth Fixed）直交座標系などのグローバル座標系も挙げられる。グローバル座標系が用いられる場合は、設定対象となる飛行体２００のグローバル座標系における位置と、設定対象となる飛行体２００を基準とした対象の相対位置とから、対象のグローバル座標系での位置が算出される。これにより、対象の地表上での位置は、グローバル座標系によって表現されることになる。
　落下範囲推定部１０２は、本実施の形態１では、制御対象となる飛行体２００が現時刻に落下を開始した場合に想定される地上の落下範囲を推定する。飛行体２００がマルチコプタータイプである場合は、落下時において、飛行体２００は滑空することが困難である。このため、図２に示すように、例えば無風の場合は、飛行体２００は、その直下に位置する点２０４を中心とした円２０５内に落下すると考えられる。従って、この場合、落下範囲推定部１０２は、円２０５を落下範囲として推定する。また、円２０５の半径は、飛行体２００の高度に応じて変化することから、落下範囲推定部１０２は、あらかじめ設定された高度と円２０５の半径との関係に基づいて、円２０５の半径を設定する。
　また、より実際的には、落下範囲は風の影響を相当に受ける。このため、落下範囲の推定においては、飛行体２００の高度に加えて、風の向き及び風速もパラメータとして用いられているのがよい。このため、本実施の形態１においては、落下範囲推定部１０２が、少なくとも地上からの高度と風速との組み合わせに対する落下範囲をデータベースとしてあらかじめ保持し、データベースを参照して、落下範囲を推定する、のが好ましい。この点について図３及び図４を用いて説明する。
　図３は、飛行体と風向きとの関係の一例を示す図である。図４は、風速及び高度に応じた落下範囲の一例を示す図である。図３に示すように、飛行体２００が風による影響を受けているとする。この場合、落下範囲推定部１０２は、風の向きを示す仮想的な矢印を鉛直方向に沿って地上に投影して得られた方向（矢印３０１で示す方向）を主軸方向に設定し、これに直交する方向（矢印３０２で示す方向）をサブ軸方向に設定する。
　そして、図４に示すように、風速と飛行体２００の現在の高度とを、それぞれパラメータとして、両者の様々な組み合わせ毎に、落下範囲４０１～４０３が設定される。設定された落下範囲４０１～４０３は、対応する組み合わせに関連付けられて、データベースとして保持される。
　また、落下範囲推定部１０２は、データベースを用いる代わりに、風の向き、風速、および飛行体２００の高度に基づいて、飛行体２００が落下した場合の物理的なシミュレーションを実行して、リアルタイムに落下範囲を算出することもできる。
　また、図３及び図４において、風向き及び風速は、落下開始以前の自律制御が良好に機能していた時点における飛行体２００の姿勢制御情報を用いれば、推定することができる。但し、この場合、風向き及び風速は、飛行体２００に固有の３次元座標系上で推定されているので、検知部１０１による対象検知の場合と同様に、落下範囲推定部１０２は、計算幾何学を用いて地表平面座標系における落下範囲を設定する。
　なお、図３及び図４の例では、風向きを示す仮想的な矢印を鉛直方向に沿って地上に投影して得られた方向３０１が、主軸方向とされる例について説明しているが、無風の場合は、主軸方向が不定となる。しかし、無風の場合は、落下範囲は、飛行体２００の現在位置を中心とした同心円状となるため、主軸方向は任意に設定されていても全く問題はない。
　制御部１０３は、本実施の形態１では、対象の位置と落下範囲とが地表平面座標系で表現されているので、地表平面座標系上で両者が重なっているかどうかを判定する。判定の結果、両者が重なっている場合は、制御部１０３は、検知部１０１によって検出された対象が、落下範囲推定部１０２によって推定された落下範囲内に位置しないように、飛行体２００の位置を制御する。具体的には、制御部１０３は、対象の位置と落下範囲とが重ならないように、モータ駆動部２０２を介して、各モータ２０３の出力を調整して、飛行体２００に回避運動を行なわせる。
　対象の位置と落下範囲との重なりを避けるために行なわれる飛行体２００の主たる回避運動としては、次の２つが挙げられる。１つは、検出した対象が落下範囲内に入らぬよう、飛行体２００を水平方向に移動させる回避運動である。もう１つは、検出した対象が落下範囲内に入らぬよう、飛行体２００を降下させて高度を下げる回避運動である。
　前者のメリットは、飛行体２００の位置に対する落下範囲の相対位置が基本的に変化しないため、検出した対象が落下範囲内に入らぬように、落下範囲を水平移動させることを考えればよく、制御が容易であるという点である。落下範囲の水平移動する際の方向および距離が、飛行体２００を移動させるべき方向および距離に対応することとなる。
　後者のメリットは、落下範囲の面積を絞り込んで小さくすることができる点と、万が一落下した場合の衝撃を小さくできる点とである。落下範囲の面積を小さくできる理由は、後者の回避運動を行なうと、飛行体２００が地面に到達するまでの落下時間が短くなり、落下時の飛行体２００の水平方向への移動量が確実に低下するからである。
　ここで、図５及び図６を用いて、飛行体の高度を低下させる回避運動のメリットについて具体的に説明する。図５は、地上に存在する人と落下範囲との位置関係の一例を示す図である。図６は、図５に示した状態から飛行体２００の高度を下げた場合を示す図である。
　図５に示すように、例えば、複数の人５０２が地上に存在しており、飛行体２００が現在の高度に位置している場合は、飛行体２００がどのように水平移動しても、落下範囲５０１内に人５０２が入ってしまう状態にあるとする。このような状態において、飛行体２００に、高度を下げる回避運動を行なわせると、図６に示すように、落下範囲６０１は、落下範囲５０１よりも狭くなるので、落下範囲６０1と人６０２の位置とを重複させないようにすることができる。
［装置動作］
　次に、本発明の実施の形態１における飛行体制御装置１００の動作について図７を用いて説明する。図７は、本発明の実施の形態１における飛行体制御装置の動作を示すフロー図である。以下の説明においては、適宜図１～図６を参酌する。また、本実施の形態１では、飛行体制御装置１００を動作させることによって、飛行体制御方法が実施される。よって、本実施の形態１における飛行体制御方法の説明は、以下の飛行体制御装置１００の動作説明に代える。
　図７に示すように、最初に、検知部１０１は、撮像装置２０１が出力した映像データを取得する（ステップＡ１）。次に、検知部１０１は、ステップＡ１で取得した映像データから、対象を検知する（ステップＡ２）。また、ステップＡ２では、検知部１０１は、映像中の対象の座標に各種パラメータを適用して幾何学計算を実行し、検知した対象の地表平面上における位置を特定する。
　次に、落下範囲推定部１０２は、飛行体２００が落下した場合の落下範囲を推定する（ステップＡ３）。このとき、落下範囲推定部１０２は、飛行体２００が飛行している空域の風の方向及び風速を考慮して、落下範囲を推定する。
　その後、制御部１０３は、ステップＡ２で検出した対象とステップＡ３で推定した落下範囲とが重なっているかどうかを判定し、重なっている場合は、対象が落下範囲に入らないように飛行体２００を制御する（ステップＡ４）。具体的には、制御部１０３は、飛行体２００に、水平方向への移動及び高度の低下のいずれか又は両方の回避運動を行なわせ、対象と落下範囲との重なりを解消する。
　なお、ステップＡ４では、例えば、制御部１０３は、飛行体２００を水平方向に移動するように制御しても、検知された対象の位置と落下範囲との重なりを解消できない場合に、飛行体２００の高度が下がるように飛行体２００を制御して、検知された対象の位置と落下範囲とが重ならないようにしても良い。
［実施の形態１による効果］
　以上のように、本実施の形態１では、飛行体２００の運用において、落下によるリスクを低減することが可能となる。本実施の形態１によれば、人が存在する場所及びその付近の空域であっても、飛行体２００を低リスクで運用することが可能となる。
［プログラム］
　本実施の形態１におけるプログラムは、コンピュータに、図７に示すステップＡ１～Ａ４を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における飛行体制御装置１００と飛行体制御方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、検知部１０１、落下範囲推定部１０２、及び制御部１０３として機能し、処理を行なう。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、検知部１０１、落下範囲推定部１０２、及び制御部１０３のいずれかとして機能しても良い。
（実施の形態２）
　次に、本発明の実施の形態２における、飛行体制御装置、飛行体制御方法、及びプログラムについて、図８及び図９を参照しながら説明する。
［装置構成］
　最初に、本実施の形態２における飛行体制御装置の構成について図８を用いて説明する。図８は、本発明の実施の形態２における飛行体制御装置の構成を示すブロック図である。
　図８に示すように、本実施の形態２における飛行体制御装置１２０は、図１にも示した、検知部１０１、落下範囲推定部１０２、及び制御部１０３に加えて、移動範囲推定部１０４を更に備えている。本実施の形態２における飛行体制御装置１２０は、この点で、図１に示した実施の形態１における飛行体制御装置１００と異なっている。以下、実施の形態１との相違点を中心に説明する。
　移動範囲推定部１０４は、飛行体２００が落下し始めたと仮定した場合に、落下の開始から地上に到達するまでの間に、検知部１０１によって検知済みの対象が地上において移動する可能性の範囲（以下「予想移動範囲」と表記する。）を推定する。
　例えば、飛行体２００が現在の時刻から落下し始め、それが地上に到達するまでの時間が5秒、対象である人の走る速さが最大７ｍ／秒と仮定する。この場合は、移動範囲推定部１０４は、対象である人の存在位置を中心とした半径３５ｍの円形の範囲を、予想移動範囲として推定する。なお、予想移動範囲も、最終的には地表平面座標系で表現される。
　また、本実施の形態２では、制御部１０３は、実施の形態１と異なり、移動範囲推定部１０４によって、対象について予想移動範囲が推定されると、移動範囲推定部１０４が推定した予想移動範囲と落下範囲とが重なっているかどうかを判定する。判定の結果、両者が重なっている場合は、制御部１０３は、両者が重ならないように、飛行体２００を制御する。なお、上述したように、予想移動範囲も落下範囲と同様に地表平面座標系で表現されるので、制御部１０３における重なりの判定は容易なものとなる。
［装置動作］
　次に、本発明の実施の形態２における飛行体制御装置１２０の動作について図９を用いて説明する。図９は、本発明の実施の形態２における飛行体制御装置の動作を示すフロー図である。以下の説明においては、適宜図８を参酌する。また、本実施の形態２では、飛行体制御装置１２０を動作させることによって、飛行体制御方法が実施される。よって、本実施の形態２における飛行体制御方法の説明は、以下の飛行体制御装置１２０の動作説明に代える。
　図９に示すように、最初に、検知部１０１は、撮像装置２０１が出力した映像データを取得する（ステップＢ１）。次に、検知部１０１は、ステップＢ１で取得した映像データから、対象を検知する（ステップＢ２）。また、ステップＢ２では、検知部１０１は、検知した対象の地表平面上における位置を特定する。なお、ステップＢ１及びＢ２は、それぞれ、図７に示したステップＡ１及びＡ２と同様のステップである。
　次に、移動範囲推定部１０４は、ステップＢ２で検知された対象の予想移動範囲を推定する（ステップＢ３）。具体的には、移動範囲推定部１０４は、映像データ上で、対象の移動速度を算出し、更に、飛行体２００の高度及び速度から、現時点で落下し始めた場合の飛行体２００が地上に到達するまでの時間も算出する。そして、移動範囲推定部１０４は、算出した対象の移動速度と時間とを用いて、予想移動範囲を推定する。
　次に、落下範囲推定部１０２は、飛行体２００が落下した場合の落下範囲を推定する（ステップＢ４）。その後、制御部１０３は、ステップＢ３で推定した予想移動範囲とステップＢ４で推定した落下範囲とが重なっているかどうかを判定し、重なっている場合は、予想移動範囲と落下範囲とが重ならないように飛行体２００を制御する（ステップＢ５）。具体的には、制御部１０３は、飛行体２００に、水平方向への移動及び高度の低下のいずれか又は両方の回避運動を行なわせ、予想移動範囲と落下範囲との重なりを解消する。なお、ステップＢ４は、図７に示したステップＡ３と同様のステップである。
　なお、ステップＢ５では、例えば、制御部１０３は、飛行体２００を水平方向に移動するように制御しても、検知された対象の位置と落下範囲との重なりを解消できない場合に、飛行体２００の高度が下がるように飛行体２００を制御して、予想移動範囲と落下範囲とが重ならないようにしても良い。
［実施の形態２による効果］
　以上のように、本実施の形態２によれば、落下時の飛行体２００と対象との衝突をより確実に回避することができるので、飛行体２００の運用において、落下によるリスクをよりいっそう低減することが可能となる。
　また、上述の例では、予想移動範囲と落下範囲とが重ならないように飛行体２００を制御する例について説明しているが、本実施の形態２は、この例に限定されるものではない。例えば、移動範囲推定部１０４は、上述の予想移動範囲の代わりに、設定されたエリア毎に、飛行体の落下時における対象の存在確率といった、落下時に飛行体が対象に衝突する可能性を表す数値を算出してもよい。この場合、制御部１０３は、値が最小値となるエリアに移動するように、飛行体２００を制御する。この態様によれば、より多くの人物が存在する場所に飛行体２００が落下するリスクを低減させることができ、飛行体２００の最適制御が可能となる。
［プログラム］
　本実施の形態２におけるプログラムは、コンピュータに、図９に示すステップＢ１～Ｂ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態２における飛行体制御装置１２０と飛行体制御方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、検知部１０１、落下範囲推定部１０２、制御部１０３、及び移動範囲推定部１０４として機能し、処理を行なう。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、検知部１０１、落下範囲推定部１０２、制御部１０３、及び移動範囲推定部１０４のいずれかとして機能しても良い。
（実施の形態３）
　次に、本発明の実施の形態３における、飛行体制御装置、飛行体制御方法、及びプログラムについて、図１０及び図１１を参照しながら説明する。
［装置構成］
　最初に、本実施の形態３における飛行体制御装置の構成について図１０を用いて説明する。図１０は、本発明の実施の形態３における飛行体制御装置の構成を示すブロック図である。
　図１０に示すように、本実施の形態３における飛行体制御装置１３０は、図１にも示した、検知部１０１、落下範囲推定部１０２、及び制御部１０３に加えて、落下危険性推定部１０５をさらに備える。本実施の形態３における飛行体制御装置１３０は、この点で、図１に示した実施の形態１における飛行体制御装置１００と異なっている。以下、実施の形態１との相違点を中心に説明する。
　図１０に示すように、落下危険性推定部１０５は、飛行体２００の現在の状況に基づいて、飛行体２００が落下する危険性を推測する。具体的には、落下危険性推定部１０５は、例えば、風速、気流の乱れ、バッテリー残量、遠隔操作用の無線電波の受信状態、モータ２０３の温度、飛行体制御装置１３０を構築するコンピュータの温度等を、時々刻々モニタリングし、各項目の値（「モニタリング情報」と表記する）を取得する。
　そして、モニタリングの対象となっている項目は、それぞれ、その値があるところを超えると落下の危険性を高めるものであるので、項目毎にあらかじめ閾値が設定されている。よって、落下危険性推定部１０５は、モニタリングの対象となっている各項目について、その値があらかじめ定めた落下の危険性を示す閾値以上となっているかどうかを判定する。
　判定の結果、１項目以上において閾値を超えている場合は、落下危険性推定部１０５は、落下の危険性が高まっていると判断し、その旨を制御部１０３に出力する。一方、判定の結果、いずれの項目についても閾値を超えていない場合は、落下危険性推定部１０５は、現時刻における落下の危険性は低いと判断し、その旨を制御部１０３に出力する。
　制御部１０３は、落下危険性推定部１０５が落下の危険性が高いと判断した場合は、検知部１０１が検出した対象の位置が、落下範囲推定部１０２が推定した落下範囲と重ならないように、飛行体２００を制御する。
　また、制御部１０３は、落下危険性推定部１０５が落下の危険性が少ないと判断した場合は、検知部１０１が検出した対象の位置が、落下範囲推定部１０２が推定した落下範囲と重なることを許すこともできる。この場合、制御部１０３が、飛行体２００に回避運動を行なわせることはない。
［装置動作］
　次に、本発明の実施の形態３における飛行体制御装置１３０の動作について図１１を用いて説明する。図１１は、本発明の実施の形態３における飛行体制御装置の動作を示すフロー図である。以下の説明においては、適宜図１０を参酌する。また、本実施の形態３では、飛行体制御装置１３０を動作させることによって、飛行体制御方法が実施される。よって、本実施の形態３における飛行体制御方法の説明は、以下の飛行体制御装置１３０の動作説明に代える。
　図１１に示すように、最初に、検知部１０１は、撮像装置２０１が出力した映像データを取得する（ステップＣ１）。次に、検知部１０１は、ステップＣ１で取得した映像データから、対象を検知する（ステップＣ２）。また、ステップＣ２では、検知部１０１は、検知した対象の地表平面上における位置を特定する。次に、落下範囲推定部１０２は、飛行体２００が落下した場合の落下範囲を推定する（ステップＣ３）。なお、ステップＣ１～Ｃ３は、それぞれ、図７に示したステップＡ１～Ａ３と同様のステップである。
　次に、落下危険性推定部１０５は、飛行体２００の現在の状況に基づいて、飛行体２００が落下する危険性を推測する（ステップＣ４）。具体的には、ステップＣ４では、落下危険性推定部１０５は、常時モニタリングしている各項目について、その値があらかじめ定めた閾値以上となっているかどうかを判定する。落下危険性推定部１０５は、判定の結果、１項目以上において閾値を超えている場合は、落下の危険性が高まっていると判断し、そうでない場合は、落下の危険性は低いと判断する。
　その後、制御部１０３は、ステップＣ４において危険性が高いと判断されているかどうかを確認し、危険性が高いと判断されている場合は、対象が落下範囲に入らないように飛行体２００を制御する（ステップＣ５）。
［実施の形態３による効果］
　以上の、本実施の形態３によれば、落下の危険性が小さい場合には、飛行体２００は人の上空も飛行できるので、飛行体２００による人口密度の高い場所の上空での作業、そうした空域の通過などが可能となる。この結果、飛行体２００による作業の効率化が図られることとなる。
　また、図１２に示すように、本実施の形態３における飛行体制御装置１３０は、実施の形態２において図８に示した移動範囲推定部１０４を備えることもできる。この場合は、制御部１０３は、ステップＣ４において危険性が高いと判断されたときに、対象の位置及び予想移動範囲のうちのいずれかと落下範囲とが重ならないように飛行体２００を制御する。
［プログラム］
　本実施の形態３におけるプログラムは、コンピュータに、図１１に示すステップＣ１～Ｃ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態３における飛行体制御装置１３０と飛行体制御方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、検知部１０１、落下範囲推定部１０２、制御部１０３、及び落下危険性推定部１０５として機能し、処理を行なう。
　また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、検知部１０１、落下範囲推定部１０２、制御部１０３、及び落下危険性推定部１０５のいずれかとして機能しても良い。
（物理構成）
　ここで、実施の形態１～３におけるプログラムを実行することによって、飛行体制御装置を実現するコンピュータについて図１３を用いて説明する。図１３は、本発明の実施の形態１～３における飛行体制御装置を実現するコンピュータの一例を示すブロック図である。
　図１３に示すコンピュータは、飛行体に搭載される組み込みコンピュータである。但し、実施の形態１～３において、コンピュータは、地上から飛行体とデータ通信を行うコンピュータであっても良い。この場合は、飛行体制御装置は、飛行体とは別の場所に構築されることになる。
　図１３に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、通信インターフェイス１１４とを備える。これらの各部は、バス１１５を介して、互いにデータ通信可能に接続される。
　ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。
　記憶装置１１３の具体例としては、フラッシュメモリ等の半導体記憶装置が挙げられる。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。通信インターフェイス１１４は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
　本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１１６に格納された状態で提供される。記録媒体１１６の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。なお、本実施の形態におけるプログラムは、通信インターフェイス１１４を介して提供されていても良い。
　なお、本実施の形態における飛行体制御装置は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、飛行体制御装置は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
　上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１８）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　飛行体の下方を撮影する撮像装置が出力した映像データから、対象を検知する、検知部と、
　前記飛行体の落下範囲を推定する、落下範囲推定部と、
　検知された前記対象の位置と前記落下範囲とが重ならないように前記飛行体を制御する、制御部と、
を備えることを特徴とする飛行体制御装置。
（付記２）
　前記落下範囲推定部は、前記飛行体の地上からの高度と、風の向きおよび風速を特定する風情報とに基づいて、前記落下範囲を推定する、
付記１に記載の飛行体制御装置。
（付記３）
　前記落下範囲推定部は、少なくとも地上からの高度と風速との組み合わせに対する落下範囲をデータベースとしてあらかじめ保持し、前記データベースを参照して、前記落下範囲を推定する、
付記２に記載の飛行体制御装置。
（付記４）
　検知された前記対象が、前記飛行体が落下を開始してから地上に到達するまでの間に、地上において移動する可能性のある範囲を予想移動範囲として推定する、移動範囲推定部をさらに備え、
　前記制御部は、推定された前記予想移動範囲と前記落下範囲とが重ならないように前記飛行体を制御する、
付記１に記載の飛行体制御装置。
（付記５）
　前記制御部は、前記飛行体を水平方向に移動するように制御しても、検知された前記対象の位置と前記落下範囲との重なりを解消できない場合、前記飛行体の高度が下がるように前記飛行体を制御して、検知された前記対象の位置と前記落下範囲とが重ならないようにする、
付記１に記載の飛行体制御装置。
（付記６）
　前記飛行体の状況に基づいて、前記飛行体が落下する危険性を推測する、落下危険性推定部をさらに備え、
　前記制御部は、推測された前記危険性があらかじめ定めた水準を超える場合に、検知された前記対象の位置及び前記予想移動範囲のうちいずれかと前記落下範囲とが重ならないように前記飛行体を制御する、
付記４に記載の飛行体制御装置。
（付記７）
（ａ）飛行体の下方を撮影する撮像装置が出力した映像データから、対象を検知する、ステップと、
（ｂ）前記飛行体の落下範囲を推定する、ステップと、
（ｃ）検知された前記対象の位置と前記落下範囲とが重ならないように前記飛行体を制御する、ステップと、
を有することを特徴とする飛行体制御方法。
（付記８）
　前記（ｂ）のステップにおいて、前記飛行体の地上からの高度と、風の向きおよび風速を特定する風情報とに基づいて、前記落下範囲を推定する、
付記７に記載の飛行体制御方法。
（付記９）
　前記（ｂ）のステップにおいて、少なくとも地上からの高度と風速との組み合わせに対する落下範囲をデータベースとしてあらかじめ保持し、前記データベースを参照して、前記落下範囲を推定する、
付記８に記載の飛行体制御方法。
（付記１０）
（ｄ）検知された前記対象が、前記飛行体が落下を開始してから地上に到達するまでの間に、地上において移動する可能性のある範囲を予想移動範囲として推定する、ステップをさらに有し、
　前記（ｃ）のステップにおいて、推定された前記予想移動範囲と前記落下範囲とが重ならないように前記飛行体を制御する、
付記７に記載の飛行体制御方法。
（付記１１）
　前記（ｃ）のステップにおいて、前記飛行体を水平方向に移動するように制御しても、検知された前記対象の位置と前記落下範囲との重なりを解消できない場合、前記飛行体の高度が下がるように前記飛行体を制御して、検知された前記対象の位置と前記落下範囲とが重ならないようにする、
付記７に記載の飛行体制御方法。
（付記１２）
（ｅ）前記飛行体の状況に基づいて、前記飛行体が落下する危険性を推測する、ステップをさらに有し、
　前記（ｃ）のステップにおいて、推測された前記危険性があらかじめ定めた水準を超える場合に、検知された前記対象の位置及び前記予想移動範囲のうちいずれかと前記落下範囲とが重ならないように前記飛行体を制御する、
付記１０に記載の飛行体制御方法。
（付記１３）
コンピュータに、
（ａ）飛行体の下方を撮影する撮像装置が出力した映像データから、対象を検知する、ステップと、
（ｂ）前記飛行体の落下範囲を推定する、ステップと、
（ｃ）検知された前記対象の位置と前記落下範囲とが重ならないように前記飛行体を制御する、ステップと、
を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１４）
　前記（ｂ）のステップにおいて、前記飛行体の地上からの高度と、風の向きおよび風速を特定する風情報とに基づいて、前記落下範囲を推定する、
付記１３に記載のコンピュータ読み取り可能な記録媒体。
（付記１５）
　前記（ｂ）のステップにおいて、少なくとも地上からの高度と風速との組み合わせに対する落下範囲をデータベースとしてあらかじめ保持し、前記データベースを参照して、前記落下範囲を推定する、
付記１４に記載のコンピュータ読み取り可能な記録媒体。
（付記１６）
前記コンピュータに、
（ｄ）検知された前記対象が、前記飛行体が落下を開始してから地上に到達するまでの間に、地上において移動する可能性のある範囲を予想移動範囲として推定する、ステップをさらに実行させ、
　前記（ｃ）のステップにおいて、推定された前記予想移動範囲と前記落下範囲とが重ならないように前記飛行体を制御する、
付記１３に記載のコンピュータ読み取り可能な記録媒体。
（付記１７）
　前記（ｃ）のステップにおいて、前記飛行体を水平方向に移動するように制御しても、検知された前記対象の位置と前記落下範囲との重なりを解消できない場合、前記飛行体の高度が下がるように前記飛行体を制御して、検知された前記対象の位置と前記落下範囲とが重ならないようにする、
付記１３に記載のコンピュータ読み取り可能な記録媒体。
（付記１８）
前記コンピュータに、
（ｅ）前記飛行体の状況に基づいて、前記飛行体が落下する危険性を推測する、ステップをさら実行させ、
　前記（ｃ）のステップにおいて、推測された前記危険性があらかじめ定めた水準を超える場合に、検知された前記対象の位置及び前記予想移動範囲のうちいずれかと前記落下範囲とが重ならないように前記飛行体を制御する、
付記１６に記載のコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１５年８月２５日に出願された日本出願特願２０１５－１６５８５０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　以上のように、本発明によれば、ＵＡＶといった飛行体を、人が存在する場所及びその付近の空域においても、低いリスクで運用することができる。本発明は、種々の飛行体に有用である。
　１００　飛行体制御装置
　１０１　検知部
　１０２　落下範囲推定部
　１０３　制御部
　１０４　移動範囲推定部
　１０５　落下危険性推定部
　１１０　コンピュータ
　１１１　ＣＰＵ
　１１２　メインメモリ
　１１３　記憶装置
　１１４　通信インターフェイス
　１１５　バス
　１１６　記録媒体
　２００　飛行体
　２０１　撮像装置
　２０２　モータ駆動部
　２０３　モータ
　２０４　飛行体の直下に位置する点
　２０５　落下範囲となる円
　２０６　対象（人）
　３０１　風の向きを示す仮想的な矢印を地上に投影して得られた方向（主軸方向）
　３０２　主軸方向に直交する方向（サブ軸方向）
　４０１、４０２、４０３　風速および高度の組み合せ毎に設定された落下範囲
　５０１　人の存在位置と重なりのある落下範囲
　５０２　人
　６０１　人の存在位置と重なりのない落下範囲
　６０２　人

Claims (8)

  1. 　飛行体の下方を撮影する撮像装置が出力した映像データから、対象を検知する、検知部と、
    　前記飛行体の落下範囲を推定する、落下範囲推定部と、
    　検知された前記対象の位置と前記落下範囲とが重ならないように前記飛行体を制御する、制御部と、
    を備えることを特徴とする飛行体制御装置。
  2. 　前記落下範囲推定部は、前記飛行体の地上からの高度と、風の向きおよび風速を特定する風情報とに基づいて、前記落下範囲を推定する、
    請求項１に記載の飛行体制御装置。
  3. 　前記落下範囲推定部は、少なくとも地上からの高度と風速との組み合わせに対する落下範囲をデータベースとしてあらかじめ保持し、前記データベースを参照して、前記落下範囲を推定する、
    請求項２に記載の飛行体制御装置。
  4. 　検知された前記対象が、前記飛行体が落下を開始してから地上に到達するまでの間に、地上において移動する可能性のある範囲を予想移動範囲として推定する、移動範囲推定部をさらに備え、
    　前記制御部は、推定された前記予想移動範囲と前記落下範囲とが重ならないように前記飛行体を制御する、
    請求項１から３のいずれかに記載の飛行体制御装置。
  5. 　前記制御部は、前記飛行体を水平方向に移動するように制御しても、検知された前記対象の位置と前記落下範囲との重なりを解消できない場合、前記飛行体の高度が下がるように前記飛行体を制御して、検知された前記対象の位置と前記落下範囲とが重ならないようにする、
    請求項１から４のいずれかに記載の飛行体制御装置。
  6. 　前記飛行体の状況に基づいて、前記飛行体が落下する危険性を推測する、落下危険性推定部をさらに備え、
    　前記制御部は、推測された前記危険性があらかじめ定めた水準を超える場合に、検知された前記対象の位置及び前記予想移動範囲のうちいずれかと前記落下範囲とが重ならないように前記飛行体を制御する、
    請求項４に記載の飛行体制御装置。
  7. （ａ）飛行体の下方を撮影する撮像装置が出力した映像データから、対象を検知する、ステップと、
    （ｂ）前記飛行体の落下範囲を推定する、ステップと、
    （ｃ）検知された前記対象の位置と前記落下範囲とが重ならないように前記飛行体を制御する、ステップと、
    を有することを特徴とする飛行体制御方法。
  8. コンピュータに、
    （ａ）飛行体の下方を撮影する撮像装置が出力した映像データから、対象を検知する、ステップと、
    （ｂ）前記飛行体の落下範囲を推定する、ステップと、
    （ｃ）検知された前記対象の位置と前記落下範囲とが重ならないように前記飛行体を制御する、ステップと、
    を実行させる命令を含む、プログラムを記録しているコンピュータ読み取り可能な記録媒体。
PCT/JP2016/074684 2015-08-25 2016-08-24 飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体 WO2017033976A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017536465A JP6852672B2 (ja) 2015-08-25 2016-08-24 飛行体制御装置、飛行体制御方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-165850 2015-08-25
JP2015165850 2015-08-25

Publications (1)

Publication Number Publication Date
WO2017033976A1 true WO2017033976A1 (ja) 2017-03-02

Family

ID=58100318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/074684 WO2017033976A1 (ja) 2015-08-25 2016-08-24 飛行体制御装置、飛行体制御方法、及びコンピュータ読み取り可能な記録媒体

Country Status (2)

Country Link
JP (4) JP6852672B2 (ja)
WO (1) WO2017033976A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017144986A (ja) * 2015-10-14 2017-08-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無人飛行体及び飛行制御方法
JP6371895B1 (ja) * 2017-10-31 2018-08-08 株式会社ＷｏｒｌｄＬｉｎｋ ＆ Ｃｏｍｐａｎｙ 風況の計測方法
WO2018179404A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2019003405A1 (ja) * 2017-06-30 2019-01-03 日本電気株式会社 着陸装置、着陸制御方法、着陸制御プログラム
JP2019112006A (ja) * 2017-12-26 2019-07-11 東京電力ホールディングス株式会社 無人飛翔体墜落報知システム、地上局、報知方法、およびプログラム
JP2019159811A (ja) * 2018-03-13 2019-09-19 Kddi株式会社 飛行管理システム及び飛行装置
JP2019207597A (ja) * 2018-05-30 2019-12-05 川崎重工業株式会社 目標識別装置およびこれを備える特定動作装置
JP2020067881A (ja) * 2018-10-25 2020-04-30 株式会社Ｎｔｔドコモ 情報処理装置
JP6735424B1 (ja) * 2019-03-04 2020-08-05 東光鉄工株式会社 認識マーカーおよび飛行体
JP2021035831A (ja) * 2020-11-05 2021-03-04 日本電気株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2021039387A1 (ja) * 2019-08-26 2021-03-04 ソニー株式会社 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム
US20210325908A1 (en) * 2018-08-22 2021-10-21 Nec Corporation Selection device, selection method, and selection program
JP2022506024A (ja) * 2018-10-31 2022-01-17 フォルテム テクノロジーズ，インコーポレイテッド 飛行デバイス上の発射体モジュールを管理するシステムおよび方法
JP7341565B1 (ja) 2022-12-20 2023-09-11 株式会社amuse oneself 飛行体及び制御方法
JP7499680B2 (ja) 2020-11-09 2024-06-14 大阪瓦斯株式会社 飛行体制御システム
JP7538366B1 (ja) 2024-02-05 2024-08-21 Kddi株式会社 情報処理装置、情報処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296800A (ja) * 1998-02-16 1999-10-29 Nec Corp 侵入・衝突予測装置及び方法並びに侵入・衝突予測プログラムを記録した記録媒体
JP2002032519A (ja) * 2000-07-17 2002-01-31 Fuji Heavy Ind Ltd 投下支援装置
JP2014199548A (ja) * 2013-03-29 2014-10-23 綜合警備保障株式会社 飛行制御システム及び飛行制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4020293B2 (ja) 2001-11-19 2007-12-12 富士重工業株式会社 飛行体による散布物の散布実績評価方法及び装置
JP6467798B2 (ja) * 2013-07-25 2019-02-13 株式会社リコー 画像処理装置、立体物検出方法、立体物検出プログラム、および、移動体制御システム
JP5767731B1 (ja) * 2014-03-26 2015-08-19 株式会社衛星ネットワーク 空撮映像配信システムおよび空撮映像配信方法
JP6399550B2 (ja) * 2015-02-12 2018-10-03 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ 飛行体
JP2017056904A (ja) 2015-09-18 2017-03-23 アイシン・エィ・ダブリュ株式会社 無人飛行体の制御システム、制御方法及び制御プログラム
WO2018179404A1 (ja) 2017-03-31 2018-10-04 日本電気株式会社 情報処理装置、情報処理方法、および情報処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11296800A (ja) * 1998-02-16 1999-10-29 Nec Corp 侵入・衝突予測装置及び方法並びに侵入・衝突予測プログラムを記録した記録媒体
JP2002032519A (ja) * 2000-07-17 2002-01-31 Fuji Heavy Ind Ltd 投下支援装置
JP2014199548A (ja) * 2013-03-29 2014-10-23 綜合警備保障株式会社 飛行制御システム及び飛行制御方法

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017144986A (ja) * 2015-10-14 2017-08-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 無人飛行体及び飛行制御方法
US11320269B2 (en) 2017-03-31 2022-05-03 Nec Corporation Information processing apparatus, information processing method, and information processing program
WO2018179404A1 (ja) * 2017-03-31 2018-10-04 日本電気株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JPWO2018179404A1 (ja) * 2017-03-31 2020-05-14 日本電気株式会社 情報処理装置、情報処理方法、および情報処理プログラム
WO2019003405A1 (ja) * 2017-06-30 2019-01-03 日本電気株式会社 着陸装置、着陸制御方法、着陸制御プログラム
JPWO2019003405A1 (ja) * 2017-06-30 2020-03-19 日本電気株式会社 着陸装置、着陸制御方法、着陸制御プログラム
JP2019082435A (ja) * 2017-10-31 2019-05-30 株式会社ＷｏｒｌｄＬｉｎｋ ＆ Ｃｏｍｐａｎｙ 風況の計測方法
JP6371895B1 (ja) * 2017-10-31 2018-08-08 株式会社ＷｏｒｌｄＬｉｎｋ ＆ Ｃｏｍｐａｎｙ 風況の計測方法
JP2019112006A (ja) * 2017-12-26 2019-07-11 東京電力ホールディングス株式会社 無人飛翔体墜落報知システム、地上局、報知方法、およびプログラム
JP2019159811A (ja) * 2018-03-13 2019-09-19 Kddi株式会社 飛行管理システム及び飛行装置
US11341862B2 (en) 2018-03-13 2022-05-24 Kddi Corporation Flight management device and flying device
JP7030571B2 (ja) 2018-03-13 2022-03-07 Kddi株式会社 飛行管理システム
JP2019207597A (ja) * 2018-05-30 2019-12-05 川崎重工業株式会社 目標識別装置およびこれを備える特定動作装置
US20210325908A1 (en) * 2018-08-22 2021-10-21 Nec Corporation Selection device, selection method, and selection program
JP7260281B2 (ja) 2018-10-25 2023-04-18 株式会社Ｎｔｔドコモ 情報処理装置
JP2020067881A (ja) * 2018-10-25 2020-04-30 株式会社Ｎｔｔドコモ 情報処理装置
JP7390056B2 (ja) 2018-10-31 2023-12-01 フォルテム テクノロジーズ，インコーポレイテッド 飛行デバイス上の発射体モジュールを管理するシステムおよび方法
JP2022506024A (ja) * 2018-10-31 2022-01-17 フォルテム テクノロジーズ，インコーポレイテッド 飛行デバイス上の発射体モジュールを管理するシステムおよび方法
WO2020178946A1 (ja) * 2019-03-04 2020-09-10 東光鉄工株式会社 認識マーカーおよび飛行体
JP6735424B1 (ja) * 2019-03-04 2020-08-05 東光鉄工株式会社 認識マーカーおよび飛行体
US12103663B2 (en) 2019-08-26 2024-10-01 Sony Group Corporation Control device, control method, unmanned aircraft, information processing device, and information processing method
WO2021039387A1 (ja) * 2019-08-26 2021-03-04 ソニー株式会社 制御装置、制御方法、無人飛行体、情報処理装置、情報処理方法、およびプログラム
JP7044147B2 (ja) 2020-11-05 2022-03-30 日本電気株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP2021035831A (ja) * 2020-11-05 2021-03-04 日本電気株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7499680B2 (ja) 2020-11-09 2024-06-14 大阪瓦斯株式会社 飛行体制御システム
JP7341565B1 (ja) 2022-12-20 2023-09-11 株式会社amuse oneself 飛行体及び制御方法
JP2024088194A (ja) * 2022-12-20 2024-07-02 株式会社amuse oneself 飛行体及び制御方法
JP7538366B1 (ja) 2024-02-05 2024-08-21 Kddi株式会社 情報処理装置、情報処理方法及びプログラム

Also Published As

Publication number Publication date
JP2024053085A (ja) 2024-04-12
JPWO2017033976A1 (ja) 2018-06-14
JP7456537B2 (ja) 2024-03-27
JP6852672B2 (ja) 2021-03-31
JP2021093215A (ja) 2021-06-17
JP2023090817A (ja) 2023-06-29

Similar Documents

Publication Publication Date Title
JP7456537B2 (ja) 飛行体制御装置、飛行体制御方法、及びプログラム
JP7465615B2 (ja) 航空機のスマート着陸
US10996683B2 (en) Aerial vehicle touchdown detection
US11604479B2 (en) Methods and system for vision-based landing
TWI817962B (zh) 基於環境的可預測性的可調整的物件避開接近度閾值的方法、機器人式運載工具及處理設備
TWI784102B (zh) 用於操作機器人式運載工具或用於機器人式運載工具中的方法、處理設備及非暫時性處理器可讀取儲存媒體
US10663592B2 (en) Flight control device, flight control method, and computer-readable recording medium
TWI731283B (zh) 空中機器人式運載工具、處理設備及其操作方法
US20190265735A1 (en) Flight control device, unmanned aerial vehicle, flight control method, and computer-readable recording medium
JP6014485B2 (ja) 自律飛行ロボット
JP6791365B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
JP6485889B2 (ja) 飛行制御装置、飛行制御方法、及びプログラム
JP6140458B2 (ja) 自律移動ロボット
US11014650B2 (en) Moving body, moving body control system, moving body control method, interface device, and recording medium having program recorded thereon
WO2017022058A1 (ja) 位置管理装置、位置管理方法、及びコンピュータ読み取り可能な記録媒体
JP2020518500A (ja) 乗り物監視システムおよび外部の物体を検知するための方法
KR20160083328A (ko) 무인 항공기를 이용한 차량 번호 인식 방법
JP2017182691A (ja) 自律飛行ロボット
KR20200083787A (ko) 드론의 실내 정밀 착륙 시스템 및 방법
WO2019071444A1 (zh) 一种摄像装置的转动控制方法、控制设备以及飞行器
KR102070110B1 (ko) 자율 무인 시스템을 위한 지능 에이전트 시스템
JP7044147B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
WO2021187110A1 (ja) 移動体、情報処理装置、情報処理方法、及びプログラム
JP6909668B2 (ja) 飛行管理システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16839323

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017536465

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16839323

Country of ref document: EP

Kind code of ref document: A1