WO2022176446A1 - 飛行体、制御方法、及びプログラム - Google Patents

飛行体、制御方法、及びプログラム Download PDF

Info

Publication number
WO2022176446A1
WO2022176446A1 PCT/JP2022/000826 JP2022000826W WO2022176446A1 WO 2022176446 A1 WO2022176446 A1 WO 2022176446A1 JP 2022000826 W JP2022000826 W JP 2022000826W WO 2022176446 A1 WO2022176446 A1 WO 2022176446A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
abnormality
flight
unit
detected
Prior art date
Application number
PCT/JP2022/000826
Other languages
English (en)
French (fr)
Inventor
正樹 半田
琢人 元山
真一郎 阿部
政彦 豊吉
航平 漆戸
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2023500622A priority Critical patent/JPWO2022176446A1/ja
Publication of WO2022176446A1 publication Critical patent/WO2022176446A1/ja

Links

Images

Classifications

    • G05D1/86—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/611—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00—Constructional aspects of UAVs
    • B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals

Definitions

  • This technology relates to flying objects, control methods, and programs that can be applied to autonomous flight.
  • Patent Document 1 describes a flight control method for controlling a control mode during flight of an unmanned aerial vehicle.
  • the flight control method of Patent Document 1 an abnormality in the flight state of the unmanned aerial vehicle is detected, and the control mode is changed to the safety control mode.
  • damage to the object due to contact with the rotating blades is reduced (paragraphs [0082] to [0095] in FIG. 5 of the description of Patent Document 1, etc.).
  • the purpose of this technology is to provide a flying object, control method, and program that can exhibit high safety.
  • an aircraft includes a recording unit, a detection unit, and a reproduction unit.
  • the recording unit records flight parameters during flight in a state in which no sensor abnormality is detected.
  • the detection unit detects an abnormality of the sensor.
  • the reproducing unit reproduces the flight parameters based on the abnormality of the sensor detected by the detecting unit.
  • This aircraft records the flight parameters during flight when no sensor abnormality is detected. If a sensor anomaly is detected, the flight parameters are reconstructed based on the sensor anomaly. This makes it possible to exhibit high safety.
  • the hovering may include a state in which the coordinates of the flying object do not change.
  • the flight parameter is a current value of a rotor mounted on the aircraft, a voltage value of the rotor, a rotational speed value of an ESC (Electric Speed Controller) mounted on the aircraft, a current value of the ESC, or the ESC may include at least one of the voltage values of
  • the sensor may include at least one of a GPS (Global Positioning System), an IMU (Inertial Measurement Unit), an atmospheric pressure sensor, or a geomagnetic sensor.
  • GPS Global Positioning System
  • IMU Inertial Measurement Unit
  • atmospheric pressure sensor or a geomagnetic sensor.
  • the detection unit detects that at least one of a change in the GPS value, a change in the IMU value, a change in the barometric pressure sensor value, or a change in the geomagnetic sensor value is equal to or greater than a threshold, and operation information related to the flying object. If there is no such sensor, an abnormality of the sensor may be detected.
  • the flying object may further be equipped with an imaging device.
  • the recording unit may record the flight parameters according to imaging conditions related to conditions of the imaging device.
  • the imaging situation may include at least one of the position of the imaging device, the orientation of the imaging device, or the posture of the imaging device.
  • the reproducing unit may reproduce the flight parameters based on the position of the imaging device, the orientation of the imaging device, or the attitude of the imaging device when the abnormality of the sensor is detected.
  • the detection unit may detect an abnormality of the sensor based on the captured image captured by the imaging device and the operation information related to the flying object.
  • the detection unit may detect an abnormality of the sensor when the amount of movement of the flying object estimated from the captured image is equal to or greater than a threshold and there is no operation information.
  • the recording unit may record the flight parameters from when the flying object ascends to a certain altitude until when the flying object descends to a certain altitude.
  • the reproducing unit may reproduce the flight parameters until the aircraft lands based on the abnormality of the sensor.
  • a control method is a control method executed by a computer system, and includes recording flight parameters during flight in a state in which no sensor abnormality is detected. An abnormality of the sensor is detected. The flight parameter is reproduced based on the abnormality of the sensor detected by the detection unit.
  • a program causes a computer system to execute the following steps.
  • FIG. 1 is a schematic diagram for explaining an overview of an aircraft according to the present technology
  • FIG. 3 is a block diagram showing a functional configuration example of an aircraft and a controller
  • FIG. 4 is a block diagram showing a functional configuration example of a control unit
  • FIG. FIG. 4 is a flow chart showing an example of recording flight parameters
  • FIG. 3 is a diagram showing an example of recorded flight parameters
  • 4 is a flow chart showing an example of reproduction of flight parameters
  • It is an example of the flowchart which detects the abnormality of a sensor. It is another example of a flow chart for detecting an abnormality in a sensor.
  • FIG. 4 is a flow chart showing an example of recording flight parameters when a gimbal camera is mounted;
  • FIG. 4 is a flow chart showing an example of recording flight parameters when a gimbal camera is mounted;
  • FIG. 4 is a flow chart showing an example of recording flight parameters when a gimbal camera is mounted;
  • FIG. 4 is a flow chart showing an example
  • FIG. 4 is a flow chart showing an example of reproduction of flight parameters when a gimbal camera is mounted;
  • FIG. 4 is a flow chart showing an example of recording flight parameters during descent;
  • FIG. 4 is a flow chart showing an example of flight parameter reproduction in descent and landing;
  • FIG. It is a block diagram which shows the hardware structural example of a control part.
  • FIG. 1 is a schematic diagram for explaining an outline of an aircraft according to the present technology.
  • the flying object 1 is a drone capable of autonomous flight.
  • an aircraft 1 has a GPS (Global Positioning System) 2, an IMU (Inertial Measurement Unit) 3, an air pressure sensor 4, and a geomagnetic sensor 5.
  • the aircraft 1 is not limited to this, and may be equipped with any sensor.
  • sensors such as laser ranging sensors, contact sensors, ultrasonic sensors, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) may be used.
  • the aircraft 1 is capable of recording flight parameters during flight in a state in which no sensor abnormality is detected. Flight refers to various actions during flight of the aircraft 1 . In this embodiment, flying includes at least one of taking off, climbing, hovering, descending, or landing. In addition to this, various actions of the aircraft 1 during flight may be included.
  • hovering is a state in which the coordinates of the flying object 1 do not change.
  • hovering includes actions on the aircraft 1 side and actions on the controller 6 (user) side.
  • the operation on the flying object 1 side includes maintaining a stationary state at arbitrary coordinates and maintaining predetermined (designated) coordinates. That is, hovering includes a state of being stationary without moving, and a state of maintaining arbitrary coordinates by moving in an environment where disturbance such as wind exists.
  • an operation on the controller 6 side there is a state in which no operation information is transmitted to the aircraft 1 . Specifically, it is a state in which the user does not send an instruction via the controller 6 to move the aircraft 1 upward, downward, forward/backward, leftward/rightward, or the like.
  • Flight parameters are parameters related to flight.
  • the flight parameters are the current value of the rotor mounted on the aircraft 1, the voltage value of the rotor, the rotational speed value of an ESC (Electric Speed Controller), the current value of the ESC, or the voltage value of the ESC. including at least one of
  • the above flight parameter is expressed as the rotation speed of the rotor.
  • the rotation speed of the rotor when it is described that the rotation speed of the rotor is reproduced, it means that any of the rotor current value, rotor voltage value, ESC rotation speed value, ESC current value, or ESC voltage value is reproduced. is.
  • the aircraft 1 also has detection units that detect abnormalities in the GPS 2 , IMU 3 , atmospheric pressure sensor 4 , and geomagnetic sensor 5 .
  • FIG. 1 shows that the detection unit detects an abnormality in the IMU 3 .
  • the flying object 1 has a reproduction unit that reproduces flight parameters based on sensor anomalies detected by the detection unit. For example, when the detection unit detects an abnormality in the IMU 3, the reproduction unit reproduces the rotation speed of the rotor when the aircraft 1 is hovering. As a result, even if the flying object 1 cannot fly in a stable attitude due to an abnormality in the sensor, the flight can be stabilized by reproducing the rotation speed of the rotor during stable hovering.
  • notification information is sent to the controller 6 to inform the controller 6 of the abnormality in the sensor.
  • the controller 6 By checking the display 7 mounted on the controller 6, the user can know the abnormality of the sensor.
  • FIG. 2 is a block diagram showing a functional configuration example of the flying object 1 and the controller 6.
  • the flying object 1 includes a GPS 2, an IMU 3, an atmospheric pressure sensor 4, a geomagnetic sensor 5, a gimbal camera 8, a propeller control section 9, a communication section 10, an autonomous flight section 11, a memory 12, and a control section 13. have.
  • GPS2 detects information on the current position of flying object 1.
  • the IMU 3 detects the acceleration, angular velocity, etc. of the flying object 1. That is, the IMU 3 can detect the tilt, movement (translation), speed, displacement, rotational movement, angle, and the like of the aircraft 1 .
  • the atmospheric pressure sensor 4 detects the altitude of the flying object 1 according to the atmospheric pressure.
  • the geomagnetic sensor 5 detects the orientation of the flying object 1 and the like.
  • various types of information about the flying object 1 detected by the GPS 2, IMU 3, atmospheric pressure sensor 4, and geomagnetic sensor 5 are supplied to the control unit 13.
  • the gimbal camera 8 is an imaging device mounted on the flying object 1, and is capable of capturing moving images and still images.
  • the imaging device mounted on the flying object 1 is not limited.
  • the gimbal camera 8 supplies captured image information to the control unit 13 .
  • the imaging situation of the gimbal camera 8 is supplied to the control section 13 .
  • the imaging situation includes at least one of the position, orientation, and orientation of the gimbal camera 8 .
  • the propeller control unit 9 controls the propellers of the aircraft 1 .
  • the flying object 1 has four propellers, rotors and ESCs capable of controlling the number of rotations of each propeller.
  • the propeller control unit 9 can control the rotation speed of the rotor of each propeller during flight such as hovering.
  • the propeller controller 9 controls the rotation speed of the rotor of each propeller according to the control signal supplied from the controller 13 .
  • the communication unit 10 receives operation information of the aircraft 1 input via the controller 6 .
  • the communication unit 10 receives operation information input by a user and supplies the operation information to the propeller control unit 9 .
  • the communication unit 10 supplies operation information for operating the aircraft 1 and the presence or absence of the operation information to the control unit 13 .
  • the autonomous flight unit 11 controls the autonomous movement of the flying object 1 . Specifically, for example, the autonomous flight unit 11 aims at realizing collision avoidance or shock mitigation of the flying object 1, follow-up movement based on the distance between the flying objects, speed maintenance movement, or collision warning of the flying object 1. coordinated control. Further, for example, the autonomous flight unit 11 performs cooperative control aimed at autonomous movement, etc., in which the robot moves autonomously without depending on user's operation.
  • the specific configuration of the autonomous flight unit 11 is not limited, and devices such as PLDs (Programmable Logic Devices) such as FPGAs (Field Programmable Gate Arrays) and other ASICs (Application Specific Integrated Circuits) may be used.
  • the memory 12 records various information regarding the aircraft 1 .
  • memory 12 records flight parameters during flight.
  • the memory 12 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, a magneto-optical storage device, and the like.
  • the memory 12 may record the flight pattern of the aircraft 1 and the like. That is, trajectories, speeds, and the like defined as patterns, such as turns and figure eights, are also recorded. For example, for a flight pattern such as a turn or a figure-of-eight, the velocity, curvature, etc. of the flying object 1 when performing a turn or a figure-of-eight may be recorded.
  • the memory 12 supplies the recorded flight parameters to the controller 13 .
  • the control unit 13 records flight parameters during flight in a state in which no abnormality of the sensors (GPS 2, IMU 3, atmospheric pressure sensor 4, and geomagnetic sensor 5) is detected. Based on the anomalies, reconstruct flight parameters.
  • GPS 2, IMU 3, atmospheric pressure sensor 4, and geomagnetic sensor 5 A specific functional configuration will be described with reference to FIG.
  • the controller 6 has a sensor abnormality display section 14 .
  • the sensor abnormality display unit 14 has a device capable of outputting visual information or auditory information to the user.
  • the sensor abnormality display unit 14 has a display, an audio speaker, etc., and can display sensor abnormality.
  • FIG. 3 is a block diagram showing a functional configuration example of the control unit 13. As shown in FIG.
  • the control unit 13 includes hardware necessary for configuring a computer, such as processors such as CPU, GPU, and DSP, memories such as ROM and RAM, and storage devices such as HDD (see FIG. 13).
  • processors such as CPU, GPU, and DSP
  • memories such as ROM and RAM
  • storage devices such as HDD (see FIG. 13).
  • the control method according to the present technology is executed by the CPU loading a program according to the present technology pre-recorded in the ROM or the like into the RAM and executing the program.
  • the control unit 13 can be realized by any computer such as a PC.
  • hardware such as FPGA and ASIC may be used.
  • the CPU executes a predetermined program to configure a detection unit, a recording unit, and a reproduction unit as functional blocks.
  • dedicated hardware such as an IC (integrated circuit) may be used to implement the functional blocks.
  • the program is installed in the control unit 13 via various recording media, for example. Alternatively, program installation may be performed via the Internet or the like.
  • the type of recording medium on which the program is recorded is not limited, and any computer-readable recording medium may be used. For example, any computer-readable non-transitory storage medium may be used.
  • control unit 13 has a sensor information acquisition unit 20, a captured image acquisition unit 21, an operation information acquisition unit 22, a detection unit 23, a recording unit 24, and a reproduction unit 25.
  • the sensor information acquisition unit 20 acquires sensor information acquired by sensors.
  • sensor information acquired by GPS 2, IMU 3, barometric pressure sensor 4, and geomagnetic sensor 5 is acquired.
  • the sensor information acquired by the sensor information acquisition unit 20 is supplied to the detection unit 23 .
  • the captured image acquisition unit 21 acquires the captured image captured by the gimbal camera 8 .
  • the acquired image information is supplied to the detection unit 23 .
  • the operation information acquisition unit 22 acquires operation information of the aircraft 1 acquired by the communication unit 10 .
  • the operation information acquisition unit 22 supplies the presence or absence of operation information to the detection unit 23 and the recording unit 24 . Further, in this embodiment, when no operation information is input, the aircraft 1 is hovering.
  • the detection unit 23 detects an abnormality of the sensor.
  • the detection unit 23 detects abnormalities in the GPS 2 , the IMU 3 , the atmospheric pressure sensor 4 and the geomagnetic sensor 5 based on the sensor information acquired by the sensor information acquisition unit 20 .
  • the detection unit 23 detects an abnormality of the sensor due to mismatch between the operation information and the sensor. Specifically, when there is no operation information and when the change in the value of GPS2 is equal to or greater than the threshold, an abnormality of GPS2 is detected. When there is no operation information and when the change in the value of the IMU 3 is equal to or greater than the threshold, an abnormality of the IMU 3 is detected.
  • an abnormality of the atmospheric pressure sensor 4 is detected.
  • Abnormalities in the geomagnetic sensor 5 are detected when there is no operation information and when the change in the value of the geomagnetic sensor 5 is equal to or greater than the threshold.
  • the detection unit 23 detects an abnormality of the sensor due to a mismatch between the operation information and the image processing result. Specifically, when there is no operation information and when the amount of movement of the flying object 1 estimated from the image information is equal to or greater than a threshold value, the abnormality of the sensor is detected. Further, when the amount of movement detected by the optical flow is equal to or greater than the threshold, sensor abnormality is detected. Further, when the amount of movement by SLAM (Simultaneous Localization and Mapping) is equal to or greater than a threshold, sensor abnormality is detected. The sensor abnormality detected by the detection unit 23 is supplied to the reproduction unit 25 .
  • SLAM Simultaneous Localization and Mapping
  • the recording unit 24 records flight parameters during flight when no sensor abnormality is detected.
  • the recording unit 24 records flight parameters when there is no operation information. That is, the recording unit 24 records the number of revolutions of each rotor while the aircraft 1 is hovering. Details will be described with reference to FIG. Also, in this embodiment, the recording unit 24 records flight parameters for each position, orientation, and attitude of the gimbal camera 8 . The recording unit 24 also records the number of rotations of the rotor during descent when no sensor abnormality is detected. A specific example will be described with reference to FIG. The flight parameters recorded by the recording unit 24 are supplied to the reproduction unit 25 .
  • the reproduction unit 25 reproduces the flight parameters recorded by the recording unit 24 based on the sensor abnormality detected by the detection unit 23 .
  • the reproduction unit 25 reproduces the rotation speed of the rotor during hovering recorded by the recording unit 24 when the sensor abnormality is supplied by the detection unit 23 . Further, the reproduction unit 25 reproduces the rotation speed of the rotor during descent until the aircraft 1 lands when an abnormality of the sensor is detected.
  • the gimbal camera 8 corresponds to an imaging device mounted on an aircraft.
  • the detection unit 23 corresponds to a detection unit that detects an abnormality of the sensor.
  • the recording unit 24 corresponds to a recording unit that records flight parameters during flight in a state in which no sensor abnormality is detected.
  • the reproduction unit 25 corresponds to a reproduction unit that reproduces flight parameters based on sensor anomalies detected by the detection unit.
  • FIG. 4 is a flowchart showing an example of flight parameter recording.
  • step 101 when the flying object 1 takes off (step 101), it is determined whether or not the operation information is acquired by the operation information acquisition unit 22 (step 102). If there is no operation information (YES in step 102), the recording unit 24 records the rotation speed of the rotor during hovering (step 103).
  • FIG. 5 is a diagram showing an example of recorded flight parameters.
  • the recording unit 24 records the number of revolutions of each rotor of the aircraft 1.
  • the aircraft 1 has four propellers.
  • the four propellers are illustrated as left front, left rear, right front, and right rear propellers.
  • the recording unit 24 records the number of revolutions of each rotor for a predetermined number of seconds. For example, the rotation speeds (65 Hz to 75 Hz) of the left front, left rear, right front, and right rear propeller rotors for 2 seconds during hovering are recorded.
  • the types of flight parameters recorded are not limited. For example, a value obtained by averaging the number of rotations of each rotor over a predetermined period of time may be recorded, or the number of rotations of the rotors at an instantaneous time may be recorded. Also, for example, the number of revolutions of each rotor and the transition of the number of revolutions for two seconds may be recorded.
  • flight parameters when flight parameters are recorded, they may be recorded according to various conditions. For example, the rotation speed of the rotor during hovering in the surrounding environment of the aircraft 1 such as wind and rain may be recorded. Further, at that time, the reproducing unit 25 may reproduce suitable flight parameters according to the surrounding environment of the aircraft 1 when an abnormality occurs in the sensor.
  • FIG. 6 is a flowchart showing an example of reproduction of flight parameters.
  • step 201 it is determined whether or not the operation information has been acquired by the operation information acquisition unit 22 (step 201).
  • step 202 it is determined whether or not the flying object 1 is equipped with an imaging device (gimbal camera 8) (step 202). If the camera does not have an imaging device (YES in step 202), sensor information is acquired by the sensor information acquiring unit 20 (step 203).
  • an imaging device gimbal camera 8
  • the detection unit 23 determines whether or not there is an abnormality in the sensor according to the flowchart shown in FIG. 7 (step 204). A detailed description will be given later.
  • step 204 When an abnormality of the sensor is detected (YES in step 204), the rotation speed of the rotor is reproduced by the reproduction unit 25 (step 205).
  • image information is acquired by the captured image acquisition unit 21 (step 206).
  • the detection unit 23 determines whether or not there is an abnormality in the sensor according to the flowchart shown in FIG. 8 (step 207). A detailed description will be given later.
  • step 207 If an abnormality of the sensor is detected (YES in step 207), the rotation speed of the rotor is reproduced by the reproduction unit 25 (step 205).
  • both steps 204 and 207 may be executed when the flying object 1 has an imaging device, that is, when sensor information and image information can be obtained. This improves the accuracy of detecting an abnormality in the sensor.
  • FIG. 7 is an example of a flow chart for detecting an abnormality in a sensor.
  • the sensor information acquisition unit 20 acquires sensor information from a certain period of time ago (step 301).
  • the time interval of sensor information to be acquired is not limited.
  • the user may specify an arbitrary time, or an arbitrary time may be set according to the environment around the flying object 1 and the state of the flying object 1 .
  • the current sensor information is acquired by the sensor information acquisition unit 20 (step 302).
  • the detection unit 23 acquires the difference between the sensor information acquired a certain time ago and the current sensor information (step 303). In this embodiment, the differences in the values of the GPS 2, IMU 3, atmospheric pressure sensor 4, and geomagnetic sensor 5 are obtained.
  • step 304 It is determined whether or not the difference in the sensor information acquired by the detection unit 23 is equal to or greater than the threshold (step 304). If the difference in sensor information is equal to or greater than the threshold (YES in step 304), it is determined whether or not the state in which the difference in sensor information is equal to or greater than the threshold has passed for a certain period of time or longer (step 305).
  • the communication unit 10 notifies the sensor abnormality display unit 14 of the controller 6 that the sensor is abnormal. (Step 306).
  • FIG. 8 is another example of a flowchart for detecting an abnormality in a sensor.
  • the captured image acquisition unit 21 acquires image information from a certain time ago (step 401).
  • the current image information is acquired by the captured image acquisition unit 21 (step 402).
  • the detection unit 23 acquires the difference between the image information acquired a certain time ago and the current image information (step 403).
  • the difference between the amount of movement of the flying object 1 estimated from image information a certain time ago and the amount of movement of the flying object 1 estimated from current image information is acquired.
  • the method for estimating the amount of movement of the flying object 1 is not limited.
  • the movement amount may be estimated from methods other than optical flow detection and SLAM.
  • step 404 It is determined whether or not the difference in movement amount acquired by the detection unit 23 is equal to or greater than a threshold (step 404). If the difference in movement amount is equal to or greater than the threshold (YES in step 404), it is determined whether or not the state in which the difference in movement amount is equal to or greater than the threshold has passed for a certain period of time or longer (step 405).
  • the communication unit 10 notifies the sensor abnormality display unit 14 of the controller 6 that an abnormality has occurred in the sensor. (Step 406).
  • FIG. 9 is a flowchart showing an example of flight parameter recording when the gimbal camera 8 is mounted.
  • step 501 when the flying object 1 takes off (step 501), it is determined whether or not the operation information is acquired by the operation information acquisition unit 22 (step 502).
  • step 503 information on the gimbal camera 8 is acquired. In this embodiment, information on the position, orientation, and orientation of the gimbal camera 8 is acquired.
  • the recording unit 24 records the number of rotations of the rotor during hovering according to the information on the position, orientation, and attitude of the gimbal camera 8 (step 504). For example, the number of rotations of the rotor during hovering is recorded for each position of the gimbal camera 8 when mounted on the flying object 1 (the center of gravity of the flying object on which the gimbal camera is mounted). Also, for example, the number of rotations of the rotor during hovering is recorded for each orientation (imaging direction) of the gimbal camera 8 .
  • step 505 It is determined whether or not the gimbal camera 8 has been moved through its entire movable range and the flight parameters for each position, orientation, and orientation information of the gimbal camera 8 have been recorded (step 505). For example, if the gimbal camera 8 is rotatable 360 degrees every 5 degrees, flight parameters are recorded every 5 degrees. If the movable range of the gimbal camera 8 has not been fully moved (NO in step 505), the operation of the gimbal camera 8 is executed (step 506). At this time, the gimbal camera 8 may be operated automatically or manually.
  • FIG. 10 is a flowchart showing an example of reproduction of flight parameters when the gimbal camera 8 is mounted.
  • step 601 it is determined whether or not the operation information has been acquired by the operation information acquisition unit 22 (step 601).
  • the sensor information is acquired by the sensor information acquisition unit 20 (step 602). Also, image information is acquired by the captured image acquisition unit 21 (step 603).
  • the detection unit 23 determines whether or not there is an abnormality in the sensor (step 604).
  • a sensor abnormality is determined according to the flow charts in FIGS. 7 and 8. FIG.
  • step 604 If a sensor abnormality is detected (YES in step 604), information on the position, orientation, and orientation of the gimbal camera 8 is acquired (step 605).
  • the reproduction unit 25 reproduces the number of rotations of the rotor according to the information on the current position, orientation, and attitude of the gimbal camera 8 (step 606).
  • the flight object 1 records the flight parameters during flight when no abnormalities are detected in the GPS 2, IMU 3, atmospheric pressure sensor 4, and geomagnetic sensor 5.
  • flight parameters are reproduced based on the abnormality of the sensor. This makes it possible to exhibit high safety.
  • a flying object such as a drone is equipped with sensors such as a GPS, an IMU, an atmospheric pressure sensor, and a geomagnetic sensor. These sensors enable flight in a stable attitude.
  • sensors such as a GPS, an IMU, an atmospheric pressure sensor, and a geomagnetic sensor.
  • sensors enable flight in a stable attitude.
  • the attitude of the aircraft cannot be estimated correctly, and the aircraft malfunctions, flies in the wrong direction, or crashes.
  • flight control prepared in advance is executed when a sensor abnormality occurs.
  • the state of the aircraft such as the payload may differ for each flying object, and the center of gravity may differ depending on the camera and cargo mounted on the drone, and there is a risk that it will not be possible to respond to sensor abnormalities.
  • the flight parameters are recorded during flight when no sensor abnormality is detected, and the recorded flight parameters are reproduced when the sensor abnormality is detected.
  • This enables minimum hovering even when the sensor malfunctions. That is, by recording the number of rotations of the rotor during hovering in flight, it is possible to reproduce flight parameters during stable hovering in that flight.
  • by recording flight parameters during flight it is possible to respond to a wide variety of airframe conditions.
  • by recording the flight parameters for descent it is possible to land on the spot from hovering. That is, it is possible to prevent the drone from being damaged due to a crash or the like, and from colliding with a person or an object.
  • the flight parameters were reproduced so that the flying object 1 hovered when a sensor abnormality was detected. It is not limited to this, and flight parameters may be reproduced to perform various safe actions when an abnormality of the sensor is detected. For example, in FIGS. 11 and 12 flight parameters are recorded during descent. In addition to hovering and descending (landing), various flight parameters such as obstacle avoidance, movement to the user's position, and return to the starting point may be recorded and reproduced.
  • FIG. 11 is a flowchart showing an example of flight parameter recording during descent.
  • step 701 when the flying object 1 takes off (step 701), it is determined whether or not the flying object 1 has risen to a certain altitude (step 702).
  • the sensor information acquisition unit 20 acquires the sensor information of the atmospheric pressure sensor 4 and acquires the current altitude of the aircraft 1 .
  • the recording unit 24 records the number of rotations of the rotor of the aircraft 1 that has ascended to a certain altitude (step 703).
  • the recording unit 24 records the flight parameters during the descent of the aircraft 1, so the number of revolutions during the descent of the aircraft 1 is recorded (step 704).
  • step 705 It is determined whether or not the flying object 1 has descended to a certain altitude (step 705).
  • the recording unit 24 records the rotation speed of the rotor during hovering when reaching the certain altitude (step 706).
  • FIG. 12 is a flow chart showing an example of reproduction of flight parameters during descent and landing.
  • step 801 it is determined whether or not the operation information has been acquired by the operation information acquisition unit 22 (step 801).
  • the sensor information is acquired by the sensor information acquisition unit 20 (step 802).
  • Image information is also acquired by the captured image acquisition unit 21 (step 803).
  • the detection unit 23 determines whether or not there is an abnormality in the sensor (step 804).
  • a sensor abnormality is determined according to the flow charts in FIGS. 7 and 8. FIG.
  • step 804 If an abnormality of the sensor is detected (YES in step 804), the rotation speed of the rotor for descent is reproduced by the reproduction unit 25 (step 805).
  • the number of rotations of the rotor for descent is reproduced, and it is determined whether or not the aircraft 1 has landed (step 806). For example, it is determined that the aircraft 1 has landed when the altitude of the aircraft 1 does not decrease while the number of rotations of the rotor is being reproduced. In addition to this, the landing may be determined by a contact sensor or the like.
  • step 806 When the flying object 1 has landed (YES in step 806), the propellers of the flying object 1 are stopped (step 807).
  • steps 802 and 803 are not limited. Similarly, the order in which the flowcharts of FIGS. 7 and 8 are executed is not limited.
  • FIG. 13 is a block diagram showing a hardware configuration example of the control unit 13. As shown in FIG.
  • the control unit 13 includes a CPU 50, a ROM 51, a RAM 52, an input/output interface 54, and a bus 53 that connects these to each other.
  • a display unit 55, an input unit 56, a storage unit 57, a communication unit 58, a drive unit 59, and the like are connected to the input/output interface 54.
  • the display unit 55 is a display device using liquid crystal, EL, or the like, for example.
  • the input unit 56 is, for example, a keyboard, pointing device, touch panel, or other operating device. When input unit 56 includes a touch panel, the touch panel can be integrated with display unit 55 .
  • the storage unit 57 is a non-volatile storage device, such as an HDD, flash memory, or other solid-state memory.
  • the drive unit 59 is a device capable of driving a removable recording medium 60 such as an optical recording medium or a magnetic recording tape.
  • the communication unit 58 is a modem, router, or other communication equipment for communicating with other devices that can be connected to a LAN, WAN, or the like.
  • the communication unit 58 may use either wired or wireless communication.
  • the communication unit 58 is often used separately from the control unit 13 . In this embodiment, the communication unit 58 enables communication with other devices via the network.
  • Information processing by the control unit 13 having the hardware configuration as described above is realized by cooperation between software stored in the storage unit 57 or the ROM 51 or the like and the hardware resources of the control unit 13 .
  • the control method according to the present technology is realized by loading a program constituting software stored in the ROM 51 or the like into the RAM 52 and executing the program.
  • the program is installed in the control unit 13 via the recording medium 60, for example.
  • the program may be installed in the control unit 13 via a global network or the like.
  • any computer-readable non-transitory storage medium may be used.
  • a control method and a program according to the present technology may be executed by linking a computer installed in a communication terminal with another computer capable of communicating via a network or the like, and a control unit according to the present technology may be constructed. .
  • the flying object, control method, and program according to the present technology can be executed not only in a computer system configured by a single computer, but also in a computer system in which multiple computers work together.
  • a system means a set of multiple components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a single device housing a plurality of modules within a single housing, are both systems.
  • Execution of the flying object, control method, and program according to the present technology by a computer system for example, when detection of sensor abnormality, recording of flight parameters, reproduction of flight parameters, etc. are executed by a single computer, and It includes both cases where each process is executed by a different computer. Execution of each process by a predetermined computer includes causing another computer to execute part or all of the process and obtaining the result.
  • the flying object, control method, and program according to the present technology can also be applied to a cloud computing configuration in which a single function is shared by multiple devices via a network and processed jointly.
  • the present technology can also adopt the following configuration.
  • a recording unit that records flight parameters during flight in a state in which no sensor abnormality is detected; a detection unit that detects an abnormality of the sensor; a reproducing unit that reproduces the flight parameters based on the abnormality of the sensor detected by the detecting unit.
  • the flight includes at least one of taking off, climbing, hovering, descending, or landing.
  • the hovering includes a state in which the coordinates of the flying object do not change.
  • the flight parameter is a current value of a rotor mounted on the aircraft, a voltage value of the rotor, a rotational speed value of an ESC (Electric Speed Controller) mounted on the aircraft, a current value of the ESC, or the ESC at least one of the voltage values of an air vehicle.
  • the sensor includes at least one of a GPS (Global Positioning System), an IMU (Inertial Measurement Unit), an air pressure sensor, or a geomagnetic sensor.
  • a flying body that detects an abnormality of the sensor when there is no (7)
  • the imaging situation includes at least one of a position of the imaging device, an orientation of the imaging device, and an attitude of the imaging device.
  • the aircraft according to (8) The reproducing unit reproduces the flight parameters based on the position of the imaging device, the orientation of the imaging device, or the attitude of the imaging device when the abnormality of the sensor is detected.
  • the flying object according to (7) The detection unit detects an abnormality of the sensor based on a captured image captured by the imaging device and operation information related to the flying object.
  • the detection unit detects an abnormality of the sensor when the amount of movement of the flying object estimated from the captured image is equal to or greater than a threshold and there is no operation information.
  • the aircraft according to (1), The recording unit records the flight parameters from when the flying object ascends to a certain altitude until when the flying object descends to a certain altitude; The flight object, wherein the reproduction unit reproduces the flight parameters until the flight object lands based on the abnormality of the sensor. (13) Record the flight parameters during flight in a state where no sensor abnormality is detected, detecting an abnormality in the sensor; A control method in which a computer system reproduces the flight parameters based on the abnormality of the sensor detected by the detection unit.
  • (14) a step of recording flight parameters during flight in a state in which no sensor abnormality is detected; a step of detecting an abnormality in the sensor; A program that causes a computer system to execute: a step of reproducing the flight parameter based on the abnormality of the sensor detected by the detection unit.

Abstract

本技術の一形態に係る飛行体は、記録部と、検知部と、再現部とを具備する。前記記録部は、センサの異常が検知されていない状態における飛行時の飛行パラメータを記録する。前記検知部は、前記センサの異常を検知する。前記再現部は、前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現する。これにより、高い安全性を発揮させることが可能となる。

Description

飛行体、制御方法、及びプログラム
　本技術は、自律飛行等に適用可能な飛行体、制御方法、及びプログラムに関する。
　特許文献１には、無人航空機の飛行中の制御モードを制御する飛行制御方法が記載されている。特許文献１の飛行制御方法では、無人航空機の飛行状態の異常が検出され、制御モードが安全制御モードに変更される。これにより、回転する回転翼の接触による物体の損傷が軽減されるように図られている（特許文献１の明細書段落［００８２］～［００９５］図５等）。
国際公開第２０１８／１０９９０３号
　このような飛行を妨げる異常に関して、高い安全性を発揮させることが可能な技術が求められている。
　以上のような事情に鑑み、本技術の目的は、高い安全性を発揮させることが可能な飛行体、制御方法、及びプログラムを提供することにある。
　上記目的を達成するため、本技術の一形態に係る飛行体は、記録部と、検知部と、再現部とを具備する。
　前記記録部は、センサの異常が検知されていない状態における飛行時の飛行パラメータを記録する。
　前記検知部は、前記センサの異常を検知する。
　前記再現部は、前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現する。
　この飛行体では、センサの異常が検知されていない状態における飛行時の飛行パラメータが記録される。センサの異常が検知された場合、該センサの異常に基づいて、飛行パラメータが再現される。これにより、高い安全性を発揮させることが可能となる。
　前記ホバリングは、前記飛行体の座標が変化しない状態を含んでもよい。
　前記飛行パラメータは、前記飛行体に搭載されるローターの電流値、前記ローターの電圧値、前記飛行体に搭載されるＥＳＣ（Electric Speed Controller）の回転速度値、前記ＥＳＣの電流値、又は前記ＥＳＣの電圧値の少なくとも１つを含んでもよい。
　前記センサは、ＧＰＳ（Global Positioning System）、ＩＭＵ（Inertial Measurement Unit）、気圧センサ、又は地磁気センサの少なくとも１つを含んでもよい。
　前記検知部は、前記ＧＰＳの値の変化、前記ＩＭＵの値の変化、前記気圧センサの値の変化、又は前記地磁気センサの値の変化の少なくとも１つが閾値以上、かつ、前記飛行体に関する操作情報が無い場合、前記センサの異常を検知してもよい。
　前記飛行体は、さらに、前記飛行体は、撮像装置が搭載されてもよい。この場合、前記記録部は、前記撮像装置の状況に関する撮像状況に応じて、前記飛行パラメータを記録してもよい。
　前記撮像状況は、前記撮像装置の位置、前記撮像装置の向き、又は前記撮像装置の姿勢の少なくとも１つを含んでもよい。
　前記再現部は、前記センサの異常が検知された際の前記撮像装置の位置、前記撮像装置の向き、又は前記撮像装置の姿勢に基づいて、前記飛行パラメータを再現してもよい。
　前記検知部は、前記撮像装置により撮像された撮像画像と、前記飛行体に関する操作情報とに基づいて、前記センサの異常を検知してもよい。
　前記検知部は、前記撮像画像から推定される前記飛行体の移動量が閾値以上、かつ、前記操作情報が無い場合、前記センサの異常を検知してもよい。
　前記記録部は、前記飛行体が一定の高度まで上昇し、前記飛行体が一定高度まで下降するまでの前記飛行パラメータを記録してもよい。この場合、前記再現部は、前記センサの異常に基づいて、前記飛行体が着陸するまで前記飛行パラメータを再現してもよい。
　本技術の一形態に係る制御方法は、コンピュータシステムが実行する制御方法であって、センサの異常が検知されていない状態における飛行時の飛行パラメータを記録することを含む。
　前記センサの異常を検知する。
　前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現する。
　本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
　センサの異常が検知されていない状態における飛行時の飛行パラメータを記録するステップ。
　前記センサの異常を検知するステップ。
　前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現するステップ。
本技術に係る飛行体の概要を説明するための模式図である。 飛行体及びコントローラの機能的な構成例を示すブロック図である。 制御部の機能的な構成例を示すブロック図である。 飛行パラメータの記録の一例を示すフローチャートである。 記録される飛行パラメータの一例を示す図である。 飛行パラメータの再現の一例を示すフローチャートである。 センサの異常を検知するフローチャートの一例である。 センサの異常を検知するフローチャートの他の例である。 ジンバルカメラが搭載された際の飛行パラメータの記録の一例を示すフローチャートである。 ジンバルカメラが搭載された際の飛行パラメータの再現の一例を示すフローチャートである。 下降時における飛行パラメータの記録の一例を示すフローチャートである。 降下及び着陸における飛行パラメータの再現の一例を示すフローチャートである。 制御部のハードウェア構成例を示すブロック図である。
　以下、本技術に係る実施形態を、図面を参照しながら説明する。
　［飛行体の制御］
　図１は、本技術に係る飛行体の概要を説明するための模式図である。
　飛行体１は、自律飛行が可能なドローンである。
　図１に示すように飛行体１は、ＧＰＳ（Global Positioning System）２、ＩＭＵ（Inertial Measurement Unit）３、気圧センサ４、及び地磁気センサ５を有する。
　これに限定されず、飛行体１は、任意のセンサが搭載されてもよい。例えば、レーザ測距センサ、接触センサ、超音波センサ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）等のセンサが用いられてもよい。
　飛行体１は、センサの異常が検知されていない状態における飛行時の飛行パラメータを記録することが可能である。
　飛行とは、飛行体１の飛行時における種々の行動である。本実施形態では、飛行は、離陸、上昇、ホバリング、下降、又は着陸の少なくとも１つを含む。これ以外にも、飛行体１の様々な飛行時の行動が含まれてもよい。
　ホバリングとは、飛行体１の座標が変化しない状態である。本実施形態では、ホバリングは、飛行体１側の動作、及びコントローラ６（ユーザ）側の動作を含む。
　例えば、飛行体１側の動作としては、任意の座標で静止状態を保つこと、及び所定（指定された）座標を維持することが挙げられる。すなわち、ホバリングは、移動を行わず静止している状態と、風等の外乱が存在する環境下において移動を行うことで任意の座標を維持する状態とを含む。
　また例えば、コントローラ６側の動作としては、飛行体１に操作情報を送信しない状態が挙げられる。具体的には、ユーザがコントローラ６を介して、上昇、下降、前後、及び左右等の飛行体１を移動させる旨の指示を送信しない状態である。
　飛行パラメータとは、飛行に関するパラメータである。本実施形態では、飛行パラメータは、飛行体１の飛行体に搭載されるローターの電流値、ローターの電圧値、ＥＳＣ（Electric Speed Controller）の回転速度値、ＥＳＣの電流値、又はＥＳＣの電圧値の少なくとも１つを含む。
　なお、以下の記載では、上記の飛行パラメータをローターの回転数と表現する。すなわち、ローターの回転数を再現すると記載された場合、ローターの電流値、ローターの電圧値、ＥＳＣの回転速度値、ＥＳＣの電流値、又はＥＳＣの電圧値のいずれかが再現されることと同義である。
　また飛行体１は、ＧＰＳ２、ＩＭＵ３、気圧センサ４、及び地磁気センサ５の異常を検知する検知部を有する。例えば、図１では、検知部は、ＩＭＵ３の異常を検知している様子が図示されている。
　さらに飛行体１は、検知部により検知されたセンサの異常に基づいて、飛行パラメータを再現する再現部を有する。例えば、再現部は、検知部によりＩＭＵ３の異常が検知された場合、飛行体１がホバリングしていた際のローターの回転数を再現する。これにより、センサの異常により飛行体１の安定した姿勢での飛行が実現できない場合でも、安定したホバリング時のローターの回転数を再現することで、飛行を安定することができる。
　また本実施形態では、検知部によりセンサの異常が検知された場合、コントローラ６にセンサの異常を知らせる通知情報が送信される。ユーザは、コントローラ６に搭載されたディスプレイ７を確認することで、センサの異常を知ることができる。
　図２は、飛行体１及びコントローラ６の機能的な構成例を示すブロック図である。
　図２に示すように、飛行体１は、ＧＰＳ２、ＩＭＵ３、気圧センサ４、地磁気センサ５、ジンバルカメラ８、プロペラ制御部９、通信部１０、自律飛行部１１、メモリ１２、及び制御部１３を有する。
　ＧＰＳ２は、飛行体１の現在位置の情報を検出する。
　ＩＭＵ３は、飛行体１の加速度及び角速度等を検出する。すなわち、ＩＭＵ３は、飛行体１の傾き、動き（平行移動）、速度、変位、回転運動、及び角度等を検出することが可能である。
　気圧センサ４は、気圧に応じて、飛行体１の高度を検出する。
　地磁気センサ５は、飛行体１の向き等を検出する。
　本実施形態では、ＧＰＳ２、ＩＭＵ３、気圧センサ４、及び地磁気センサ５により検出された飛行体１の各種の情報が制御部１３に供給される。
　ジンバルカメラ８は、飛行体１に搭載される撮像装置であり、動画像及び静止画像の撮像が可能である。なお、飛行体１に搭載される撮像装置は限定されない。本実施形態では、ジンバルカメラ８は、撮像された画像情報を制御部１３に供給する。また本実施形態では、ジンバルカメラ８の撮像状況が制御部１３に供給される。
　撮像状況とは、ジンバルカメラ８の位置、向き、又は姿勢の少なくとも１つを含む。
　プロペラ制御部９は、飛行体１のプロペラを制御する。本実施形態では、飛行体１は、４つのプロペラを有し、各々の回転数を制御可能なローター及びＥＳＣを有する。例えば、プロペラ制御部９は、ホバリング等の飛行時における各プロペラのローターの回転数を制御することが可能である。
　本実施形態では、プロペラ制御部９は、制御部１３から供給される制御信号に従い、各プロペラのローターの回転数を制御する。
　通信部１０は、コントローラ６を介して入力される飛行体１の操作情報を受信する。例えば、通信部１０は、ユーザにより入力された操作情報を受信し、該操作情報をプロペラ制御部９に供給する。
　本実施形態では、通信部１０は、飛行体１を操作する操作情報、及び操作情報の有無を制御部１３に供給する。
　自律飛行部１１は、飛行体１の自律移動に関する制御を行う。具体的には、例えば、自律飛行部１１は、飛行体１の衝突回避あるいは衝撃緩和、飛行体間距離に基づく追従移動、速度維持移動、または、飛行体１の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自律飛行部１１は、ユーザの操作に拠らずに自律的に移動する自律移動等を目的とした協調制御を行う。
　自律飛行部１１の具体的な構成は限定されず、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。
　メモリ１２は、飛行体１に関する種々の情報を記録する。例えば、メモリ１２は、飛行時の飛行パラメータを記録する。メモリ１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び光磁気記憶デバイス等を有する。
　これ以外にも、メモリ１２は、飛行体１の飛行パターン等を記録してもよい。すなわち、旋回や８の字といった、パターンとして規定された軌跡や速度等も記録される。例えば、旋回や８の字といった飛行パターンに対して、旋回や８の字を行う際の飛行体１の速度や曲率等が記録されてもよい。
　本実施形態では、メモリ１２は、記録された飛行パラメータを制御部１３に供給する。
　制御部１３は、センサ（ＧＰＳ２、ＩＭＵ３、気圧センサ４、及び地磁気センサ５）の異常が検知されていない状態における飛行時の飛行パラメータを記録し、該センサの異常を検知した場合、該センサの異常に基づいて、飛行パラメータを再現する。
　具体的な機能的な構成は、図３を用いて説明する。
　図２に示すように、コントローラ６は、センサ異常表示部１４を有する。
　センサ異常表示部１４は、ユーザに対して、視覚情報又は聴覚情報を出力することが可能な装置を有する。例えば、センサ異常表示部１４は、ディスプレイやオーディオスピーカ等を有し、センサの異常を表示することが可能である。
　　　図３は、制御部１３の機能的な構成例を示すブロック図である。
　制御部１３は、例えばＣＰＵやＧＰＵ、ＤＳＰ等のプロセッサ、ＲＯＭやＲＡＭ等のメモリ、ＨＤＤ等の記憶デバイス等、コンピュータの構成に必要なハードウェアを有する（図１３参照）。例えばＣＰＵがＲＯＭ等に予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る制御方法が実行される。
　例えばＰＣ等の任意のコンピュータにより、制御部１３を実現することが可能である。もちろんＦＰＧＡ、ＡＳＩＣ等のハードウェアが用いられてもよい。
　本実施形態では、ＣＰＵが所定のプログラムを実行することで、機能ブロックとしての検知部、記録部、及び再現部が構成される。もちろん機能ブロックを実現するために、ＩＣ（集積回路）等の専用のハードウェアが用いられてもよい。
　プログラムは、例えば種々の記録媒体を介して制御部１３にインストールされる。あるいは、インターネット等を介してプログラムのインストールが実行されてもよい。
　プログラムが記録される記録媒体の種類等は限定されず、コンピュータが読み取り可能な任意の記録媒体が用いられてよい。例えば、コンピュータが読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
　図３に示すように、制御部１３は、センサ情報取得部２０、撮像画像取得部２１、操作情報取得部２２、検知部２３、記録部２４、及び再現部２５を有する。
　センサ情報取得部２０は、センサにより取得されるセンサ情報を取得する。本実施形態では、ＧＰＳ２、ＩＭＵ３、気圧センサ４、及び地磁気センサ５により取得されるセンサ情報が取得される。本実施形態では、センサ情報取得部２０により取得されたセンサ情報が検知部２３に供給される。
　撮像画像取得部２１は、ジンバルカメラ８により撮像された撮像画像を取得する。本実施形態では、取得された画像情報が検知部２３に供給される。
　操作情報取得部２２は、通信部１０により取得される飛行体１の操作情報を取得する。本実施形態では、操作情報取得部２２は、操作情報の有無を検知部２３及び記録部２４に供給する。また本実施形態では、操作情報が入力されていない場合、飛行体１がホバリングしている状態を示す。
　検知部２３は、センサの異常を検知する。検知部２３は、センサ情報取得部２０により取得されたセンサ情報に基づいて、ＧＰＳ２、ＩＭＵ３、気圧センサ４、及び地磁気センサ５の異常を検知する。
　本実施形態では、検知部２３は、操作情報とセンサとの不整合により、センサの異常を検知する。具体的には、操作情報が無いとき、かつ、ＧＰＳ２の値の変化が閾値以上の場合に、ＧＰＳ２の異常が検知される。操作情報が無いとき、かつ、ＩＭＵ３の値の変化が閾値以上の場合に、ＩＭＵ３の異常が検知される。操作情報が無いとき、かつ、気圧センサ４の値の変化が閾値以上の場合に、気圧センサ４の異常が検知される。操作情報が無いとき、かつ、地磁気センサ５の値の変化が閾値以上の場合に、地磁気センサ５の異常が検知される。
　また本実施形態では、検知部２３は、操作情報と画像処理結果の不整合により、センサの異常を検知する。具体的には、操作情報が無いとき、かつ、画像情報から推定した飛行体１の移動量が閾値以上の場合に、センサの異常が検知される。また、Optical flow検出による移動量が閾値以上の場合に、センサの異常が検知される。またＳＬＡＭ（Simultaneous Localization and Mapping）による移動量が閾値以上の場合に、センサの異常が検知される。
　検知部２３により検出されたセンサの異常は、再現部２５に供給される。
　記録部２４は、センサの異常が検知されていない状態における飛行時の飛行パラメータを記録する。本実施形態では、記録部２４は、操作情報が無いとき、飛行パラメータを記録する。すなわち、記録部２４は、飛行体１がホバリングをしている際の各ローターの回転数を記録する。詳細は図４を用いて説明する。
　また本実施形態では、記録部２４は、ジンバルカメラ８の位置、向き、及び姿勢ごとの飛行パラメータを記録する。
　また記録部２４は、センサの異常が検知されていない状態における下降時のローターの回転数を記録する。具体例は、図９を用いて説明する。
　記録部２４により記録された飛行パラメータは、再現部２５に供給される。
　再現部２５は、検知部２３により検知されたセンサの異常に基づいて、記録部２４により記録された飛行パラメータを再現する。本実施形態では、再現部２５は、センサの異常が検知部２３により供給された際に、記録部２４により記録されたホバリング時のローターの回転数を再現する。
　また再現部２５は、センサの異常が検知された場合、飛行体１が着陸するまで下降時のローターの回転数を再現する。
　なお、本実施形態において、ジンバルカメラ８は、飛行体に搭載される撮像装置に相当する。
　なお、本実施形態において、検知部２３は、センサの異常を検知する検知部に相当する。
　なお、本実施形態において、記録部２４は、センサの異常が検知されていない状態における飛行時の飛行パラメータを記録する記録部に相当する。
　なお、本実施形態において、再現部２５は、検知部により検知されたセンサの異常に基づいて、飛行パラメータを再現する再現部に相当する。
　図４は、飛行パラメータの記録の一例を示すフローチャートである。
　図４に示すように、飛行体１が離陸した際に（ステップ１０１）、操作情報取得部２２により操作情報が取得されたか否かが判定される（ステップ１０２）。
　操作情報が無い場合（ステップ１０２のＹＥＳ）、記録部２４によりホバリング時のローターの回転数が記録される（ステップ１０３）。
　図５は、記録される飛行パラメータの一例を示す図である。
　記録部２４は、飛行体１の有する各々のローターの回転数を記録する。本実施形態では、飛行体１は、プロペラを４つ有する。図５では、４つのプロペラを左前、左後、右前、及び右後のプロペラと図示する。
　図５に示すように、記録部２４は、所定の秒数間の各ローターの回転数を記録する。例えば、ホバリング時における２秒間の左前、左後、右前、及び右後のプロペラのローターの回転数（６５Ｈｚ～７５Ｈｚ）が記録される。
　なお、飛行パラメータが記録される種類は限定されない。例えば、所定の時間の各ローターの回転数を平均した値が記録されてもよいし、瞬間的な時間におけるローターの回転数が記録されてもよい。また例えば、２秒間における各ローターの回転数及び回転数の遷移が記録されてもよい。
　また飛行パラメータが記録される際に、種々の条件に応じて記録されてもよい。例えば、風や雨等の飛行体１の周辺環境におけるホバリング時のローターの回転数が記録されてもよい。またその際に再現部２５は、センサに異常が発生した場合に飛行体１の周辺環境に応じて、適した飛行パラメータを再現してもよい。
　図６は、飛行パラメータの再現の一例を示すフローチャートである。
　図６に示すように、操作情報取得部２２により操作情報が取得されたか否かが判定される（ステップ２０１）。
　本実施形態では、飛行体１が撮像装置（ジンバルカメラ８）を搭載しているか否か判定される（ステップ２０２）。撮像装置を有していない場合は（ステップ２０２のＹＥＳ）、センサ情報取得部２０によりセンサ情報が取得される（ステップ２０３）。
　検知部２３により図７に示すフローチャートに従い、センサに異常があるか否かが判定される（ステップ２０４）。具体的な説明は後述する。
　センサの異常が検知された場合（ステップ２０４のＹＥＳ）、再現部２５によりローターの回転数が再現される（ステップ２０５）。
　また撮像装置を有している場合は（ステップ２０２のＮＯ）、撮像画像取得部２１により画像情報が取得される（ステップ２０６）。
　検知部２３により図８に示すフローチャートに従い、センサに異常があるか否かが判定される（ステップ２０７）。具体的な説明は後述する。
　センサの異常が検知された場合（ステップ２０７のＹＥＳ）、再現部２５によりローターの回転数が再現される（ステップ２０５）。
　なお、飛行体１が撮像装置を有している場合、すなわちセンサ情報及び画像情報が取得できる場合、ステップ２０４及びステップ２０７の両方が実行されてもよい。これにより、センサの異常を検知する精度が向上される。
　図７は、センサの異常を検知するフローチャートの一例である。
　図７に示すように、センサ情報取得部２０により一定時間前のセンサ情報が取得される（ステップ３０１）。なお取得されるセンサ情報の時間の間隔は限定されない。例えば、ユーザにより任意の時間が指定されてもよいし、飛行体１の周辺の環境や飛行体１の状態に応じて任意の時間が設定されてもよい。
　またセンサ情報取得部２０により、現在のセンサ情報が取得される（ステップ３０２）。
　検知部２３により、取得された一定時間前のセンサ情報と現在のセンサ情報との差分が取得される（ステップ３０３）。本実施形態では、ＧＰＳ２、ＩＭＵ３、気圧センサ４、及び地磁気センサ５の値の差分が取得される。
　検知部２３により取得されたセンサ情報の差分が閾値以上か否かが判定される（ステップ３０４）。センサ情報の差分が閾値以上の場合（ステップ３０４のＹＥＳ）、センサ情報の差分が閾値以上の状態が一定時間以上経過しているか否かが判定される（ステップ３０５）。
　センサ情報の差分が閾値以上の状態が一定時間以上経過している場合（ステップ３０５のＹＥＳ）、通信部１０によりコントローラ６のセンサ異常表示部１４にセンサに異常が発生していると通知される（ステップ３０６）。
　センサ情報の差分が閾値以下の場合（ステップ３０４のＮＯ）、またはセンサ情報の差分が閾値以上の状態が一定時間以上経過していない場合（ステップ３０５のＮＯ）、センサに異常が発生していないと判定される（ステップ２０４のＮＯ）。
　図８は、センサの異常を検知するフローチャートの他の例である。
　図８に示すように、撮像画像取得部２１により一定時間前の画像情報が取得される（ステップ４０１）。
　また撮像画像取得部２１により、現在の画像情報が取得される（ステップ４０２）。
　検知部２３により、取得された一定時間前の画像情報と現在の画像情報との差分が取得される（ステップ４０３）。本実施形態では、一定時間前の画像情報から推定される飛行体１の移動量と、現在の画像情報から推定される飛行体１の移動量との差分が取得される。
　なお、飛行体１の移動量の推定方法は限定されない。例えば、Optical flow検出やＳＬＡＭ以外からも移動量が推定されてもよい。
　検知部２３により取得された移動量の差分が閾値以上か否かが判定される（ステップ４０４）。移動量の差分が閾値以上の場合（ステップ４０４のＹＥＳ）、移動量の差分が閾値以上の状態が一定時間以上経過しているか否かが判定される（ステップ４０５）。
　移動量の差分が閾値以上の状態が一定時間以上経過している場合（ステップ４０５のＹＥＳ）、通信部１０によりコントローラ６のセンサ異常表示部１４にセンサに異常が発生していると通知される（ステップ４０６）。
　移動量の差分が閾値以下の場合（ステップ４０４のＮＯ）、または移動量の差分が閾値以上の状態が一定時間以上経過していない場合（ステップ４０５のＮＯ）、センサに異常が発生していないと判定される（ステップ２０７のＮＯ）。
　図９は、ジンバルカメラ８が搭載された際の飛行パラメータの記録の一例を示すフローチャートである。
　図９に示すように、飛行体１が離陸した際に（ステップ５０１）、操作情報取得部２２により操作情報が取得されたか否かが判定される（ステップ５０２）。
　操作情報が無い場合（ステップ５０２のＹＥＳ）、ジンバルカメラ８の情報が取得される（ステップ５０３）。本実施形態では、ジンバルカメラ８の位置、向き、及び姿勢の情報が取得される。
　記録部２４により、ジンバルカメラ８の位置、向き、及び姿勢の情報に応じた、ホバリング時のローターの回転数が記録される（ステップ５０４）。例えば、飛行体１に搭載される際のジンバルカメラ８の位置（ジンバルカメラを搭載した飛行体の重心）ごとにホバリング時のローターの回転数が記録される。また例えば、ジンバルカメラ８の向き（撮像する方向）ごとにホバリング時のローターの回転数が記録される。
　ジンバルカメラ８の可動範囲を全て動かし、ジンバルカメラ８の位置、向き、及び姿勢の情報ごとの飛行パラメータが記録されたか否かが判定される（ステップ５０５）。例えば、ジンバルカメラ８が５度ごとに３６０度回転可能な場合、５度ごとの飛行パラメータが記録される。
　ジンバルカメラ８の可動範囲を全て動かしていない場合（ステップ５０５のＮＯ）、ジンバルカメラ８の操作が実行される（ステップ５０６）。この際、ジンバルカメラ８の操作は自動又は手動で行われてもよい。
　図１０は、ジンバルカメラ８が搭載された際の飛行パラメータの再現の一例を示すフローチャートである。
　図１０に示すように、操作情報取得部２２により操作情報が取得されたか否かが判定される（ステップ６０１）。
　センサ情報取得部２０によりセンサ情報が取得される（ステップ６０２）。また撮像画像取得部２１により画像情報が取得される（ステップ６０３）。
　検知部２３により、センサに異常があるか否かが判定される（ステップ６０４）。センサの異常は、図７及び図８におけるフローチャートに従い判断される。
　センサの異常が検知された場合（ステップ６０４のＹＥＳ）、ジンバルカメラ８の位置、向き、及び姿勢の情報が取得される（ステップ６０５）。
　再現部２５により、現在のジンバルカメラ８の位置、向き、及び姿勢の情報に応じて、ローターの回転数が再現される（ステップ６０６）。
　以上、本実施形態に係る飛行体１は、ＧＰＳ２、ＩＭＵ３、気圧センサ４、及び地磁気センサ５の異常が検知されていない状態における飛行時の飛行パラメータが記録される。ＧＰＳ２、ＩＭＵ３、気圧センサ４、及び地磁気センサ５の異常が検知された場合、該センサの異常に基づいて、飛行パラメータが再現される。これにより、高い安全性を発揮させることが可能となる。
　従来、ドローン等の飛行体には、ＧＰＳ、ＩＭＵ、気圧センサ、及び地磁気センサ等のセンサが搭載される。これらのセンサにより安定した姿勢での飛行が実現される。しかし、センサ異常が発生した場合には、自機の姿勢を正しく推定することができず、誤動作し、あらぬ方向へ飛んで行ったり、墜落等をしてしまう。
　またセンサ異常が発生した場合に、予め用意された飛行制御が実行されたとする。この場合、ペイロード等の機体の状態が飛行体ごとに異なる可能性や、ドローンに搭載されるカメラや積み荷によって重心が異なることがあり、センサの異常事態に対応しきれない恐れがある。
　本技術では、センサの異常が検知されていない状態における飛行時の飛行パラメータが記録され、センサの異常が検知された際に、記録された飛行パラメータが再現される。
　これにより、センサに異常が出た場合でも、最低限のホバリングが可能となる。すなわち、飛行している状態のホバリング時のローターの回転数が記録されることで、その飛行における安定したホバリング時の飛行パラメータを再現することができる。また飛行時の飛行パラメータが記録されることで、多種多様な機体の状態に対応することが可能である。
　またドローンに搭載されるジンバルカメラの位置、向き、姿勢に対して、それぞれホバリング時の飛行パラメータが記録されることで、多様な状況に対応することも可能である。
　また本技術では、下降用の飛行パラメータが記録されることで、ホバリングからその場への着陸を行うことが可能である。すなわち、墜落等によるドローンの破損、及び人や物体との衝突を防止することが可能である。
　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
　上記の実施形態では、センサの異常が検知された場合、飛行体１がホバリングを行うように飛行パラメータが再現された。これに限定されず、センサの異常を検知した際に、様々な安全な行動を行うような飛行パラメータが再現されてもよい。例えば、図１１及び図１２では、下降時の飛行パラメータが記録される。なお、ホバリングや下降（着陸）以外にも障害物の回避、ユーザの位置へ移動、出発地点への帰還等の様々な飛行パラメータが記録され、再現されてもよい。
　図１１は、下降時における飛行パラメータの記録の一例を示すフローチャートである。
　図１１に示すように、飛行体１が離陸した際に（ステップ７０１）、飛行体１が一定の高度まで上昇したか否かが判定される（ステップ７０２）。例えば、センサ情報取得部２０により、気圧センサ４のセンサ情報が取得され、飛行体１の現在の高度が取得される。
　記録部２４により、一定の高度まで上昇した飛行体１のローターの回転数が記録される（ステップ７０３）。
　本実施形態では、記録部２４により、飛行体１が下降する際の飛行パラメータを記録するため、飛行体１が下降している最中の回転数が記録される（ステップ７０４）。
　飛行体１が一定の高度まで降下したか否かが判定される（ステップ７０５）。飛行体１が一定の高度まで下降した場合（ステップ７０５のＹＥＳ）、記録部２４により一定の高度に到達した際のホバリング時のローターの回転数が記録される（ステップ７０６）。
　図１２は、降下及び着陸における飛行パラメータの再現の一例を示すフローチャートである。
　図１２に示すように、操作情報取得部２２により操作情報が取得されたか否かが判定される（ステップ８０１）。
　センサ情報取得部２０によりセンサ情報が取得される（ステップ８０２）。また撮像画像取得部２１により画像情報が取得される（ステップ８０３）。
　検知部２３により、センサに異常があるか否かが判定される（ステップ８０４）。センサの異常は、図７及び図８におけるフローチャートに従い判断される。
　センサの異常が検知された場合（ステップ８０４のＹＥＳ）、再現部２５により下降用のローターの回転数が再現される（ステップ８０５）。
　下降用のローターの回転数が再現され、飛行体１が着陸したか否かが判定される（ステップ８０６）。例えば、ローターの回転数が再現されている状態で、飛行体１の高度が下がらなくなった場合に飛行体１が着陸したと判定される。これ以外にも、接触センサ等により着陸が判定されてもよい。
　飛行体１が着陸した場合（ステップ８０６のＹＥＳ）、飛行体１のプロペラが停止される（ステップ８０７）。
　なお、ステップ８０２及びステップ８０３の順番は限定されない。同様に、図７及び図８のフローチャートが実行される順番も限定されない。
　図１３は、制御部１３のハードウェア構成例を示すブロック図である。
　制御部１３は、ＣＰＵ５０、ＲＯＭ５１、ＲＡＭ５２、入出力インタフェース５４、及びこれらを互いに接続するバス５３を備える。入出力インタフェース５４には、表示部５５、入力部５６、記憶部５７、通信部５８、及びドライブ部５９等が接続される。
　表示部５５は、例えば液晶、ＥＬ等を用いた表示デバイスである。入力部５６は、例えばキーボード、ポインティングデバイス、タッチパネル、その他の操作装置である。入力部５６がタッチパネルを含む場合、そのタッチパネルは表示部５５と一体となり得る。
　記憶部５７は、不揮発性の記憶デバイスであり、例えばＨＤＤ、フラッシュメモリ、その他の固体メモリである。ドライブ部５９は、例えば光学記録媒体、磁気記録テープ等、リムーバブルの記録媒体６０を駆動することが可能なデバイスである。
　通信部５８は、ＬＡＮ、ＷＡＮ等に接続可能な、他のデバイスと通信するためのモデム、ルータ、その他の通信機器である。通信部５８は、有線及び無線のどちらを利用して通信するものであってもよい。通信部５８は、制御部１３とは別体で使用される場合が多い。
　本実施形態では、通信部５８により、ネットワークを介した他の装置との通信が可能となる。
　上記のようなハードウェア構成を有する制御部１３による情報処理は、記憶部５７またはＲＯＭ５１等に記憶されたソフトウェアと、制御部１３のハードウェア資源との協働により実現される。具体的には、ＲＯＭ５１等に記憶された、ソフトウェアを構成するプログラムをＲＡＭ５２にロードして実行することにより、本技術に係る制御方法が実現される。
　プログラムは、例えば記録媒体６０を介して制御部１３にインストールされる。あるいは、グローバルネットワーク等を介してプログラムが制御部１３にインストールされてもよい。その他、コンピュータ読み取り可能な非一過性の任意の記憶媒体が用いられてよい。
　通信端末に搭載されたコンピュータとネットワーク等を介して通信可能な他のコンピュータとが連動することにより本技術に係る制御方法、及びプログラムが実行され、本技術に係る制御部が構築されてもよい。
　すなわち本技術に係る飛行体、制御方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお、本開示において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
　コンピュータシステムによる本技術に係る飛行体、制御方法、及びプログラムの実行は、例えば、センサの異常の検知、飛行パラメータの記録、及び飛行パラメータの再現等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部又は全部を他のコンピュータに実行させその結果を取得することを含む。
　すなわち本技術に係る飛行体、制御方法、及びプログラムは、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
　各図面を参照して説明した検知部、記録部、再現部等の各構成、通信システムの制御フロー等はあくまで一実施形態であり、本技術の趣旨を逸脱しない範囲で、任意に変形可能である。すなわち本技術を実施するための他の任意の構成やアルゴリズム等が採用されてよい。
　なお、本開示中に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。上記の複数の効果の記載は、それらの効果が必ずしも同時に発揮されるということを意味しているのではない。条件等により、少なくとも上記した効果のいずれかが得られることを意味しており、もちろん本開示中に記載されていない効果が発揮される可能性もある。
　以上説明した各形態の特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。
　なお、本技術は以下のような構成も採ることができる。
（１）
　センサの異常が検知されていない状態における飛行時の飛行パラメータを記録する記録部と、
　前記センサの異常を検知する検知部と、
　前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現する再現部と
　を具備する飛行体。
（２）（１）に記載の飛行体であって、
　前記飛行は、離陸、上昇、ホバリング、下降、又は着陸の少なくとも１つを含む
　飛行体。
（３）（２）に記載の飛行体であって、
　前記ホバリングは、前記飛行体の座標が変化しない状態を含む
　飛行体。
（４）（１）に記載の飛行体であって、
　前記飛行パラメータは、前記飛行体に搭載されるローターの電流値、前記ローターの電圧値、前記飛行体に搭載されるＥＳＣ（Electric Speed Controller）の回転速度値、前記ＥＳＣの電流値、又は前記ＥＳＣの電圧値の少なくとも１つを含む
　飛行体。
（５）（１）に記載の飛行体であって、
　前記センサは、ＧＰＳ（Global Positioning System）、ＩＭＵ（Inertial Measurement Unit）、気圧センサ、又は地磁気センサの少なくとも１つを含む
　飛行体。
（６）（５）に記載の飛行体であって、
　前記検知部は、前記ＧＰＳの値の変化、前記ＩＭＵの値の変化、前記気圧センサの値の変化、又は前記地磁気センサの値の変化の少なくとも１つが閾値以上、かつ、前記飛行体に関する操作情報が無い場合、前記センサの異常を検知する
　飛行体。
（７）（１）に記載の飛行体であって、さらに、
　前記飛行体は、撮像装置が搭載され、
　前記記録部は、前記撮像装置の状況に関する撮像状況に応じて、前記飛行パラメータを記録する
　飛行体。
（８）（７）に記載の飛行体であって、
　前記撮像状況は、前記撮像装置の位置、前記撮像装置の向き、又は前記撮像装置の姿勢の少なくとも１つを含む
　飛行体。
（９）（８）に記載の飛行体であって、
　前記再現部は、前記センサの異常が検知された際の前記撮像装置の位置、前記撮像装置の向き、又は前記撮像装置の姿勢に基づいて、前記飛行パラメータを再現する
　飛行体。
（１０）（７）に記載の飛行体であって、
　前記検知部は、前記撮像装置により撮像された撮像画像と、前記飛行体に関する操作情報とに基づいて、前記センサの異常を検知する
　飛行体。
（１１）（１０）に記載の飛行体であって、
　前記検知部は、前記撮像画像から推定される前記飛行体の移動量が閾値以上、かつ、前記操作情報が無い場合、前記センサの異常を検知する
　飛行体。
（１２）（１）に記載の飛行体であって、
　前記記録部は、前記飛行体が一定の高度まで上昇し、前記飛行体が一定高度まで下降するまでの前記飛行パラメータを記録し、
　前記再現部は、前記センサの異常に基づいて、前記飛行体が着陸するまで前記飛行パラメータを再現する
　飛行体。
（１３）
　センサの異常が検知されていない状態における飛行時の飛行パラメータを記録し、
　前記センサの異常を検知し、
　前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現する
　ことをコンピュータシステムが実行する制御方法。
（１４）
　センサの異常が検知されていない状態における飛行時の飛行パラメータを記録するステップと、
　前記センサの異常を検知するステップと、
　前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現するステップと
　をコンピュータシステムに実行させるプログラム。
　１…飛行体
　２…ＧＰＳ
　３…ＩＭＵ
　４…気圧センサ
　５…地磁気センサ
　８…ジンバルカメラ
　２３…検知部
　２４…記録部
　２５…再現部

Claims (14)

  1. 　センサの異常が検知されていない状態における飛行時の飛行パラメータを記録する記録部と、
    　前記センサの異常を検知する検知部と、
    　前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現する再現部と
    　を具備する飛行体。
  2. 　請求項１に記載の飛行体であって、
    　前記飛行は、離陸、上昇、ホバリング、下降、又は着陸の少なくとも１つを含む
    　飛行体。
  3. 　請求項２に記載の飛行体であって、
    　前記ホバリングは、前記飛行体の座標が変化しない状態を含む
    　飛行体。
  4. 　請求項１に記載の飛行体であって、
    　前記飛行パラメータは、前記飛行体に搭載されるローターの電流値、前記ローターの電圧値、前記飛行体に搭載されるＥＳＣ（Electric Speed Controller）の回転速度値、前記ＥＳＣの電流値、又は前記ＥＳＣの電圧値の少なくとも１つを含む
    　飛行体。
  5. 　請求項１に記載の飛行体であって、
    　前記センサは、ＧＰＳ（Global Positioning System）、ＩＭＵ（Inertial Measurement Unit）、気圧センサ、又は地磁気センサの少なくとも１つを含む
    　飛行体。
  6. 　請求項５に記載の飛行体であって、
    　前記検知部は、前記ＧＰＳの値の変化、前記ＩＭＵの値の変化、前記気圧センサの値の変化、又は前記地磁気センサの値の変化の少なくとも１つが閾値以上、かつ、前記飛行体に関する操作情報が無い場合、前記センサの異常を検知する
    　飛行体。
  7. 　請求項１に記載の飛行体であって、さらに、
    　前記飛行体は、撮像装置が搭載され、
    　前記記録部は、前記撮像装置の状況に関する撮像状況に応じて、前記飛行パラメータを記録する
    　飛行体。
  8. 　請求項７に記載の飛行体であって、
    　前記撮像状況は、前記撮像装置の位置、前記撮像装置の向き、又は前記撮像装置の姿勢の少なくとも１つを含む
    　飛行体。
  9. 　請求項８に記載の飛行体であって、
    　前記再現部は、前記センサの異常が検知された際の前記撮像装置の位置、前記撮像装置の向き、又は前記撮像装置の姿勢に基づいて、前記飛行パラメータを再現する
    　飛行体。
  10. 　請求項７に記載の飛行体であって、
    　前記検知部は、前記撮像装置により撮像された撮像画像と、前記飛行体に関する操作情報とに基づいて、前記センサの異常を検知する
    　飛行体。
  11. 　請求項１０に記載の飛行体であって、
    　前記検知部は、前記撮像画像から推定される前記飛行体の移動量が閾値以上、かつ、前記操作情報が無い場合、前記センサの異常を検知する
    　飛行体。
  12. 　請求項１に記載の飛行体であって、
    　前記記録部は、前記飛行体が一定の高度まで上昇し、前記飛行体が一定高度まで下降するまでの前記飛行パラメータを記録し、
    　前記再現部は、前記センサの異常に基づいて、前記飛行体が着陸するまで前記飛行パラメータを再現する
    　飛行体。
  13. 　センサの異常が検知されていない状態における飛行時の飛行パラメータを記録し、
    　前記センサの異常を検知し、
    　前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現する
    　ことをコンピュータシステムが実行する制御方法。
  14. 　センサの異常が検知されていない状態における飛行時の飛行パラメータを記録するステップと、
    　前記センサの異常を検知するステップと、
    　前記検知部により検知された前記センサの異常に基づいて、前記飛行パラメータを再現するステップと
    　をコンピュータシステムに実行させるプログラム。
PCT/JP2022/000826 2021-02-19 2022-01-13 飛行体、制御方法、及びプログラム WO2022176446A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023500622A JPWO2022176446A1 (ja) 2021-02-19 2022-01-13

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-025122 2021-02-19
JP2021025122 2021-02-19

Publications (1)

Publication Number Publication Date
WO2022176446A1 true WO2022176446A1 (ja) 2022-08-25

Family

ID=82930635

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/000826 WO2022176446A1 (ja) 2021-02-19 2022-01-13 飛行体、制御方法、及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022176446A1 (ja)
WO (1) WO2022176446A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180002012A1 (en) * 2016-07-01 2018-01-04 Bell Helicopter Textron Inc. Aircraft with Independently Controllable Propulsion Assemblies
WO2018109903A1 (ja) * 2016-12-15 2018-06-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行制御方法、無人航空機、飛行システム、プログラム、及び記録媒体
US20190004512A1 (en) * 2016-02-29 2019-01-03 SZ DJI Technology Co., Ltd. Uav hardware architecture
WO2020022263A1 (ja) * 2018-07-23 2020-01-30 株式会社ナイルワークス 飛行体
KR102112290B1 (ko) * 2018-11-12 2020-05-18 한국항공우주연구원 틸트로터형 항공기의 자동 회전 제어 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190004512A1 (en) * 2016-02-29 2019-01-03 SZ DJI Technology Co., Ltd. Uav hardware architecture
US20180002012A1 (en) * 2016-07-01 2018-01-04 Bell Helicopter Textron Inc. Aircraft with Independently Controllable Propulsion Assemblies
WO2018109903A1 (ja) * 2016-12-15 2018-06-21 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行制御方法、無人航空機、飛行システム、プログラム、及び記録媒体
WO2020022263A1 (ja) * 2018-07-23 2020-01-30 株式会社ナイルワークス 飛行体
KR102112290B1 (ko) * 2018-11-12 2020-05-18 한국항공우주연구원 틸트로터형 항공기의 자동 회전 제어 시스템 및 방법

Also Published As

Publication number Publication date
JPWO2022176446A1 (ja) 2022-08-25

Similar Documents

Publication Publication Date Title
JP6852672B2 (ja) 飛行体制御装置、飛行体制御方法、及びプログラム
AU2016352014B2 (en) Unmanned moving vehicle piloting method and unmanned moving vehicle watching device
US11240062B2 (en) Asymmetric CAN-based communication for aerial vehicles
US9352834B2 (en) Micro unmanned aerial vehicle and method of control therefor
US11970287B2 (en) Autonomous aerial vehicle hardware configuration
US11149717B2 (en) Unmanned aerial vehicle wind turbine inspection systems and methods
US9783286B1 (en) Method and an apparatus for controlling a UAV, and a UAV take-off system
JP6665318B2 (ja) 無人航空機、及び、無人航空機を制御するための方法
US20180005534A1 (en) Autonomous navigation of an unmanned aerial vehicle
US10243647B2 (en) Aircraft visual sensor system
US20190051192A1 (en) Impact avoidance for an unmanned aerial vehicle
WO2018187936A1 (zh) 一种无人飞行器及无人飞行器的避障控制方法
JP2014123306A (ja) 自律飛行ロボット
Potena et al. Effective target aware visual navigation for uavs
WO2022176446A1 (ja) 飛行体、制御方法、及びプログラム
WO2018196641A1 (zh) 飞行器
US20240134397A1 (en) Aerial vehicle, control method, and program
US20220297821A1 (en) Control device, control method, unmanned aircraft, information processing device, information processing method, and program
WO2019071444A1 (zh) 一种摄像装置的转动控制方法、控制设备以及飞行器
US20230373622A1 (en) Method and system for detection and recovery of blocked air flow
JP6909668B2 (ja) 飛行管理システム
KR20180025655A (ko) 무인 비행체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22755771

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023500622

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18546184

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22755771

Country of ref document: EP

Kind code of ref document: A1