WO2024009885A1 - 制御装置、移動体および操縦システム - Google Patents

制御装置、移動体および操縦システム Download PDF

Info

Publication number
WO2024009885A1
WO2024009885A1 PCT/JP2023/024193 JP2023024193W WO2024009885A1 WO 2024009885 A1 WO2024009885 A1 WO 2024009885A1 JP 2023024193 W JP2023024193 W JP 2023024193W WO 2024009885 A1 WO2024009885 A1 WO 2024009885A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data
attitude
control device
aircraft
Prior art date
Application number
PCT/JP2023/024193
Other languages
English (en)
French (fr)
Inventor
真一郎 阿部
航平 漆戸
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024009885A1 publication Critical patent/WO2024009885A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot

Definitions

  • the present disclosure relates to a control device, a mobile object, and a control system.
  • Patent Document 1 Conventionally, techniques for operating a mobile object such as a drone have been disclosed (for example, Patent Document 1).
  • a control device is a device that remotely controls a moving body.
  • This control device includes an operation section that receives an operation of the moving object, and a sensor section that detects the attitude of the control device or the moving object.
  • the control device further includes a generation section that generates posture data of the control device based on the detection result of the sensor section, and a generation section that transmits the posture data generated by the generation section and the operation data received by the operation section to the mobile object. and a communication section for transmitting data.
  • the moving object according to the second aspect of the present disclosure is remotely controlled by a control device.
  • the moving body includes a sensor unit that detects the attitude of the moving body, a generation unit that generates attitude data of the moving body based on the detection result of the sensor unit, and attitude data of the control device from the control device. and a communication unit that receives operation data of the mobile body.
  • the mobile object further corrects the operation data of the mobile object received by the communication section based on the attitude data of the control device received by the communication section and the attitude data of the moving object generated by the generation section, and
  • the apparatus includes a correction section that generates correction operation data.
  • the moving body further includes a control section that controls the actuator based on correction operation data generated by correction in the correction section.
  • the moving body is remotely controlled by a control device.
  • This moving object includes a sensor section that detects the attitude of the control device or an object that corresponds to the control device, a generation section that generates attitude data of the moving object based on the detection result of the sensor section, and a generation section that generates attitude data of the moving object based on the detection result of the sensor section.
  • a communication unit that receives movement data of the control device and operation data of the mobile body.
  • the mobile object further corrects the operation data of the mobile object received by the communication section based on the attitude data of the control device received by the communication section and the attitude data of the moving object generated by the generation section, and
  • the apparatus includes a correction section that generates correction operation data.
  • the moving body further includes a control section that controls the actuator based on correction operation data generated by correction in the correction section.
  • a control system includes a moving body and a control device that remotely controls the moving body.
  • the control device includes an operation section that receives an operation of the moving body, a first sensor section that detects the attitude of the control device, and a first sensor that generates attitude data of the control device based on the detection result of the first sensor section. It has a generation section, and a first communication section that transmits the posture data generated by the first generation section and the operation data received by the operation section to the mobile object.
  • the movable body includes a second sensor section that detects the posture of the movable body, a second generation section that generates posture data of the movable body based on the detection result of the second sensor section, and a control device.
  • the mobile body further operates the mobile body received by the second communication unit based on the posture data of the control device received by the second communication unit and the posture data of the mobile body generated by the second generation unit. It has a correction section that corrects the data and thereby generates correction operation data.
  • the moving body further includes a drive unit that drives the actuator based on correction operation data generated by correction in the correction unit.
  • a control system includes a moving body and a control device that remotely controls the moving body.
  • the control device includes an operation section that receives an operation of the moving object, a first sensor section that detects the attitude of the moving object, and a first generation section that generates attitude data of the control device based on the detection result of the first sensor section. and a first communication unit that transmits the posture data generated by the first generation unit and the operation data received by the operation unit to the mobile object.
  • the moving object includes a second sensor section that detects the attitude of the control device or an object that corresponds to the control device, and a second generation section that generates attitude data of the moving object based on the detection result of the second sensor section.
  • the mobile body further operates the mobile body received by the second communication unit based on the movement data of the control device received by the second communication unit and the attitude data of the mobile body generated by the second generation unit. It has a correction section that corrects the data and thereby generates correction operation data.
  • the moving body further includes a drive unit that drives the actuator based on correction operation data generated by correction in the correction unit.
  • FIG. 1 is a diagram illustrating a schematic configuration example of a control system according to a first embodiment of the present disclosure.
  • A A diagram illustrating an example of a method of operating the remote controller in FIG. 1.
  • FIG. (B) is a diagram illustrating an example of a method of operating the aircraft in FIG. 1;
  • FIG. 2 is a diagram for explaining remote control of the aircraft shown in FIG. 1 using the remote controller shown in FIG. 1;
  • FIG. 2 is a diagram for explaining remote control of the aircraft shown in FIG. 1 using the remote controller shown in FIG. 1;
  • 2 is a diagram illustrating a schematic configuration example of the remote controller in FIG. 1.
  • FIG. FIG. 2 is a diagram illustrating a schematic configuration example of the aircraft in FIG. 1.
  • FIG. 2 is a diagram illustrating a display example of the remote controller in FIG. 1.
  • FIG. FIG. 2 is a diagram illustrating a display example of the remote controller in FIG. 1.
  • FIG. FIG. 2 is a diagram illustrating a display example of the remote controller in FIG. 1.
  • FIG. 2 is a diagram illustrating a display example of the remote controller in FIG. 1.
  • FIG. 2 is a diagram illustrating an example of an attitude control procedure in the remote controller of FIG. 1.
  • FIG. 2 is a diagram illustrating an example of an attitude control procedure in the aircraft of FIG. 1.
  • FIG. 2 is a diagram illustrating a schematic configuration example of a control system according to a second embodiment of the present disclosure.
  • 16 is a diagram illustrating a schematic configuration example of the remote controller in FIG. 15.
  • FIG. 16 is a diagram illustrating a schematic configuration example of the aircraft shown in FIG. 15.
  • FIG. 7 is a diagram illustrating a schematic configuration example of a control system according to a third embodiment of the present disclosure.
  • 19 is a diagram illustrating a schematic configuration example of the remote controller in FIG. 18.
  • FIG. 19 is a diagram illustrating a schematic configuration example of the aircraft shown in FIG. 18.
  • FIG. FIG. 12 is a diagram illustrating a schematic configuration example of a control system according to a fourth embodiment of the present disclosure.
  • FIG. 22 is a diagram representing an example of attitude data acquired from each aircraft forming the formation of FIG. 21.
  • FIG. 22 is a diagram illustrating an example of a schematic configuration of the master in FIG. 21.
  • FIG. 22 is a diagram illustrating an example of a schematic configuration of the slave in FIG. 21.
  • FIG. 22 is a diagram illustrating an example of a procedure for detecting an abnormal aircraft in the master of FIG. 21.
  • FIG. 1 shows an example of a schematic configuration of a control system 1.
  • the control system 1 includes, for example, as shown in FIG. 1, a fuselage 20 and a remote controller 10 that remotely controls the fuselage 20.
  • the remote controller 10 corresponds to a specific example of the "control device" of the present disclosure.
  • the aircraft 20 corresponds to a specific example of a "mobile object” in the present disclosure.
  • the control system 1 corresponds to a specific example of the "control system” of the present disclosure.
  • the operator OP operates the operation unit 11 of the remote controller 10, and the aircraft 20 is remotely controlled by the operation signal issued from the remote controller 10.
  • the operation unit 11 is, for example, stick-shaped as shown in FIG. 1, and for example, as shown in FIG. It is possible to push down in the direction.
  • the operating unit 11 When the operator OP pushes down the operating unit 11 (stick) to the upper side of the main body of the remote controller 10, the operating unit 11 outputs a forward signal as an operating signal. When the operator OP pushes down the operating section 11 (stick) to the lower side of the main body of the remote controller 10, the operating section 11 outputs a backward signal as an operating signal. When the operator OP pushes down the operating section 11 (stick) to the right side of the main body of the remote controller 10, the operating section 11 outputs a right movement signal as an operating signal. When the operator OP pushes down the operating section 11 (stick) to the left side of the main body of the remote controller 10, the operating section 11 outputs a left movement signal as an operating signal.
  • the normal operation mode refers to a mode in which the forward direction of the operating unit 11 and the forward direction of the aircraft body 20 are the same.
  • a forward signal is input as an operation signal from the remote controller 10
  • the aircraft 20 moves in the forward direction of the aircraft 20 (that is, in the nose direction).
  • a backward signal is inputted as an operation signal from the remote controller 10
  • the body 20 moves in the backward direction of the body 20 (that is, the direction opposite to the nose direction).
  • a rightward movement signal is input as an operation signal from the remote controller 10
  • the body 20 moves in the rightward movement direction of the body 20.
  • a leftward movement signal is input as an operation signal from the remote controller 10
  • the body 20 moves in the leftward movement direction of the body 20.
  • the "nose” refers to the front part of the fuselage 20 (the part corresponding to the nose 20a in FIG. 1).
  • the forehead of the aircraft body 20 is uniquely defined for each manufacturer of the aircraft body 20.
  • the forehead of the aircraft body 20 may refer, for example, to the front end of a camera mounted on the aircraft body 20, or to a pilot lamp provided on the aircraft body 20.
  • the nose of the aircraft 20 is configured so that it can be recognized by the operator OP even from a distance.
  • the intuitive operation mode refers to a mode in which the operating direction of the operating unit 11 and the moving direction of the aircraft body 20 match each other. Assume that the aircraft body 20 is in a posture such that the forward direction of the operating unit 11 and the rightward movement direction of the aircraft body 20 coincide with each other, as shown in FIG. 3, for example. At this time, when a forward signal is input as an operation signal from the remote controller 10, the aircraft 20 moves in the rightward movement direction (that is, a direction different from the nose direction). Further, when a backward signal is input as an operation signal from the remote controller 10, the aircraft 20 moves in the leftward movement direction of the aircraft 20.
  • the aircraft 20 moves in the backward direction of the aircraft 20. Furthermore, when a left movement signal is input as an operation signal from the remote controller 10, the aircraft 20 moves in the forward direction (nose direction) of the aircraft 20.
  • the operator OP turns 90 degrees to the left, for example, as shown in FIG.
  • the aircraft 20 moves in the rightward movement direction (that is, a direction different from the nose direction).
  • a backward signal is input as an operation signal from the remote controller 10
  • the body 20 moves in the backward direction of the body 20.
  • a rightward movement signal is input as an operation signal from the remote controller 10
  • the body 20 moves in the rightward movement direction of the body 20.
  • a leftward movement signal is input as an operation signal from the remote controller 10
  • the body 20 moves in the leftward movement direction of the body 20.
  • FIG. 5 shows an example of a schematic configuration of the remote controller 10.
  • the remote controller 10 includes an operation section 11 , a sensor section 12 , a storage section 13 , a SLAM (Simultaneous Localization And Mapping) processing section 14 , a communication section 15 , and a display section 16 .
  • SLAM Simultaneous Localization And Mapping
  • the operation unit 11 is an interface that accepts operations on the aircraft 20 from the operator OP.
  • the operation unit 11 generates an operation signal Oin for remotely controlling the aircraft 20 in accordance with the operation of the operator OP.
  • the operation signal Oin corresponds to a specific example of "operation data" of the present disclosure.
  • the operation unit 11 outputs the generated operation signal Oin to the communication unit 15.
  • the operation signal Oin is expressed in the coordinate system of the environmental map 13a stored in the storage unit 13, and includes, for example, a movement vector expressed in the coordinate system of the environmental map 13a.
  • the sensor unit 12 includes, for example, a sensor element that recognizes the external environment and acquires environmental data corresponding to the recognized external environment.
  • the sensor element is, for example, an RGB camera, an RGB-D camera, a depth sensor, an infrared sensor, an event camera, or a stereo camera.
  • the RGB camera is, for example, a single-purpose visible light image sensor that outputs RGB image data obtained by receiving visible light and converting it into an electrical signal.
  • the RGB-D camera is, for example, a binocular visible light image sensor, and outputs RGB-D image data (RGB image data and distance image data obtained from parallax).
  • the depth sensor is, for example, a ToF (Time of Flight) sensor or a Lider (Laser Imaging Detection and Ranging) sensor, and outputs distance image data obtained by measuring scattered light in response to pulsed laser irradiation.
  • the infrared sensor outputs infrared image data obtained by, for example, receiving infrared light and converting it into an electrical signal.
  • the event camera is, for example, a single-purpose visible light image sensor, and outputs the difference in RGB image data between frames (difference image data).
  • the stereo camera is, for example, a binocular visible light image sensor, and outputs distance image data obtained from two RGB image data from different viewpoints.
  • the sensor element outputs, for example, image data (eg, RGB image data, RGB-D image data, distance image data, infrared image data, or difference image data) obtained from the external environment as environmental data.
  • the sensor unit 12 further detects the position and orientation of the remote controller 10.
  • the sensor unit 12 includes, for example, a positioning meter.
  • the positioning device performs positioning by receiving GNSS signals from GNSS (Global Navigation Satellite System) satellites (for example, GPS signals from GPS (Global Positioning System) satellites), and determines the latitude, longitude, and altitude of the remote controller 10.
  • Generate location data that includes:
  • the sensor section 12 further includes, for example, a gyro sensor.
  • the gyro sensor detects the angular velocity of the remote controller 10 and generates attitude data of the remote controller 10 based on the detected angular velocity.
  • the sensor unit 12 outputs sensor data Sin1 including the above-mentioned environmental data and position data and orientation data of the remote controller 10 to the SLAM processing unit 14, for example.
  • the storage unit 13 is configured of, for example, volatile memory such as DRAM (Dynamic Random Access Memory), or non-volatile memory such as EEPROM (Electrically Erasable Programmable Read-Only Memory) or flash memory.
  • volatile memory such as DRAM (Dynamic Random Access Memory)
  • non-volatile memory such as EEPROM (Electrically Erasable Programmable Read-Only Memory) or flash memory.
  • the storage unit 13 stores, for example, an environmental map 13a.
  • the SLAM processing unit 14 constructs a surrounding map based on the sensor data Sin1 obtained from the sensor unit 12, and superimposes the constructed surrounding map on the environmental map 13a read from the storage unit 13. Generate a new map. For example, the SLAM processing unit 14 stores the generated new map in the environmental map 13a of the storage unit 13, and updates the environmental map 13a.
  • the SLAM processing unit 14 derives the position and orientation of the remote controller 10 based on the sensor data Sin1 obtained from the sensor unit 12.
  • the derived position and orientation of the remote controller 10 are expressed in the coordinate system of the environmental map 13a.
  • the SLAM processing unit 14 generates position data Lc1 expressed in the coordinate system of the environmental map 13a, based on the position data obtained from the positioning device of the sensor unit 12, for example.
  • the SLAM processing unit 14 generates, for example, posture data Ps1 expressed in the coordinate system of the environmental map 13a and a rotation matrix mRcnt, based on the posture data obtained from the gyro sensor of the sensor unit 12.
  • the SLAM processing unit 14 outputs the generated position data Lc1, posture data Ps1, and rotation matrix mRcnt to the communication unit 15. Note that if the SLAM processing unit 14 is unable to generate the rotation matrix mRcnt for some reason, it generates a normal operation mode transition notification and outputs it to the communication unit 15.
  • m placed on the left side of R means that it is based on the coordinate system of the environmental map 13a, and R means that it is a rotation matrix.
  • the arranged cnt means the remote controller 10. That is, mRcnt means a rotation matrix representing the attitude of the remote controller 10 in the coordinate system of the environmental map 13a.
  • the communication unit 15 transmits the operation signal Oin generated by the operation unit 11 and the rotation matrix mRcnt generated by the SLAM processing unit 14 to the aircraft 20.
  • the communication unit 15 receives position data Lc2 and attitude data Ps2 of the aircraft 20 from the aircraft 20.
  • the position data Lc2 and the attitude data Ps2 are data generated by the SLAM processing unit 24 (described later) of the aircraft 20.
  • the communication unit 15 outputs the position data Lc1 and posture data Ps1 of the remote controller 10 and the position data Lc2 and posture data Ps2 of the aircraft 20 to the display unit 16. Note that when the communication unit 15 obtains the normal operation mode transition notification from the SLAM processing unit 14 , it outputs the normal operation mode transition notification to the aircraft body 20 and the display unit 16 .
  • the display section 16 has a video signal generation section and a display panel.
  • the video signal generation unit generates image data representing the positions and postures of the remote controller 10 and the aircraft 20 based on the position data Lc1 and attitude data Ps1 of the remote controller 10, and the position data Lc2 and attitude data Ps2 of the aircraft 20. do.
  • the video signal generation section outputs the generated image data to the display panel.
  • the display panel displays an image (at least the orientation of the aircraft body 20 out of the orientation of the aircraft body 20 and the orientation of the remote controller 10) based on the input image data.
  • FIG. 6 shows an example of a schematic configuration of the aircraft body 20.
  • the aircraft 20 is remotely controlled by the remote controller 10.
  • the aircraft 20 includes a communication section 21, a sensor section 22, a storage section 23, a SLAM processing section 24, a relative attitude calculation section 25, an input signal conversion section 26, a flight controller 27, and an actuator 28.
  • the communication unit 21 receives the operation signal Oin and the rotation matrix mRcnt from the remote controller 10.
  • the communication unit 21 outputs the received operation signal Oin to the input signal conversion unit 26 and outputs the received rotation matrix mRcnt to the relative attitude calculation unit 25.
  • the communication unit 21 further acquires position data Lc2 and posture data Ps2 of the aircraft 20 from the SLAM processing unit 24.
  • the communication unit 21 transmits the acquired position data Lc2 and posture data Ps2 to the remote controller 10. Note that when the communication unit 21 acquires the normal operation mode transition notification from the remote controller 10, it outputs the normal operation mode transition notification to the input signal conversion unit 26.
  • the sensor unit 22 includes, for example, a sensor element that recognizes the external environment and acquires environmental data corresponding to the recognized external environment.
  • the sensor element is, for example, an RGB camera, an RGB-D camera, a depth sensor, an infrared sensor, an event camera, or a stereo camera. These sensors and cameras have the same configuration as the sensors and cameras that can be used in the sensor section 12.
  • the sensor unit 22 further detects the position and attitude of the aircraft body 20.
  • the sensor section 22 includes, for example, a positioning meter.
  • the positioning meter receives a GNSS signal from a GNSS satellite (for example, a GPS signal from a GPS satellite), performs positioning, and generates position data including the latitude, longitude, and altitude of the aircraft 20.
  • the sensor section 22 further includes, for example, a gyro sensor.
  • the gyro sensor detects the angular velocity of the aircraft body 20 and generates attitude data of the aircraft body 20 based on the detected angular velocity.
  • the sensor unit 22 outputs sensor data Sin2 including the above-mentioned environmental data and position data and attitude data of the aircraft 20 to the SLAM processing unit 24, for example.
  • the storage unit 23 is composed of, for example, a volatile memory such as DRAM, or a nonvolatile memory such as EEPROM or flash memory.
  • the storage unit 23 stores, for example, an environmental map 23a.
  • the SLAM processing unit 24 constructs a surrounding map based on the sensor data Sin2 obtained from the sensor unit 22, and superimposes the constructed surrounding map on the environmental map 23a read from the storage unit 23. Generate a new map.
  • the SLAM processing unit 24 stores the generated new map in the environmental map 23a of the storage unit 23, and updates the environmental map 23a.
  • the SLAM processing unit 24 derives the position and attitude of the aircraft 20 based on the sensor data Sin2 obtained from the sensor unit 22.
  • the derived position and attitude of the aircraft 20 are expressed in the coordinate system of the environmental map 23a.
  • the coordinate system of the environmental map 23a is the same as the coordinate system of the environmental map 13a.
  • the SLAM processing unit 24 generates position data Lc2 expressed in the coordinate system of the environmental map 23a, based on the position data obtained from the positioning device of the sensor unit 22, for example.
  • the SLAM processing unit 24 generates posture data Ps2 and a rotation matrix mRbody expressed in the coordinate system of the environmental map 23a, based on the posture data obtained from the gyro sensor of the sensor unit 22, for example.
  • the SLAM processing section 24 outputs the generated position data Lc2 and posture data Ps2 to the communication section 21, and also outputs the rotation matrix mRbody to the relative posture calculation section 25. Note that if the SLAM processing unit 24 is unable to generate the rotation matrix mRbody for some reason, it generates a normal operation mode transition notification and outputs it to the input signal conversion unit 26.
  • m placed on the left side of R means that it is based on the coordinate system of the environmental map 23a
  • R means a rotation matrix
  • m placed on the right side of R means that it is based on the coordinate system of the environmental map 23a.
  • the arranged body means the aircraft body 20.
  • mRbody is a rotation matrix representing the attitude of the aircraft 20 in the coordinate system of the environmental map 23a.
  • the relative attitude calculation unit 25 estimates the relative attitude of the aircraft 20 with respect to the remote controller 10 based on the rotation matrix mRcnt input from the communication unit 21 and the rotation matrix mRbody input from the SLAM processing unit 24.
  • the relative attitude calculation unit 25 calculates a rotation matrix cntRbody as the relative attitude data of the aircraft 20 with respect to the remote controller 10 using, for example, equation (1).
  • (mRcnt) T is the transposed matrix of mRcnt.
  • cntRbody (mRcnt) T ⁇ mRbody...(1)
  • cntRbody placed on the left side of R means that it is based on the attitude of the remote controller 10, and R means that it is a rotation matrix, and cnt placed on the right side of R.
  • ⁇ body'' means the aircraft body 20.
  • cntRbody is a rotation matrix representing the relative attitude of the aircraft 20 as seen from the remote controller 10.
  • the relative attitude calculation unit 25 outputs the estimated relative attitude of the aircraft 20 with respect to the remote controller 10 to the input signal conversion unit 26.
  • the relative attitude calculation unit 25 outputs, for example, the rotation matrix cntRbody obtained by the calculation to the input signal conversion unit 26.
  • the input signal conversion unit 26 uses the rotation matrix cntRbody input from the relative attitude calculation unit 25 to convert the operation signal Oin input from the communication unit 21 into a relative operation signal Oin'. That is, the input signal conversion unit 26 corrects the operation signal Oin based on the attitude data Lc1 and Lc2 of the remote controller 10 and the aircraft body 20, thereby generating the relative operation signal Oin'.
  • the input signal converter 26 outputs the generated relative operation signal Oin' to the flight controller 27. Note that, when the input signal conversion unit 26 obtains the normal operation mode transition notification from the communication unit 21 or the SLAM processing unit 24, the input signal conversion unit 26 outputs the operation signal Oin as it is to the flight controller 27.
  • the flight controller 27 controls the actuator 28 based on the relative operation signal Oin' (operation signal Oin in the normal operation mode).
  • the flight controller 27 generates a control signal sfc based on the relative operation signal Oin' (operation signal Oin in the normal operation mode) and outputs it to the actuator 28.
  • the actuator 28 rotates the propeller of the aircraft body 20 based on the control signal sfc input from the flight controller 27. In this way, the flight controller 27 performs attitude control of the aircraft 20 based on the relative operation signal Oin' (operation signal Oin in the normal operation mode).
  • FIG. 7 shows a display example of the display screen 16A of the display unit 16.
  • the postures of the remote controller 10 and the aircraft 20 are represented by triangular icons (16a, 16b) on the display screen 16A.
  • the attitude of the remote controller 10 is expressed by an upper triangular icon 16a
  • the attitude of the aircraft 20 is expressed by a left triangular icon 16b. This indicates that the nose 20a of the aircraft body 20 is facing in the left movement direction of the remote controller 10.
  • the operator OP moves the operating section 11 of the remote controller 10 in the forward direction, for example, as shown in FIG.
  • the input signal conversion unit 26 generates a relative operation signal Oin' by rotating the operation signal Oin by 90 degrees in the clockwise rotation direction using the rotation matrix cntRbody, and outputs it to the flight controller 27.
  • the aircraft 20 moves in the same direction as the operating direction of the operating unit 11 (rightward movement direction) when viewed from the operator OP.
  • the attitude of the remote controller 10 is represented by an upper triangular icon 16a
  • the attitude of the aircraft 20 is represented by an upper triangular icon 16b.
  • the nose 20a of the aircraft body 20 is facing in the forward direction of the remote controller 10.
  • the input signal conversion unit 26 generates a relative operation signal Oin' by rotating the operation signal Oin by 0° in the rotational direction using the rotation matrix cntRbody, and outputs it to the flight controller 27.
  • the aircraft 20 moves in the same direction as the operating direction of the operating unit 11 (rightward movement direction) when viewed from the operator OP.
  • FIG. 11 shows an example of an attitude control procedure in the remote controller 10.
  • the remote controller 10 starts the intuitive operation mode (step S101).
  • the operation unit 11 receives an operation by the operator OP, it generates an operation signal Oin according to the received operation and outputs it to the communication unit 15.
  • the communication unit 15 receives the operation signal Oin (operation data) (step S102).
  • the SLAM processing unit 14 estimates the attitude of the remote controller 10 based on the sensor data Sin1 obtained from the sensor unit 12 (step S103). If the attitude estimation of the remote controller 10 by the SLAM processing unit 14 is successful (step S104; Y), the communication unit 15 transmits the operation signal Oin (operation data) and the rotation matrix mRcnt (attitude data) to the aircraft 20 (step S104; Y). S107). On the other hand, if the posture estimation of the remote controller 10 by the SLAM processing section 14 fails (step S104; N), the SLAM processing section 14 and the communication section 15 shift to the normal operation mode (step S105). Then, the display unit 16 notifies the operator OP that the mode has shifted to the normal operation mode (step S105).
  • step S108; N the remote controller 10 executes steps S102 to S107.
  • step S108; Y the remote controller 10 ends the operation of the aircraft 20.
  • FIG. 12 shows an example of an attitude control procedure for the aircraft 20.
  • the communication unit 21 receives the operation signal Oin (operation data) and the rotation matrix mRcnt (posture data) (step S201).
  • the SLAM processing unit 24 estimates the attitude of the aircraft 20 based on the sensor data Sin2 obtained from the sensor unit 22 (step S202). If the orientation of the remote controller 10 is successfully estimated by the SLAM processing unit 24 (step S203; Y), the relative orientation calculation unit 25 calculates the orientation based on the rotation matrix mRcnt (orientation data) acquired from the communication unit 21 and the sensor data Sin2. Based on the generated rotation matrix mRbody (attitude data), the relative attitude of the aircraft 20 as seen from the remote controller 10 is estimated (step S206). Then, the input signal conversion unit 26 converts the operation signal Oin into a relative operation signal Oin' based on the relative orientation obtained by estimation (step S207).
  • step S204 the SLAM processing unit 24 shifts to the normal operation mode.
  • step S204 the SLAM processing unit 24 generates a normal operation mode transition notification and transmits it to the remote controller 10 via the communication unit 21 (step S205).
  • step S205 the display unit 16 of the remote controller 10 notifies the operator OP that the mode has shifted to the normal operation mode.
  • the flight controller 27 performs attitude control of the aircraft 20 based on the relative operation signal Oin' (operation signal Oin in the normal operation mode) (step S208). While the operation by the operator OP continues, the aircraft 20 executes steps S201 to S208 (step S209; N). When the operation by the operator OP is completed, the aircraft 20 ends the attitude control of the aircraft 20 (step S209; Y).
  • posture data (rotation matrix mRcnt) of the remote controller 10 generated based on the detection result (sensor data Sin1) by the sensor unit 12 and operation data (operation signal Oin) received by the operation unit 11 are used. is transmitted to the aircraft 20.
  • the operation data (operation signal Oin) is transmitted from the remote controller 10 based on the attitude data (rotation matrix mRcnt) of the remote controller 10 and the attitude data (rotation matrix mRbody) of the aircraft 20. It becomes possible to convert the observed relative attitude of the aircraft 20 into data for operation (operation signal Oin'). As a result, the operator OP can intuitively remotely control the aircraft 20.
  • posture data (rotation matrix mRcnt) expressed in the coordinate system of the environmental map 13a is generated based on the detection result by the sensor unit 12 (sensor data Sin1) and the environmental map 13a.
  • the attitude data (rotation matrix mRcnt) expressed in the coordinate system of the environment map 13a and the attitude data (rotation matrix mRbody) expressed in the common coordinate system with the environment map 13a Therefore, it becomes possible to generate operation data (operation signal Oin') with high accuracy.
  • the operator OP can intuitively remotely control the aircraft 20.
  • the orientations (postures) of the remote controller 10 and the aircraft 20 are displayed based on the attitude data Ps1 of the remote controller 10 and the attitude data Ps2 of the aircraft 20. This allows the operator OP to operate the aircraft 20 more intuitively.
  • the operation data (operation signal Oin) is corrected based on the attitude data (rotation matrix mRcnt) of the remote controller 10 and the attitude data (rotation matrix mRbody) of the aircraft body 20, and thereby the correction operation Data (operation signal Oin') is generated.
  • This allows the operator OP to remotely operate the aircraft 20 intuitively.
  • relative attitude data (rotation matrix cntRbody) of the aircraft 20 with respect to the remote controller 10 is created based on attitude data (rotation matrix mRcnt) of the remote controller 10 and attitude data (rotation matrix mRbody) of the aircraft 20. is generated. Then, corrected operation data (operation signal Oin') is generated using the generated relative posture data (rotation matrix cntRbody). This allows the operator OP to remotely operate the aircraft 20 intuitively.
  • posture data (rotation matrix mRbody) expressed in the coordinate system of the environmental map 23a is generated based on the detection result by the sensor unit 22 (sensor data Sin2) and the environmental map 23a.
  • operation data (operation signal Oin') As a result, the operator OP can intuitively remotely control the aircraft 20.
  • a remote controller 30 and a terminal device 40 may be provided instead of the remote controller 10.
  • the remote controller 30 has an operation section 11 and a communication section 17.
  • the terminal device 40 includes an operation section 41, a sensor section 12, a storage section 13, a SLAM processing section 14, a communication section 15, and a display section 16.
  • the communication unit 17 acquires the operation signal Oin from the operation unit 11, receives the attitude data (rotation matrix mRcnt) of the terminal device 40 from the communication unit 15, and transmits the operation signal Oin and the rotation matrix mRcnt to the aircraft 20.
  • the communication unit 17 receives position data Lc2 and posture data Ps2 of the body 20 from the body 20, and transmits the received position data Lc2 and posture data Ps2 to the communication unit 15.
  • the operation unit 41 receives an operation of the terminal device 40 by the operator OP, and outputs the obtained operation signal to the communication unit 15.
  • the terminal device 40 is provided with a device necessary to generate posture data (rotation matrix mRcnt) of the remote controller 30.
  • the remote controller 30 can be configured only with highly versatile devices, so the remote controller 30 can be provided at low cost.
  • the attitude data (rotation matrix mRcnt) of the terminal device 40 is regarded as the attitude data (rotation matrix mRcnt) of the remote controller 30. becomes possible.
  • FIG. 15 shows an example of a schematic configuration of the control system 2. As shown in FIG.
  • the control system 2 unlike the control system 1, realizes intuitive remote control of the aircraft 60 without using an environmental map.
  • the control system 2 includes, for example, a fuselage 60 and a remote controller 50 that remotely controls the fuselage 60, as shown in FIG.
  • FIG. 16 shows an example of a schematic configuration of the remote controller 50.
  • the remote controller 50 includes an operation section 11, a sensor section 12, a signal processing section 51, a communication section 52, and a display section 16.
  • the signal processing unit 51 derives the position and orientation of the remote controller 50 based on the sensor data Sin1 obtained from the sensor unit 12.
  • the derived position and orientation of the remote controller 50 are expressed in a coordinate system unique to the remote controller 50.
  • the signal processing unit 51 generates position data Lc1 expressed in a coordinate system unique to the remote controller 50, for example, based on position data obtained from the positioning device of the sensor unit 12.
  • the signal processing unit 51 generates, for example, posture data Ps1 expressed in a coordinate system unique to the remote controller 50 and a rotation matrix cnt_intRcnt, based on the posture data obtained from the gyro sensor of the sensor unit 12.
  • the signal processing unit 51 outputs the generated position data Lc1, posture data Ps1, and rotation matrix cnt_intRcnt to the communication unit 15. Note that in FIG. 16, the rotation matrix cnt_intRcnt is expressed as DR1.
  • cnt_intRcnt placed on the left side of R means that it is based on the initial posture of the remote controller 50, and R means that it is a rotation matrix, and cnt_int placed on the right side of R
  • the arranged cnt means the current attitude of the remote controller 50.
  • cnt_intRcnt is a rotation matrix representing the amount of change in the attitude of the remote controller 50 in a coordinate system unique to the remote controller 50.
  • the communication unit 52 transmits the operation signal Oin generated by the operation unit 11 and the rotation matrix cnt_intRcnt generated by the signal processing unit 51 to the aircraft 20.
  • the communication unit 52 receives position data Lc2 and attitude data Ps2 of the aircraft 20 from the aircraft 20.
  • the communication unit 52 outputs the position data Lc1 and posture data Ps1 of the remote controller 50 and the position data Lc2 and posture data Ps2 of the aircraft 20 to the display unit 16.
  • FIG. 17 shows an example of a schematic configuration of the aircraft body 60.
  • the aircraft 60 is remotely controlled by the remote controller 50.
  • the aircraft body 60 includes a communication section 61, a sensor section 22, a storage section 62, a signal processing section 63, a relative attitude calculation section 64, an input signal conversion section 26, a flight controller 27, and an actuator 28.
  • the communication unit 61 receives the operation signal Oin and the rotation matrix cnt_intRcnt from the remote controller 50.
  • the communication unit 61 outputs the received operation signal Oin to the input signal conversion unit 26 and outputs the received rotation matrix cnt_intRcnt to the relative attitude calculation unit 64.
  • the communication unit 61 further acquires position data Lc2 and posture data Ps2 of the aircraft 60 from the signal processing unit 63.
  • the communication unit 61 transmits the acquired position data Lc2 and posture data Ps2 to the remote controller 50.
  • the sensor section 22 has a camera 22a.
  • the camera 22a is, for example, an RGB camera, an RGB-D camera, a depth sensor, an infrared sensor, an event camera, or a stereo camera.
  • the sensor unit 22 outputs sensor data Sin2 including image data acquired by the camera 22a to the signal processing unit 63.
  • the storage unit 62 is made up of, for example, volatile memory such as DRAM, or non-volatile memory such as EEPROM or flash memory.
  • the storage unit 62 stores, for example, an attitude DB (Data-Base) 62a.
  • the posture DB 62a stores 2D (dimension) feature amounts (2D coordinate values) of the model image (keyframe) of the remote controller 50 or operator OP, and 3D feature amounts (3D coordinate values) corresponding to the 2D feature amounts (2D coordinate values). ) are stored.
  • the storage unit 62 stores a rotation matrix body_intRcnt_int. Note that in FIG. 17, the rotation matrix body_intRcnt_int is expressed as IP2.
  • body_intRcnt_int body_int placed on the left side of R means that it is based on the initial attitude of the aircraft 60, and R means that it is a rotation matrix, and body_int placed on the right side of R.
  • cnt_int means the initial posture of the remote controller 50 or the operator OP.
  • body_intRcnt_int is a rotation matrix representing the initial relative attitude of the remote controller 50 or the operator OP with respect to the aircraft 60.
  • the signal processing unit 63 derives the position and attitude of the aircraft 60 based on the sensor data Sin2 obtained from the sensor unit 22.
  • the derived position and attitude of the aircraft 60 are expressed in a coordinate system unique to the aircraft 60.
  • the signal processing unit 63 generates position data Lc2 expressed in a coordinate system unique to the aircraft 60, for example, based on position data obtained from the positioning device of the sensor unit 22.
  • the signal processing unit 63 generates attitude data Ps2 expressed in a coordinate system unique to the aircraft body 60 and a rotation matrix body_intRbody, based on the attitude data obtained from the gyro sensor of the sensor unit 22, for example. Note that in FIG. 17, the rotation matrix body_intRbody is expressed as DR2.
  • body_intRbody body_int placed on the left side of R means that it is based on the initial attitude of the aircraft 60, and R means that it is a rotation matrix, and body_int placed on the right side of R.
  • the ⁇ body'' indicates the current attitude of the aircraft 60.
  • body_intRbody is a rotation matrix representing the amount of change in the attitude of the aircraft 60 in the coordinate system unique to the aircraft 60.
  • the signal processing unit 63 generates a 2D feature amount of the image data acquired by the camera 22a, for example, by performing predetermined processing on the image data acquired by the camera 22a. For example, the signal processing unit 63 matches the generated 2D feature amount with the 2D feature amount of the model image stored in the posture DB 62a, and matches the 2D feature amount that was successfully matched with the 2D feature amount that was successfully matched. The corresponding 3D feature amount is acquired from the posture DB 62a. For example, the signal processing unit 63 uses the Perspective-n-Point algorithm to determine the initial relative attitude (rotation matrix body_intRcnt_int).
  • the signal processing unit 63 outputs the generated position data Lc2 and posture data Ps2 to the communication unit 61, and also outputs the generated rotation matrix body_intRbody and rotation matrix body_intRcnt_int to the relative posture calculation unit 64.
  • the relative attitude calculation unit 64 estimates the relative attitude of the aircraft 60 with respect to the remote controller 50 based on the rotation matrix cnt_intRcnt input from the communication unit 61 and the rotation matrix body_intRbody and rotation matrix body_intRcnt_int input from the signal processing unit 63. do.
  • the relative attitude calculation unit 64 calculates the rotation matrix cntRbody as the relative attitude data of the aircraft 60 with respect to the remote controller 50 using, for example, equation (2).
  • (cnt_intRcnt) T is a transposed matrix of cnt_intRcnt
  • (body_intRcnt_int) T is a transposed matrix of body_intRcnt_int.
  • cntRbody (cnt_intRcnt) T ⁇ (body_intRcnt_int) T ⁇ body_intRbody...(2)
  • the relative attitude calculation unit 64 outputs the estimated relative attitude of the aircraft 60 with respect to the remote controller 50 to the input signal conversion unit 26.
  • the relative attitude calculation unit 64 outputs the rotation matrix cntRbody obtained by calculation to the input signal conversion unit 26, for example.
  • the input signal conversion unit 26 uses the rotation matrix cntRbody input from the relative attitude calculation unit 25 to convert the operation signal Oin input from the communication unit 61 into a relative operation signal Oin′. That is, the input signal conversion unit 26 corrects the operation signal Oin based on the attitude data of the remote controller 50 and the aircraft body 60, thereby generating the relative operation signal Oin'.
  • the input signal converter 26 outputs the generated relative operation signal Oin' to the flight controller 27.
  • the flight controller 27 controls the actuator 28 based on the relative operation signal Oin' (operation signal Oin in the normal operation mode).
  • the flight controller 27 generates a control signal sfc based on the relative operation signal Oin' (operation signal Oin in the normal operation mode) and outputs it to the actuator 28.
  • the actuator 28 rotates the propeller of the aircraft body 60 based on the control signal sfc input from the flight controller 27. In this way, the flight controller 27 controls the attitude of the aircraft 60 based on the relative operation signal Oin' (operation signal Oin in the normal operation mode).
  • the movement data (rotation matrix cnt_intRcnt) of the remote controller 50 generated based on the detection result (sensor data Sin1) by the sensor unit 12 and the operation data (operation signal Oin) received by the operation unit 11 are used. is received by the aircraft 60. Then, in the aircraft 60, based on the movement data (rotation matrix cnt_intRcnt) of the remote controller 50 and the attitude data (rotation matrix body_intRbody) of the aircraft 60 generated based on the detection result by the sensor unit 22 (sensor data Sin2). Then, the operation data (operation signal Oin) is converted into operation data (operation signal Oin'). As a result, the operator OP can intuitively remotely control the aircraft 60.
  • relative attitude data of the aircraft 60 with respect to the remote controller 50 ( A rotation matrix cntRbody) is generated. Then, corrected operation data (operation signal Oin') is generated using the generated relative posture data (rotation matrix cntRbody). This allows the operator OP to remotely operate the aircraft 60 intuitively.
  • the attitude data (rotation matrix body_intRbody) of the aircraft 60 is generated based on the detection result (sensor data Sin2) by the sensor unit 22 and the attitude DB 62a.
  • the operation data (operation signal Oin') is generated based on the movement data of the remote controller 50 (rotation matrix cnt_intRcnt, rotation matrix body_intRcnt_int) and the attitude data of the aircraft 60 (rotation matrix body_intRbody). It becomes possible to generate with high precision. As a result, the operator OP can intuitively remotely control the aircraft 60.
  • FIG. 18 shows an example of a schematic configuration of the control system 3. As shown in FIG.
  • the control system 3 unlike the control system 1, realizes intuitive remote control of the aircraft 80 without using an environmental map.
  • control system 2 includes a fuselage 80 and a remote controller 70 that remotely controls the fuselage 80.
  • FIG. 19 shows an example of a schematic configuration of the remote controller 70.
  • the remote controller 70 includes an operation section 11 , a sensor section 12 , a storage section 71 , a signal processing section 72 , a communication section 73 , and a display section 16 .
  • the sensor section 12 has a camera 12a.
  • the camera 12a is, for example, an RGB camera, an RGB-D camera, a depth sensor, an infrared sensor, an event camera, or a stereo camera.
  • the sensor unit 12 outputs sensor data Sin1 including image data acquired by the camera 12a to the signal processing unit 72.
  • the storage unit 71 is composed of, for example, a volatile memory such as DRAM, or a nonvolatile memory such as EEPROM or flash memory.
  • the storage unit 71 stores, for example, an attitude DB (Data-Base) 71a.
  • the attitude DB 71a stores a 2D feature amount (2D coordinate value) of a model image (keyframe) of the aircraft 80 and a 3D feature amount (3D coordinate value) corresponding to this 2D feature amount (2D coordinate value).
  • the storage unit 71 stores a rotation matrix cnt_intRbody_int. Note that in FIG. 19, the rotation matrix cnt_intRbody_int is expressed as IP1.
  • cnt_intRbody_int placed on the left side of R means that it is based on the initial posture of the remote controller 70, and R means that it is a rotation matrix.
  • the arranged body_int means the initial attitude of the aircraft 80.
  • cnt_intRbody_int is a rotation matrix representing the initial relative attitude of the aircraft 80 with respect to the remote controller 70.
  • the signal processing unit 72 derives the position and orientation of the remote controller 70 based on the sensor data Sin1 obtained from the sensor unit 12.
  • the derived position and orientation of the remote controller 70 are expressed in a coordinate system unique to the remote controller 70.
  • the signal processing unit 72 generates position data Lc1 expressed in a coordinate system unique to the remote controller 70, for example, based on position data obtained from the positioning device of the sensor unit 12.
  • the signal processing unit 72 generates, for example, posture data Ps1 expressed in a coordinate system unique to the remote controller 70 and a rotation matrix cnt_intRcnt, based on the posture data obtained from the gyro sensor of the sensor unit 12. Note that in FIG. 19, the rotation matrix cnt_intRcnt is expressed as DR1.
  • the signal processing unit 72 generates 2D feature amounts of the image data obtained by the camera 12a, for example, by performing predetermined processing on the image data obtained by the camera 12a. For example, the signal processing unit 72 matches the generated 2D feature amount with the 2D feature amount of the model image stored in the posture DB 71a, and compares the 2D feature amount with the successfully matched 2D feature amount with the 2D feature amount with the successfully matched 2D feature amount. The corresponding 3D feature amount is acquired from the posture DB 71a.
  • the signal processing unit 72 uses the Perspective-n-Point algorithm to determine the initial relative attitude (rotation matrix cnt_intRbody_int) of the aircraft 80 with respect to the remote controller 70 from the 2D feature amount and 3D feature amount acquired from the attitude DB 71a. generate.
  • the signal processing unit 72 outputs the generated position data Lc1 and posture data Ps1 to the communication unit 73, and also outputs the generated rotation matrix cnt_intRcnt and rotation matrix cnt_intRbody_int to the communication unit 73.
  • the communication unit 73 transmits the operation signal Oin generated by the operation unit 11 and the rotation matrix cnt_intRcnt and rotation matrix cnt_intRbody_int generated by the signal processing unit 72 to the aircraft 80.
  • the communication unit 73 receives position data Lc2 and attitude data Ps2 of the aircraft 80 from the aircraft 80.
  • the communication unit 73 outputs the position data Lc1 and posture data Ps1 of the remote controller 70 and the position data Lc2 and posture data Ps2 of the aircraft 80 to the display unit 16.
  • FIG. 20 shows an example of a schematic configuration of the aircraft body 80.
  • the aircraft body 80 is remotely controlled by the remote controller 70.
  • the aircraft body 80 includes a communication section 81, a sensor section 22, a signal processing section 82, a relative attitude calculation section 83, an input signal conversion section 26, a flight controller 27, and an actuator 28.
  • the communication unit 81 receives the operation signal Oin, the rotation matrix cnt_intRcnt, and the rotation matrix cnt_intRbody_int from the remote controller 70.
  • the communication unit 81 outputs the received operation signal Oin to the input signal conversion unit 26 and outputs the received rotation matrix cnt_intRcnt and rotation matrix cnt_intRbody_int to the relative attitude calculation unit 83.
  • the communication unit 81 further acquires position data Lc2 and posture data Ps2 of the aircraft 80 from the signal processing unit 82.
  • the communication unit 81 transmits the acquired position data Lc2 and posture data Ps2 to the remote controller 70.
  • the signal processing unit 82 derives the position and attitude of the aircraft body 80 based on the sensor data Sin2 obtained from the sensor unit 22.
  • the derived position and attitude of the aircraft 80 are expressed in a coordinate system unique to the aircraft 80.
  • the signal processing unit 82 generates position data Lc2 expressed in a coordinate system unique to the aircraft 80, for example, based on position data obtained from the positioning device of the sensor unit 22.
  • the signal processing unit 82 generates attitude data Ps2 expressed in a coordinate system unique to the aircraft body 80 and a rotation matrix body_intRbody, for example, based on the attitude data obtained from the gyro sensor of the sensor unit 22.
  • the signal processing unit 82 outputs the generated position data Lc2 and posture data Ps2 to the communication unit 81, and also outputs the rotation matrix body_intRbody to the relative posture calculation unit 83.
  • the relative attitude calculation unit 83 estimates the relative attitude of the aircraft 80 with respect to the remote controller 70 based on the rotation matrix cnt_intRcnt and rotation matrix cnt_intRbody_int input from the communication unit 81 and the rotation matrix body_intRbody input from the signal processing unit 82. do.
  • the relative attitude calculation unit 83 calculates the rotation matrix cntRbody as the relative attitude data of the aircraft 80 with respect to the remote controller 70 using, for example, equation (3).
  • cntRbody (cnt_intRcnt) T ⁇ (cnt_intRbody_int) ⁇ body_intRbody...(3)
  • the relative attitude calculation unit 83 outputs the estimated relative attitude of the aircraft 80 with respect to the remote controller 70 to the input signal conversion unit 26.
  • the relative attitude calculation unit 83 outputs the rotation matrix cntRbody obtained by calculation to the input signal conversion unit 26, for example.
  • the input signal conversion unit 26 uses the rotation matrix cntRbody input from the relative attitude calculation unit 83 to convert the operation signal Oin input from the communication unit 81 into a relative operation signal Oin′. That is, the input signal converter 26 corrects the operation signal Oin based on the attitude data of the remote controller 70 and the aircraft body 80, thereby generating the relative operation signal Oin'. The input signal converter 26 outputs the generated relative operation signal Oin' to the flight controller 27.
  • the flight controller 27 generates a control signal sfc based on the relative operation signal Oin' (operation signal Oin in normal operation mode) and outputs it to the actuator 28.
  • the actuator 28 rotates the propeller of the aircraft body 80 based on the control signal sfc input from the flight controller 27. In this way, the flight controller 27 controls the attitude of the aircraft 80 based on the relative operation signal Oin' (operation signal Oin in the normal operation mode).
  • posture data (rotation matrix cnt_intRcnt, rotation matrix cnt_intRbody_int) generated based on the detection result (sensor data Sin1) by the sensor unit 12 and operation data (operation signal Oin) received by the operation unit 11 are used.
  • the operation data (operation signal Oin) is changed based on the movement data (rotation matrix cnt_intRcnt) of the remote controller 70 and the movement data (rotation matrix cnt_intRbody_int, rotation matrix body_intRbody) of the signal Oin').
  • the operator OP is able to remotely operate the aircraft 80 intuitively.
  • relative attitude data A rotation matrix cntRbody
  • correction operation data data operation signal Oin' for operating the relative attitude of the aircraft 80 as seen from the remote controller 70. This allows the operator OP to remotely operate the aircraft 80 intuitively.
  • attitude data (rotation matrix cnt_intRbody) of the aircraft body 80 is generated based on the detection result (sensor data Sin1) by the sensor unit 12 and the attitude DB 71a.
  • the operation data (operation signal Oin') is generated based on the movement data of the remote controller 70 (rotation matrix cnt_intRcnt) and the attitude data of the aircraft 80 (rotation matrix cnt_intRbody_int, rotation matrix cnt_intRbody). It becomes possible to generate with high precision. As a result, the operator OP is able to remotely operate the aircraft 80 intuitively.
  • FIG. 21 shows an example of a schematic configuration of the control system 4.
  • the control system 4 includes a plurality of aircraft 20A, 20B, 20C, 20D, and 20E forming a formation.
  • each aircraft 20A to 20E estimates the attitude of one or more other aircraft
  • the master aircraft 20A estimates the attitude of each aircraft 20A to 20E based on the estimation result (estimated attitude) of each aircraft 20A to 20E. Determine whether there is an abnormality in the posture of 20E.
  • the master aircraft 20A obtains the estimated attitude of each of the aircraft 20A to 20E from each of the aircraft 20A to 20E. For example, the master aircraft 20A further derives the difference (attitude error) between the acquired estimated attitude of each aircraft 20A to 20E and the set attitude of each aircraft 20A to 20E, and the derived attitude error exceeds a predetermined threshold. Determine whether or not the limit has been exceeded.
  • FIG. 22 is a table showing an example of the attitude error derived by the master aircraft 20A.
  • the dot-like background indicates that the posture error described in that location exceeds a predetermined threshold.
  • FIG. 22 it is suggested that there is an abnormality between the attitude of the other aircraft estimated by the aircraft 20B and the attitude of the aircraft 20B estimated by the aircraft 20A, 20C to 20E. From this, it can be seen that there is actually an attitude abnormality in the aircraft 20B.
  • the following method can be used to identify by calculation that the aircraft 20B has an attitude abnormality based on the table of FIG. 22.
  • one point is given to an aircraft whose attitude is determined to be abnormal by the above-mentioned threshold judgment, and one point is also given to an aircraft whose attitude is estimated to be abnormal by the above-mentioned threshold judgment.
  • One point is given, and the aircraft with the largest total point value is determined to have an attitude abnormality.
  • the master aircraft 20A performs calculations using such a determination method, it is possible to identify an aircraft with an abnormal attitude.
  • An example of the configuration of each of the aircraft bodies 20A to 20E to achieve this will be described below.
  • FIG. 23 shows a schematic configuration example of the master body 20A.
  • FIG. 24 shows an example of a schematic configuration of the slave bodies 20B to 20E.
  • the aircraft 20A includes a communication section 21A, a sensor section 22, storage sections 23A and 23B, an attitude calculation section 25A, a defective aircraft detection section 25B, a flight controller 27, and an actuator 28. .
  • the communication unit 21A receives attitude data PsB to PsE from the slave aircraft 20B to 20E, and outputs the received attitude data PsB to PsE to the defective aircraft detection unit 25B.
  • Attitude data PsB is attitude data of the aircraft bodies 20A, 20C to 20E obtained from the aircraft body 20B.
  • Posture data PsC is attitude data of the aircraft bodies 20A, 20B, 20D, and 20E obtained from the aircraft body 20C.
  • Posture data PsC is attitude data of the aircraft bodies 20A, 20B, 20D, and 20E obtained from the aircraft body 20C.
  • the attitude data PsD is attitude data of the aircraft bodies 20A to 20C and 20E obtained from the aircraft body 20D.
  • the attitude data PsE is attitude data of the aircraft bodies 20A to 20D obtained from the aircraft body 20E.
  • the communication unit 21A Upon acquiring the abnormality notification Ctr2 to be sent to the aircraft identified as having an attitude abnormality from the defective aircraft detection unit 25B, the communication unit 21A transmits the acquired abnormality notification Ctr2 to the aircraft identified as having an attitude abnormality. Send.
  • the communication unit 21A acquires the master change notification Ctr3 to be sent to a specific slave from the defective aircraft detection unit 25B, the communication unit 21A transmits the acquired master change notification Ctr3 to the specific slave. and send.
  • the sensor unit 22 detects the position and attitude of the aircraft 20A.
  • the sensor section 22 includes, for example, a positioning meter.
  • the positioning meter receives a GNSS signal from a GNSS satellite (for example, a GPS signal from a GPS satellite), performs positioning, and generates position data including the latitude, longitude, and altitude of the aircraft 20A.
  • the sensor section 22 further includes, for example, a gyro sensor.
  • the gyro sensor detects the angular velocity of the aircraft body 20A, and generates attitude data of the aircraft body 20A based on the detected angular velocity.
  • the sensor section 22 has a camera 22a.
  • the camera 22a is, for example, an RGB camera, an RGB-D camera, a depth sensor, an infrared sensor, an event camera, or a stereo camera.
  • the camera 22a photographs one or more other aircraft forming a formation.
  • the sensor unit 22 outputs sensor data Sin3 including position data and attitude data of the aircraft 20A and image data acquired by the camera 22a to the attitude calculation unit 25A.
  • the storage unit 23A is composed of, for example, volatile memory such as DRAM, or non-volatile memory such as EEPROM or flash memory.
  • a formation DB (Data-Base) 23c is stored in the storage unit 23A.
  • feature amounts and posture data PsA are associated with each other for each of the various postures of the aircraft that may be included in the image data acquired by the camera 22a.
  • the storage unit 23B is composed of, for example, volatile memory such as DRAM, or non-volatile memory such as EEPROM or flash memory.
  • a setting DB (Data-Base) 23d is stored in the storage unit 23B.
  • the setting DB 23d stores setting data regarding the attitude of each of the aircraft 20A to 20E when forming a formation.
  • the posture calculation unit 25A generates the feature amount of the image data included in the sensor data Sin3 obtained from the sensor unit 22.
  • the posture calculation unit 25A compares the generated feature amount with each feature amount stored in the formation DB 23c, and reads out posture data PsA corresponding to the matched feature amount from the formation DB 23c.
  • the posture calculation unit 25A outputs the posture data PsA read from the formation DB 23c to the defective aircraft detection unit 25B.
  • the attitude data PsA is attitude data of the aircraft bodies 20B to 20E obtained by the attitude calculation unit 25A. In this way, the attitude calculation unit 25A detects the attitude of one or more other aircraft, and generates attitude data of the detected one or more other aircraft.
  • the attitude data PsA obtained from the attitude calculation section 25A and the attitude data PsB to PsE obtained from the other aircraft 20B to 20E via the communication section 21A are referred to as estimated postures.
  • the posture data read from the setting DB 23d will be referred to as a set posture.
  • the defective aircraft detection unit 25B detects an aircraft with an abnormal attitude based on the estimated attitude and the set attitude. Specifically, the defective aircraft detection unit 25B derives the difference (attitude error) between the estimated attitude and the set attitude, determines whether the derived attitude error exceeds a predetermined threshold, and determines the result of the determination. Based on this, an aircraft with an abnormal attitude is detected.
  • the defective aircraft detection unit 25B increments the abnormality flag by one for the aircraft corresponding to the estimated attitude that exceeds the predetermined threshold.
  • the defective aircraft detection unit 25B further counts up the abnormality flag by one for an aircraft that has generated an estimated attitude exceeding a predetermined threshold. As a result, the defective aircraft detection unit 25B determines that the aircraft with the largest value of the abnormality flag has an attitude abnormality.
  • the defective aircraft detection unit 25B If the aircraft identified as having an attitude abnormality is a slave, the defective aircraft detection unit 25B generates an abnormality notification Ctr2 to be sent to the slave and outputs it to the communication unit 21A. If the aircraft identified as having an attitude abnormality is the master, the defective aircraft detection unit 25B generates a master change notification Ctr3 to be sent to a specific slave, and outputs it to the communication unit 21A. At this time, the defective aircraft detection unit 25B further transmits an abnormality notification Ctr1 to the flight controller 27.
  • the flight controller 27 generates a control signal sfc based on the input operation signal, for example, and outputs it to the actuator 28. For example, when the flight controller 27 receives the abnormality notification Ctr1 from the defective aircraft detection unit 25B, it generates a control signal sfc for stopping the platoon flight and returning to a predetermined base station, and outputs it to the actuator 28.
  • the actuator 28 rotates the propeller of the aircraft body 60 based on the control signal sfc input from the flight controller 27. In this way, the flight controller 27 performs attitude control of the aircraft 20A based on the input operation signal.
  • slave aircraft 20B-20E The slave aircraft 20B to 20E, for example, as shown in FIG. have.
  • the communication unit 21B When the communication unit 21B acquires posture data Psk (any data from PsB to PsE) from the posture calculation unit 25A, it transmits the acquired posture data Psk to the master. Upon receiving the abnormality notification Ctr2 from the master, the communication unit 21B outputs the received abnormality notification Ctr2 to the flight controller 27. Upon receiving the master change notification Ctr3 from the master, the communication unit 21B outputs the received master change notification Ctr3 to the attitude calculation unit 25A and the defective aircraft detection unit 25B.
  • posture data Psk any data from PsB to PsE
  • the sensor unit 22 detects the position and attitude of the own aircraft.
  • the sensor section 22 includes, for example, a positioning meter.
  • the positioning meter receives a GNSS signal from a GNSS satellite (for example, a GPS signal from a GPS satellite), performs positioning, and generates position data including the latitude, longitude, and altitude of the own aircraft.
  • the sensor section 22 further includes, for example, a gyro sensor.
  • the gyro sensor detects the angular velocity of the aircraft and generates attitude data of the aircraft based on the detected angular velocity.
  • the sensor section 22 has a camera 22a.
  • the camera 22a is, for example, an RGB camera, an RGB-D camera, a depth sensor, an infrared sensor, an event camera, or a stereo camera.
  • the camera 22a photographs one or more other aircraft forming a formation.
  • the sensor unit 22 outputs sensor data Sin3 including position data and attitude data of the own aircraft, and image data acquired by the camera 22a to the attitude calculation unit 25A.
  • the storage unit 23A is composed of, for example, volatile memory such as DRAM, or non-volatile memory such as EEPROM or flash memory.
  • a formation DB 23c is stored in the storage unit 23A.
  • feature amounts and posture data Psk are associated with each other for each of the various postures of the aircraft that may be included in the image data acquired by the camera 22a.
  • the storage unit 23B is composed of, for example, volatile memory such as DRAM, or non-volatile memory such as EEPROM or flash memory.
  • a setting DB 23d is stored in the storage unit 23B.
  • the setting DB 23d stores setting data regarding the attitude of each of the aircraft 20A to 20E when forming a formation.
  • the posture calculation unit 25A generates the feature amount of the image data included in the sensor data Sin3 obtained from the sensor unit 22.
  • the posture calculation unit 25A compares the generated feature amount with each feature amount stored in the formation DB 23c, and reads out posture data Psk corresponding to the matched feature amount from the formation DB 23c.
  • the posture calculation unit 25A outputs the posture data Psk read from the formation DB 23c to the communication unit 21B. In this way, the attitude calculation unit 25A detects the attitude of one or more other aircraft, and generates attitude data of the detected one or more other aircraft.
  • the attitude calculation unit 25A When the attitude calculation unit 25A receives the master change notification Ctr3 from the communication unit 21B, it behaves as a master. Specifically, the posture calculation section 25A outputs the posture data Psk to the defective body detection section 25B.
  • the defective aircraft detection unit 25B When the defective aircraft detection unit 25B receives the master change notification Ctr3 from the communication unit 21B, it behaves as a master. Specifically, the defective aircraft detection unit 25B detects an aircraft with an abnormal attitude based on the estimated attitude and the set attitude. The defective aircraft detection unit 25B derives the difference (attitude error) between the estimated attitude and the set attitude, determines whether the derived attitude error exceeds a predetermined threshold, and based on the result of the determination, determines the attitude. Detect abnormal aircraft.
  • the defective aircraft detection unit 25B increments the abnormality flag by one for the aircraft corresponding to the estimated attitude that exceeds the predetermined threshold.
  • the defective aircraft detection unit 25B further counts up the abnormality flag by one for an aircraft that has generated an estimated attitude exceeding a predetermined threshold. As a result, the defective aircraft detection unit 25B determines that the aircraft with the largest value of the abnormality flag has an attitude abnormality.
  • the defective aircraft detection unit 25B If the aircraft identified as having an attitude abnormality is a slave, the defective aircraft detection unit 25B generates an abnormality notification Ctr2 to be sent to the slave and outputs it to the communication unit 21A. If the aircraft identified as having an attitude abnormality is the master, the defective aircraft detection unit 25B generates a master change notification Ctr3 to be sent to a specific slave, and outputs it to the communication unit 21A. At this time, the defective aircraft detection unit 25B further transmits an abnormality notification Ctr1 to the flight controller 27.
  • FIG. 25 shows an example of a procedure for determining an attitude abnormality in the master aircraft 20A.
  • the master attitude calculation unit 25A derives attitude data PsA of the aircraft 20B to 20E around the master based on the sensor data Sin3 obtained from the sensor unit 22 and the formation DB 23c (step S301).
  • the master posture calculation section 25A outputs the derived posture data PsA to the defective aircraft detection section 25B.
  • the master communication unit 21A receives attitude data PsB to PsE from the slave aircraft 20B to 20E (step S302).
  • the master communication unit 21A outputs the received posture data PsB to PsE to the defective aircraft detection unit 25B.
  • the defective aircraft detection unit 25B derives the difference (posture error) between the estimated postures of the aircraft 20A to 20E derived by the master and slave and the set posture read from the setting DB 23d (step S303). The defective aircraft detection unit 25B determines whether the derived attitude error exceeds a predetermined threshold (step S304).
  • the defective aircraft detection unit 25B sets an abnormality flag to 1 for the aircraft corresponding to the estimated attitude that exceeds the predetermined threshold. count up (step S305). The defective aircraft detection unit 25B further counts up the abnormality flag by one for an aircraft that has generated an estimated attitude exceeding a predetermined threshold (step S305). On the other hand, if the derived attitude error does not exceed the predetermined threshold (step S304; N), the defective aircraft detection unit 25B detects an abnormality for the aircraft corresponding to the estimated attitude that does not exceed the predetermined threshold. Do not count up flags.
  • the defective aircraft detection unit 25B determines whether there is an aircraft with a different attitude based on the value of the abnormality flag (step S306). For example, when the value of the abnormality flag exceeds a predetermined threshold value, the defective aircraft detection unit 25B determines that an attitude abnormality exists in the aircraft with the largest value of the abnormality flag (step S306; Y). For example, if the value of the abnormality flag does not exceed a predetermined threshold, the defective aircraft detection unit 25B determines that there is no aircraft with an attitude abnormality (step S306; N).
  • the defective aircraft detection unit 25B determines whether the aircraft with the attitude abnormality is the master (step S307). As a result, if the aircraft with the attitude abnormality is the master (step S307; Y), the defective aircraft detection unit 25B generates a master change notification Ctr3 and changes the master to another aircraft. If the aircraft with the attitude abnormality is a slave (step S307; N), the defective aircraft detection unit 25B notifies the flight controller 27 of the abnormality (step S309).
  • step S310 If there is a notification to end forming a formation, the master aircraft 20A ends forming a formation (step S310; Y). On the other hand, if there is no notification to end formation, the master aircraft 20A continues to execute steps S301 to S309 (step S310; N).
  • the presence or absence of an abnormal attitude of each of the aircraft 20A to 20E is determined based on the estimated attitude of each of the aircraft 20A to 20E obtained based on the image data of the camera 22a. Specifically, by determining whether the difference (attitude error) between the estimated attitude and the setting attitude in the setting DB 23d exceeds a predetermined threshold, it is determined whether or not there is an attitude abnormality in each of the aircraft 20A to 20E. be done. As a result, for example, an aircraft with an abnormal attitude can be automatically detected, so that the aircraft with an abnormal attitude can be stopped before an unexpected situation occurs due to the aircraft with an abnormal attitude.
  • a control device for remotely controlling a mobile object an operation unit that accepts an operation of the mobile object; a sensor unit that detects the attitude of the control device or the moving object; a generation unit that generates attitude data of the control device based on the detection result of the sensor unit;
  • a control device comprising: a communication unit that transmits the posture data generated by the generation unit and operation data obtained by reception at the operation unit to the mobile body.
  • It further includes a storage unit for storing an environmental map, The generation unit generates attitude data of the control device expressed in a coordinate system of the environmental map, based on the detection result of the attitude of the control device by the sensor unit and the environmental map.
  • the control device further comprising a storage unit that stores a database regarding the posture of the moving body,
  • the control device according to (1) or (2), wherein the generation unit generates attitude data of the control device based on a detection result about the attitude of the moving object by the sensor unit and the database. .
  • (4) Based on the attitude data of the control device and the attitude data of the movable body acquired from the movable body via the communication unit, at least the orientation of the movable body and the orientation of the control device are determined.
  • the control device according to any one of (1) to (3), further comprising a display section for displaying information.
  • a mobile body remotely controlled by a control device a sensor unit that detects the attitude of the moving body; a generation unit that generates posture data of the moving body based on the detection result of the sensor unit; a communication unit that receives posture data of the control device and operation data of the mobile object from the control device; Correcting the operation data of the mobile body received by the communication unit based on the attitude data of the control device received by the communication unit and the attitude data of the mobile body generated by the generation unit, and thereby correcting the operation data of the mobile body received by the communication unit.
  • a correction unit that generates operation data
  • a control unit that controls an actuator based on the correction operation data generated by correction in the correction unit.
  • (6) further comprising: an estimating unit that estimates relative attitude data of the moving body with respect to the control device based on attitude data of the control device received by the communication unit and attitude data of the moving body generated by the generating unit; Prepare, The mobile object according to (5), wherein the correction unit generates the correction operation data using the relative posture data estimated by the estimation unit.
  • It further includes a storage unit for storing an environmental map, As described in (5) or (6), the generation unit generates posture data of the moving object expressed in a coordinate system of the environmental map based on the detection result of the sensor unit and the environmental map. mobile object.
  • a mobile body remotely controlled by a control device a sensor unit that detects the attitude of the control device or an object that corresponds to the control device; a generation unit that generates posture data of the moving body based on the detection result of the sensor unit; a communication unit that receives movement data of the control device and operation data of the mobile object from the control device; Correcting the operation data of the mobile body received by the communication unit based on the movement data of the control device received by the communication unit and the attitude data of the mobile body generated by the generation unit, and thereby correcting the operation data of the mobile body received by the communication unit.
  • a correction unit that generates operation data
  • a control unit that controls an actuator based on the correction operation data generated by correction in the correction unit.
  • (9) further comprising: an estimating unit that estimates relative attitude data of the moving body with respect to the control device based on movement data of the control device received by the communication unit and attitude data of the moving body generated by the generating unit; Prepare, The mobile object according to (8), wherein the correction unit generates the correction operation data using the relative posture data estimated by the estimation unit.
  • (10) further comprising a storage unit that stores a database regarding the attitude of the moving body according to the attitude of the control device, As described in (8) or (9), the generation unit generates attitude data of the moving body based on a detection result of the attitude of the control device or the object by the sensor unit and the database. mobile object.
  • a moving object, and a control device for remotely controlling the mobile object includes: an operation unit that accepts an operation of the mobile object; a first sensor unit that detects the attitude of the control device; a first generation unit that generates attitude data of the control device based on the detection result of the first sensor unit; a first communication unit that transmits the posture data generated by the first generation unit and operation data obtained by reception at the operation unit to the mobile body;
  • the mobile body is a second sensor unit that detects the attitude of the moving body; a second generation unit that generates posture data of the moving body based on the detection result of the second sensor unit; a second communication unit that receives posture data of the control device and operation data of the mobile object from the control device; Based on the attitude data of the control device received by the second communication unit and the attitude data of the moving body generated by the second generation unit, the operation data of the moving body received by the second communication unit is generated.
  • a moving object, and a control device for remotely controlling the mobile object includes: an operation unit that accepts an operation of the mobile object; a first sensor unit that detects the attitude of the moving body; a first generation unit that generates attitude data of the control device based on the detection result of the first sensor unit; a first communication unit that transmits the posture data generated by the first generation unit and operation data obtained by reception at the operation unit to the mobile body;
  • the mobile body is a second sensor unit that detects the attitude of the control device or an object that corresponds to the control device; a second generation unit that generates posture data of the moving body based on the detection result of the second sensor unit; a second communication unit that receives movement data of the control device and operation data of the mobile object from the control device; Based on the movement data of the control device received by the second communication unit and the attitude data of the mobile body generated by
  • a correction unit that performs correction and thereby generates correction operation data
  • a driving section that drives an actuator based on the corrected operation data generated by correction in the correcting section.
  • (13) Equipped with multiple moving objects, A first mobile body that is a slave and is included in the plurality of mobile bodies, A first sensor unit that detects the posture of one or more second moving bodies other than the first moving body among the plurality of moving bodies; a first generation unit that generates posture data of the one or more second moving bodies based on the detection result of the first sensor unit; a first communication unit that transmits posture data of the one or more second moving bodies generated by the first generation unit to a third moving body that is a master and is included in the plurality of moving bodies; The third moving body is a second sensor unit that detects the posture of one or more fourth moving bodies other than the third moving body among the plurality of moving bodies; a second generation unit that generates attitude data of the one or more fourth moving bodies based on the detection result of the second sensor unit; Based on the attitude data of the one or more second

Abstract

本開示の一側面に係る制御装置は、移動体を遠隔操作する装置である。この制御装置は、移動体の操作を受け付ける操作部と、当該制御装置もしくは移動体の姿勢を検出するセンサ部とを備えている。この制御装置は、さらに、センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する生成部と、生成部で生成した姿勢データと、操作部での受け付けにより得られた操作データとを移動体に送信する通信部とを備えている。

Description

制御装置、移動体および操縦システム
　本開示は、制御装置、移動体および操縦システムに関する。
　従来より、ドローン等の移動体を操縦する技術が開示されている（例えば、特許文献１）。
特開２０１６－１４９０９０号公報
　移動体の遠隔操作では、移動体の機首方向を前進方向として、リモートコントローラでの操作が行われる。そのため、操作に慣れていないオペレータにとっては、移動体を遠隔操作することが難しい。従って、移動体を直感的に遠隔操作することの可能な制御装置、移動体および操縦システムを提供することが望ましい。
　本開示の第１の側面に係る制御装置は、移動体を遠隔操作する装置である。この制御装置は、移動体の操作を受け付ける操作部と、当該制御装置もしくは移動体の姿勢を検出するセンサ部とを備えている。この制御装置は、さらに、センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する生成部と、生成部で生成した姿勢データと、操作部で受け付けた操作データとを移動体に送信する通信部とを備えている。
　本開示の第２の側面に係る移動体は、制御装置によって遠隔操作される。この移動体は、当該移動体の姿勢を検出するセンサ部と、センサ部での検出結果に基づいて当該移動体の姿勢データを生成する生成部と、制御装置から、制御装置の姿勢データと、移動体の操作データとを受信する通信部とを備えている。この移動体は、さらに、通信部で受信した制御装置の姿勢データと、生成部で生成した当該移動体の姿勢データとに基づいて、通信部で受信した移動体の操作データを補正し、それにより補正操作データを生成する補正部を備えている。この移動体は、さらに、補正部での補正により生成された補正操作データに基づいてアクチュエータを制御する制御部を備えている。
　本開示の第３の側面に係る移動体は、制御装置によって遠隔操作される。この移動体は、制御装置もしくは制御装置に対応関係にある物体の姿勢を検出するセンサ部と、センサ部での検出結果に基づいて当該移動体の姿勢データを生成する生成部と、制御装置から、制御装置の移動データと、移動体の操作データとを受信する通信部とを備えている。この移動体は、さらに、通信部で受信した制御装置の姿勢データと、生成部で生成した当該移動体の姿勢データとに基づいて、通信部で受信した移動体の操作データを補正し、それにより補正操作データを生成する補正部を備えている。この移動体は、さらに、補正部での補正により生成された補正操作データに基づいてアクチュエータを制御する制御部を備えている。
　本開示の第４の側面に係る操縦システムは、移動体と、移動体を遠隔操作する制御装置とを備えている。制御装置は、移動体の操作を受け付ける操作部と、当該制御装置の姿勢を検出する第１センサ部と、第１センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する第１生成部と、第１生成部で生成した姿勢データと、操作部で受け付けた操作データとを移動体に送信する第１通信部とを有している。移動体は、当該移動体の姿勢を検出する第２センサ部と、第２センサ部での検出結果に基づいて当該移動体の姿勢データを生成する第２生成部と、制御装置から、制御装置の姿勢データと、移動体の操作データとを受信する第２通信部とを有している。この移動体は、さらに、第２通信部で受信した制御装置の姿勢データと、第２生成部で生成した当該移動体の姿勢データとに基づいて、第２通信部で受信した移動体の操作データを補正し、それにより補正操作データを生成する補正部を有している。この移動体は、さらに、補正部での補正により生成された補正操作データに基づいてアクチュエータを駆動する駆動部を有している。
　本開示の第５の側面に係る操縦システムは、移動体と、移動体を遠隔操作する制御装置とを備えている。制御装置は、移動体の操作を受け付ける操作部と、移動体の姿勢を検出する第１センサ部と、第１センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する第１生成部と、第１生成部で生成した姿勢データと、操作部で受け付けた操作データとを移動体に送信する第１通信部とを有している。移動体は、制御装置もしくは御装置に対応関係にある物体の姿勢を検出する第２センサ部と、第２センサ部での検出結果に基づいて当該移動体の姿勢データを生成する第２生成部と、制御装置から、制御装置の移動データと、移動体の操作データとを受信する第２通信部を有している。この移動体は、さらに、第２通信部で受信した制御装置の移動データと、第２生成部で生成した当該移動体の姿勢データとに基づいて、第２通信部で受信した移動体の操作データを補正し、それにより補正操作データを生成する補正部を有している。この移動体は、さらに、補正部での補正により生成された補正操作データに基づいてアクチュエータを駆動する駆動部を有している。
本開示の第１の実施の形態に係る操縦システムの概略構成例を表す図である。 （Ａ）図１のリモートコントローラの操作方法の一例を表す図である。（Ｂ）図１の機体の操作方法の一例を表す図である。 図１のリモートコントローラによる図１の機体の遠隔操作について説明するための図である。 図１のリモートコントローラによる図１の機体の遠隔操作について説明するための図である。 図１のリモートコントローラの概略構成例を表す図である。 図１の機体の概略構成例を表す図である。 図１のリモートコントローラの表示例を表す図である。 図１のリモートコントローラの表示例を表す図である。 図１のリモートコントローラの表示例を表す図である。 図１のリモートコントローラの表示例を表す図である。 図１のリモートコントローラにおける姿勢制御手順の一例を表す図である。 図１の機体における姿勢制御手順の一例を表す図である。 図１の操縦システムの概略構成の一変形例を表す図である。 図１３のリモートコントローラおよび端末装置の概略構成の一例を表す図である。 本開示の第２の実施の形態に係る操縦システムの概略構成例を表す図である。 図１５のリモートコントローラの概略構成例を表す図である。 図１５の機体の概略構成例を表す図である。 本開示の第３の実施の形態に係る操縦システムの概略構成例を表す図である。 図１８のリモートコントローラの概略構成例を表す図である。 図１８の機体の概略構成例を表す図である。 本開示の第４の実施の形態に係る操縦システムの概略構成例を表す図である。 図２１の隊列をなす各機体から取得した姿勢データの一例を表す図である。 図２１のマスタの概略構成の一例を表す図である。 図２１のスレーブの概略構成の一例を表す図である。 図２１のマスタにおける異常機体の検知手順の一例を表す図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（図１～図１２）
２．第１の実施の形態の変形例（図１３、図１４）
３．第２の実施の形態（図１５～図１７）
４．第３の実施の形態（図１８～図２０）
５．第４の実施の形態（図２１～図２５）
＜１．第１の実施の形態＞
[構成]
　本開示の第１の実施の形態に係る操縦システム１について説明する。図１は、操縦システム１の概略構成例を表したものである。操縦システム１は、例えば、図１に示したように、機体２０と、機体２０を遠隔操作するリモートコントローラ１０とを備えている。リモートコントローラ１０は、本開示の「制御装置」の一具体例に相当する。機体２０は、本開示の「移動体」の一具体例に相当する。操縦システム１は、本開示の「操縦システム」の一具体例に相当する。
　操縦システム１では、オペレータＯＰがリモートコントローラ１０の操作部１１を操作し、それによりリモートコントローラ１０から発せられる操作信号によって、機体２０が遠隔操作される。操作部１１は、例えば、図１に示したようなスティック状となっており、例えば、図２（Ａ）に示したように、リモートコントローラ１０の本体の上側、下側、右側、左側の４方向に押し倒すことが可能となっている。
　オペレータＯＰが操作部１１（スティック）をリモートコントローラ１０の本体の上側に押し倒した場合、操作部１１は、操作信号として前進信号を出力する。オペレータＯＰが操作部１１（スティック）をリモートコントローラ１０の本体の下側に押し倒した場合、操作部１１は、操作信号として後退信号を出力する。オペレータＯＰが操作部１１（スティック）をリモートコントローラ１０の本体の右側に押し倒した場合、操作部１１は、操作信号として右移動信号を出力する。オペレータＯＰが操作部１１（スティック）をリモートコントローラ１０の本体の左側に押し倒した場合、操作部１１は、操作信号として左移動信号を出力する。
（通常操作モード）
　通常操作モードとは、操作部１１の前進方向と機体２０の前進方向とが互いに一致しているモードを指す。このとき、機体２０は、リモートコントローラ１０から操作信号として前進信号が入力されると、機体２０の前進方向（つまり機首方向）に移動する。また、機体２０は、リモートコントローラ１０から操作信号として後退信号が入力されると、機体２０の後退方向（つまり機首方向とは反対方向）に移動する。また、機体２０は、リモートコントローラ１０から操作信号として右移動信号が入力されると、機体２０の右移動方向に移動する。また、機体２０は、リモートコントローラ１０から操作信号として左移動信号が入力されると、機体２０の左移動方向に移動する。
　ここで、「機首」とは、機体２０の前頭部（図１中の機首２０ａに相当する部分）を指している。機体２０の前頭部は、機体２０のメーカごとに独自に規定されている。機体２０の前頭部は、例えば、機体２０のうち、機体２０に搭載されたカメラの正面方向の先端部分を指していたり、機体２０に設けられたパイロットランプの部分を指していたりする。いずれにしても、機体２０の機首は、遠方からでもオペレータＯＰによって認識可能な構成となっている。
（直感操作モード）
　直感操作モードとは、操作部１１の操作方向と機体２０の移動方向とが互いに一致しているモードを指す。機体２０が、例えば、図３に示したように、操作部１１の前進方向と機体２０の右移動方向とが互いに一致するような姿勢となっているとする。このとき、機体２０は、リモートコントローラ１０から操作信号として前進信号が入力されると、機体２０の右移動方向（つまり機首方向とは異なる方向）に移動する。また、機体２０は、リモートコントローラ１０から操作信号として後退信号が入力されると、機体２０の左移動方向に移動する。また、機体２０は、リモートコントローラ１０から操作信号として右移動信号が入力されると、機体２０の後退方向に移動する。また、機体２０は、リモートコントローラ１０から操作信号として左移動信号が入力されると、機体２０の前進方向（機首方向）に移動する。
　ここで、オペレータＯＰが、例えば、図４に示したように、９０°左を向いたとする。このとき、機体２０は、リモートコントローラ１０から操作信号として前進信号が入力されると、機体２０の右移動方向（つまり機首方向とは異なる方向）に移動する。また、機体２０は、リモートコントローラ１０から操作信号として後退信号が入力されると、機体２０の後退方向に移動する。また、機体２０は、リモートコントローラ１０から操作信号として右移動信号が入力されると、機体２０の右移動方向に移動する。また、機体２０は、リモートコントローラ１０から操作信号として左移動信号が入力されると、機体２０の左移動方向に移動する。
（リモートコントローラ１０）
　図５は、リモートコントローラ１０の概略構成例を表したものである。リモートコントローラ１０は、操作部１１、センサ部１２、記憶部１３、ＳＬＡＭ（Simultaneous Localization And Mapping）処理部１４、通信部１５および表示部１６を有している。
　操作部１１は、オペレータＯＰからの、機体２０の操作を受け付けるインターフェースである。操作部１１は、オペレータＯＰの操作により、機体２０を遠隔操作するための操作信号Ｏｉｎを生成する。操作信号Ｏｉｎは、本開示の「操作データ」の一具体例に相当する。操作部１１は、生成した操作信号Ｏｉｎを通信部１５に出力する。操作信号Ｏｉｎは、記憶部１３に記憶された環境地図１３ａの座標系で表現されており、例えば、環境地図１３ａの座標系で表現された移動ベクトルを含む。
　センサ部１２は、例えば、外部環境を認識し、認識した外部環境に対応する環境データを取得するセンサ素子を有している。センサ素子は、例えば、ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、深度センサ、赤外線センサ、イベントカメラ、または、ステレオカメラである。
　ＲＧＢカメラは、例えば、単願の可視光画像センサであり、可視光を受光し電気信号に変換することにより得られるＲＧＢ画像データを出力する。ＲＧＢ－Ｄカメラは、例えば、双眼の可視光画像センサであり、ＲＧＢ－Ｄ画像データ（ＲＧＢ画像データと、視差から得られる距離画像データと）を出力する。深度センサは、例えば、ＴｏＦ（Time of Flight）センサ、または、Ｌｉｄｅｒ（Laser Imaging Detection and Ranging）であり、パルス状のレーザー照射に対する散乱光を測定することにより得られる距離画像データを出力する。赤外線センサは、例えば、赤外線を受光し電気信号に変換することにより得られた赤外線画像データを出力する。イベントカメラは、例えば、単願の可視光画像センサであり、フレーム間のＲＧＢ画像データの差分（差分画像データ）を出力する。ステレオカメラは、例えば、双眼の可視光画像センサであり、視点の異なる２枚のＲＧＢ画像データから得られる距離画像データを出力する。センサ素子は、例えば、外部環境から得られた画像データ（例えば、ＲＧＢ画像データ、ＲＧＢ－Ｄ画像データ、距離画像データ、赤外線画像データまたは差分画像データ）を環境データとして出力する。
　センサ部１２は、さらに、リモートコントローラ１０の位置および姿勢を検出する。センサ部１２は、例えば、測位計を有している。測位計は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、リモートコントローラ１０の緯度、経度および高度を含む位置データを生成する。センサ部１２は、例えば、さらに、ジャイロセンサを有している。ジャイロセンサは、リモートコントローラ１０の角速度を検出し、検出された角速度に基づいてリモートコントローラ１０の姿勢データを生成する。
　センサ部１２は、例えば、上述の環境データ、ならびに、リモートコントローラ１０の位置データおよび姿勢データを含むセンサデータＳｉｎ１をＳＬＡＭ処理部１４に出力する。
　記憶部１３は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性メモリ、または、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）やフラッシュメモリなどの不揮発性メモリで構成されている。記憶部１３には、例えば、環境地図１３ａが記憶されている。
　ＳＬＡＭ処理部１４は、例えば、センサ部１２から得られたセンサデータＳｉｎ１に基づいて周囲の地図を構築し、構築した周囲の地図を、記憶部１３から読み出した環境地図１３ａに重ね合わせることにより、新たな地図を生成する。ＳＬＡＭ処理部１４は、例えば、生成した新たな地図を記憶部１３の環境地図１３ａに格納し、環境地図１３ａを更新する。
　ＳＬＡＭ処理部１４は、センサ部１２から得られたセンサデータＳｉｎ１に基づいて、リモートコントローラ１０の位置および姿勢を導出する。導出されたリモートコントローラ１０の位置および姿勢は、環境地図１３ａの座標系で表現されている。ＳＬＡＭ処理部１４は、例えば、センサ部１２の測位計から得られた位置データに基づいて、環境地図１３ａの座標系で表現された位置データＬｃ１を生成する。ＳＬＡＭ処理部１４は、例えば、センサ部１２のジャイロセンサから得られた姿勢データに基づいて、環境地図１３ａの座標系で表現された姿勢データＰｓ１および回転行列ｍＲｃｎｔを生成する。ＳＬＡＭ処理部１４は、生成した位置データＬｃ１、姿勢データＰｓ１および回転行列ｍＲｃｎｔを通信部１５に出力する。なお、ＳＬＡＭ処理部１４は、何らかの理由で回転行列ｍＲｃｎｔを生成することが出来なかった場合には、通常操作モード移行通知を生成し、通信部１５に出力する。
　ここで、ｍＲｃｎｔおいて、Ｒの左側に配置されたｍは環境地図１３ａの座標系を基準としていることを意味しており、Ｒは回転行列であることを意味しており、Ｒの右側に配置されたｃｎｔはリモートコントローラ１０を意味している。つまり、ｍＲｃｎｔとは、環境地図１３ａの座標系におけるリモートコントローラ１０の姿勢を表す回転行列であることを意味している。
　通信部１５は、操作部１１で生成された操作信号Ｏｉｎと、ＳＬＡＭ処理部１４で生成された回転行列ｍＲｃｎｔとを機体２０に送信する。通信部１５は、機体２０から、機体２０の位置データＬｃ２および姿勢データＰｓ２を受信する。位置データＬｃ２および姿勢データＰｓ２は、機体２０のＳＬＡＭ処理部２４（後述）で生成されたデータである。通信部１５は、リモートコントローラ１０の位置データＬｃ１および姿勢データＰｓ１と、機体２０の位置データＬｃ２および姿勢データＰｓ２とを表示部１６に出力する。なお、通信部１５は、ＳＬＡＭ処理部１４から通常操作モード移行通知を取得した場合には、通常操作モード移行通知を機体２０および表示部１６に出力する。
　表示部１６は、映像信号生成部および表示パネルを有している。映像信号生成部は、リモートコントローラ１０の位置データＬｃ１および姿勢データＰｓ１と、機体２０の位置データＬｃ２および姿勢データＰｓ２とに基づいて、リモートコントローラ１０および機体２０の位置および姿勢を表す画像データを生成する。映像信号生成部は、生成した画像データを表示パネルに出力する。表示パネルは、入力された画像データに基づく映像（機体２０の向きおよびリモートコントローラ１０の向きのうち少なくとも機体２０の向き）を表示する。
（機体２０）
　図６は、機体２０の概略構成例を表したものである。機体２０は、リモートコントローラ１０によって遠隔操作される。機体２０は、通信部２１、センサ部２２、記憶部２３、ＳＬＡＭ処理部２４、相対姿勢計算部２５、入力信号変換部２６、フライトコントローラ２７およびアクチュエータ２８を有している。
　通信部２１は、リモートコントローラ１０から、操作信号Ｏｉｎおよび回転行列ｍＲｃｎｔを受信する。通信部２１は、受信した操作信号Ｏｉｎを入力信号変換部２６に出力し、受信した回転行列ｍＲｃｎｔを相対姿勢計算部２５に出力する。通信部２１は、さらに、機体２０の位置データＬｃ２および姿勢データＰｓ２をＳＬＡＭ処理部２４から取得する。通信部２１は、取得した位置データＬｃ２および姿勢データＰｓ２をリモートコントローラ１０に送信する。なお、通信部２１は、リモートコントローラ１０から通常操作モード移行通知を取得した場合には、通常操作モード移行通知を入力信号変換部２６に出力する。
　センサ部２２は、例えば、外部環境を認識し、認識した外部環境に対応する環境データを取得するセンサ素子を有している。センサ素子は、例えば、ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、深度センサ、赤外線センサ、イベントカメラ、または、ステレオカメラである。これらのセンサおよびカメラは、センサ部１２に用いられ得るセンサおよびカメラと同様の構成となっている。
　センサ部２２は、さらに、機体２０の位置および姿勢を検出する。センサ部２２は、例えば、測位計を有している。測位計は、ＧＮＳＳ衛星からのＧＮＳＳ信号（例えば、ＧＰＳ衛星からのＧＰＳ信号）を受信して測位を実行し、機体２０の緯度、経度および高度を含む位置データを生成する。センサ部２２は、例えば、さらに、ジャイロセンサを有している。ジャイロセンサは、機体２０の角速度を検出し、検出された角速度に基づいて機体２０の姿勢データを生成する。
　センサ部２２は、例えば、上述の環境データ、ならびに、機体２０の位置データおよび姿勢データを含むセンサデータＳｉｎ２をＳＬＡＭ処理部２４に出力する。
　記憶部２３は、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。記憶部２３には、例えば、環境地図２３ａが記憶されている。
　ＳＬＡＭ処理部２４は、例えば、センサ部２２から得られたセンサデータＳｉｎ２に基づいて周囲の地図を構築し、構築した周囲の地図を、記憶部２３から読み出した環境地図２３ａに重ね合わせることにより、新たな地図を生成する。ＳＬＡＭ処理部２４は、例えば、生成した新たな地図を記憶部２３の環境地図２３ａに格納し、環境地図２３ａを更新する。
　ＳＬＡＭ処理部２４は、センサ部２２から得られたセンサデータＳｉｎ２に基づいて、機体２０の位置および姿勢を導出する。導出された機体２０の位置および姿勢は、環境地図２３ａの座標系で表現されている。環境地図２３ａの座標系は、環境地図１３ａの座標系と同じである。ＳＬＡＭ処理部２４は、例えば、センサ部２２の測位計から得られた位置データに基づいて、環境地図２３ａの座標系で表現された位置データＬｃ２を生成する。ＳＬＡＭ処理部２４は、例えば、センサ部２２のジャイロセンサから得られた姿勢データに基づいて、環境地図２３ａの座標系で表現された姿勢データＰｓ２および回転行列ｍＲｂｏｄｙを生成する。ＳＬＡＭ処理部２４は、生成した位置データＬｃ２および姿勢データＰｓ２を通信部２１に出力するとともに、回転行列ｍＲｂｏｄｙを相対姿勢計算部２５に出力する。なお、ＳＬＡＭ処理部２４は、何らかの理由で回転行列ｍＲｂｏｄｙを生成することが出来なかった場合には、通常操作モード移行通知を生成し、入力信号変換部２６に出力する。
　ここで、ｍＲｂｏｄｙおいて、Ｒの左側に配置されたｍは環境地図２３ａの座標系を基準としていることを意味しており、Ｒは回転行列であることを意味しており、Ｒの右側に配置されたｂｏｄｙは機体２０を意味している。つまり、ｍＲｂｏｄｙとは、環境地図２３ａの座標系における機体２０の姿勢を表す回転行列であることを意味している。
　相対姿勢計算部２５は、通信部２１から入力された回転行列ｍＲｃｎｔと、ＳＬＡＭ処理部２４から入力された回転行列ｍＲｂｏｄｙとに基づいて、リモートコントローラ１０に対する機体２０の相対姿勢を推定する。相対姿勢計算部２５は、例えば、式（１）を用いて、リモートコントローラ１０に対する機体２０の相対姿勢データとして回転行列ｃｎｔＲｂｏｄｙを計算する。式（１）において、（ｍＲｃｎｔ）Ｔは、ｍＲｃｎｔの転置行列である。
　ｃｎｔＲｂｏｄｙ＝（ｍＲｃｎｔ）Ｔ×ｍＲｂｏｄｙ…（１）
　ここで、ｃｎｔＲｂｏｄｙおいて、Ｒの左側に配置されたｃｎｔはリモートコントローラ１０の姿勢を基準としていることを意味しており、Ｒは回転行列であることを意味しており、Ｒの右側に配置されたｂｏｄｙは機体２０を意味している。つまり、ｃｎｔＲｂｏｄｙとは、リモートコントローラ１０から見た機体２０の相対姿勢を表す回転行列であることを意味している。
　相対姿勢計算部２５は、推定により得られたリモートコントローラ１０に対する機体２０の相対姿勢を入力信号変換部２６に出力する。相対姿勢計算部２５は、例えば、計算により得られた回転行列ｃｎｔＲｂｏｄｙを入力信号変換部２６に出力する。
　入力信号変換部２６は、相対姿勢計算部２５から入力された回転行列ｃｎｔＲｂｏｄｙを用いて、通信部２１から入力された操作信号Ｏｉｎを相対操作信号Ｏｉｎ’に変換する。つまり、入力信号変換部２６は、リモートコントローラ１０および機体２０の姿勢データＬｃ１，Ｌｃ２に基づいて操作信号Ｏｉｎを補正し、それにより相対操作信号Ｏｉｎ’を生成する。入力信号変換部２６は、生成した相対操作信号Ｏｉｎ’をフライトコントローラ２７に出力する。なお、入力信号変換部２６は、通信部２１またはＳＬＡＭ処理部２４から通常操作モード移行通知を取得した場合には、操作信号Ｏｉｎをそのままフライトコントローラ２７に出力する。
　フライトコントローラ２７は、相対操作信号Ｏｉｎ’（通常操作モード時は操作信号Ｏｉｎ）に基づいてアクチュエータ２８を制御する。フライトコントローラ２７は、相対操作信号Ｏｉｎ’（通常操作モード時は操作信号Ｏｉｎ）に基づいて制御信号ｓｆｃを生成し、アクチュエータ２８に出力する。アクチュエータ２８は、フライトコントローラ２７から入力された制御信号ｓｆｃに基づいて、機体２０のプロペラを回転させる。このようにして、フライトコントローラ２７は、相対操作信号Ｏｉｎ’（通常操作モード時は操作信号Ｏｉｎ）に基づいて機体２０の姿勢制御を行う。
　図７は、表示部１６の表示画面１６Ａの表示例を表したものである。図７において、表示画面１６Ａには、リモートコントローラ１０および機体２０の姿勢が三角のアイコン（１６ａ，１６ｂ）で表されている。図７では、リモートコントローラ１０の姿勢は上三角のアイコン１６ａで表現されており、機体２０の姿勢は左三角のアイコン１６ｂで表現されている。これは、機体２０の機首２０ａがリモートコントローラ１０の左移動方向に向いていることを示している。このとき、オペレータＯＰが、例えば、図８に示したように、リモートコントローラ１０の操作部１１を前進方向に動かしたとする。すると、入力信号変換部２６は、回転行列ｃｎｔＲｂｏｄｙを用いて操作信号Ｏｉｎを右回転方向に９０°回転させた相対操作信号Ｏｉｎ’を生成し、フライトコントローラ２７に出力する。その結果、機体２０は、オペレータＯＰから見て、操作部１１の操作方向と同じ方向（右移動方向）に移動する。
　ここで、オペレータＯＰが、例えば、図９に示したように、９０°左を向いたとする。このとき、表示画面１６Ａには、リモートコントローラ１０の姿勢は上三角のアイコン１６ａで表現されており、機体２０の姿勢は上三角のアイコン１６ｂで表現されている。これは、機体２０の機首２０ａがリモートコントローラ１０の前進方向に向いていることを示している。このとき、オペレータＯＰが、例えば、図１０に示したように、リモートコントローラ１０の操作部１１を前進方向に動かしたとする。すると、入力信号変換部２６は、回転行列ｃｎｔＲｂｏｄｙを用いて操作信号Ｏｉｎを回転方向に０°回転させた相対操作信号Ｏｉｎ’を生成し、フライトコントローラ２７に出力する。その結果、機体２０は、オペレータＯＰから見て、操作部１１の操作方向と同じ方向（右移動方向）に移動する。
[動作]
　次に、操縦システム１におけるリモートコントローラ１０および機体２０の動作について説明する。
　図１１は、リモートコントローラ１０における姿勢制御手順の一例を表したものである。まず、リモートコントローラ１０は、直感操作モードを開始する（ステップＳ１０１）。操作部１１は、オペレータＯＰによる操作を受け付けると、受け付けた操作に応じた操作信号Ｏｉｎを生成し、通信部１５に出力する。通信部１５は、操作信号Ｏｉｎ（操作データ）を受け付ける（ステップＳ１０２）。
　ＳＬＡＭ処理部１４は、センサ部１２から得られたセンサデータＳｉｎ１に基づいて、リモートコントローラ１０の姿勢を推定する（ステップＳ１０３）。ＳＬＡＭ処理部１４によるリモートコントローラ１０の姿勢推定が成功した場合（ステップＳ１０４；Ｙ）、通信部１５は、操作信号Ｏｉｎ（操作データ）および回転行列ｍＲｃｎｔ（姿勢データ）を機体２０へ送信する（ステップＳ１０７）。一方、ＳＬＡＭ処理部１４によるリモートコントローラ１０の姿勢推定が失敗した場合（ステップＳ１０４；Ｎ）、ＳＬＡＭ処理部１４および通信部１５は、通常操作モードへ移行する（ステップＳ１０５）。そして、表示部１６は、通常操作モードに移行したことをオペレータＯＰに通知する（ステップＳ１０５）。
　オペレータＯＰによる操作が継続する間は、リモートコントローラ１０は、ステップＳ１０２～Ｓ１０７を実行する（ステップＳ１０８；Ｎ）。オペレータＯＰによる操作が終了した場合には、リモートコントローラ１０は、機体２０の操作を終了する（ステップＳ１０８；Ｙ）。
　図１２は、機体２０における姿勢制御手順の一例を表したものである。通信部２１が、操作信号Ｏｉｎ（操作データ）および回転行列ｍＲｃｎｔ（姿勢データ）を受信する（ステップＳ２０１）。
　このとき、ＳＬＡＭ処理部２４は、センサ部２２から得られたセンサデータＳｉｎ２に基づいて、機体２０の姿勢を推定する（ステップＳ２０２）。ＳＬＡＭ処理部２４によるリモートコントローラ１０の姿勢推定が成功した場合（ステップＳ２０３；Ｙ）、相対姿勢計算部２５は、通信部２１から取得した回転行列ｍＲｃｎｔ（姿勢データ）と、センサデータＳｉｎ２に基づいて生成された回転行列ｍＲｂｏｄｙ（姿勢データ）とに基づいて、リモートコントローラ１０から見た機体２０の相対姿勢を推定する（ステップＳ２０６）。そして、入力信号変換部２６は、推定により得られた相対姿勢に基づいて、操作信号Ｏｉｎを相対操作信号Ｏｉｎ’に変換する（ステップＳ２０７）。
　一方、ＳＬＡＭ処理部２４による機体２０の姿勢推定が失敗した場合（ステップＳ２０３；Ｎ）、ＳＬＡＭ処理部２４は、通常操作モードへ移行する（ステップＳ２０４）。このとき、ＳＬＡＭ処理部２４は、通常操作モード移行通知を生成し、通信部２１を介してリモートコントローラ１０に送信する（ステップＳ２０５）。その結果、リモートコントローラ１０の表示部１６は、通常操作モードに移行したことをオペレータＯＰに通知する。
　フライトコントローラ２７は、相対操作信号Ｏｉｎ’（通常操作モード時は操作信号Ｏｉｎ）に基づいて機体２０の姿勢制御を行う（ステップＳ２０８）。オペレータＯＰによる操作が継続する間は、機体２０は、ステップＳ２０１～Ｓ２０８を実行する（ステップＳ２０９；Ｎ）。オペレータＯＰによる操作が終了した場合には、機体２０は、機体２０の姿勢制御を終了する（ステップＳ２０９；Ｙ）。
[効果]
　次に、操縦システム１の効果について説明する。
　本実施の形態では、センサ部１２での検出結果（センサデータＳｉｎ１）に基づいて生成されたリモートコントローラ１０の姿勢データ（回転行列ｍＲｃｎｔ）と、操作部１１で受け付けた操作データ（操作信号Ｏｉｎ）とが機体２０に送信される。これにより、例えば、機体２０において、リモートコントローラ１０の姿勢データ（回転行列ｍＲｃｎｔ）と、機体２０の姿勢データ（回転行列ｍＲｂｏｄｙ）とに基づいて、操作データ（操作信号Ｏｉｎ）を、リモートコントローラ１０から見た機体２０の相対姿勢を操作するデータ（操作信号Ｏｉｎ’）に変換することが可能となる。その結果、オペレータＯＰは、機体２０を直感的に遠隔操作することが可能となる。
　本実施の形態では、センサ部１２での検出結果（センサデータＳｉｎ１）と、環境地図１３ａとに基づいて、環境地図１３ａの座標系で表現された姿勢データ（回転行列ｍＲｃｎｔ）が生成される。これにより、例えば、機体２０において、環境地図１３ａの座標系で表現された姿勢データ（回転行列ｍＲｃｎｔ）と、環境地図１３ａと共通の座標系で表現された姿勢データ（回転行列ｍＲｂｏｄｙ）とに基づいて、操作データ（操作信号Ｏｉｎ’）を精度よく生成することが可能となる。その結果、オペレータＯＰは、機体２０を直感的に遠隔操作することが可能となる。
　本実施の形態では、リモートコントローラ１０の姿勢データＰｓ１と、機体２０の姿勢データＰｓ２とに基づいて、リモートコントローラ１０および機体２０の向き（姿勢）が表示される。これにより、オペレータＯＰは、より直感的に機体２０を操作することが可能となる。
　本実施の形態では、リモートコントローラ１０の姿勢データ（回転行列ｍＲｃｎｔ）と、機体２０の姿勢データ（回転行列ｍＲｂｏｄｙ）とに基づいて、操作データ（操作信号Ｏｉｎ）が補正され、それにより、補正操作データ（操作信号Ｏｉｎ’）が生成される。これにより、オペレータＯＰは、機体２０を直感的に遠隔操作することが可能となる。
　本実施の形態では、リモートコントローラ１０の姿勢データ（回転行列ｍＲｃｎｔ）と、機体２０の姿勢データ（回転行列ｍＲｂｏｄｙ）とに基づいて、機体２０の、リモートコントローラ１０に対する相対姿勢データ（回転行列ｃｎｔＲｂｏｄｙ）が生成される。そして、生成された相対姿勢データ（回転行列ｃｎｔＲｂｏｄｙ）を用いて、補正操作データ（操作信号Ｏｉｎ’）が生成される。これにより、オペレータＯＰは、機体２０を直感的に遠隔操作することが可能となる。
　本実施の形態では、センサ部２２での検出結果（センサデータＳｉｎ２）と、環境地図２３ａとに基づいて、環境地図２３ａの座標系で表現された姿勢データ（回転行列ｍＲｂｏｄｙ）が生成される。これにより、例えば、機体２０において、環境地図２３ａの座標系で表現された機体２０の姿勢データ（回転行列ｍＲｂｏｄｙ）と、環境地図２３ａの座標系と共通の座標系で表現されたリモートコントローラ１０の姿勢データ（回転行列ｍＲｃｎｔ）とに基づいて、操作データ（操作信号Ｏｉｎ’）を精度よく生成することが可能となる。その結果、オペレータＯＰは、機体２０を直感的に遠隔操作することが可能となる。
＜１．第１の実施の形態の変形例＞
　以下、上記第１の実施の形態に係る操縦システム１の変形例について説明する。なお、以下では、上記実施の形態と共通の構成に対しては、上記実施の形態と共通の符号が付与される。また、以下では、上記実施の形態と共通の効果については、適宜、省略されるものとする。
　上記実施の形態において、例えば、図１３に示したように、リモートコントローラ１０の代わりに、リモートコントローラ３０および端末装置４０が設けられていてもよい。
　リモートコントローラ３０は、操作部１１および通信部１７を有している。端末装置４０は、操作部４１、センサ部１２、記憶部１３、ＳＬＡＭ処理部１４、通信部１５および表示部１６を有している。
　通信部１７は、操作部１１から操作信号Ｏｉｎを取得するとともに、通信部１５から端末装置４０の姿勢データ（回転行列ｍＲｃｎｔ）を受信し、操作信号Ｏｉｎおよび回転行列ｍＲｃｎｔを機体２０に送信する。通信部１７は、機体２０から、機体２０の位置データＬｃ２および姿勢データＰｓ２を受信し、受信した位置データＬｃ２および姿勢データＰｓ２を通信部１５に送信する。操作部４１は、オペレータＯＰによる端末装置４０の操作を受け付け、それにより得られた操作信号を通信部１５に出力する。
　本変形例では、リモートコントローラ３０の姿勢データ（回転行列ｍＲｃｎｔ）を生成するのに必要なデバイスが端末装置４０に設けられている。これにより、リモートコントローラ３０を汎用性の高いデバイスだけで構成することが可能となるので、リモートコントローラ３０を低コストで提供することが可能となる。また、リモートコントローラ３０と端末装置４０とが所定の位置関係で互いに固定されていることにより、端末装置４０の姿勢データ（回転行列ｍＲｃｎｔ）を、リモートコントローラ３０の姿勢データ（回転行列ｍＲｃｎｔ）とみなすことが可能となる。
＜３．第２の実施の形態＞
[構成]
　本開示の第２の実施の形態に係る操縦システム２について説明する。図１５は、操縦システム２の概略構成例を表したものである。操縦システム２は、操縦システム１とは異なり、環境地図を用いずに機体６０の直感的な遠隔操作を実現する。
　操縦システム２は、例えば、図１５に示したように、機体６０と、機体６０を遠隔操作するリモートコントローラ５０とを備えている。
（リモートコントローラ５０）
　図１６は、リモートコントローラ５０の概略構成例を表したものである。リモートコントローラ５０は、操作部１１、センサ部１２、信号処理部５１、通信部５２および表示部１６を有している。
　信号処理部５１は、センサ部１２から得られたセンサデータＳｉｎ１に基づいて、リモートコントローラ５０の位置および姿勢を導出する。導出されたリモートコントローラ５０の位置および姿勢は、リモートコントローラ５０独自の座標系で表現されている。信号処理部５１は、例えば、センサ部１２の測位計から得られた位置データに基づいて、リモートコントローラ５０独自の座標系で表現された位置データＬｃ１を生成する。信号処理部５１は、例えば、センサ部１２のジャイロセンサから得られた姿勢データに基づいて、リモートコントローラ５０独自の座標系で表現された姿勢データＰｓ１および回転行列ｃｎｔ＿ｉｎｔＲｃｎｔを生成する。信号処理部５１は、生成した位置データＬｃ１、姿勢データＰｓ１および回転行列ｃｎｔ＿ｉｎｔＲｃｎｔを通信部１５に出力する。なお、図１６では、回転行列ｃｎｔ＿ｉｎｔＲｃｎｔがＤＲ１と表現されている。
　ここで、ｃｎｔ＿ｉｎｔＲｃｎｔおいて、Ｒの左側に配置されたｃｎｔ＿ｉｎｔはリモートコントローラ５０の初期姿勢を基準としていることを意味しており、Ｒは回転行列であることを意味しており、Ｒの右側に配置されたｃｎｔはリモートコントローラ５０の現在の姿勢を意味している。つまり、ｃｎｔ＿ｉｎｔＲｃｎｔとは、リモートコントローラ５０独自の座標系におけるリモートコントローラ５０の姿勢の変化量を表す回転行列であることを意味している。
　通信部５２は、操作部１１で生成された操作信号Ｏｉｎと、信号処理部５１で生成された回転行列ｃｎｔ＿ｉｎｔＲｃｎｔとを機体２０に送信する。通信部５２は、機体２０から、機体２０の位置データＬｃ２および姿勢データＰｓ２を受信する。通信部５２は、リモートコントローラ５０の位置データＬｃ１および姿勢データＰｓ１と、機体２０の位置データＬｃ２および姿勢データＰｓ２とを表示部１６に出力する。
（機体６０）
　図１７は、機体６０の概略構成例を表したものである。機体６０は、リモートコントローラ５０によって遠隔操作される。機体６０は、通信部６１、センサ部２２、記憶部６２、信号処理部６３、相対姿勢計算部６４、入力信号変換部２６、フライトコントローラ２７およびアクチュエータ２８を有している。
　通信部６１は、リモートコントローラ５０から、操作信号Ｏｉｎおよび回転行列ｃｎｔ＿ｉｎｔＲｃｎｔを受信する。通信部６１は、受信した操作信号Ｏｉｎを入力信号変換部２６に出力し、受信した回転行列ｃｎｔ＿ｉｎｔＲｃｎｔを相対姿勢計算部６４に出力する。通信部６１は、さらに、機体６０の位置データＬｃ２および姿勢データＰｓ２を信号処理部６３から取得する。通信部６１は、取得した位置データＬｃ２および姿勢データＰｓ２をリモートコントローラ５０に送信する。
　センサ部２２は、カメラ２２ａを有している。カメラ２２ａは、例えば、ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、深度センサ、赤外線センサ、イベントカメラ、または、ステレオカメラである。センサ部２２は、カメラ２２ａで取得した画像データを含むセンサデータＳｉｎ２を信号処理部６３に出力する。
　記憶部６２は、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。記憶部６２には、例えば、姿勢ＤＢ(Data-Base)６２ａが記憶されている。姿勢ＤＢ６２ａには、リモートコントローラ５０もしくはオペレータＯＰのモデル画像（keyframe）の２Ｄ（dimension）特徴量（２Ｄ座標値）と、この２Ｄ特徴量（２Ｄ座標値）に対応する３Ｄ特徴量（３Ｄ座標値）とが格納されている。記憶部６２には、回転行列ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔが記憶される。なお、図１７には、回転行列ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔがＩＰ２と表現されている。
　ここで、ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔおいて、Ｒの左側に配置されたｂｏｄｙ＿ｉｎｔは機体６０の初期姿勢を基準としていることを意味しており、Ｒは回転行列であることを意味しており、Ｒの右側に配置されたｃｎｔ＿ｉｎｔはリモートコントローラ５０もしくはオペレータＯＰの初期姿勢を意味している。つまり、ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔとは、機体６０に対するリモートコントローラ５０もしくはオペレータＯＰの初期の相対姿勢を表す回転行列であることを意味している。
　信号処理部６３は、センサ部２２から得られたセンサデータＳｉｎ２に基づいて、機体６０の位置および姿勢を導出する。導出された機体６０の位置および姿勢は、機体６０独自の座標系で表現されている。信号処理部６３は、例えば、センサ部２２の測位計から得られた位置データに基づいて、機体６０独自の座標系で表現された位置データＬｃ２を生成する。信号処理部６３は、例えば、センサ部２２のジャイロセンサから得られた姿勢データに基づいて、機体６０独自の座標系で表現された姿勢データＰｓ２および回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙを生成する。なお、図１７には、回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙがＤＲ２と表現されている。
　ここで、ｂｏｄｙ＿ｉｎｔＲｂｏｄｙおいて、Ｒの左側に配置されたｂｏｄｙ＿ｉｎｔは機体６０の初期姿勢を基準としていることを意味しており、Ｒは回転行列であることを意味しており、Ｒの右側に配置されたｂｏｄｙは機体６０の現在の姿勢を意味している。つまり、ｂｏｄｙ＿ｉｎｔＲｂｏｄｙとは、機体６０独自の座標系における機体６０の姿勢の変化量を表す回転行列であることを意味している。
　信号処理部６３は、例えば、カメラ２２ａで取得した画像データに対して所定の処理を行うことにより、カメラ２２ａで取得した画像データの２Ｄ特徴量を生成する。信号処理部６３は、例えば、生成した２Ｄ特徴量と、姿勢ＤＢ６２ａに格納されたモデル画像の２Ｄ特徴量とのマッチングを行い、マッチングに成功した２Ｄ特徴量と、マッチングに成功した２Ｄ特徴量に対応する３Ｄ特徴量とを姿勢ＤＢ６２ａから取得する。信号処理部６３は、例えば、Perspective-n-Pointアルゴリズムを用いて、姿勢ＤＢ６２ａから取得した２Ｄ特徴量および３Ｄ特徴量から、機体６０に対するリモートコントローラ５０もしくはオペレータＯＰの、初期の相対姿勢（回転行列ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔ）を生成する。
　信号処理部６３は、生成した位置データＬｃ２および姿勢データＰｓ２を通信部６１に出力するとともに、生成した回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙおよび回転行列ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔを相対姿勢計算部６４に出力する。
　相対姿勢計算部６４は、通信部６１から入力された回転行列ｃｎｔ＿ｉｎｔＲｃｎｔと、信号処理部６３から入力された回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙおよび回転行列ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔとに基づいて、リモートコントローラ５０に対する機体６０の相対姿勢を推定する。相対姿勢計算部６４は、例えば、式（２）を用いて、リモートコントローラ５０に対する機体６０の相対姿勢データとして回転行列ｃｎｔＲｂｏｄｙを計算する。式（２）において、（ｃｎｔ＿ｉｎｔＲｃｎｔ）Ｔは、ｃｎｔ＿ｉｎｔＲｃｎｔの転置行列であり、（ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔ）Ｔは、ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔの転置行列である。
　ｃｎｔＲｂｏｄｙ＝（ｃｎｔ＿ｉｎｔＲｃｎｔ）Ｔ×（ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔ）Ｔ×ｂｏｄｙ＿ｉｎｔＲｂｏｄｙ…（２）
　相対姿勢計算部６４は、推定により得られたリモートコントローラ５０に対する機体６０の相対姿勢を入力信号変換部２６に出力する。相対姿勢計算部６４は、例えば、計算により得られた回転行列ｃｎｔＲｂｏｄｙを入力信号変換部２６に出力する。
　入力信号変換部２６は、相対姿勢計算部２５から入力された回転行列ｃｎｔＲｂｏｄｙを用いて、通信部６１から入力された操作信号Ｏｉｎを相対操作信号Ｏｉｎ’に変換する。つまり、入力信号変換部２６は、リモートコントローラ５０および機体６０の姿勢データに基づいて操作信号Ｏｉｎを補正し、それにより相対操作信号Ｏｉｎ’を生成する。入力信号変換部２６は、生成した相対操作信号Ｏｉｎ’をフライトコントローラ２７に出力する。
　フライトコントローラ２７は、相対操作信号Ｏｉｎ’（通常操作モード時は操作信号Ｏｉｎ）に基づいてアクチュエータ２８を制御する。フライトコントローラ２７は、相対操作信号Ｏｉｎ’（通常操作モード時は操作信号Ｏｉｎ）に基づいて制御信号ｓｆｃを生成し、アクチュエータ２８に出力する。アクチュエータ２８は、フライトコントローラ２７から入力された制御信号ｓｆｃに基づいて、機体６０のプロペラを回転させる。このようにして、フライトコントローラ２７は、相対操作信号Ｏｉｎ’（通常操作モード時は操作信号Ｏｉｎ）に基づいて機体６０の姿勢制御を行う。
　本実施の形態では、センサ部１２での検出結果（センサデータＳｉｎ１）に基づいて生成されたリモートコントローラ５０の移動データ（回転行列ｃｎｔ＿ｉｎｔＲｃｎｔ）と、操作部１１で受け付けた操作データ（操作信号Ｏｉｎ）とが機体６０で受信される。そして、機体６０において、リモートコントローラ５０の移動データ（回転行列ｃｎｔ＿ｉｎｔＲｃｎｔ）と、センサ部２２での検出結果（センサデータＳｉｎ２）に基づいて生成された機体６０の姿勢データ（回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙ）とに基づいて、操作データ（操作信号Ｏｉｎ）が操作データ（操作信号Ｏｉｎ’）に変換される。その結果、オペレータＯＰは、機体６０を直感的に遠隔操作することが可能となる。
　本実施の形態では、リモートコントローラ５０の移動データ（回転行列ｃｎｔ＿ｉｎｔＲｃｎｔ、回転行列ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔ）と、機体６０の姿勢データ（回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙ）とに基づいて、機体６０の、リモートコントローラ５０に対する相対姿勢データ（回転行列ｃｎｔＲｂｏｄｙ）が生成される。そして、生成された相対姿勢データ（回転行列ｃｎｔＲｂｏｄｙ）を用いて、補正操作データ（操作信号Ｏｉｎ’）が生成される。これにより、オペレータＯＰは、機体６０を直感的に遠隔操作することが可能となる。
　本実施の形態では、センサ部２２での検出結果（センサデータＳｉｎ２）と、姿勢ＤＢ６２ａとに基づいて、機体６０の姿勢データ（回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙ）が生成される。これにより、例えば、機体６０において、リモートコントローラ５０の移動データ（回転行列ｃｎｔ＿ｉｎｔＲｃｎｔ、回転行列ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔ）と、機体６０の姿勢データ（回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙ）とに基づいて、操作データ（操作信号Ｏｉｎ’）を精度よく生成することが可能となる。その結果、オペレータＯＰは、機体６０を直感的に遠隔操作することが可能となる。
＜４．第３の実施の形態＞
[構成]
　本開示の第３の実施の形態に係る操縦システム３について説明する。図１８は、操縦システム３の概略構成例を表したものである。操縦システム３は、操縦システム１とは異なり、環境地図を用いずに機体８０の直感的な遠隔操作を実現する。
　操縦システム２は、例えば、図１８に示したように、機体８０と、機体８０を遠隔操作するリモートコントローラ７０とを備えている。
（リモートコントローラ７０）
　図１９は、リモートコントローラ７０の概略構成例を表したものである。リモートコントローラ７０は、操作部１１、センサ部１２、記憶部７１、信号処理部７２、通信部７３および表示部１６を有している。
　センサ部１２は、カメラ１２ａを有している。カメラ１２ａは、例えば、ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、深度センサ、赤外線センサ、イベントカメラ、または、ステレオカメラである。センサ部１２は、カメラ１２ａで取得した画像データを含むセンサデータＳｉｎ１を信号処理部７２に出力する。
　記憶部７１は、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。記憶部７１には、例えば、姿勢ＤＢ(Data-Base)７１ａが記憶されている。姿勢ＤＢ７１ａには、機体８０のモデル画像（keyframe）の２Ｄ特徴量（２Ｄ座標値）と、この２Ｄ特徴量（２Ｄ座標値）に対応する３Ｄ特徴量（３Ｄ座標値）とが格納されている。記憶部７１には、回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔが記憶される。なお、図１９には、回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔがＩＰ１と表現されている。
　ここで、ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔおいて、Ｒの左側に配置されたｃｎｔ＿ｉｎｔはリモートコントローラ７０の初期姿勢を基準としていることを意味しており、Ｒは回転行列であることを意味しており、Ｒの右側に配置されたｂｏｄｙ＿ｉｎｔは機体８０の初期姿勢を意味している。つまり、ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔとは、リモートコントローラ７０に対する機体８０の初期の相対姿勢を表す回転行列であることを意味している。
　信号処理部７２は、センサ部１２から得られたセンサデータＳｉｎ１に基づいて、リモートコントローラ７０の位置および姿勢を導出する。導出されたリモートコントローラ７０の位置および姿勢は、リモートコントローラ７０独自の座標系で表現されている。信号処理部７２は、例えば、センサ部１２の測位計から得られた位置データに基づいて、リモートコントローラ７０独自の座標系で表現された位置データＬｃ１を生成する。信号処理部７２は、例えば、センサ部１２のジャイロセンサから得られた姿勢データに基づいて、リモートコントローラ７０独自の座標系で表現された姿勢データＰｓ１および回転行列ｃｎｔ＿ｉｎｔＲｃｎｔを生成する。なお、図１９には、回転行列ｃｎｔ＿ｉｎｔＲｃｎｔがＤＲ１と表現されている。
　信号処理部７２は、例えば、カメラ１２ａで取得した画像データに対して所定の処理を行うことにより、カメラ１２ａで取得した画像データの２Ｄ特徴量を生成する。信号処理部７２は、例えば、生成した２Ｄ特徴量と、姿勢ＤＢ７１ａに格納されたモデル画像の２Ｄ特徴量とのマッチングを行い、マッチングに成功した２Ｄ特徴量と、マッチングに成功した２Ｄ特徴量に対応する３Ｄ特徴量とを姿勢ＤＢ７１ａから取得する。信号処理部７２は、例えば、Perspective-n-Pointアルゴリズムを用いて、姿勢ＤＢ７１ａから取得した２Ｄ特徴量および３Ｄ特徴量から、リモートコントローラ７０に対する機体８０の、初期の相対姿勢（回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔ）を生成する。
　信号処理部７２は、生成した位置データＬｃ１および姿勢データＰｓ１を通信部７３に出力するとともに、生成した回転行列ｃｎｔ＿ｉｎｔＲｃｎｔおよび回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔを通信部７３に出力する。
　通信部７３は、操作部１１で生成された操作信号Ｏｉｎと、信号処理部７２で生成された回転行列ｃｎｔ＿ｉｎｔＲｃｎｔおよび回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔとを機体８０に送信する。通信部７３は、機体８０から、機体８０の位置データＬｃ２および姿勢データＰｓ２を受信する。通信部７３は、リモートコントローラ７０の位置データＬｃ１および姿勢データＰｓ１と、機体８０の位置データＬｃ２および姿勢データＰｓ２とを表示部１６に出力する。
（機体８０）
　図２０は、機体８０の概略構成例を表したものである。機体８０は、リモートコントローラ７０によって遠隔操作される。機体８０は、通信部８１、センサ部２２、信号処理部８２、相対姿勢計算部８３、入力信号変換部２６、フライトコントローラ２７およびアクチュエータ２８を有している。
　通信部８１は、リモートコントローラ７０から、操作信号Ｏｉｎ、回転行列ｃｎｔ＿ｉｎｔＲｃｎｔおよび回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔを受信する。通信部８１は、受信した操作信号Ｏｉｎを入力信号変換部２６に出力し、受信した回転行列ｃｎｔ＿ｉｎｔＲｃｎｔおよび回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔを相対姿勢計算部８３に出力する。通信部８１は、さらに、機体８０の位置データＬｃ２および姿勢データＰｓ２を信号処理部８２から取得する。通信部８１は、取得した位置データＬｃ２および姿勢データＰｓ２をリモートコントローラ７０に送信する。
　信号処理部８２は、センサ部２２から得られたセンサデータＳｉｎ２に基づいて、機体８０の位置および姿勢を導出する。導出された機体８０の位置および姿勢は、機体８０独自の座標系で表現されている。信号処理部８２は、例えば、センサ部２２の測位計から得られた位置データに基づいて、機体８０独自の座標系で表現された位置データＬｃ２を生成する。信号処理部８２は、例えば、センサ部２２のジャイロセンサから得られた姿勢データに基づいて、機体８０独自の座標系で表現された姿勢データＰｓ２および回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙを生成する。信号処理部８２は、生成した位置データＬｃ２および姿勢データＰｓ２を通信部８１に出力するとともに、回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙを相対姿勢計算部８３に出力する。
　相対姿勢計算部８３は、通信部８１から入力された回転行列ｃｎｔ＿ｉｎｔＲｃｎｔおよび回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔと、信号処理部８２から入力された回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙとに基づいて、リモートコントローラ７０に対する機体８０の相対姿勢を推定する。相対姿勢計算部８３は、例えば、式（３）を用いて、リモートコントローラ７０に対する機体８０の相対姿勢データとして回転行列ｃｎｔＲｂｏｄｙを計算する。
　ｃｎｔＲｂｏｄｙ＝（ｃｎｔ＿ｉｎｔＲｃｎｔ）Ｔ×（ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔ）×ｂｏｄｙ＿ｉｎｔＲｂｏｄｙ…（３）
　相対姿勢計算部８３は、推定により得られたリモートコントローラ７０に対する機体８０の相対姿勢を入力信号変換部２６に出力する。相対姿勢計算部８３は、例えば、計算により得られた回転行列ｃｎｔＲｂｏｄｙを入力信号変換部２６に出力する。
　入力信号変換部２６は、相対姿勢計算部８３から入力された回転行列ｃｎｔＲｂｏｄｙを用いて、通信部８１から入力された操作信号Ｏｉｎを相対操作信号Ｏｉｎ’に変換する。つまり、入力信号変換部２６は、リモートコントローラ７０および機体８０の姿勢データに基づいて操作信号Ｏｉｎを補正し、それにより相対操作信号Ｏｉｎ’を生成する。入力信号変換部２６は、生成した相対操作信号Ｏｉｎ’をフライトコントローラ２７に出力する。
　フライトコントローラ２７は、相対操作信号Ｏｉｎ’（通常操作モード時は操作信号Ｏｉｎ）に基づいて制御信号ｓｆｃを生成し、アクチュエータ２８に出力する。アクチュエータ２８は、フライトコントローラ２７から入力された制御信号ｓｆｃに基づいて、機体８０のプロペラを回転させる。このようにして、フライトコントローラ２７は、相対操作信号Ｏｉｎ’（通常操作モード時は操作信号Ｏｉｎ）に基づいて機体８０の姿勢制御を行う。
　本実施の形態では、センサ部１２での検出結果（センサデータＳｉｎ１）に基づいて生成された姿勢データ（回転行列ｃｎｔ＿ｉｎｔＲｃｎｔ、回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔ）と、操作部１１で受け付けた操作データ（操作信号Ｏｉｎ）とが機体８０で受信される。そして、機体８０において、リモートコントローラ７０の移動データ（回転行列ｃｎｔ＿ｉｎｔＲｃｎｔ）と、機体８０の移動データ（回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔ、回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙ）とに基づいて、操作データ（操作信号Ｏｉｎ）が操作データ（操作信号Ｏｉｎ’）に変換される。その結果、オペレータＯＰは、機体８０を直感的に遠隔操作することが可能となる。
　本実施の形態では、リモートコントローラ７０の移動データ（回転行列ｃｎｔ＿ｉｎｔＲｃｎｔ）と、機体８０の姿勢データ（回転行列ｂｏｄｙ＿ｉｎｔＲｃｎｔ＿ｉｎｔ、回転行列ｂｏｄｙ＿ｉｎｔＲｂｏｄｙ）とに基づいて、機体８０の、リモートコントローラ７０に対する相対姿勢データ（回転行列ｃｎｔＲｂｏｄｙ）が生成される。そして、生成された相対姿勢データ（回転行列ｃｎｔＲｂｏｄｙ）を用いて、補正操作データ（リモートコントローラ７０から見た機体８０の相対姿勢を操作するデータ操作信号Ｏｉｎ’）が生成される。これにより、オペレータＯＰは、機体８０を直感的に遠隔操作することが可能となる。
　本実施の形態では、センサ部１２での検出結果（センサデータＳｉｎ１）と、姿勢ＤＢ７１ａとに基づいて、機体８０の姿勢データ（回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ）が生成される。これにより、例えば、機体８０において、リモートコントローラ７０の移動データ（回転行列ｃｎｔ＿ｉｎｔＲｃｎｔ）と、機体８０の姿勢データ（回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ＿ｉｎｔ、回転行列ｃｎｔ＿ｉｎｔＲｂｏｄｙ）とに基づいて、操作データ（操作信号Ｏｉｎ’）を精度よく生成することが可能となる。その結果、オペレータＯＰは、機体８０を直感的に遠隔操作することが可能となる。
＜５．第４の実施の形態＞
[構成]
　本開示の第４の実施の形態に係る操縦システム４について説明する。図２１は、操縦システム４の概略構成例を表したものである。操縦システム４は、隊列を形成する複数の機体２０Ａ，２０Ｂ，２０Ｃ，２０Ｄ，２０Ｅを備えている。操縦システム４では、各機体２０Ａ～２０Ｅが１または複数の他の機体の姿勢を推定し、マスタの機体２０Ａが、各機体２０Ａ～２０Ｅでの推定結果（推定姿勢）に基づいて各機体２０Ａ～２０Ｅの姿勢異常の有無を判定する。
　マスタの機体２０Ａは、例えば、各機体２０Ａ～２０Ｅから各機体２０Ａ～２０Ｅの推定姿勢を取得する。マスタの機体２０Ａは、例えば、さらに、取得した各機体２０Ａ～２０Ｅの推定姿勢と、各機体２０Ａ～２０Ｅの設定姿勢との差分（姿勢誤差）を導出し、導出した姿勢誤差が所定の閾値を超えたか否かを判定する。
　図２２は、マスタの機体２０Ａが導出した姿勢誤差の一例を表として表したものである。図２２において、背景がドット状となっているのは、その箇所に記載の姿勢誤差が所定の閾値を超えていることを示している。
　図２２では、機体２０Ｂによって推定された他の機体の姿勢と、機体２０Ａ，２０Ｃ～２０Ｅによって推定された機体２０Ｂの姿勢とに異常があることが示唆されている。このことから、実際には、機体２０Ｂに姿勢異常があることがわかる。図２２の表から機体２０Ｂに姿勢異常があることを計算によって特定する方法としては、例えば、以下のような方法がある。
　具体的には、上述の閾値判定によって姿勢異常と判定された機体に対して１ポイントを付与し、さらに、上述の閾値判定によって姿勢異常と判定された機体の姿勢を推定した機体に対しても１ポイントを付与し、その結果得られるポイントの合計値が最も大きい機体に姿勢異常があると判断する。マスタの機体２０Ａがこのような判断方法を用いて演算することにより、姿勢異常がある機体を特定することが可能である。以下にこれを実現するための各機体２０Ａ～２０Ｅの構成例について説明する。
　図２３は、マスタの機体２０Ａの概略構成例を表したものである。図２４は、スレーブの機体２０Ｂ～２０Ｅの概略構成例を表したものである。
（マスタの機体２０Ａ）
　機体２０Ａは、例えば、図２３に示したように、通信部２１Ａ、センサ部２２、記憶部２３Ａ，２３Ｂ、姿勢計算部２５Ａ、不良機体検出部２５Ｂ、フライトコントローラ２７およびアクチュエータ２８を有している。
　通信部２１Ａは、スレーブの機体２０Ｂ～２０Ｅから、姿勢データＰｓＢ～ＰｓＥを受信し、受信した姿勢データＰｓＢ～ＰｓＥを不良機体検出部２５Ｂに出力する。姿勢データＰｓＢは、機体２０Ｂから得られた機体２０Ａ，２０Ｃ～２０Ｅの姿勢データである。姿勢データＰｓＣは、機体２０Ｃから得られた機体２０Ａ，２０Ｂ，２０Ｄ，２０Ｅの姿勢データである。姿勢データＰｓＣは、機体２０Ｃから得られた機体２０Ａ，２０Ｂ，２０Ｄ，２０Ｅの姿勢データである。姿勢データＰｓＤは、機体２０Ｄから得られた機体２０Ａ～２０Ｃ，２０Ｅの姿勢データである。姿勢データＰｓＥは、機体２０Ｅから得られた機体２０Ａ～２０Ｄの姿勢データである。
　通信部２１Ａは、不良機体検出部２５Ｂから、姿勢異常があると特定された機体に送信するための異常通知Ｃｔｒ２を取得すると、取得した異常通知Ｃｒｔ２を、姿勢異常があると特定された機体に送信する。通信部２１Ａは、不良機体検出部２５Ｂから、不良機体検出部２５Ｂから、特定のスレーブに対して送信するためのマスタ変更通知Ｃｔｒ３を取得すると、取得したマスタ変更通知Ｃｔｒ３を、特定のスレーブに対して送信する。
　センサ部２２は、機体２０Ａの位置および姿勢を検出する。センサ部２２は、例えば、測位計を有している。測位計は、ＧＮＳＳ衛星からのＧＮＳＳ信号（例えば、ＧＰＳ衛星からのＧＰＳ信号）を受信して測位を実行し、機体２０Ａの緯度、経度および高度を含む位置データを生成する。センサ部２２は、例えば、さらに、ジャイロセンサを有している。ジャイロセンサは、機体２０Ａの角速度を検出し、検出された角速度に基づいて機体２０Ａの姿勢データを生成する。
　センサ部２２は、カメラ２２ａを有している。カメラ２２ａは、例えば、ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、深度センサ、赤外線センサ、イベントカメラ、または、ステレオカメラである。カメラ２２ａは、隊列を組んでいる１または複数の他の機体を撮影する。センサ部２２は、機体２０Ａの位置データおよび姿勢データと、カメラ２２ａで取得した画像データとを含むセンサデータＳｉｎ３を姿勢計算部２５Ａに出力する。
　記憶部２３Ａは、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。記憶部２３Ａには、例えば、隊列ＤＢ(Data-Base)２３ｃが記憶されている。隊列ＤＢ２３ｃでは、カメラ２２ａで取得した画像データに含まれ得る機体の様々な姿勢ごとに、特徴量と姿勢データＰｓＡとが対応付けられている。
　記憶部２３Ｂは、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。記憶部２３Ｂには、例えば、設定ＤＢ(Data-Base)２３ｄが記憶されている。設定ＤＢ２３ｄでは、隊列を組んだときの各機体２０Ａ～２０Ｅの姿勢についての設定データが格納されている。
　姿勢計算部２５Ａは、センサ部２２から得られたセンサデータＳｉｎ３に含まれる画像データの特徴量を生成する。姿勢計算部２５Ａは、生成した特徴量と隊列ＤＢ２３ｃに格納された各特徴量とを対比し、その結果、一致した特徴量に対応する姿勢データＰｓＡを隊列ＤＢ２３ｃから読み出す。姿勢計算部２５Ａは、隊列ＤＢ２３ｃから読み出した姿勢データＰｓＡを不良機体検出部２５Ｂに出力する。姿勢データＰｓＡは、姿勢計算部２５Ａで得られた機体２０Ｂ～２０Ｅの姿勢データである。このようにして、姿勢計算部２５Ａは、１または複数の他の機体の姿勢を検出し、検出した１または複数の他の機体の姿勢データを生成する。
　ここで、姿勢計算部２５Ａから取得した姿勢データＰｓＡ、および通信部２１Ａを介して他の機体２０Ｂ～２０Ｅから取得した姿勢データＰｓＢ～ＰｓＥを、推定姿勢と称するものとする。また、設定ＤＢ２３ｄから読み出した姿勢データを、設定姿勢と称するものとする。このとき、不良機体検出部２５Ｂは、推定姿勢と設定姿勢とに基づいて、姿勢異常の機体を検出する。具体的には、不良機体検出部２５Ｂは、推定姿勢と設定姿勢との差分（姿勢誤差）を導出し、導出した姿勢誤差が所定の閾値を超えたか否かの判定を行い、その判定の結果に基づいて、姿勢異常の機体を検出する。
　その結果、導出した姿勢誤差が所定の閾値を超えた場合には、不良機体検出部２５Ｂは、所定の閾値を超えた推定姿勢に対応する機体に対して異常フラグを１つカウントアップする。不良機体検出部２５Ｂは、さらに、所定の閾値を超えた推定姿勢を生成した機体に対しても異常フラグを１つカウントアップする。不良機体検出部２５Ｂは、その結果、異常フラグの値が最も大きい機体に姿勢異常があると判断する。
　不良機体検出部２５Ｂは、姿勢異常があると特定された機体がスレーブである場合には、そのスレーブに送信するための異常通知Ｃｔｒ２を生成し、通信部２１Ａに出力する。不良機体検出部２５Ｂは、姿勢異常があると特定された機体がマスタである場合には、特定のスレーブに対して送信するためのマスタ変更通知Ｃｔｒ３を生成し、通信部２１Ａに出力する。このとき、不良機体検出部２５Ｂは、さらに、フライトコントローラ２７に異常通知Ｃｔｒ１を送信する。
　フライトコントローラ２７は、例えば、入力された操作信号に基づいて制御信号ｓｆｃを生成し、アクチュエータ２８に出力する。フライトコントローラ２７は、例えば、不良機体検出部２５Ｂから異常通知Ｃｔｒ１を取得した場合には、隊列飛行を停止して所定の基地局に戻るための制御信号ｓｆｃを生成し、アクチュエータ２８に出力する。アクチュエータ２８は、フライトコントローラ２７から入力された制御信号ｓｆｃに基づいて、機体６０のプロペラを回転させる。このようにして、フライトコントローラ２７は、入力された操作信号に基づいて機体２０Ａの姿勢制御を行う。
（スレーブの機体２０Ｂ～２０Ｅ）
　スレーブの機体２０Ｂ～２０Ｅは、例えば、図２４に示したように、通信部２１Ｂ、センサ部２２、記憶部２３Ａ，２３Ｂ、姿勢計算部２５Ａ、不良機体検出部２５Ｂ、フライトコントローラ２７およびアクチュエータ２８を有している。
　通信部２１Ｂは、姿勢データＰｓｋ（ＰｓＢ～ＰｓＥのいずれかのデータ）を姿勢計算部２５Ａから取得すると、取得した姿勢データＰｓｋをマスタに送信する。通信部２１Ｂは、マスタから、異常通知Ｃｔｒ２を受信すると、受信した異常通知Ｃｔｒ２をフライトコントローラ２７に出力する。通信部２１Ｂは、マスタから、マスタ変更通知Ｃｔｒ３を受信すると、受信したマスタ変更通知Ｃｔｒ３を姿勢計算部２５Ａおよび不良機体検出部２５Ｂに出力する。
　センサ部２２は、自機の位置および姿勢を検出する。センサ部２２は、例えば、測位計を有している。測位計は、ＧＮＳＳ衛星からのＧＮＳＳ信号（例えば、ＧＰＳ衛星からのＧＰＳ信号）を受信して測位を実行し、自機の緯度、経度および高度を含む位置データを生成する。センサ部２２は、例えば、さらに、ジャイロセンサを有している。ジャイロセンサは、自機の角速度を検出し、検出された角速度に基づいて自機の姿勢データを生成する。
　センサ部２２は、カメラ２２ａを有している。カメラ２２ａは、例えば、ＲＧＢカメラ、ＲＧＢ－Ｄカメラ、深度センサ、赤外線センサ、イベントカメラ、または、ステレオカメラである。カメラ２２ａは、隊列を組んでいる１または複数の他の機体を撮影する。センサ部２２は、自機の位置データおよび姿勢データと、カメラ２２ａで取得した画像データとを含むセンサデータＳｉｎ３を姿勢計算部２５Ａに出力する。
　記憶部２３Ａは、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。記憶部２３Ａには、例えば、隊列ＤＢ２３ｃが記憶されている。隊列ＤＢ２３ｃでは、カメラ２２ａで取得した画像データに含まれ得る機体の様々な姿勢ごとに、特徴量と姿勢データＰｓｋとが対応付けられている。
　記憶部２３Ｂは、例えば、ＤＲＡＭなどの揮発性メモリ、または、ＥＥＰＲＯＭやフラッシュメモリなどの不揮発性メモリで構成されている。記憶部２３Ｂには、例えば、設定ＤＢ２３ｄが記憶されている。設定ＤＢ２３ｄでは、隊列を組んだときの各機体２０Ａ～２０Ｅの姿勢についての設定データが格納されている。
　姿勢計算部２５Ａは、センサ部２２から得られたセンサデータＳｉｎ３に含まれる画像データの特徴量を生成する。姿勢計算部２５Ａは、生成した特徴量と隊列ＤＢ２３ｃに格納された各特徴量とを対比し、その結果、一致した特徴量に対応する姿勢データＰｓｋを隊列ＤＢ２３ｃから読み出す。姿勢計算部２５Ａは、隊列ＤＢ２３ｃから読み出した姿勢データＰｓｋを通信部２１Ｂに出力する。このようにして、姿勢計算部２５Ａは、１または複数の他の機体の姿勢を検出し、検出した１または複数の他の機体の姿勢データを生成する。
　姿勢計算部２５Ａは、通信部２１Ｂからマスタ変更通知Ｃｔｒ３を取得すると、マスタとしてふるまう。具体的には、姿勢計算部２５Ａは、姿勢データＰｓｋを不良機体検出部２５Ｂに出力する。
　不良機体検出部２５Ｂは、通信部２１Ｂからマスタ変更通知Ｃｔｒ３を取得すると、マスタとしてふるまう。具体的には、不良機体検出部２５Ｂは、推定姿勢と設定姿勢とに基づいて、姿勢異常の機体を検出する。不良機体検出部２５Ｂは、推定姿勢と設定姿勢との差分（姿勢誤差）を導出し、導出した姿勢誤差が所定の閾値を超えたか否かの判定を行い、その判定の結果に基づいて、姿勢異常の機体を検出する。
　その結果、導出した姿勢誤差が所定の閾値を超えた場合には、不良機体検出部２５Ｂは、所定の閾値を超えた推定姿勢に対応する機体に対して異常フラグを１つカウントアップする。不良機体検出部２５Ｂは、さらに、所定の閾値を超えた推定姿勢を生成した機体に対しても異常フラグを１つカウントアップする。不良機体検出部２５Ｂは、その結果、異常フラグの値が最も大きい機体に姿勢異常があると判断する。
　不良機体検出部２５Ｂは、姿勢異常があると特定された機体がスレーブである場合には、そのスレーブに送信するための異常通知Ｃｔｒ２を生成し、通信部２１Ａに出力する。不良機体検出部２５Ｂは、姿勢異常があると特定された機体がマスタである場合には、特定のスレーブに対して送信するためのマスタ変更通知Ｃｔｒ３を生成し、通信部２１Ａに出力する。このとき、不良機体検出部２５Ｂは、さらに、フライトコントローラ２７に異常通知Ｃｔｒ１を送信する。
[動作]
　次に、操縦システム４におけるマスタの機体２０Ａの動作について説明する。
　図２５は、マスタの機体２０Ａにおける姿勢異常の判定手順の一例を表したものである。まず、マスタの姿勢計算部２５Ａは、センサ部２２から得られたセンサデータＳｉｎ３と、隊列ＤＢ２３ｃとに基づいて、マスタの周囲にある機体２０Ｂ～２０Ｅの姿勢データＰｓＡを導出する（ステップＳ３０１）。マスタの姿勢計算部２５Ａは、導出した姿勢データＰｓＡを不良機体検出部２５Ｂに出力する。
　また、マスタの通信部２１Ａは、スレーブの機体２０Ｂ～２０Ｅから、姿勢データＰｓＢ～ＰｓＥを受信する（ステップＳ３０２）。マスタの通信部２１Ａは、受信した姿勢データＰｓＢ～ＰｓＥを不良機体検出部２５Ｂに出力する。
　不良機体検出部２５Ｂは、マスタおよびスレーブで導出された機体２０Ａ～２０Ｅの推定姿勢と、設定ＤＢ２３ｄから読み出した設定姿勢との差分（姿勢誤差）を導出する（ステップＳ３０３）。不良機体検出部２５Ｂは、導出した姿勢誤差が所定の閾値を超えたか否かの判定を行う（ステップＳ３０４）。
　その結果、導出した姿勢誤差が所定の閾値を超えた場合には（ステップＳ３０４；Ｙ）、不良機体検出部２５Ｂは、所定の閾値を超えた推定姿勢に対応する機体に対して異常フラグを１つカウントアップする（ステップＳ３０５）。不良機体検出部２５Ｂは、さらに、所定の閾値を超えた推定姿勢を生成した機体に対しても異常フラグを１つカウントアップする（ステップＳ３０５）。一方、導出した姿勢誤差が所定の閾値を超えていない場合には（ステップＳ３０４；Ｎ）、不良機体検出部２５Ｂは、所定の閾値を超えていない推定姿勢に対応する機体に対しては、異常フラグのカウントアップを行わない。
　不良機体検出部２５Ｂは、異常フラグの値に基づいて、姿勢異の機体があるか否かを判定する（ステップＳ３０６）。不良機体検出部２５Ｂは、例えば、異常フラグの値が所定の閾値を超える場合には、異常フラグの値が最も大きい機体に姿勢異常が存在すると判断する（ステップＳ３０６；Ｙ）。不良機体検出部２５Ｂは、例えば、異常フラグの値が所定の閾値を超えない場合には、姿勢異常のある機体は存在しないと判断する（ステップＳ３０６；Ｎ）。
　不良機体検出部２５Ｂは、姿勢異常のある機体がマスタであるか否かを判定する（ステップＳ３０７）。その結果、姿勢異常のある機体がマスタである場合には（ステップＳ３０７；Ｙ）、不良機体検出部２５Ｂは、マスタ変更通知Ｃｔｒ３を生成し、マスタを他の機体に変更する。姿勢異常のある機体がスレーブである場合には（ステップＳ３０７；Ｎ）、不良機体検出部２５Ｂは、フライトコントローラ２７に異常を通知する（ステップＳ３０９）。
　隊列を組むのを終了する通知があった場合には、マスタの機体２０Ａは、隊列を組むのを終了する（ステップＳ３１０；Ｙ）。一方、隊列を組むのを終了する通知がない場合には、マスタの機体２０Ａは、引き続き、ステップＳ３０１～Ｓ３０９を実行する（ステップＳ３１０；Ｎ）。
　本実施の形態では、カメラ２２ａの画像データに基づいて得られた各機体２０Ａ～２０Ｅの推定姿勢に基づいて各機体２０Ａ～２０Ｅの姿勢異常の有無が判定される。具体的には、上記推定姿勢と、設定ＤＢ２３ｄの設定姿勢との差分（姿勢誤差）が所定の閾値を超えたか否かの判定を行うことにより、各機体２０Ａ～２０Ｅの姿勢異常の有無が判定される。これにより、例えば、姿勢異常のある機体を自動的に検出することができるので、姿勢異常のある機体による不測の事態が生じる前に、姿勢異常のある機体を停止することができる。
　なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　移動体を遠隔操作する制御装置であって、
　前記移動体の操作を受け付ける操作部と、
　当該制御装置もしくは前記移動体の姿勢を検出するセンサ部と、
　前記センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する生成部と、
　前記生成部で生成した前記姿勢データと、前記操作部での受け付けにより得られた操作データとを前記移動体に送信する通信部と
　を備えた
　制御装置。
（２）
　環境地図を記憶する記憶部を更に備え、
　前記生成部は、前記センサ部での、当該制御装置の姿勢についての検出結果と、前記環境地図とに基づいて、前記環境地図の座標系で表現された当該制御装置の姿勢データを生成する
　（１）に記載の制御装置。
（３）
　前記移動体の姿勢についてのデータベースを記憶する記憶部を更に備え、
　前記生成部は、前記センサ部での、前記移動体の姿勢についての検出結果と、前記データベースとに基づいて、当該制御装置の姿勢データを生成する
　（１）または（２）に記載の制御装置。
（４）
　当該制御装置の姿勢データと、前記通信部を介して前記移動体から取得した前記移動体の姿勢データとに基づいて、前記移動体の向きおよび前記制御装置の向きの少なくとも前記移動体の向きを表示する表示部を更に備えた
　（１）ないし（３）のいずれか１つに記載の制御装置。
（５）
　制御装置によって遠隔操作される移動体であって、
　当該移動体の姿勢を検出するセンサ部と、
　前記センサ部での検出結果に基づいて当該移動体の姿勢データを生成する生成部と、
　前記制御装置から、前記制御装置の姿勢データと、前記移動体の操作データとを受信する通信部と、
　前記通信部で受信した前記制御装置の姿勢データと、前記生成部で生成した当該移動体の姿勢データとに基づいて、前記通信部で受信した前記移動体の操作データを補正し、それにより補正操作データを生成する補正部と、
　前記補正部での補正により生成された前記補正操作データに基づいてアクチュエータを制御する制御部と
　を備えた
　移動体。
（６）
　前記通信部で受信した前記制御装置の姿勢データと、前記生成部で生成した当該移動体の姿勢データとに基づいて、当該移動体の、前記制御装置に対する相対姿勢データを推定する推定部を更に備え、
　前記補正部は、前記推定部で推定した前記相対姿勢データを用いて前記補正操作データを生成する
　（５）に記載の移動体。
（７）
　環境地図を記憶する記憶部を更に備え、
　前記生成部は、前記センサ部での検出結果と、前記環境地図とに基づいて、前記環境地図の座標系で表現された当該移動体の姿勢データを生成する
　（５）または（６）に記載の移動体。
（８）
　制御装置によって遠隔操作される移動体であって、
　前記制御装置もしくは前記制御装置に対応関係にある物体の姿勢を検出するセンサ部と、
　前記センサ部での検出結果に基づいて当該移動体の姿勢データを生成する生成部と、
　前記制御装置から、前記制御装置の移動データと、前記移動体の操作データとを受信する通信部と、
　前記通信部で受信した前記制御装置の移動データと、前記生成部で生成した当該移動体の姿勢データとに基づいて、前記通信部で受信した前記移動体の操作データを補正し、それにより補正操作データを生成する補正部と、
　前記補正部での補正により生成された前記補正操作データに基づいてアクチュエータを制御する制御部と
　を備えた
　移動体。
（９）
　前記通信部で受信した前記制御装置の移動データと、前記生成部で生成した当該移動体の姿勢データとに基づいて、当該移動体の、前記制御装置に対する相対姿勢データを推定する推定部を更に備え、
　前記補正部は、前記推定部で推定した前記相対姿勢データを用いて前記補正操作データを生成する
　（８）に記載の移動体。
（１０）
　前記制御装置の姿勢に応じた当該移動体の姿勢についてのデータベースを記憶する記憶部を更に備え、
　前記生成部は、前記センサ部での、前記制御装置もしくは前記物体の姿勢についての検出結果と、前記データベースとに基づいて、当該移動体の姿勢データを生成する
　（８）または（９）に記載の移動体。
（１１）
　移動体と、
　前記移動体を遠隔操作する制御装置と
　を備え、
　前記制御装置は、
　前記移動体の操作を受け付ける操作部と、
　当該制御装置の姿勢を検出する第１センサ部と、
　前記第１センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する第１生成部と、
　前記第１生成部で生成した前記姿勢データと、前記操作部での受け付けにより得られた操作データとを前記移動体に送信する第１通信部と
　を有し、
　前記移動体は、
　当該移動体の姿勢を検出する第２センサ部と、
　前記第２センサ部での検出結果に基づいて当該移動体の姿勢データを生成する第２生成部と、
　前記制御装置から、前記制御装置の姿勢データと、前記移動体の操作データとを受信する第２通信部と、
　前記第２通信部で受信した前記制御装置の姿勢データと、前記第２生成部で生成した当該移動体の姿勢データとに基づいて、前記第２通信部で受信した前記移動体の操作データを補正し、それにより補正操作データを生成する補正部と、
　前記補正部での補正により生成された前記補正操作データに基づいてアクチュエータを駆動する駆動部と
　を有する
　操縦システム。
（１２）
　移動体と、
　前記移動体を遠隔操作する制御装置と
　を備え、
　前記制御装置は、
　前記移動体の操作を受け付ける操作部と、
　前記移動体の姿勢を検出する第１センサ部と、
　前記第１センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する第１生成部と、
　前記第１生成部で生成した前記姿勢データと、前記操作部での受け付けにより得られた操作データとを前記移動体に送信する第１通信部と
　を有し、
　前記移動体は、
　前記制御装置もしくは前記制御装置に対応関係にある物体の姿勢を検出する第２センサ部と、
　前記第２センサ部での検出結果に基づいて当該移動体の姿勢データを生成する第２生成部と、
　前記制御装置から、前記制御装置の移動データと、前記移動体の操作データとを受信する第２通信部と、
　前記第２通信部で受信した前記制御装置の移動データと、前記第２生成部で生成した当該移動体の姿勢データとに基づいて、前記第２通信部で受信した前記移動体の操作データを補正し、それにより補正操作データを生成する補正部と、
　前記補正部での補正により生成された前記補正操作データに基づいてアクチュエータを駆動する駆動部と
　を有する
　操縦システム。
（１３）
　複数の移動体を備え、
　前記複数の移動体に含まれる、スレーブである第１移動体は、
　前記複数の移動体のうち、前記第１移動体以外の１または複数の第２移動体の姿勢を検出する第１センサ部と、
　前記第１センサ部での検出結果に基づいて前記１または複数の第２移動体の姿勢データを生成する第１生成部と、
　前記第１生成部で生成した前記１または複数の第２移動体の姿勢データを、前記複数の移動体に含まれる、マスタである第３移動体に送信する第１通信部と
　を有し、
　前記第３移動体は、
　前記複数の移動体のうち、前記第３移動体以外の１または複数の第４移動体の姿勢を検出する第２センサ部と、
　前記第２センサ部での検出結果に基づいて前記１または複数の第４移動体の姿勢データを生成する第２生成部と、
　前記第１通信部から受信した前記１または複数の第２移動体の姿勢データと、前記第２生成部で生成した前記１または複数の第４移動体の姿勢データとに基づいて、姿勢異常の機体を検出する検出部と
　を有する
　隊列システム。
　本出願は、日本国特許庁において２０２２年７月６日に出願された日本特許出願番号第２０２２－１０９３４５号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (12)

  1. 　移動体を遠隔操作する制御装置であって、
    　前記移動体の操作を受け付ける操作部と、
    　当該制御装置もしくは前記移動体の姿勢を検出するセンサ部と、
    　前記センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する生成部と、
    　前記生成部で生成した前記姿勢データと、前記操作部での受け付けにより得られた操作データとを前記移動体に送信する通信部と
    　を備えた
    　制御装置。
  2. 　環境地図を記憶する記憶部を更に備え、
    　前記生成部は、前記センサ部での、当該制御装置の姿勢についての検出結果と、前記環境地図とに基づいて、前記環境地図の座標系で表現された当該制御装置の姿勢データを生成する
    　請求項１に記載の制御装置。
  3. 　前記移動体の姿勢についてのデータベースを記憶する記憶部を更に備え、
    　前記生成部は、前記センサ部での、前記移動体の姿勢についての検出結果と、前記データベースとに基づいて、当該制御装置の姿勢データを生成する
    　請求項１に記載の制御装置。
  4. 　当該制御装置の姿勢データと、前記通信部を介して前記移動体から取得した前記移動体の姿勢データとに基づいて、前記移動体の向きおよび前記制御装置の向きの少なくとも前記移動体の向きを表示する表示部を更に備えた
    　請求項１に記載の制御装置。
  5. 　制御装置によって遠隔操作される移動体であって、
    　当該移動体の姿勢を検出するセンサ部と、
    　前記センサ部での検出結果に基づいて当該移動体の姿勢データを生成する生成部と、
    　前記制御装置から、前記制御装置の姿勢データと、前記移動体の操作データとを受信する通信部と、
    　前記通信部で受信した前記制御装置の姿勢データと、前記生成部で生成した当該移動体の姿勢データとに基づいて、前記通信部で受信した前記移動体の操作データを補正し、それにより補正操作データを生成する補正部と、
    　前記補正部での補正により生成された前記補正操作データに基づいてアクチュエータを制御する制御部と
    　を備えた
    　移動体。
  6. 　前記通信部で受信した前記制御装置の姿勢データと、前記生成部で生成した当該移動体の姿勢データとに基づいて、当該移動体の、前記制御装置に対する相対姿勢データを推定する推定部を更に備え、
    　前記補正部は、前記推定部で推定した前記相対姿勢データを用いて前記補正操作データを生成する
    　請求項５に記載の移動体。
  7. 　環境地図を記憶する記憶部を更に備え、
    　前記生成部は、前記センサ部での検出結果と、前記環境地図とに基づいて、前記環境地図の座標系で表現された当該移動体の姿勢データを生成する
    　請求項５に記載の移動体。
  8. 　制御装置によって遠隔操作される移動体であって、
    　前記制御装置もしくは前記制御装置に対応関係にある物体の姿勢を検出するセンサ部と、
    　前記センサ部での検出結果に基づいて当該移動体の姿勢データを生成する生成部と、
    　前記制御装置から、前記制御装置の移動データと、前記移動体の操作データとを受信する通信部と、
    　前記通信部で受信した前記制御装置の移動データと、前記生成部で生成した当該移動体の姿勢データとに基づいて、前記通信部で受信した前記移動体の操作データを補正し、それにより補正操作データを生成する補正部と、
    　前記補正部での補正により生成された前記補正操作データに基づいてアクチュエータを制御する制御部と
    　を備えた
    　移動体。
  9. 　前記通信部で受信した前記制御装置の移動データと、前記生成部で生成した当該移動体の姿勢データとに基づいて、当該移動体の、前記制御装置に対する相対姿勢データを推定する推定部を更に備え、
    　前記補正部は、前記推定部で推定した前記相対姿勢データを用いて前記補正操作データを生成する
    　請求項８に記載の移動体。
  10. 　前記制御装置の姿勢に応じた当該移動体の姿勢についてのデータベースを記憶する記憶部を更に備え、
    　前記生成部は、前記センサ部での、前記制御装置もしくは前記物体の姿勢についての検出結果と、前記データベースとに基づいて、当該移動体の姿勢データを生成する
    　請求項８に記載の移動体。
  11. 　移動体と、
    　前記移動体を遠隔操作する制御装置と
    　を備え、
    　前記制御装置は、
    　前記移動体の操作を受け付ける操作部と、
    　当該制御装置の姿勢を検出する第１センサ部と、
    　前記第１センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する第１生成部と、
    　前記第１生成部で生成した前記姿勢データと、前記操作部での受け付けにより得られた操作データとを前記移動体に送信する第１通信部と
    　を有し、
    　前記移動体は、
    　当該移動体の姿勢を検出する第２センサ部と、
    　前記第２センサ部での検出結果に基づいて当該移動体の姿勢データを生成する第２生成部と、
    　前記制御装置から、前記制御装置の姿勢データと、前記移動体の操作データとを受信する第２通信部と、
    　前記第２通信部で受信した前記制御装置の姿勢データと、前記第２生成部で生成した当該移動体の姿勢データとに基づいて、前記第２通信部で受信した前記移動体の操作データを補正し、それにより補正操作データを生成する補正部と、
    　前記補正部での補正により生成された前記補正操作データに基づいてアクチュエータを駆動する駆動部と
    　を有する
    　操縦システム。
  12. 　移動体と、
    　前記移動体を遠隔操作する制御装置と
    　を備え、
    　前記制御装置は、
    　前記移動体の操作を受け付ける操作部と、
    　前記移動体の姿勢を検出する第１センサ部と、
    　前記第１センサ部での検出結果に基づいて当該制御装置の姿勢データを生成する第１生成部と、
    　前記第１生成部で生成した前記姿勢データと、前記操作部での受け付けにより得られた操作データとを前記移動体に送信する第１通信部と
    　を有し、
    　前記移動体は、
    　前記制御装置もしくは前記制御装置に対応関係にある物体の姿勢を検出する第２センサ部と、
    　前記第２センサ部での検出結果に基づいて当該移動体の姿勢データを生成する第２生成部と、
    　前記制御装置から、前記制御装置の移動データと、前記移動体の操作データとを受信する第２通信部と、
    　前記第２通信部で受信した前記制御装置の移動データと、前記第２生成部で生成した当該移動体の姿勢データとに基づいて、前記第２通信部で受信した前記移動体の操作データを補正し、それにより補正操作データを生成する補正部と、
    　前記補正部での補正により生成された前記補正操作データに基づいてアクチュエータを駆動する駆動部と
    　を有する
    　操縦システム。
PCT/JP2023/024193 2022-07-06 2023-06-29 制御装置、移動体および操縦システム WO2024009885A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022109345 2022-07-06
JP2022-109345 2022-07-06

Publications (1)

Publication Number Publication Date
WO2024009885A1 true WO2024009885A1 (ja) 2024-01-11

Family

ID=89453480

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/024193 WO2024009885A1 (ja) 2022-07-06 2023-06-29 制御装置、移動体および操縦システム

Country Status (1)

Country Link
WO (1) WO2024009885A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520031A (ja) * 2015-05-18 2017-07-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ヘッドレスモードに基づく無人機の制御方法とデバイス
WO2019138466A1 (ja) * 2018-01-10 2019-07-18 楽天株式会社 無人航空機制御システム、無人航空機制御方法、及びプログラム
WO2021049147A1 (ja) * 2019-09-11 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム及び制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017520031A (ja) * 2015-05-18 2017-07-20 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ヘッドレスモードに基づく無人機の制御方法とデバイス
WO2019138466A1 (ja) * 2018-01-10 2019-07-18 楽天株式会社 無人航空機制御システム、無人航空機制御方法、及びプログラム
WO2021049147A1 (ja) * 2019-09-11 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム及び制御装置

Similar Documents

Publication Publication Date Title
JP6739463B2 (ja) 回転翼型小型飛行体（ｍａｖ）での屋内環境及び屋外環境における安定自律飛行のためのマルチセンサの融合
CA2977597C (en) Method and apparatus for target relative guidance
CN107615211B (zh) 使用传感器融合估计可移动物体的状态信息的方法及系统
US20170160393A1 (en) Waypoint sharing systems and methods
CN107850899B (zh) 使用惯性传感器和图像传感器的传感器融合
US11374648B2 (en) Radio link coverage map generation using link quality and position data of mobile platform
US20200256506A1 (en) Method for controlling gimbal, gimbal, control system, and movable device
JP2008249688A (ja) センサ融合ナビゲーションのためのシステムおよび方法
JP2013115803A (ja) 遠隔操縦車両システム
JP6934116B1 (ja) 航空機の飛行制御を行う制御装置、及び制御方法
EP2942688A1 (en) Flying drone and method for controlling a flying drone
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
KR20190104940A (ko) 무인 비행 로봇의 컨트롤러
JP2006197068A (ja) 画像表示装置および画像表示方法
WO2024009885A1 (ja) 制御装置、移動体および操縦システム
US20210229810A1 (en) Information processing device, flight control method, and flight control system
JPWO2018150492A1 (ja) 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体
US10778899B2 (en) Camera control apparatus
KR20150041898A (ko) Gps/ins 위치 정보 보정 장치 및 방법
US20210116242A1 (en) Information processing apparatus, information processing method, and program
US20200159224A1 (en) Systems and methods of adjusting position information
KR20200020200A (ko) 다중센서 융합을 통한 실내 3차원 위치 추정 시스템 및 그 추정 방법
JP2022075500A (ja) 情報処理装置、情報処理方法およびプログラム
US20220297821A1 (en) Control device, control method, unmanned aircraft, information processing device, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23835417

Country of ref document: EP

Kind code of ref document: A1