WO2020217715A1 - 移動体、操縦システム、制御方法及びプログラム - Google Patents

移動体、操縦システム、制御方法及びプログラム Download PDF

Info

Publication number
WO2020217715A1
WO2020217715A1 PCT/JP2020/008875 JP2020008875W WO2020217715A1 WO 2020217715 A1 WO2020217715 A1 WO 2020217715A1 JP 2020008875 W JP2020008875 W JP 2020008875W WO 2020217715 A1 WO2020217715 A1 WO 2020217715A1
Authority
WO
WIPO (PCT)
Prior art keywords
control device
moving body
detects
control
unit
Prior art date
Application number
PCT/JP2020/008875
Other languages
English (en)
French (fr)
Inventor
山本 和典
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/603,639 priority Critical patent/US11703856B2/en
Priority to JP2021515846A priority patent/JPWO2020217715A1/ja
Publication of WO2020217715A1 publication Critical patent/WO2020217715A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Definitions

  • This technology relates to a moving body, a control system, a control method and a program of an imaging unit mounted on the moving body.
  • Patent Document 1 a technique for manipulating a remote-controlled moving body such as a drone has been disclosed (for example, Patent Document 1).
  • a moving body is generally equipped with a camera for aerial photography of a landscape or the like. ..
  • a mechanism for changing the direction of the camera by rotating the camera around at least one axis or rotating it around three axes may also be mounted.
  • a moving body equipped with such a mechanism can easily control the orientation of the camera when the moving body is stopped.
  • the moving body moves violently, the field of view may be swung around due to the movement of the moving body. Therefore, in order for the camera to continue shooting in a specific direction while moving the moving object to various points, it is necessary to keep the camera pointing in a specific direction.
  • this technology enables continuous shooting in the direction desired by the user, for example, without depending on the posture of the moving body.
  • the moving body includes an imaging unit, a first detection unit, and a control unit.
  • the first detection unit detects the front direction of the moving body.
  • the control unit is based on the output of the first detection unit, the output of the second detection unit that detects the front direction of the control device that controls the image pickup unit, and the input data generated by the control device. Therefore, the posture around the first axis of the image pickup unit is controlled to the posture specified by the control device.
  • the first detection unit detects the inclination of the moving body around the second axis, and detects the inclination of the moving body around the second axis.
  • the second detection unit detects the inclination of the control device with respect to the horizontal direction, and detects the inclination of the control device with respect to the horizontal direction.
  • the control unit may control the posture of the image pickup unit around the second axis to the posture specified by the control device based on the outputs of the first and second detection units.
  • the first detection unit detects the inclination of the moving body around the third axis, and detects the inclination of the moving body around the third axis.
  • the second detection unit detects the inclination of the control device with respect to the vertical direction, and detects the inclination of the control device in the vertical direction.
  • the control unit may control the posture of the image pickup unit around the third axis to the posture specified by the control device based on the outputs of the first and second detection units.
  • the main body of the moving body which is the main body of the above moving body, A gimbal that connects the moving body main body and the imaging unit and rotatably supports the imaging unit around the first, second, and third axes may be further provided.
  • the control unit is a control angle that is a necessary angle for shifting the current posture of the imaging unit to the posture specified by the control device based on the outputs of the first detection unit and the control device. May be calculated.
  • the control unit has, as the control angle around the first axis, an angle formed by the front direction of the control device and the input direction input to the control device, and the front direction and the front direction of the moving body.
  • the difference from the angle formed by the eggplant may be calculated.
  • the control unit calculates the difference between the angle formed by the third axis and the horizontal direction and the angle formed by the control device and the horizontal direction as the control angle around the second axis. May be good.
  • the control unit calculates the difference between the angle formed by the first axis and the vertical direction and the angle formed by the control device and the vertical direction as the control angle around the third axis. May be good.
  • the first detection unit includes a geomagnetic sensor that detects the front direction of the moving body and an acceleration sensor that detects the inclination of the moving body around the second and third axes.
  • the second detection unit may include a geomagnetic sensor that detects the front direction of the control device and an acceleration sensor that detects the inclination of the control device with respect to the horizontal direction and the vertical direction.
  • the above moving body may be a flying body.
  • the control system includes a moving body and a control device.
  • the moving body has an imaging unit, a first detection unit, and a control unit.
  • the first detection unit detects the front direction of the moving body.
  • the control unit is based on the output of the first detection unit, the output of the second detection unit that detects the front direction of the control device, and the input data generated by the control device.
  • the attitude of is controlled to the attitude specified by the control device.
  • the control device has the second detection unit and controls the image pickup unit.
  • the control method of the control unit is The output of the first detection unit that detects the front direction of the moving body is acquired.
  • the output of the second detection unit that detects the front direction of the control device that controls the image pickup unit mounted on the moving body is acquired.
  • the input data generated by the control device is acquired. Based on the outputs of the first and second detection units and the input data, the posture of the imaging unit is controlled to the posture specified by the control device.
  • the program according to one form of the present technology causes the moving body to perform the following steps.
  • FIG. 1 is a block diagram showing a configuration example of a control system 100 according to an embodiment of the present technology.
  • the control system 100 includes a drone body 20 and a controller 10 that controls a camera 23 mounted on the drone body 20.
  • the controller 10 includes a stick 12, a transmitter 14, a display unit 15, and a sensor group 16.
  • the controller 10 is an example of a "control device" in the claims.
  • the sensor group 16 has a compass sensor 11 and an acceleration sensor 13.
  • the sensor group 16 is an example of the "second detection unit" in the claims.
  • the compass sensor 11 detects the earth's magnetic field and sets the plane S1 in which the display unit 15 of the controller 10 is located as a plane in the front direction d2 of the controller 10 and horizontally intersects the upper side S2 of the controller 10 on this plane. It is a geomagnetic sensor that constantly detects the direction of components (see FIG. 7). Specifically, the compass sensor 11 detects the angle ⁇ 1 (see FIG. 8) formed by the magnetic north d0 and the front direction d2 of the controller 10. The compass sensor 11 outputs the sensor data obtained by detecting the front direction d2 (angle ⁇ 1) of the controller 10 to the transmitter 14.
  • the compass sensor 11 may be a 2-axis or 3-axis type geomagnetic sensor, and the type is not limited.
  • the compass sensor 11 may be, for example, a Hall sensor, an MR (Magneto Resistance) sensor, an MI (Magneto Impedance) sensor, or the like.
  • the stick 12 is an operation stick that specifies the direction of the controller 10 with respect to the front direction d2.
  • the user specifies the posture (shooting direction) of the camera 23 in the pan direction by operating the stick 12.
  • the controller 10 may have an arbitrary input control circuit (not shown).
  • the input control circuit generates input data based on the input direction input by the user via the stick 12, and outputs this data to the transmitter 14.
  • the input data of the present embodiment is typically data generated based on the input direction input by the user to the controller 10, but is not limited to this.
  • the input data may be, for example, data generated based on a numerical value or the like input by the user to the controller 10.
  • the acceleration sensor 13 detects the acceleration of the controller 10.
  • the acceleration sensor 13 is configured to be able to detect various movements such as tilt and vibration of the controller 10.
  • the acceleration sensor 13 constantly detects the tilt of the controller 10 in the roll direction and the tilt direction. Specifically, the acceleration sensor 13 has an angle ⁇ 5 (see FIG. 9) formed by the controller 10 in the roll direction and the vertical dv, and an angle ⁇ 7 (see FIG. 10) formed by the controller 10 and the horizontal dh in the tilt direction. To detect.
  • the acceleration sensor 13 outputs the sensor data obtained by detecting the inclination of the controller 10 to the transmitter 14.
  • the user tilts the controller 10 to specify the posture of the camera 23 in the roll direction and the tilt direction.
  • the acceleration sensor 13 may be, for example, a piezoelectric type acceleration sensor, a servo type acceleration sensor, a strain type acceleration sensor, a semiconductor type acceleration sensor, or the like, and the type thereof does not matter.
  • the transmitter 14 transmits the data acquired from the compass sensor 11, the input control circuit, and the acceleration sensor 13 to the receiver 217.
  • the transmitter 14 communicates with the drone machine 20 (drone body 21).
  • the transmitter 14 functions as a communication interface of the controller 10.
  • the display unit 15 displays an image taken by the camera 23.
  • the user may operate the controller 10 while watching the image displayed on the display unit 15.
  • the display unit 15 may be, for example, a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display.
  • the display unit 15 may be omitted if necessary.
  • the drone body 20 has a drone body body 21, a gimbal 22, and a camera 23.
  • the drone body 20 is an example of a "mobile body” within the scope of claims.
  • the drone body 21 has a sensor group 200, a CPU 201, a gimbal actuator 207, and a receiver 217.
  • the drone body 21 is an example of a “moving body” within the scope of the claims.
  • the sensor group 200 detects the posture (front direction d1 and tilt) of the drone body 20.
  • the sensor group 200 includes a compass sensor 208 and an acceleration sensor 209.
  • the sensor group 200 is an example of the "first detection unit" in the claims.
  • the compass sensor 208 is a geomagnetic sensor that detects the earth's magnetic field and constantly detects the front direction d1 of the drone body 20 (the direction in which the controller 10 advances in front, back, left, and right directions). Specifically, the compass sensor 208 detects the angle ⁇ 2 (see FIG. 8) formed by the magnetic north d0 and the front direction d1 of the drone body 20.
  • the compass sensor 208 outputs the sensor data obtained by detecting the front direction d1 (angle ⁇ 2) of the drone body 20 to the CPU 201.
  • the compass sensor 208 may be a 2-axis or 3-axis type geomagnetic sensor, and the type does not matter.
  • the compass sensor 208 may be, for example, a Hall sensor, an MR (Magneto Resistance) sensor, an MI (Magneto Impedance) sensor, or the like.
  • the acceleration sensor 209 detects the acceleration of the drone body 20.
  • the acceleration sensor 209 is configured to be able to detect various movements such as tilt and vibration of the drone body 20.
  • the acceleration sensor 209 constantly detects the tilt of the drone body 20 in the roll direction and the tilt direction. Specifically, the acceleration sensor 209 detects the angles ⁇ 6 and ⁇ 8 (see FIGS. 9 and 10) formed by the drone body 20 and the vertical direction dv and the horizontal direction dh.
  • the angle ⁇ 6 is the angle formed by the rotation axis X1 described later and the vertical direction dv
  • the angle ⁇ 8 is the angle formed by the rotation axis X3 described later and the horizontal direction dh.
  • the acceleration sensor 209 outputs the sensor data obtained by detecting the inclination of the drone body 20 to the CPU 201.
  • the acceleration sensor 209 may be, for example, a piezoelectric type acceleration sensor, a servo type acceleration sensor, a strain type acceleration sensor, a semiconductor type acceleration sensor, or the like, and the type thereof does not matter.
  • the CPU 201 functions as an arithmetic processing device and a control device, and operates the drone machine 20 (drone machine main body 21) in general or its operation according to various programs recorded in the ROM 202, the RAM 203, the storage device 213, or the removable recording medium 30, which will be described later. Control a part.
  • the CPU 201 generates a control signal based on the data acquired from the compass sensor 208, the acceleration sensor 209, and the receiver 217, and outputs this signal to the gimbal actuator 207.
  • the CPU 201 is an example of a "control unit" in the claims.
  • the gimbal actuator 207 is a drive device that drives the gimbal 22 by converting the control signal acquired from the CPU 201 into physical motion.
  • the gimbal actuator 207 controls the posture (shooting direction) of the camera 23 via the gimbal 22 based on the control signal acquired from the CPU 201.
  • the gimbal actuator 207 for example, an electric type, a hydraulic type, or a pneumatic type may be adopted, and the type thereof does not matter.
  • the receiver 217 receives the data output from the compass sensor 11, the input control circuit, and the acceleration sensor 13 from the transmitter 14, and outputs the data to the CPU 201.
  • the receiver 217 communicates with the controller 10 (transmitter 14).
  • the receiver 10 functions as a communication interface for the drone body 21 (drone machine 20).
  • FIG. 2 is a block diagram showing a configuration example of the drone aircraft 20.
  • the drone machine 20 has a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, and a RAM (Random Access Memory) 203.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the drone machine 20 may have a host bus 204, a bridge 205, an external bus 206, an interface 210, an input device 211, an output device 212, a storage device 213, a drive 214, a connection port 215, and a communication device 216.
  • the drone machine 20 may have a processing circuit such as a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Gate Array) in place of or in combination with the CPU 201. ..
  • the drone body 20 may include a GPS receiver that receives a GPS (Global Positioning System) signal to measure the latitude, longitude and altitude of the device.
  • GPS Global Positioning System
  • the ROM 202 stores programs, calculation parameters, etc. used by the CPU 201.
  • the RAM 203 primarily stores a program used in the execution of the CPU 201, parameters that change appropriately in the execution, and the like.
  • the CPU 201, ROM 202, and RAM 203 are connected to each other by a host bus 204 composed of an internal bus such as a CPU bus. Further, the host bus 204 is connected to an external bus 206 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 205.
  • a host bus 204 composed of an internal bus such as a CPU bus.
  • the host bus 204 is connected to an external bus 206 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 205.
  • PCI Peripheral Component Interconnect / Interface
  • the input device 211 is a device operated by a user, such as a mouse, keyboard, touch panel, buttons, switches, and levers.
  • the input device 211 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device 40 such as a mobile phone corresponding to the operation of the drone machine 20.
  • the input device 211 includes an input control circuit that generates an input signal based on the information input by the user and outputs the input signal to the CPU 201. By operating the input device 211, the user inputs various data to the drone machine 20 and instructs the processing operation.
  • the output device 212 is composed of a device capable of notifying the user of the acquired information using sensations such as sight, hearing, and touch.
  • the output device 212 may be, for example, a display device such as an LCD or an organic EL display, an audio output device such as a speaker or headphones, or a vibrator.
  • the output device 212 outputs the result obtained by the processing of the drone machine 20 as a video such as text or an image, a voice such as voice or sound, or a vibration.
  • the storage device 213 is a data storage device configured as an example of the storage unit of the drone machine 20.
  • the storage device 213 is composed of, for example, a magnetic storage device such as an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • the storage device 213 stores, for example, a program executed by the CPU 201, various data, various data acquired from the outside, and the like.
  • the drive 214 is a reader / writer for a removable recording medium 30 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and is built in or externally attached to the drone machine 20.
  • the drive 214 reads the information recorded on the mounted removable recording medium 30 and outputs the information to the RAM 203. Further, the drive 214 writes a record on the removable recording medium 30 mounted on the drive 214.
  • the connection port 215 is a port for connecting the device to the drone body 20.
  • the connection port 215 may be, for example, a USB (Universal Serial Bus) port, an IEEE1394 port, a SCSI (Small Computer System Interface) port, or the like. Further, the connection port 215 may be an RS-232C port, an optical audio terminal, an HDMI (registered trademark) (High-Definition Multimedia Interface) port, or the like.
  • the communication device 216 is, for example, a communication interface composed of a communication device for connecting to the network N.
  • the communication device 216 may be, for example, a communication card for LAN (Local Area Network), Bluetooth (registered trademark), Wi-Fi, or WUSB (Wireless USB).
  • the communication device 216 may be a router for optical communication, a router for ADSL (Asymmetric Digital Subscriber Line), a modem for various communications, or the like.
  • the communication device 216 transmits / receives signals and the like to and from the Internet and other communication devices using a predetermined protocol such as TCP / IP.
  • the network N connected to the communication device 216 is a network connected by wire or wirelessly, and may include, for example, the Internet, a home LAN, infrared communication, radio wave communication, satellite communication, and the like.
  • the receiver 217 may be a communication device 216.
  • FIGS. 3 and 4 are schematic views showing a configuration example of the gimbal 22, and are views showing the operation of the gimbal 22.
  • the rotation axes X1 (first axis), X2 (second axis), and X3 (third axis) are parallel to the Z axis, the X axis, and the Y axis, respectively. Will be described as an example.
  • the X, Y, and Z axes shown in FIGS. 3 and 4 are three-axis directions orthogonal to each other, and are also common in the following figures.
  • the gimbal 22 is a 3-axis gimbal that connects the drone body 21 and the camera 23, and rotatably supports the camera 23 around each rotation axis X1, X2, X3. As shown in FIGS. 3 and 4, the gimbal 22 has a base portion 22a, a first connecting portion 22b, a second connecting portion 22c, and a third connecting portion 22d.
  • the pan direction, tilt direction, and roll direction described above are directions around the rotation axes X1, X2, and X3, respectively, and are the same in the following description.
  • the base portion 22a is provided on the drone body 21.
  • the base portion 22a rotates the first connecting portion 22b in the pan direction.
  • the base portion 22a rotatably supports the first connecting portion 22b around the rotation shaft X1.
  • the first connecting portion 22b connects the base portion 22a and the second connecting portion 22c.
  • the base portion 22a rotates the second connecting portion 22c around the rotating shaft X1 via the first connecting portion 22b, as shown in FIG. 3a. Move it.
  • the second connecting portion 22c is fastened to the first connecting portion 22b and is rotatably supported by the first connecting portion 22b around the rotation shaft X1.
  • the second connecting portion 22c connects the first connecting portion 22b and the third connecting portion 22d, and rotates the third connecting portion 22d in the roll direction.
  • the second connecting portion 22c rotatably supports the third connecting portion 22d around the rotation shaft X3.
  • the third connecting portion 22d connects the second connecting portion 22c and the camera 23, and rotates the camera 23 in the tilt direction. As shown in FIG. 3b, the third connecting portion 22d rotatably supports the camera 23 around the rotation axis X2.
  • the gimbal actuator 207 is, for example, an electric motor housed in each of the base portion 22a and the second and third connecting portions 22c and 22d. It is a motor (not shown).
  • the electric motor housed in the base portion 22a converts the control signal (electric power) acquired from the CPU 201 into the power for rotating the first connecting portion 22b around the rotation shaft X1.
  • the electric motor housed in the second connecting portion 22c converts the control signal acquired from the CPU 201 into the power for rotating the third connecting portion 22d around the rotation shaft X3.
  • the electric motor housed in the third connecting portion 22d converts the control signal into power for rotating the camera 23 around the rotation shaft X2.
  • the camera 23 actually uses various members such as an image pickup device such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device) and a lens for controlling the image formation of a subject image on the image pickup device. It is a device that images a space and generates an image.
  • an image pickup device such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device)
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the camera 23 may capture a still image or may capture a moving image.
  • the camera 23 is an example of the “imaging unit” in the claims.
  • Each of the above components may be configured by using a general-purpose member, or may be composed of a member specialized in the function of each component. Such a configuration can be appropriately changed depending on the technical level at the time of implementation.
  • FIG. 5 is a flowchart showing a typical operation flow of the control system 100
  • FIG. 6 is a conceptual diagram showing an example of arithmetic processing executed by the drone machine 20.
  • the operation of the control system 100 will be described with reference to FIG. 5 as appropriate.
  • Step S101 Calibration
  • the CPU 201 calibrates the compass sensors 11 and 208 so that the angles ⁇ 1 and ⁇ 2 are 0 °, for example, when the front direction d2 and d1 of the controller 10 and the drone body 20 and the magnetic north d0 are parallel. To do.
  • the angle ⁇ 6 is 0 °
  • the angle ⁇ 8 is 0 °.
  • the acceleration sensor 209 is calibrated so as to be.
  • the CPU 201 calibrates the acceleration sensor 13 so that, for example, the inclination of the controller 10 in the roll direction and the tilt direction is 0 ° when the controller 10 and the horizontal direction dh are parallel to each other.
  • the CPU 201 calibrates the gimbal 22 so that the rotation axis X2 is parallel to the drone body 21 and the rotation axis X3 is parallel to the front direction d1 of the drone body and the optical axis direction of the camera 23.
  • Step S102 Specify posture
  • the user specifies the posture of the camera 23 in the pan direction by operating the stick 12 of the controller 10.
  • the input control circuit generates input data based on the posture specified by the user via the stick 12, and outputs this data to the transmitter 14.
  • the acceleration sensor 13 has an angle ⁇ 5 formed by the controller 10 and the vertical direction dv in the roll direction (angle ⁇ 5 formed by the vertical direction dv and the input direction d4, see FIG. 9) and a horizontal direction with the controller 10 in the tilt direction.
  • the angle ⁇ 7 formed by the dh (the angle ⁇ 7 formed by the horizontal direction dh and the input direction d5, see FIG. 10) is detected, and the sensor data obtained thereby is output to the transmitter 14.
  • FIG. 7 is a bird's-eye view schematically showing the drone machine 20 and the user who operates the drone machine 20
  • FIG. 8 is a conceptual diagram showing the front directions d1 and d2 and the input direction d3 of the drone machine 20 and the controller 10 together. is there.
  • the CPU 201 calculates the relative angles ⁇ 3 and ⁇ 4 based on the data acquired from the input control circuit and the sensor data (angles ⁇ 1 and ⁇ 2) acquired from the compass sensors 11 and 208.
  • the relative angle ⁇ 3 is an angle formed by the front direction d2 of the controller 10 and the front direction d1 of the drone body 20.
  • the relative angle ⁇ 4 is an angle formed by the front direction d2 of the controller 10 and the input direction d3 when the user tilts the stick 12.
  • the CPU 201 calculates the control angle ⁇ p of the camera 23 in the pan direction based on the calculated relative angles ⁇ 3 and ⁇ 4, and outputs a control signal based on the control angle ⁇ p to the gimbal actuator 207.
  • control angle ⁇ p is, for example. , Calculated by the following formula (1).
  • the above-mentioned control angle is an angle necessary for shifting from the current posture of the camera 23 to the posture specified by the user, and is the same in the following description.
  • FIG. 9 is a schematic view schematically showing the drone body 20 tilting in the roll direction.
  • the CPU 201 calculates the control angle ⁇ r of the camera 23 in the roll direction based on the sensor data (angles ⁇ 5, ⁇ 6) acquired from the acceleration sensors 13 and 209, and outputs a control signal based on the control angle ⁇ r to the gimbal actuator 207.
  • control angle ⁇ r is, for example. , Calculated by the following formula (2).
  • FIG. 10 is a schematic view schematically showing a drone body 20 tilted in the tilt direction.
  • the CPU 201 calculates the control angle ⁇ t of the camera 23 in the tilt direction based on the sensor data (angles ⁇ 7, ⁇ 8) acquired from the acceleration sensors 13 and 209, and outputs a control signal based on the control angle ⁇ t to the gimbal actuator 207.
  • control angle ⁇ t is, for example. , Calculated by the following formula (3).
  • Step S106 Gimbal control
  • the gimbal actuator 207 converts the control signal based on the control angle ⁇ p acquired from the CPU 201 into the power for rotating the first connecting portion 22b around the rotation axis X1. At this time, the gimbal actuator 207 rotates the first connecting portion 22b in the positive direction by ⁇ p. As a result, as shown in FIG. 8, the second connecting portion 22c rotates in the positive direction by ⁇ p, and the posture of the camera 23 in the pan direction becomes the posture specified by the user.
  • the gimbal actuator 207 converts the control signal based on the control angle ⁇ r acquired from the CPU 201 into the power for rotating the third connecting portion 22d around the rotation axis X3. At this time, the gimbal actuator 207 rotates the third connecting portion 22d in the negative direction by ⁇ r. As a result, as shown in FIG. 9, the third connecting portion 22d rotates in the negative direction by ⁇ r, and the posture of the camera 23 in the roll direction becomes the posture specified by the user.
  • the gimbal actuator 207 converts the control signal based on the control angle ⁇ t acquired from the CPU 201 into the power for rotating the camera 23 around the rotation axis X2. At this time, the gimbal actuator 207 rotates the camera 23 in the negative direction by ⁇ t. As a result, as shown in FIG. 10, the camera 23 rotates in the negative direction by ⁇ t, and the posture of the camera 23 in the tilt direction becomes the posture specified by the user.
  • Step S107 Has a new posture been specified?
  • the user operates the stick 12 of the controller 10 to change the posture of the camera 23 in the pan direction. Specify a new one.
  • the input control circuit generates input data based on the input direction d3'input by the user via the stick 12, and outputs this data to the transmitter 14.
  • the acceleration sensor 13 has an angle ⁇ 10 formed by the controller 10 in the roll direction and the vertical direction dv (angle ⁇ 10 formed by the vertical direction dv and the input direction d4', see FIG. 12) and is horizontal to the controller 10 in the tilt direction.
  • the angle ⁇ 11 formed by the direction dh (the angle ⁇ 11 formed by the horizontal direction dh and the input direction d5', see FIG. 13) is detected, and the sensor data obtained thereby is output to the transmitter 14.
  • FIG. 11 collectively shows the front directions d1 and d2 of the drone body 20 and the controller 10, the current posture of the camera 23 in the pan direction (shooting direction d3), and the input direction d3'newly input by the user. It is a conceptual diagram.
  • the CPU 201 is relative based on the data acquired from the input control circuit, the sensor data acquired from the compass sensors 11 and 208, and the angle ⁇ p formed by the front direction d1 of the drone body 20 and the current shooting direction d3 of the camera 23.
  • the angles ⁇ 9 and ⁇ 12 are calculated.
  • the relative angle ⁇ 9 is an angle formed by the front direction d2 of the controller 10 and the input direction d3'newly input by the user.
  • the relative angle ⁇ 12 is an angle formed by the front direction d2 of the controller 10 and the current shooting direction d3 of the camera 23.
  • the CPU 201 newly calculates the control angle ⁇ p'of the camera 23 in the pan direction based on the calculated relative angles ⁇ 9 and ⁇ 12, and outputs a control signal based on the control angle ⁇ p'to the gimbal actuator 207.
  • the control angle ⁇ p' is For example, it is calculated by the following formula (4).
  • FIG. 12 is a schematic view schematically showing the drone body 20 tilting in the roll direction.
  • the CPU 201 newly calculates a control angle ⁇ r ′ based on the sensor data (angle ⁇ 10) acquired from the acceleration sensor 13 and the angle ⁇ 5 formed by the current camera 23 in the roll direction and the vertical direction dv, and controls the control angle ⁇ r ′.
  • the control signal based on the above is output to the gimbal actuator 207.
  • control angle ⁇ r' is a negative angle (negative direction) and the counterclockwise angle (direction) is a positive angle (positive direction)
  • the control angle ⁇ r' is calculated by the following formula (5).
  • FIG. 13 is a schematic view schematically showing the drone body 20 tilting in the tilt direction.
  • the CPU 201 newly calculates a control angle ⁇ t ′ based on the sensor data (angle ⁇ 11) acquired from the acceleration sensor 13 and the angle ⁇ 7 formed by the current camera 23 in the tilt direction and the horizontal direction dh, and controls the control angle ⁇ t ′.
  • the control signal based on the above is output to the gimbal actuator 207.
  • control angle ⁇ t' is a negative angle (negative direction) and the counterclockwise angle (direction) is a positive angle (positive direction)
  • the control angle ⁇ t' is calculated by the following formula (6).
  • Step S111 Gimbal recontrol
  • the gimbal actuator 207 converts a control signal based on the control angle ⁇ p'acquired from the CPU 201 into power for rotating the first connecting portion 22b around the rotation axis X1. At this time, the gimbal actuator 207 rotates the first connecting portion 22b in the positive direction by ⁇ p'. As a result, as shown in FIG. 11, the second connecting portion 22c rotates in the positive direction by ⁇ p', and the posture of the camera 23 in the pan direction becomes a posture newly specified by the user.
  • the gimbal actuator 207 converts the control signal based on the control angle ⁇ r'acquired from the CPU 201 into the power for rotating the third connecting portion 22d around the rotation axis X3. At this time, the gimbal actuator 207 rotates the third connecting portion 22d in the positive direction by ⁇ r'. As a result, as shown in FIG. 12, the third connecting portion 22d rotates in the positive direction by ⁇ r', and the posture of the camera 23 in the roll direction becomes a posture newly specified by the user.
  • the gimbal actuator 207 converts the control signal based on the control angle ⁇ t'acquired from the CPU 201 into the power for rotating the camera 23 around the rotation axis X2. At this time, the gimbal actuator 207 rotates the camera 23 in the positive direction by ⁇ t'. As a result, as shown in FIG. 13, the camera 23 rotates in the positive direction by ⁇ t', and the posture of the camera 23 in the tilt direction becomes a posture newly specified by the user.
  • ⁇ Action / effect> Conventionally, when controlling a camera mounted on a commercially available drone aircraft, control relative to the current shooting direction of the camera is executed. Specifically, for example, a mobile application operating on a tablet terminal or the like is displayed with a captured image of the camera, and the user controls the camera via a button or the like displayed on the mobile application while viewing the captured image.
  • the control of the camera mounted on the drone aircraft is often controlled by a dedicated camera operator.
  • the drone aircraft when controlling the camera mounted on the drone aircraft, the drone aircraft moves in the pan direction, roll direction and tilt direction, and when the user controls the drone aircraft using the first person view (FPV), the drone aircraft Since the front direction (traveling direction) of the drone changes one by one, it is virtually impossible for the camera operator to instantly perform relative control according to the movement of the drone aircraft.
  • the posture of the camera 23 in the pan direction is specified by the user regardless of the front direction d1 (traveling direction) of the drone body 20. It becomes.
  • the camera 23 faces southward.
  • the posture of the camera 23 in the roll direction and the tilt direction are specified, as shown in FIGS. 9 and 10, the posture of the camera 23 is the posture specified by the user regardless of the tilt of the drone body 20. It becomes.
  • the user can intuitively control the camera 23 without depending on the posture of the drone body 20, and the posture of the camera 23 is the posture specified by the user. It is controlled sequentially and continuously. Therefore, the user can stably shoot in the direction he / she desires.
  • FIG. 14 is a schematic diagram simply showing a configuration example of the controller 10 according to a modification of the present technology.
  • the stick 16 may be adopted instead of the acceleration sensor 13.
  • the range of motion D1 of the stick 16 in the X-axis direction is set as the rotation range in the roll direction of the camera 23
  • the range of motion D2 of the stick 16 in the Y-axis direction is set as the rotation range in the tilt direction of the camera 23.
  • the posture in the roll direction and the tilt direction of 23 may be specified.
  • controller 10 of the above embodiment may have a configuration having a locking mechanism that maintains the posture of the stick 12 even if the user releases the finger from the stick 12, for example.
  • a touch panel may be adopted instead of the stick 12.
  • the touch panel may have a mechanism for continuing to hold the points touched by the user.
  • the posture of the camera 23 is specified by the user manually operating the controller 10, but the posture is not limited to this, and the posture of the camera 23 may be automatically controlled.
  • the controller 10 of the above embodiment has a configuration having a compass sensor 11 and an acceleration sensor 13, but is not limited to this, and has a configuration having a gyro sensor (not shown) in place of or together with the acceleration sensor 13. There may be.
  • the gyro sensor outputs the sensor data obtained by detecting the tilt of the controller 10 to the transmitter 14.
  • the drone body 20 may be configured to have a gyro sensor (not shown) in place of or in addition to the acceleration sensor 209.
  • the gyro sensor outputs the sensor data obtained by detecting the inclination of the drone body 20 to the CPU 201.
  • the CPU 201 of the present embodiment rolls and tilts based on not only the sensor data acquired from the acceleration sensors 13 and 209 but also the sensor data acquired from the gyro sensor mounted on the controller 10 and the drone body 20.
  • the control angle of the camera 23 in the direction may be calculated, and a control signal based on this control angle may be output to the gimbal actuator 207.
  • the gyro sensor for example, a mechanical type, an optical type, a fluid type, a geomagnetic type, a capacitance type or a vibration type may be adopted, and the type thereof is not limited.
  • Embodiments of the present technology are, for example, a mobile body as described above, a maneuvering system, an action performed by the mobile body or maneuvering system, a program for operating the mobile body, and a non-temporary recording of the program.
  • the description is made on the premise that the moving body is a flying body, but the description is not limited to this.
  • the present technology may be applied to a moving body other than a flying body (for example, a robot), and its use is not particularly limited.
  • air vehicles include unmanned aerial vehicles and unmanned helicopters.
  • Imaging unit and A first detector that detects the front direction of the moving object, Based on the output of the first detection unit, the output of the second detection unit that detects the front direction of the control device that controls the image pickup unit, and the input data generated by the control device, the image pickup unit.
  • the moving body including a control unit that controls the posture around the first axis of the above to the posture specified by the control device.
  • the first detection unit detects the inclination of the moving body around the second axis, and detects the inclination of the moving body around the second axis.
  • the second detection unit detects the inclination of the control device with respect to the horizontal direction, and detects the inclination of the control device with respect to the horizontal direction.
  • the control unit controls the posture of the imaging unit around the second axis based on the outputs of the first and second detection units to the posture specified by the control device, as described in (1) above.
  • the first detection unit detects the inclination of the moving body around the third axis, and detects the inclination of the moving body around the third axis.
  • the second detection unit detects the inclination of the control device with respect to the vertical direction, and detects the inclination of the control device in the vertical direction.
  • the control unit controls the posture of the imaging unit around the third axis based on the outputs of the first and second detection units to the posture specified by the control device, as described in (2) above.
  • the main body of the moving body which is the main body of the above moving body, The above (3), wherein the moving body main body and the imaging unit are connected, and a gimbal that rotatably supports the imaging unit around the first, second, and third axes is further provided.
  • Mobile body (5)
  • the control unit is a control angle that is a necessary angle for shifting the current posture of the imaging unit to the posture specified by the control device based on the outputs of the first detection unit and the control device.
  • the control unit has, as the control angle around the first axis, an angle formed by the front direction of the control device and the input direction input to the control device, and the front direction and the front direction of the moving body.
  • the moving body according to (5) above which calculates the difference from the angle formed by the eggplant.
  • the control unit calculates the difference between the angle formed by the third axis and the horizontal direction and the angle formed by the control device and the horizontal direction as the control angle around the second axis.
  • the control unit calculates the difference between the angle formed by the first axis and the vertical direction and the angle formed by the control device and the vertical direction as the control angle around the third axis.
  • the first detection unit includes a geomagnetic sensor that detects the front direction of the moving body and an acceleration sensor that detects the inclination of the moving body around the second and third axes.
  • the second detection unit has a geomagnetic sensor that detects the front direction of the control device and an acceleration sensor that detects the inclination of the control device with respect to the horizontal direction and the vertical direction, from (3) to (8).
  • ) Is one of the moving objects.
  • the moving body according to any one of (1) to (9) above, wherein the moving body is a flying body.
  • Imaging unit and A first detector that detects the front direction of the moving object, Based on the output of the first detection unit, the output of the second detection unit that detects the front direction of the control device, and the input data generated by the control device, the attitude of the imaging unit is determined by the control device.
  • the moving body having a control unit that controls the posture specified by A control system including the second detection unit and the control device for controlling the image pickup unit.
  • the control unit Acquires the output of the first detection unit that detects the front direction of the moving body, The output of the second detection unit that detects the front direction of the control device that controls the image pickup unit mounted on the moving body is acquired.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本技術の一形態に係る移動体は、撮像部と、第1の検出部と、制御部と、を有する。上記第1の検出部は、移動体の正面方向を検出する。上記制御部は、上記第1の検出部の出力と、上記撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力と、上記操縦装置により生成された入力データとに基づいて、上記撮像部の第1の軸周りの姿勢を上記操縦装置により指定された姿勢に制御する。

Description

移動体、操縦システム、制御方法及びプログラム
 本技術は、移動体、操縦システム、当該移動体に搭載された撮像部の制御方法及びプログラムに関する。
 従来、ドローン等の遠隔制御移動体を操縦する技術が開示されている(例えば、特許文献1)このような移動体には、一般的に、景色等を空撮するためのカメラが搭載される。
特開2018-097886号公報
 移動体にカメラを搭載する場合、カメラを少なくとも1軸周りに回転させる、あるいは、3軸周りに回転させることによってカメラの向きを変更する機構も合わせて搭載する場合がある。このような機構を搭載した移動体は、移動体が停止している場合にはカメラの向きの制御が容易である。しかし、移動体が激しく移動する場合には、移動体の動きに影響されて視野が振り回されてしまう場合がある。そこで、移動体を様々な地点に移動させつつもカメラに特定の方向を撮影し続けさせるためには、カメラを特定の方向に向かせ続ける必要がある。
 本技術は以上のような事情に鑑み、例えば、移動体の姿勢に依存せずに、ユーザ所望の方向を継続的に撮影可能とするものである。
 上記課題を解決するため、本技術の一形態に係る移動体は、撮像部と、第1の検出部と、制御部と、を有する。
 上記第1の検出部は、移動体の正面方向を検出する。
 上記制御部は、上記第1の検出部の出力と、上記撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力と、上記操縦装置により生成された入力データとに基づいて、上記撮像部の第1の軸周りの姿勢を上記操縦装置により指定された姿勢に制御する。
 上記第1の検出部は、上記移動体の第2の軸周りの傾きを検出し、
 上記第2の検出部は、上記操縦装置の水平方向に対する傾きを検出し、
 上記制御部は、上記第1及び第2の検出部の出力に基づき、上記撮像部の上記第2の軸周りの姿勢を上記操縦装置により指定された姿勢に制御してもよい。
 上記第1の検出部は、上記移動体の第3の軸周りの傾きを検出し、
 上記第2の検出部は、上記操縦装置の鉛直方向に対する傾きを検出し、
 上記制御部は、当該第1及び第2の検出部の出力に基づき、上記撮像部の上記第3の軸周りの姿勢を上記操縦装置により指定された姿勢に制御してもよい。
 上記移動体の本体である移動体本体と、
 上記移動体本体と上記撮像部とを連結し、上記撮像部を上記第1,第2及び第3の軸周りに回動可能に支持するジンバルとをさらに具備してもよい。
 上記制御部は、上記第1の検出部及び上記操縦装置の出力に基づいて、上記撮像部の現在の姿勢を上記操縦装置により指定された姿勢に移行する上での必要な角度である制御角を算出してもよい。
 上記制御部は、上記第1の軸周りの上記制御角として、上記操縦装置の正面方向と上記操縦装置に入力された入力方向とのなす角度と、当該正面方向と上記移動体の正面方向とのなす角度との差分を算出してもよい。
 上記制御部は、上記第2の軸周りの上記制御角として、上記第3の軸と上記水平方向とのなす角度と、上記操縦装置と上記水平方向とのなす角度との差分を算出してもよい。
 上記制御部は、上記第3の軸周りの上記制御角として、上記第1の軸と上記鉛直方向とのなす角度と、上記操縦装置と上記鉛直方向とのなす角度との差分を算出してもよい。
 上記第1の検出部は、上記移動体の正面方向を検出する地磁気センサと、上記移動体の上記第2及び第3の軸周りの傾きを検出する加速度センサとを有し、
 上記第2の検出部は、上記操縦装置の正面方向を検出する地磁気センサと、上記操縦装置の上記水平方向及び上記鉛直方向に対する傾きを検出する加速度センサとを有してもよい。
 上記移動体は、飛行体であってもよい。
 上記課題を解決するため、本技術の一形態に係る操縦システムは、移動体と、操縦装置と、を有する。
 上記移動体は、撮像部と、第1の検出部と、制御部とを有する。
 上記第1の検出部は、上記移動体の正面方向を検出する。
 上記制御部は、上記第1の検出部の出力と、上記操縦装置の正面方向を検出する第2の検出部の出力と、上記操縦装置により生成された入力データとに基づいて、上記撮像部の姿勢を上記操縦装置により指定された姿勢に制御する。
 上記操縦装置は、上記第2の検出部を有し、上記撮像部を操縦する。
 上記課題を解決するため、本技術の一形態に係る制御部の制御方法は、
 移動体の正面方向を検出する第1の検出部の出力が取得される。
 上記移動体に搭載された撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力が取得される。
 上記操縦装置により生成された入力データが取得される。
 上記第1及び第2の検出部の出力と、上記入力データとに基づいて、上記撮像部の姿勢が上記操縦装置により指定された姿勢に制御される。
 上記課題を解決するため、本技術の一形態に係るプログラムは、移動体に以下のステップを実行させる。
 移動体の正面方向を検出する第1の検出部の出力を取得するステップ。
 上記移動体に搭載された撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力を取得するステップ。
 上記操縦装置により生成された入力データを取得するステップ。
 上記第1及び第2の検出部の出力と、上記入力データとに基づいて、上記撮像部の姿勢を上記操縦装置により指定された姿勢に制御するステップ。
本技術の実施形態に係る操縦システムの構成例を示すブロック図である。 上記操縦システムのドローン機体の構成例を示すブロック図である。 上記ドローン機体のジンバルの構成例を示す模式図である。 上記ジンバルの構成例を示す模式図である。 上記操縦システムの典型的な動作の流れを示すフローチャートである。 上記ドローン機体により実行される演算処理の一例を示す概念図である。 上記ドローン機体と上記ドローン機体を操縦するユーザを模式的に示す鳥瞰図である。 上記ドローン機体の正面方向と、上記操縦システムのコントローラの正面方向と、上記ユーザにより入力された入力方向とをまとめて示す概念図である。 ロール方向に傾く上記ドローン機体を概略的に示す模式図である。 チルト方向に傾く上記ドローン機体を概略的に示す模式図である。 上記ドローン機体の正面方向と、上記コントローラの正面方向と、上記ユーザにより新たに入力された入力方向と、現在のカメラの撮影方向とをまとめて示す概念図である。 ロール方向に傾く上記ドローン機体を概略的に示す模式図である。 チルト方向に傾く上記ドローン機体を概略的に示す模式図である。 本技術の変形例に係るコントローラの構成例を簡略的に示す模式図である。
 以下、図面を参照しながら、本技術の実施形態について説明する。
 <操縦システムの構成>
 図1は、本技術の実施形態に係る操縦システム100の構成例を示すブロック図である。操縦システム100は、図1に示すように、ドローン機体20と、ドローン機体20に搭載されたカメラ23を操縦するコントローラ10とを有する。
 [コントローラ]
 コントローラ10は、スティック12と、送信機14と、表示部15と、センサ群16とを有する。コントローラ10は、特許請求の範囲の「操縦装置」の一例である。
 センサ群16は、図1に示すように、コンパスセンサ11と加速度センサ13とを有する。センサ群16は、特許請求の範囲の「第2の検出部」の一例である。
 コンパスセンサ11は、地球の磁場を検出し、コントローラ10の正面方向d2(コントローラ10の表示部15がある面S1を平面とし、この平面上にあるコントローラ10の上辺S2に対して垂直に交わる水平成分の方向(図7参照))を常時検出する地磁気センサである。具体的には、コンパスセンサ11は、磁北d0とコントローラ10の正面方向d2とのなす角度θ1(図8参照)を検出する。コンパスセンサ11は、コントローラ10の正面方向d2(角度θ1)を検出することにより得られたセンサデータを送信機14に出力する。
 コンパスセンサ11は、2軸又は3軸タイプの地磁気センサであってもよく、その種類は問わない。コンパスセンサ11は、例えばホールセンサ、MR(Magneto Resistance)センサ又はMI(Magneto Impedance)センサ等であってもよい。
 スティック12は、コントローラ10の正面方向d2に対する方向を指定する操作スティックである。ユーザは、スティック12を操作することによってパン方向におけるカメラ23の姿勢(撮影方向)を指定する。
 ここで、コントローラ10は、任意の入力制御回路(図示略)を有してもよい。入力制御回路は、ユーザがスティック12を介して入力した入力方向に基づいた入力データを生成し、このデータを送信機14に出力する。
 なお、本実施形態の入力データは、典型的には、ユーザがコントローラ10に入力した入力方向に基づき生成されたデータであるがこれに限られない。入力データは、例えば、ユーザがコントローラ10に入力した数値等に基づき生成されたデータであってもよい。
 加速度センサ13は、コントローラ10の加速度を検出する。加速度センサ13は、コントローラ10の傾きや振動等といった種々の動きを検出可能に構成される。
 加速度センサ13は、ロール方向及びチルト方向のコントローラ10の傾きを常時検出する。具体的には、加速度センサ13は、ロール方向におけるコントローラ10と鉛直方向dvとなす角度θ5(図9参照)と、チルト方向におけるコントローラ10と水平方向dhとのなす角度θ7(図10参照)を検出する。
 加速度センサ13は、コントローラ10の傾きを検出することにより得られたセンサデータを送信機14に出力する。
 ユーザは、コントローラ10を傾けることによって、ロール方向及びチルト方向におけるカメラ23の姿勢を指定する。加速度センサ13は、例えば、圧電型加速度センサ、サーボ型加速度センサ、ひずみ型加速度センサ又は半導体式加速度センサ等であってもよく、その種類は問わない。
 送信機14は、コンパスセンサ11、入力制御回路及び加速度センサ13から取得したデータを受信機217に送信する。送信機14は、ドローン機体20(ドローン機体本体21)との通信を行う。送信機14は、コントローラ10の通信インターフェースとして機能する。
 表示部15は、カメラ23により撮影された映像を表示する。ユーザは、表示部15に表示された映像を見ながらコントローラ10を操作してもよい。表示部15は、例えば、LCD(Liquid Crystal Display)または有機EL(Electro-Luminescence)ディスプレイなどの表示装置であってもよい。なお、表示部15は、必要に応じて省略されてもよい。
 [ドローン機体]
 ドローン機体20は、ドローン機体本体21、ジンバル22及びカメラ23を有する。ドローン機体20は、特許請求の範囲の「移動体」の一例である。
 (ドローン機体本体)
 ドローン機体本体21は、センサ群200と、CPU201と、ジンバルアクチュエータ207と、受信機217とを有する。ドローン機体本体21は、特許請求の範囲の「移動体本体」の一例である。
 センサ群200は、ドローン機体20の姿勢(正面方向d1及び傾き)を検出する。センサ群200は、コンパスセンサ208と、加速度センサ209とを有する。センサ群200は、特許請求の範囲の「第1の検出部」の一例である。
 コンパスセンサ208は、地球の磁場を検出し、ドローン機体20の正面方向d1(コントローラ10による前後左右への進行指示によって進む方向)を常時検出する地磁気センサである。具体的には、コンパスセンサ208は、磁北d0とドローン機体20の正面方向d1とのなす角度θ2(図8参照)を検出する。
 コンパスセンサ208は、ドローン機体20の正面方向d1(角度θ2)を検出することにより得られたセンサデータをCPU201に出力する。
 コンパスセンサ208は2軸又は3軸タイプの地磁気センサであってもよく、その種類は問わない。コンパスセンサ208は、例えばホールセンサ、MR(Magneto Resistance)センサ又はMI(Magneto Impedance)センサ等であってもよい。
 加速度センサ209は、ドローン機体20の加速度を検出する。加速度センサ209は、ドローン機体20の傾きや振動等といった種々の動きを検出可能に構成される。
 加速度センサ209は、ロール方向及びチルト方向のドローン機体20の傾きを常時検出する。具体的には、加速度センサ209は、ドローン機体20と、鉛直方向dv及び水平方向dhとのなす角度θ6,θ8(図9,10参照)を検出する。本実施形態では、角度θ6は後述する回動軸X1と鉛直方向dvとのなす角度であり、角度θ8は後述する回動軸X3と水平方向dhとのなす角度である。
 加速度センサ209は、ドローン機体20の傾きを検出することにより得られたセンサデータをCPU201に出力する。加速度センサ209は、例えば、圧電型加速度センサ、サーボ型加速度センサ、ひずみ型加速度センサ又は半導体式加速度センサ等であってもよく、その種類は問わない。
 CPU201は、演算処理装置および制御装置として機能し、後述するROM202、RAM203、ストレージ装置213、またはリムーバブル記録媒体30に記録された各種プログラムに従って、ドローン機体20(ドローン機体本体21)の動作全般またはその一部を制御する。
 CPU201は、コンパスセンサ208,加速度センサ209及び受信機217から取得したデータに基づき制御信号を生成し、この信号をジンバルアクチュエータ207に出力する。CPU201は、特許請求の範囲の「制御部」の一例である。
 ジンバルアクチュエータ207は、CPU201から取得した制御信号を物理的な運動に変換することによって、ジンバル22を駆動させる駆動装置である。
 ジンバルアクチュエータ207はCPU201から取得した制御信号に基づき、ジンバル22を介して、カメラ23の姿勢(撮影方向)を制御する。ジンバルアクチュエータ207は、例えば電気式、油圧式又は空気圧式のものが採用されてもよく、その種類は問わない。
 受信機217は、コンパスセンサ11,入力制御回路及び加速度センサ13から出力されたデータを送信機14から受信し、当該データをCPU201に出力する。受信機217は、コントローラ10(送信機14)との通信を行う。受信機10は、ドローン機体本体21(ドローン機体20)の通信インターフェースとして機能する。
 図2は、ドローン機体20の構成例を示すブロック図である。ドローン機体20は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、およびRAM(Random Access Memory)203を有する。
 また、ドローン機体20は、ホストバス204、ブリッジ205、外部バス206、インターフェース210、入力装置211、出力装置212、ストレージ装置213、ドライブ214、接続ポート215、通信装置216を有してもよい。
 さらに、ドローン機体20は、CPU201にかえて、またはこれとともに、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などの処理回路を有してもよい。加えて、ドローン機体20はGPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPS受信機を含んでもよい。
 ROM202は、CPU201が使用するプログラムや演算パラメータなどを記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。
 CPU201、ROM202、およびRAM203は、CPUバスなどの内部バスにより構成されるホストバス204により相互に接続されている。さらに、ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。
 入力装置211は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなど、ユーザによって操作される装置である。入力装置211は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、ドローン機体20の操作に対応した携帯電話などの外部接続機器40であってもよい。
 入力装置211は、ユーザが入力した情報に基づいて入力信号を生成してCPU201に出力する入力制御回路を含む。ユーザは、この入力装置211を操作することによって、ドローン機体20に対して各種のデータを入力したり処理動作を指示したりする。
 出力装置212は、取得した情報をユーザに対して視覚や聴覚、触覚などの感覚を用いて通知することが可能な装置で構成される。出力装置212は、例えば、LCDまたは有機ELディスプレイなどの表示装置、スピーカまたはヘッドフォンなどの音声出力装置、もしくはバイブレータなどでありうる。出力装置212は、ドローン機体20の処理により得られた結果を、テキストもしくは画像などの映像、音声もしくは音響などの音声またはバイブレーションなどとして出力する。
 ストレージ装置213は、ドローン機体20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置213は、例えば、HDD(Hard Disk Drive)などの磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。ストレージ装置213は、例えばCPU201が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
 ドライブ214は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体30のためのリーダライタであり、ドローン機体20に内蔵、あるいは外付けされる。ドライブ214は、装着されているリムーバブル記録媒体30に記録されている情報を読み出して、RAM203に出力する。また、ドライブ214は、装着されているリムーバブル記録媒体30に記録を書き込む。
 接続ポート215は、機器をドローン機体20に接続するためのポートである。接続ポート215は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどでありうる。また、接続ポート215は、RS-232Cポート、光オーディオ端子、HDMI(登録商標)(High-Definition Multimedia Interface)ポートなどであってもよい。接続ポート215に外部接続機器40を接続することで、ドローン機体20と外部接続機器40との間で各種のデータが交換されうる。
 通信装置216は、例えば、ネットワークNに接続するための通信デバイスなどで構成された通信インターフェースである。通信装置216は、例えば、LAN(Local Area Network)、Bluetooth(登録商標)、Wi-Fi、またはWUSB(Wireless USB)用の通信カードなどでありうる。
 また、通信装置216は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置216は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。
 さらに、通信装置216に接続されるネットワークNは、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などを含みうる。受信機217は通信装置216であってもよい。
 (ジンバル)
 図3,4は、ジンバル22の構成例を示す模式図であり、ジンバル22の動作を示す図である。以下、ジンバル22の構成について、回動軸X1(第1の軸),X2(第2の軸),X3(第3の軸)が、それぞれ、Z軸、X軸、Y軸に平行な状態を例に挙げて説明する。なお、図3,4に示すX,Y及びZ軸は相互に直交する3軸方向であり、以下の図においても共通である。
 ジンバル22は、ドローン機体本体21とカメラ23とを連結する3軸ジンバルであり、カメラ23を各回動軸X1,X2,X3周りに回動可能に支持する。ジンバル22は、図3,4に示すように、ベース部22a、第1連結部22b、第2連結部22c及び第3連結部22dを有する。なお、上述のパン方向、チルト方向及びロール方向とは、それぞれ、回動軸X1,X2,X3周りの方向であり、以下の説明でも同様である。
 ベース部22aは、ドローン機体本体21に設けられる。ベース部22aは第1連結部22bをパン方向に回動させる。ベース部22aは、第1連結部22bを回動軸X1周りに回動可能に支持する。
 第1連結部22bはベース部22aと第2連結部22cとを連結する。ベース部22aは第1連結部22bを回動軸X1周りに回動させることによって、図3aに示すように、第1連結部22bを介して第2連結部22cを回動軸X1周りに回動させる。
 第2連結部22cは第1連結部22bに締結され、第1連結部22bに回動軸X1周りに回動可能に支持される。第2連結部22cは第1連結部22bと第3連結部22dとを連結し、第3連結部22dをロール方向に回動させる。第2連結部22cは、図4に示すように、第3連結部22dを回動軸X3周りに回動可能に支持する。
 第3連結部22dは、第2連結部22cとカメラ23とを連結し、カメラ23をチルト方向に回動させる。第3連結部22dは、図3bに示すように、カメラ23を回動軸X2周りに回動可能に支持する。
 ここで、本実施形態のジンバル22が図3,4に示すような構成である場合、ジンバルアクチュエータ207は、例えば、ベース部22a、第2,第3連結部22c,22d各々に収容される電動モーター(図示略)である。
 この場合、ベース部22aに収容された電動モーターはCPU201から取得した制御信号(電力)を、第1連結部22bを回動軸X1周りに回動させる動力に変換する。
 また、第2連結部22cに収容された電動モーターはCPU201から取得した制御信号を、第3連結部22dを回動軸X3周りに回動させる動力に変換する。第3連結部22dに収容された電動モーターは当該制御信号を、カメラ23を回動軸X2周りに回動させる動力に変換する。
 (カメラ)
 カメラ23は、例えば、CMOS(Complementary Metal Oxide Semiconductor)またはCCD(Charge Coupled Device)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。
 カメラ23は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。カメラ23は、特許請求の範囲の「撮像部」の一例である。
 以上、操縦システム100の構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化した部材により構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
 <操縦システムの動作>
 図5は操縦システム100の典型的な動作の流れを示すフローチャートであり、図6はドローン機体20により実行される演算処理の一例を示す概念図である。以下、操縦システム100の動作について、図5を適宜参照しながら説明する。
 [ステップS101:キャリブレーション]
 先ず、CPU201は、コンパスセンサ11,208、加速度センサ13,209及びジンバル22のキャリブレーションを実行する。
 この際、CPU201は、例えば、コントローラ10及びドローン機体20の正面方向d2,d1と磁北d0とが平行である状態が、角度θ1,θ2が0°となるように、コンパスセンサ11,208を較正する。
 また、CPU201は、例えば、回動軸X1と鉛直方向dvとが平行である状態が、角度θ6が0°となり、回動軸X3と水平方向dhとが平行な状態が、角度θ8が0°となるように、加速度センサ209を較正する。
 さらに、CPU201は、例えば、コントローラ10と水平方向dhとが平行である状態が、ロール方向及びチルト方向におけるコントローラ10の傾きが0°となるように、加速度センサ13を較正する。
 加えて、CPU201は、回動軸X2がドローン機体本体21と平行であり、回動軸X3がドローン機体の正面方向d1とカメラ23の光軸方向と平行となるように、ジンバル22を較正する
 [ステップS102:姿勢を指定]
 次に、ユーザは、コントローラ10のスティック12を操作することによって、パン方向におけるカメラ23の姿勢を指定する。これにより、入力制御回路は、ユーザがスティック12を介して指定した姿勢に基づいた入力データを生成し、このデータを送信機14に出力する。
 また、ユーザは、コントローラ10を傾けることによって、ロール方向及びチルト方向におけるカメラ23の姿勢を指定する。これにより、加速度センサ13は、ロール方向におけるコントローラ10と鉛直方向dvとのなす角度θ5(鉛直方向dvと入力方向d4とのなす角度θ5、図9参照)と、チルト方向におけるコントローラ10と水平方向dhとのなす角度θ7(水平方向dhと入力方向d5とのなす角度θ7,図10参照)を検出し、これにより得られたセンサデータを送信機14に出力する。
 [ステップS103:パン制御角算出]
 図7はドローン機体20とドローン機体20を操縦するユーザを模式的に示す鳥瞰図であり、図8はドローン機体20及びコントローラ10の正面方向d1,d2と入力方向d3とをまとめて示す概念図である。
 CPU201は、入力制御回路から取得したデータと、コンパスセンサ11,208から取得したセンサデータ(角度θ1,θ2)とに基づき、相対角度θ3,θ4を算出する。ここで、相対角度θ3とは、コントローラ10の正面方向d2と、ドローン機体20の正面方向d1とのなす角度である。また、相対角度θ4とは、コントローラ10の正面方向d2と、ユーザがスティック12を倒した入力方向d3とのなす角度である。
 次いで、CPU201は、算出した相対角度θ3,θ4に基づきパン方向におけるカメラ23の制御角θpを算出し、制御角θpに基づく制御信号をジンバルアクチュエータ207に出力する。
 図8を例に挙げると、時計周りの角度(方向)を負角(負方向)とし、反時計周りの角度(方向)を正角(正方向)とした場合に、制御角θpは、例えば、下記式(1)により算出される。なお、上述した制御角とは、カメラ23の現在の姿勢からユーザにより指定された姿勢に移行させる上での必要な角度であり、以下の説明においても同様である。
 θp=-θ1+(+θ4)-(+θ2)=θ4-(θ1+θ2)=θ4-θ3・・・(1)
 [ステップS104:ロール制御角算出]
 図9はロール方向に傾くドローン機体20を概略的に示す模式図である。CPU201は、加速度センサ13,209から取得したセンサデータ(角度θ5,θ6)に基づきロール方向におけるカメラ23の制御角θrを算出し、制御角θrに基づく制御信号をジンバルアクチュエータ207に出力する。
 図9を例に挙げると、時計周りの角度(方向)を負角(負方向)とし、反時計周りの角度(方向)を正角(正方向)とした場合に、制御角θrは、例えば、下記式(2)により算出される。
 θr=(-θ5)-(+θ6)=-(θ5+θ6)・・・(2)
 [ステップS105:チルト制御角算出]
 図10はチルト方向に傾くドローン機体20を概略的に示す模式図である。CPU201は、加速度センサ13,209から取得したセンサデータ(角度θ7,θ8)に基づきチルト方向におけるカメラ23の制御角θtを算出し、制御角θtに基づく制御信号をジンバルアクチュエータ207に出力する。
 図10を例に挙げると、時計周りの角度(方向)を負角(負方向)とし、反時計周りに角度(方向)を正角(正方向)とした場合に、制御角θtは、例えば、下記式(3)により算出される。
 θt=(-θ7)-(+θ8)=-(θ7+θ8)・・・(3)
 [ステップS106:ジンバル制御]
 ジンバルアクチュエータ207は、CPU201から取得した、制御角θpに基づく制御信号を、第1連結部22bを回動軸X1周りに回動させる動力に変換する。この際、ジンバルアクチュエータ207は、第1連結部22bを正方向にθpだけ回動させる。これにより、図8に示すように、第2連結部22cが正方向にθpだけ回動し、パン方向におけるカメラ23の姿勢がユーザにより指定された姿勢となる。
 また、ジンバルアクチュエータ207は、CPU201から取得した、制御角θrに基づく制御信号を、第3連結部22dを回動軸X3周りに回動させる動力に変換する。この際、ジンバルアクチュエータ207は、第3連結部22dを負方向にθrだけ回動させる。これにより、図9に示すように、第3連結部22dが負方向にθrだけ回動し、ロール方向におけるカメラ23の姿勢がユーザにより指定された姿勢となる。
 さらに、ジンバルアクチュエータ207は、CPU201から取得した、制御角θtに基づく制御信号を、カメラ23を回動軸X2周りに回動させる動力に変換する。この際、ジンバルアクチュエータ207は、カメラ23を負方向にθtだけ回動させる。これにより、図10に示すように、カメラ23が負方向にθtだけ回動し、チルト方向におけるカメラ23の姿勢がユーザにより指定された姿勢となる。
 [ステップS107:新たに姿勢が指定されたか?]
 次に、ユーザによりコントローラ10を介してカメラ23の姿勢が新たに指定される場合(ステップS107のYES)、ユーザは、コントローラ10のスティック12を操作することによって、パン方向におけるカメラ23の姿勢を新たに指定する。これにより、入力制御回路は、ユーザがスティック12を介して入力した入力方向d3´に基づいた入力データを生成し、このデータを送信機14に出力する。
 また、ユーザは、コントローラ10を傾けることによって、ロール方向及びチルト方向におけるカメラ23の姿勢を新たに指定する。これにより、加速度センサ13は、ロール方向におけるコントローラ10と鉛直方向dvとのなす角度θ10(鉛直方向dvと入力方向d4´とのなす角度θ10、図12参照)と、チルト方向におけるコントローラ10と水平方向dhとのなす角度θ11(水平方向dhと入力方向d5´とのなす角度θ11,図13参照)を検出し、これにより得られたセンサデータを送信機14に出力する。
 一方、ユーザによりコントローラ10を介してカメラ23の姿勢が新たに指定されない場合(ステップS107のNO)、即ち、カメラ23の姿勢がコントローラ10を介して指定され続けている場合は、当該指定された姿勢が継続される。
 [ステップS108:パン制御角算出]
 図11は、ドローン機体20及びコントローラ10の正面方向d1,d2と、パン方向における現在のカメラ23の姿勢(撮影方向d3)と、ユーザにより新たに入力された入力方向d3´とをまとめて示す概念図である。
 CPU201は、入力制御回路から取得したデータと、コンパスセンサ11,208から取得したセンサデータと、ドローン機体20の正面方向d1とカメラ23の現在の撮影方向d3とのなす角度θpとに基づき、相対角度θ9,θ12を算出する。
 ここで、相対角度θ9とは、コントローラ10の正面方向d2と、ユーザにより新たに入力された入力方向d3´とのなす角度である。また、相対角度θ12とは、コントローラ10の正面方向d2と、カメラ23の現在の撮影方向d3とのなす角度である。
 次いで、CPU201は、算出した相対角度θ9,θ12に基づきパン方向におけるカメラ23の制御角θp´を新たに算出し、制御角θp´に基づく制御信号をジンバルアクチュエータ207に出力する。図11を例に挙げると、時計周りの角度(方向)を負角(負方向)とし、反時計周りの角度(方向)を正角(正方向)とした場合に、制御角θp´は、例えば、下記式(4)により算出される。
 θp´=-θ1+(+θ9)-(+θ2)-(+θp)=θ9-(θ1+θ2+θp)=θ9-θ12・・・(4)
 [ステップS109:ロール制御角算出]
 図12はロール方向に傾くドローン機体20を概略的に示す模式図である。CPU201は、加速度センサ13から取得したセンサデータ(角度θ10)と、ロール方向における現在のカメラ23と鉛直方向dvとのなす角度θ5とに基づき制御角θr´を新たに算出し、制御角θr´に基づく制御信号をジンバルアクチュエータ207に出力する。
 図12を例に挙げると、時計周りの角度(方向)を負角(負方向)とし、反時計周りの角度(方向)を正角(正方向)とした場合に、制御角θr´は、例えば、下記式(5)により算出される。
 θr´=(+θ10)-(-θ5)=θ10+θ5・・・(5)
 [ステップS110:チルト制御角算出]
 図13はチルト方向に傾くドローン機体20を概略的に示す模式図である。CPU201は、加速度センサ13から取得したセンサデータ(角度θ11)と、チルト方向における現在のカメラ23と水平方向dhとのなす角度θ7とに基づき制御角θt´を新たに算出し、制御角θt´に基づく制御信号をジンバルアクチュエータ207に出力する。
 図13を例に挙げると、時計周りの角度(方向)を負角(負方向)とし、反時計周りの角度(方向)を正角(正方向)とした場合に、制御角θt´は、例えば、下記式(6)により算出される。
 θt´=(+θ11)-(-θ7)=θ11+θ7・・・(6)
 [ステップS111:ジンバル再制御]
 ジンバルアクチュエータ207は、CPU201から取得した、制御角θp´に基づく制御信号を、第1連結部22bを回動軸X1周りに回動させる動力に変換する。この際、ジンバルアクチュエータ207は、第1連結部22bを正方向にθp´だけ回動させる。これにより、図11に示すように、第2連結部22cが正方向にθp´だけ回動し、パン方向におけるカメラ23の姿勢がユーザにより新たに指定された姿勢となる。
 また、ジンバルアクチュエータ207は、CPU201から取得した、制御角θr´に基づく制御信号を、第3連結部22dを回動軸X3周りに回動させる動力に変換する。この際、ジンバルアクチュエータ207は、第3連結部22dを正方向にθr´だけ回動させる。これにより、図12に示すように、第3連結部22dが正方向にθr´だけ回動し、ロール方向におけるカメラ23の姿勢がユーザにより新たに指定された姿勢となる。
 さらに、ジンバルアクチュエータ207は、CPU201から取得した、制御角θt´に基づく制御信号を、カメラ23を回動軸X2周りに回動させる動力に変換する。この際、ジンバルアクチュエータ207は、カメラ23を正方向にθt´だけ回動させる。これにより、図13に示すように、カメラ23が正方向にθt´だけ回動し、チルト方向におけるカメラ23の姿勢がユーザにより新たに指定された姿勢となる。
 <作用・効果>
 従来、市販のドローン機体に搭載されたカメラを制御する場合、カメラの現在の撮影方向に対する相対的な制御が実行される。具体的には、例えば、タブレット端末等で動作するモバイルアプリケーションにカメラの撮影画像を表示させ、ユーザはこの撮影画像を観ながらモバイルアプリケーション上に表示されたボタン等を介してカメラを制御する。
 ここで、ユーザはドローン機体を操縦するだけでも集中力を要するため、ドローン機体に搭載されたカメラの制御は専用のカメラ操縦者により制御される場合が多い。この場合、カメラ操縦者はドローン機体の現在の姿勢や動きを瞬時に把握することが困難であり、カメラを制御する上でタイムラグが生じることによって、カメラを特定方向に向かせつづけることが難しい。
 特に、ドローン機体に搭載されたカメラを制御する場合、ドローン機体はパン方向、ロール方向及びチルト方向に移動し、ユーザが一人称視点(FPV)を利用してドローン機体を操縦する場合にはドローン機体の正面方向(進行方向)が逐一変化するため、カメラ操縦者がドローン機体の動きに合わせた相対的な制御を瞬時に実行することは事実上不可能である。
 これに対し、本実施形態の操縦システム100では、図8に示すように、ドローン機体20の正面方向d1(進行方向)によらずに、カメラ23のパン方向における姿勢がユーザにより指定された姿勢となる。
 例えば、ユーザ(コントーラ10)が北を向いている時にスティック12を右に倒した場合、カメラ23は東方向を向き、ユーザ(コントローラ10)が西を向いている時にスティック12を左に倒した場合、カメラ23は南方向を向く。
 また、カメラ23のロール方向及びチルト方向における姿勢が指定された場合には、図9,10に示すように、ドローン機体20の傾きによらずに、カメラ23の姿勢がユーザにより指定された姿勢となる。
 これらのことから、本実施形態の操縦システム100によれば、ドローン機体20の姿勢に依存せずにユーザによるカメラ23の直観的な制御が可能となり、カメラ23の姿勢がユーザにより指定された姿勢に逐次連続的に制御される。従って、ユーザは、自身が所望とする方向を安定して撮影することができる。
 <変形例>
 以上、本技術の実施形態について説明したが、本技術は上述の実施形態に限定されるものではなく種々変更を加え得ることは勿論である。
 図14は、本技術の変形例に係るコントローラ10の構成例を簡略的に示す模式図である。上記実施形態では、例えば、加速度センサ13にかえてスティック16が採用されてもよい。この場合、X軸方向のスティック16の可動域D1をカメラ23のロール方向の回動域とし、Y軸方向のスティック16の可動域D2をカメラ23のチルト方向の回動域とすることでカメラ23のロール方向及びチルト方向における姿勢が指定されてもよい。
 また、上記実施形態のコントローラ10は、例えば、ユーザがスティック12から指を離しても、スティック12の姿勢が維持されるロック機構を有する構成であってもよい。
 さらに、上記実施形態では、例えば、スティック12にかえてタッチパネルが採用されてもよい。この場合、当該タッチパネルはユーザによりタッチされたポイントを保持し続ける仕組みであってもよい。
 加えて、上記実施形態の操縦システム100では、コントローラ10をユーザが手動で操作することによりカメラ23の姿勢が指定されるがこれに限られず、カメラ23の姿勢が自動で制御されてもよい。
 また、上記実施形態のコントローラ10は、コンパスセンサ11と加速度センサ13とを有する構成であるがこれに限られず、加速度センサ13にかえて、またはこれとともに、ジャイロセンサ(図示略)を有する構成であってもよい。当該ジャイロセンサは、コントローラ10の傾きを検出することにより得られたセンサデータを送信機14に出力する。
 同様に、ドローン機体20も加速度センサ209にかえて、またはこれとともに、ジャイロセンサ(図示略)を有する構成であってもよい。当該ジャイロセンサは、ドローン機体20の傾きを検出することにより得られたセンサデータをCPU201に出力する。
 ここで、本実施形態のCPU201は、加速度センサ13,209から取得したセンサデータのみならず、コントローラ10及びドローン機体20に搭載されたジャイロセンサから取得したセンサデータにも基づいて、ロール方向及びチルト方向におけるカメラ23の制御角を算出し、この制御角に基づく制御信号をジンバルアクチュエータ207に出力してもよい。ジャイロセンサは、例えば機械式、光学式、流体式、地磁気式、静電容量式又は振動式のものが採用されてもよくその種類は問わない。
 <補足>
 本技術の実施形態は、例えば、上記で説明したような移動体、操縦システム、移動体または操縦システムで実行される動作、移動体を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
 また、本実施形態の操縦システム100では、移動体が飛行体であることを前提として説明したがこれに限られない。本技術は、飛行体以外の他の移動体(例えばロボット等)に適用されてもよく、その用途は特に限定されない。なお、飛行体には、所謂ドローンの他に、無人飛行機や無人ヘリコプター等が含まれる。
 さらに、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
 以上、添付図面を参照しながら本技術の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本技術の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本技術の技術的範囲に属するものと了解される。
 なお、本技術は以下のような構成もとることができる。
 (1)
 撮像部と、
 移動体の正面方向を検出する第1の検出部と、
 上記第1の検出部の出力と、上記撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力と、上記操縦装置により生成された入力データとに基づいて、上記撮像部の第1の軸周りの姿勢を上記操縦装置により指定された姿勢に制御する制御部と
 を具備する前記移動体。
 (2)
 上記第1の検出部は、上記移動体の第2の軸周りの傾きを検出し、
 上記第2の検出部は、上記操縦装置の水平方向に対する傾きを検出し、
 上記制御部は、上記第1及び第2の検出部の出力に基づき、上記撮像部の上記第2の軸周りの姿勢を上記操縦装置により指定された姿勢に制御する、上記(1)に記載の移動体。
 (3)
 上記第1の検出部は、上記移動体の第3の軸周りの傾きを検出し、
 上記第2の検出部は、上記操縦装置の鉛直方向に対する傾きを検出し、
 上記制御部は、当該第1及び第2の検出部の出力に基づき、上記撮像部の上記第3の軸周りの姿勢を上記操縦装置により指定された姿勢に制御する、上記(2)に記載の移動体。
 (4)
 上記移動体の本体である移動体本体と、
 上記移動体本体と上記撮像部とを連結し、上記撮像部を上記第1,第2及び第3の軸周りに回動可能に支持するジンバルとをさらに具備する、上記(3)に記載の移動体。
 (5)
 上記制御部は、上記第1の検出部及び上記操縦装置の出力に基づいて、上記撮像部の現在の姿勢を上記操縦装置により指定された姿勢に移行する上での必要な角度である制御角を算出する、上記(3)又は(4)に記載の移動体。
 (6)
 上記制御部は、上記第1の軸周りの上記制御角として、上記操縦装置の正面方向と上記操縦装置に入力された入力方向とのなす角度と、当該正面方向と上記移動体の正面方向とのなす角度との差分を算出する、上記(5)に記載の移動体。
 (7)
 上記制御部は、上記第2の軸周りの上記制御角として、上記第3の軸と上記水平方向とのなす角度と、上記操縦装置と上記水平方向とのなす角度との差分を算出する、上記(5)又は(6)に記載の移動体。
 (8)
 上記制御部は、上記第3の軸周りの上記制御角として、上記第1の軸と上記鉛直方向とのなす角度と、上記操縦装置と上記鉛直方向とのなす角度との差分を算出する、上記(5)から(7)のいずれか1つに記載の移動体。
 (9)
 上記第1の検出部は、上記移動体の正面方向を検出する地磁気センサと、上記移動体の上記第2及び第3の軸周りの傾きを検出する加速度センサとを有し、
 上記第2の検出部は、上記操縦装置の正面方向を検出する地磁気センサと、上記操縦装置の上記水平方向及び上記鉛直方向に対する傾きを検出する加速度センサとを有する、上記(3)から(8)のいずれか1つに記載の移動体。
 (10)
 上記移動体は飛行体である、上記(1)から(9)のいずれか1つに記載の移動体。
 (11)
  撮像部と、
  移動体の正面方向を検出する第1の検出部と、
  上記第1の検出部の出力と、操縦装置の正面方向を検出する第2の検出部の出力と、上記操縦装置により生成された入力データとに基づいて、上記撮像部の姿勢を上記操縦装置により指定された姿勢に制御する制御部と
 を有する上記移動体と、
 上記第2の検出部を有し、上記撮像部を操縦する上記操縦装置と
 を具備する操縦システム。
 (12)
 制御部が、
 移動体の正面方向を検出する第1の検出部の出力を取得し、
 上記移動体に搭載された撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力を取得し、
 上記操縦装置により生成された入力データを取得し、
 上記第1及び第2の検出部の出力と、上記入力データとに基づいて、上記撮像部の姿勢を上記操縦装置により指定された姿勢に制御する、制御方法。
 (13)
 移動体の正面方向を検出する第1の検出部の出力を取得するステップと、
 上記移動体に搭載された撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力を取得するステップと、
 上記操縦装置により生成された入力データを取得するステップと、
 上記第1及び第2の検出部の出力と、上記入力データとに基づいて、上記撮像部の姿勢を上記操縦装置により指定された姿勢に制御するステップと
 を上記移動体に実行させるプログラム。
 10・・・コントローラ
 11,208・・・コンパスセンサ
 12・・・スティック
 13,209・・・加速度センサ
 14・・・送信機
 20・・・ドローン機体
 21・・・ドローン機体本体
 22・・ジンバル
 23・・・カメラ
 100・・・操縦システム
 200・・・センサ群
 201・・・CPU
 207・・・ジンバルアクチュエータ
 X1,X2,X3・・・回動軸

Claims (13)

  1.  撮像部と、
     移動体の正面方向を検出する第1の検出部と、
     前記第1の検出部の出力と、前記撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力と、前記操縦装置により生成された入力データとに基づいて、前記撮像部の第1の軸周りの姿勢を前記操縦装置により指定された姿勢に制御する制御部と
     を具備する前記移動体。
  2.  前記第1の検出部は、前記移動体の第2の軸周りの傾きを検出し、
     前記第2の検出部は、前記操縦装置の水平方向に対する傾きを検出し、
     前記制御部は、前記第1及び第2の検出部の出力に基づき、前記撮像部の前記第2の軸周りの姿勢を前記操縦装置により指定された姿勢に制御する、請求項1に記載の移動体。
  3.  前記第1の検出部は、前記移動体の第3の軸周りの傾きを検出し、
     前記第2の検出部は、前記操縦装置の鉛直方向に対する傾きを検出し、
     前記制御部は、当該第1及び第2の検出部の出力に基づき、前記撮像部の前記第3の軸周りの姿勢を前記操縦装置により指定された姿勢に制御する、請求項2に記載の移動体。
  4.  前記移動体の本体である移動体本体と、
     前記移動体本体と前記撮像部とを連結し、前記撮像部を前記第1,第2及び第3の軸周りに回動可能に支持するジンバルとをさらに具備する、請求項3に記載の移動体。
  5.  前記制御部は、前記第1の検出部及び前記操縦装置の出力に基づいて、前記撮像部の現在の姿勢を前記操縦装置により指定された姿勢に移行する上での必要な角度である制御角を算出する、請求項3に記載の移動体。
  6.  前記制御部は、前記第1の軸周りの前記制御角として、前記操縦装置の正面方向と前記操縦装置に入力された入力方向とのなす角度と、当該正面方向と前記移動体の正面方向とのなす角度との差分を算出する、請求項5に記載の移動体。
  7.  前記制御部は、前記第2の軸周りの前記制御角として、前記第3の軸と前記水平方向とのなす角度と、前記操縦装置と前記水平方向とのなす角度との差分を算出する、請求項6に記載の移動体。
  8.  前記制御部は、前記第3の軸周りの前記制御角として、前記第1の軸と前記鉛直方向とのなす角度と、前記操縦装置と前記鉛直方向とのなす角度との差分を算出する、請求項7に記載の移動体。
  9.  前記第1の検出部は、前記移動体の正面方向を検出する地磁気センサと、前記移動体の前記第2及び第3の軸周りの傾きを検出する加速度センサとを有し、
     前記第2の検出部は、前記操縦装置の正面方向を検出する地磁気センサと、前記操縦装置の前記水平方向及び前記鉛直方向に対する傾きを検出する加速度センサとを有する、請求項3に記載の移動体。
  10.  前記移動体は飛行体である、請求項1に記載の移動体。
  11.   撮像部と、
      移動体の正面方向を検出する第1の検出部と、
      前記第1の検出部の出力と、操縦装置の正面方向を検出する第2の検出部の出力と、前記操縦装置により生成された入力データとに基づいて、前記撮像部の姿勢を前記操縦装置により指定された姿勢に制御する制御部と
     を有する前記移動体と、
     前記第2の検出部を有し、前記撮像部を操縦する前記操縦装置と
     を具備する操縦システム。
  12.  制御部が、
     移動体の正面方向を検出する第1の検出部の出力を取得し、
     前記移動体に搭載された撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力を取得し、
     前記操縦装置により生成された入力データを取得し、
     前記第1及び第2の検出部の出力と、前記入力データとに基づいて、前記撮像部の姿勢を前記操縦装置により指定された姿勢に制御する、制御方法。
  13.  移動体の正面方向を検出する第1の検出部の出力を取得するステップと、
     前記移動体に搭載された撮像部を操縦する操縦装置の正面方向を検出する第2の検出部の出力を取得するステップと、
     前記操縦装置により生成された入力データを取得するステップと、
     前記第1及び第2の検出部の出力と、前記入力データとに基づいて、前記撮像部の姿勢を前記操縦装置により指定された姿勢に制御するステップと
     を前記移動体に実行させるプログラム。
PCT/JP2020/008875 2019-04-23 2020-03-03 移動体、操縦システム、制御方法及びプログラム WO2020217715A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/603,639 US11703856B2 (en) 2019-04-23 2020-03-03 Moving body, steering system, control method, and program
JP2021515846A JPWO2020217715A1 (ja) 2019-04-23 2020-03-03

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-081776 2019-04-23
JP2019081776 2019-04-23

Publications (1)

Publication Number Publication Date
WO2020217715A1 true WO2020217715A1 (ja) 2020-10-29

Family

ID=72942450

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/008875 WO2020217715A1 (ja) 2019-04-23 2020-03-03 移動体、操縦システム、制御方法及びプログラム

Country Status (3)

Country Link
US (1) US11703856B2 (ja)
JP (1) JPWO2020217715A1 (ja)
WO (1) WO2020217715A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230009190A1 (en) * 2021-07-12 2023-01-12 Ostrich Air Flight-capable rail-based system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186591A (ja) * 2011-03-04 2012-09-27 Jvc Kenwood Corp カメラ制御装置、カメラ制御方法及びカメラ制御プログラム
JP2017509034A (ja) * 2013-07-31 2017-03-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 遠隔制御方法および端末
JP2017119501A (ja) * 2015-08-06 2017-07-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8903568B1 (en) * 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
JP6843779B2 (ja) 2018-01-16 2021-03-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd ヘッドレスモードに基づく無人機の制御方法とデバイス

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012186591A (ja) * 2011-03-04 2012-09-27 Jvc Kenwood Corp カメラ制御装置、カメラ制御方法及びカメラ制御プログラム
JP2017509034A (ja) * 2013-07-31 2017-03-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 遠隔制御方法および端末
JP2017119501A (ja) * 2015-08-06 2017-07-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器

Also Published As

Publication number Publication date
JPWO2020217715A1 (ja) 2020-10-29
US20220197278A1 (en) 2022-06-23
US11703856B2 (en) 2023-07-18

Similar Documents

Publication Publication Date Title
TWI634047B (zh) 遠端控制方法及終端
JP2013144539A (ja) 遠隔制御装置によって無人機を直観的に操縦するための方法
US9738382B2 (en) Drone immersion-piloting system
KR20180075191A (ko) 무인 이동체를 제어하기 위한 방법 및 전자 장치
US20210203826A1 (en) Vibration Damping Gimbal Sleeve for an Aerial Vehicle
US20160352992A1 (en) Image Stabilization Mechanism
WO2018064831A1 (zh) 一种云台、无人机及其控制方法
JP4690376B2 (ja) 遠隔操作装置、遠隔操作システム及び電気機器
US9703288B1 (en) System and method for aerial system control
US11076082B2 (en) Systems and methods for digital video stabilization
US20140008496A1 (en) Using handheld device to control flying object
CN110986930B (zh) 设备定位方法、装置、电子设备及存储介质
TW201537977A (zh) 全景景象拍攝及瀏覽之行動裝置、系統及方法
EP2370886A1 (en) Method and apparatus for determining a user input from inertial sensors
US10150576B2 (en) Vibration damping gimbal sleeve for an aerial vehicle
WO2020042152A1 (zh) 手持云台的控制方法、手持云台及图像获取设备
US20130321656A1 (en) Wireless network connected camera positioning system
WO2018094701A1 (zh) 无人机导航系统和导航方法
US20190172271A1 (en) Information processing device, information processing method, and program
WO2020217715A1 (ja) 移動体、操縦システム、制御方法及びプログラム
WO2019119441A1 (zh) 体感控制器控制云台的方法、云台、体感控制器和系统
JP5471224B2 (ja) 撮像システム、撮像装置、情報処理装置及び撮像方法
WO2019227410A1 (zh) 姿态转换方法、姿态显示方法及云台系统
WO2021168821A1 (zh) 可移动平台的控制方法和设备
WO2020062163A1 (zh) 云台的控制方法及手持云台、手持设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20796249

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021515846

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20796249

Country of ref document: EP

Kind code of ref document: A1