WO2021059684A1 - 情報処理システム、情報処理方法、情報処理プログラム - Google Patents

情報処理システム、情報処理方法、情報処理プログラム Download PDF

Info

Publication number
WO2021059684A1
WO2021059684A1 PCT/JP2020/027458 JP2020027458W WO2021059684A1 WO 2021059684 A1 WO2021059684 A1 WO 2021059684A1 JP 2020027458 W JP2020027458 W JP 2020027458W WO 2021059684 A1 WO2021059684 A1 WO 2021059684A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
information processing
speed
value
moving body
Prior art date
Application number
PCT/JP2020/027458
Other languages
English (en)
French (fr)
Inventor
石塚 達也
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/640,628 priority Critical patent/US20220404841A1/en
Priority to JP2021548365A priority patent/JP7544061B2/ja
Priority to CN202080065662.0A priority patent/CN114424137A/zh
Publication of WO2021059684A1 publication Critical patent/WO2021059684A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/10Propulsion
    • B64U50/19Propulsion using electrically powered motors
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/30Supply or distribution of electrical power
    • B64U50/31Supply or distribution of electrical power generated by photovoltaics

Definitions

  • This technology relates to information processing systems, information processing methods, and information processing programs.
  • Patent Document 1 A technique for operating a mobile robot has been proposed (Patent Document 1).
  • This technology was made in view of these points, and an object of the present technology is to provide an information processing system, an information processing method, and an information processing program capable of easily controlling the speed of a moving body.
  • the first technique includes an information processing device that controls the speed of a moving body that autonomously moves in a preset trajectory, and an input unit that receives input from the user, and inputs from the user. It is an information processing system including an input device that supplies an input value used for speed control to the information processing device.
  • the second technique is an information processing method that controls the speed of a moving body that autonomously moves in a predetermined trajectory based on an input value input to an input device including an input unit that receives input from a user. is there.
  • the third technology is an information processing method for controlling the speed of a moving body that autonomously moves in a predetermined trajectory based on an input value input to an input device including an input unit that receives input from a user. It is an information processing program that is executed by a computer.
  • FIG. 4A is an external view of the first example of the input device 200
  • FIG. 4B is a block diagram of the input device 200.
  • It is a block diagram which shows the structure of the information processing apparatus 300. It is explanatory drawing of the process of extracting a target position / time from a preliminary trajectory. It is a block diagram which shows the structure of the image pickup apparatus 400.
  • Embodiment> [1-1. overall structure] [1-2. Configuration of mobile 100] [1-3. Configuration of input device 200] [1-3-1. First Configuration Example of Input Device 200] [1-3-2. Second configuration example of the input device 200] [1-4. Information processing device configuration and speed control processing] [1-4-1. Preliminary orbit] [1-4-2. Configuration and processing of information processing device 300] [1-5. Configuration of image pickup device 400] ⁇ 2. Modification example>
  • the mobile body 100 is an electric small aircraft (unmanned aerial vehicle) called a drone.
  • the input device 200 is a controller used by the user on the ground, and transmits information for performing speed control to the information processing device 300 based on the input content from the user.
  • the input device 200 includes a terminal device type input device 200A and a dedicated controller type input device 200B.
  • the information processing device 300 operates on the mobile body 100 and controls the speed of the mobile body 100 according to an instruction from the input device 200.
  • the image pickup device 400 is mounted on the moving body 100 via the gimbal 500, and captures a still image / moving image in response to a user's input during the autonomous movement of the moving body 100.
  • the image pickup apparatus 400 is not an essential configuration.
  • the information processing system 1000 can control the speed of the moving body 100, and the image pickup device 400 can take a picture while the moving body 100 is moving.
  • the "position” includes not only the translational direction but also the “posture” in the rotational direction
  • the "velocity” includes not only the translational direction but also the “angular velocity” in the rotational direction. ..
  • FIG. 2A is an external plan view of the moving body 100
  • FIG. 2B is an external front view of the moving body 100.
  • the machine body is composed of, for example, a cylindrical or square tubular body portion 1 as a central portion, and support shafts 2a to 2d fixed to the upper portion of the body portion 1.
  • the four support shafts 2a to 2d extend radially from the center of the body portion 1.
  • the body portion 1 and the support shafts 2a to 2d are made of a lightweight and high-strength material such as carbon fiber.
  • each component of the machine body including the body portion 1 and the support shafts 2a to 2d are designed so that the center of gravity thereof is on the vertical line passing through the center of the support shafts 2a to 2d.
  • a circuit unit 5 and a battery 6 are provided in the body portion 1 so that the center of gravity is on the vertical line.
  • the number of rotor blades and actuators is 4, but the number of rotor blades and actuators may be 4 or more or less.
  • Actuators 3a to 3d as drive sources for rotary blades are attached to the tips of the support shafts 2a to 2d, respectively.
  • Rotor blades 4a to 4d are attached to the rotating shafts of the actuators 3a to 3d.
  • the circuit unit 5 including the UAV control unit 101 for controlling each actuator is attached to the central portion where the support shafts 2a to 2d intersect.
  • the actuator 3a and the rotary blade 4a and the actuator 3c and the rotary blade 4c form a pair.
  • the actuator 3b and the rotor 4b and the actuator 3d and the rotor 4d form a pair.
  • a battery 6 as a power source is arranged on the bottom surface in the body portion 1.
  • the battery 6 includes, for example, a lithium ion secondary battery and a battery control circuit that controls charging and discharging.
  • the battery 6 is detachably attached to the inside of the body portion 1.
  • a small electric vehicle controls the output of the actuator to enable desired navigation.
  • the tilt is detected using the gyro sensor mounted on the aircraft, the actuator output on the lowered side of the aircraft is increased, and the actuator output on the raised side is decreased. By doing so, the aircraft is kept horizontal.
  • the actuator output in the traveling direction is decreased and the actuator output in the opposite direction is increased to take a forward leaning posture and generate a propulsive force in the traveling direction.
  • the installation position of the battery 6 as described above can balance the stability of the airframe and the ease of control.
  • FIG. 3 is a block diagram showing the configuration of the moving body 100.
  • the mobile body 100 includes a UAV (Unmanned Aerial Vehicle) control unit 101, a communication unit 102, a sensor unit 103, a gimbal control unit 104, an information processing device 300, a battery 6, and actuators 3a to 3d.
  • the support shaft, rotary blade, and the like described in the external configuration of the moving body 100 are omitted. It is assumed that the UAV control unit 101, the communication unit 102, the sensor unit 103, the gimbal control unit 104, and the information processing device 300 are included in the circuit unit 5 shown in the external view of the mobile body 100 of FIG.
  • the UAV control unit 101 is composed of a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the ROM stores a program or the like that is read and operated by the CPU.
  • the RAM is used as the work memory of the CPU.
  • the CPU controls the entire mobile body 100 and each part by executing various processes according to the program stored in the ROM and issuing commands. Further, the UAV control unit 101 controls the moving speed, moving direction, turning direction, etc. of the moving body 100 by supplying the control signals for controlling the outputs of the actuators 3a to 3d to the actuators 3a to 3d.
  • the UAV control unit 101 holds preset pre-orbit information, and while acquiring the current position information of the moving body 100 from the sensor unit 103 at any time and comparing the current position of the moving body 100 with the pre-orbit. By controlling the outputs of the actuators 3a to 3d, the moving body 100 is controlled to move along the prior orbit.
  • the communication unit 102 is various communication terminals or communication modules for transmitting / receiving data to / from the input device 200 and the image pickup device 400.
  • the input device 200 is a wireless LAN (Local Area Network), WAN (Wide Area Network), WiFi (Wireless Fidelity), 4G (4th generation mobile communication system), 5G (4th generation mobile communication system), Bluetooth. (Registered trademark), ZigBee (registered trademark) and other wireless communications.
  • the communication with the image pickup apparatus 400 may be a wired communication such as a USB (Universal Serial Bus) communication in addition to the wireless communication.
  • USB Universal Serial Bus
  • the sensor unit 103 is a sensor capable of detecting the position of a moving body 100 such as a GPS (Global Positioning System) module.
  • GPS Global Positioning System
  • GPS is a system that knows the current position by receiving signals from a plurality of artificial satellites located around the earth with a receiver.
  • the position information of the moving body 100 detected by the sensor unit 103 is supplied to the information processing device 300.
  • the information processing device 300 can recognize the position of the moving body 100 from the position information, and can also detect the speed of the moving body 100 from the change of the position information and the elapsed time.
  • the sensor unit 103 may include a sensor capable of measuring a distance such as a stereo camera or LiDAR (Laser Imaging Detection and Ringing).
  • a stereo camera is a type of distance sensor, and is a stereo camera with two left and right cameras that apply the principle of triangulation when a human looks at an object.
  • Parallax data can be generated using image data taken with a stereo camera, and the distance between the camera (lens) and the target surface can be measured.
  • LiDAR measures scattered light with respect to laser irradiation that emits pulsed light, and analyzes the distance to an object at a long distance and the properties of the object.
  • the sensor unit 103 may include a sensor that detects the angular velocity, such as an IMU (Inertial Measurement Unit) module.
  • the IMU module is an inertial measurement unit, which obtains three-dimensional angular velocity and acceleration by an acceleration sensor, an angular velocity sensor, a gyro sensor, or the like in two or three axial directions, so that the moving body 100 can be tilted, tilted, or turned. Detects angular velocity and angular velocity around the Y-axis direction.
  • the sensor unit 103 may include an altimeter, an azimuth meter, and the like.
  • the altimeter measures the altitude at which the moving body 100 is located and supplies altitude data to the UAV control unit 101, and includes a barometric altimeter, a radio altimeter, and the like.
  • the directional meter detects the traveling direction of the moving body 100 by using the action of a magnet and supplies it to the UAV control unit 101 or the like.
  • the gimbal control unit 104 is a processing unit that controls the operation of the gimbal 500 for rotatably mounting the image pickup device 400 on the moving body 100.
  • the orientation of the image pickup apparatus 400 can be freely adjusted by controlling the rotation of the axis of the gimbal 500 with the gimbal control unit 104. As a result, the orientation of the image pickup apparatus 400 can be adjusted according to the set composition to take a picture.
  • the image pickup device 400 is mounted on the lower part of the moving body 100 via the gimbal 500.
  • the gimbal 500 is a kind of turntable for rotating an object (imaging device 400 in the present embodiment) supported by, for example, two or three axes.
  • the configuration of the information processing device 300 will be described later.
  • the input device 200A which is the first example, is a terminal device such as a smartphone shown in FIG. 4A. As shown in FIG. 4B, the input device 200A includes a control unit 201A, a storage unit 202A, a communication unit 203A, an input unit 204A, and a display unit 205A.
  • the control unit 201A is composed of a CPU, RAM, ROM, and the like.
  • the CPU controls the entire input device 200A and each part by issuing commands by executing various processes according to a program stored in the ROM.
  • the storage unit 202A is a large-capacity storage medium such as a hard disk or a flash memory. Various applications and data used in the input device 200A are stored in the storage unit 202A.
  • the communication unit 203A is a communication module for transmitting and receiving data and various signals to and from the mobile body 100, the information processing device 300, and the image pickup device 400.
  • any wireless communication such as wireless LAN, WAN, WiFi, 4G, 5G, Bluetooth (registered trademark), ZigBee (registered trademark) capable of communicating with a remote mobile body 100 and an image pickup device 400 can be used. The method may be used.
  • the input unit 204A is for operating the input device 200A and for the user to input an input value for speed control of the moving body 100 and the like.
  • a control signal corresponding to the input is generated and supplied to the control unit 201A.
  • the control unit 201A performs various processes corresponding to the control signal.
  • the input content is transmitted to the information processing device 300 or the image pickup device 400 by communication by the communication unit 203A.
  • the input unit 204A includes a touch panel, physical buttons, and the like that are integrally configured with the display that is the display unit 205A.
  • the input device 200A may have a voice input function by voice recognition.
  • the display unit 205A is a display device such as a display that displays images / videos, GUI (Graphical User Interface), and the like.
  • the display unit 205A displays the speed control UI (User Interface) of the moving body 100, the waypoint input UI, and the like.
  • the input device 200A may include a speaker or the like that outputs sound as an output means other than the display unit 205A.
  • the terminal device that functions as the input device 200A may be a tablet terminal, a laptop computer, a portable game machine, a wearable device, or the like, in addition to the smartphone.
  • the speed control UI in the input device 200A will be described.
  • the user inputs an input value to the input device 200A, and the information processing device 300 controls the speed of the moving body 100 based on a magnification value of the speed which is a speed control value based on the input value. ..
  • the input unit 204A is a touch panel integrally configured with the display as the display unit 205A.
  • FIG. 5A is an example of the first speed control UI displayed on the display unit 205A.
  • the first speed control UI is composed of a linear input area 211A, and the position on the input area 211A corresponds to a magnification value as a speed control value.
  • a slider 212A indicating the current magnification value is displayed on the input area 211A.
  • the slider 212A slides over the input area 211A in response to user input. By using such a slider configuration, continuous values can be input.
  • the right end corresponds to "x2.0” which is the maximum value of the magnification value
  • the right end corresponds to "x-1.0” which is the minimum value of the magnification value.
  • the value between "x2.0" at the left end and "x-1.0” at the right end corresponds to a value of "x2.0” or less and "x-1.0” or more.
  • the first speed control UI it is preferable to display the position of the input area 211A in the vicinity of the input area 211A (upper in FIG. 5A) as a guideline for the corresponding magnification value. As a result, the user can easily understand where in the input area 211A the finger should be touched in order to specify the target magnification value.
  • the area between the positions where the numerical value indicating the magnification value is displayed also corresponds to the magnification value, and the user can seamlessly specify the magnification value.
  • the magnification value is automatically set to a predetermined value, for example, "x1" regardless of where the finger is in contact with the input area 211A.
  • the transition may be made to ".0".
  • the moving body 100 transitions to a preset constant speed and moves.
  • the magnification value corresponding to the position of the input area 211A to which the finger has been in contact may be maintained.
  • FIG. 5B is an example of the second speed control UI displayed on the display unit 205B.
  • the second speed control UI is composed of a plurality of individual button-shaped input areas 213A, 213A, ..., And each of the individual input areas 213A corresponds to a different magnification value.
  • the second speed control UI is a method in which the magnification value is directly specified as a discrete value.
  • the second speed control UI it is preferable to be able to visually distinguish between the magnification value specified by the user and the magnification value not specified by the user. For example, the specified magnification value is displayed brighter than the unselected magnification value.
  • the speed magnification value may automatically transition to a predetermined value, for example, "x1.0" regardless of whether or not the user is in contact with the speed.
  • the magnification value corresponding to the position of the input area 213A to which the finger has been in contact may be maintained.
  • 6A and 6B are graphs showing the relationship between the input value and the output magnification value.
  • the horizontal axis is the ratio of the input value to the input range amount, which takes a value from +1.0 to -1.0, the right end is +1.0 as the maximum value, and the left end is the minimum value. -1.0.
  • the input range amount is a range from the upper limit to the lower limit of the magnification value that can be input by the input device 200.
  • the vertical axis is the magnification value output by the input unit 204A based on the input value
  • the upper end of the vertical axis is the maximum value of the magnification value in the positive direction (+ Max)
  • the lower end is the minimum value of the magnification value in the negative direction (-). Max).
  • magnification value when the maximum value in the positive direction is + Max (> 1), the magnification value for the input in the positive direction is linear with respect to the difference from the zero point as shown in FIG. 6A or arbitrary as shown in FIG. 6B. Go through the curve from 1.0 to + Max.
  • magnification value for the input in the negative direction is linear with respect to the difference from the zero point or as shown in FIG. 6B. To go from 1.0 to -Max via an arbitrary curve.
  • the resolution of the input operation is high because human beings usually require fine and delicate operations as compared with the case of slowing down the moving speed.
  • the speed can be increased with a short operation stroke and a short time even if the resolution of the input operation is low. Therefore, such an operation feeling can be realized by changing the magnification value with the curved function as shown in FIG. 6B.
  • the function represented by a straight line or a curve that determines the magnification value to be output based on the input value from the user in this way is the magnification conversion information described later.
  • the seamless input method as shown in FIG. 5A is excellent in that the magnification value is increased or decreased sensuously, but it may be difficult to accurately adjust the magnification value to a specific value. Therefore, as shown in FIG. 5A, a range is provided for the ratio of the input values at which the speed magnification becomes a specific value. As a result, a width is provided in the input in which the magnification value becomes a specific value, so that the input in which the magnification value becomes the specific value becomes easy.
  • Specific values include, for example, a magnification value "0.0" that sets the speed of the moving body 100 to 0 (stopped state), a magnification value "1.0” that sets the speed of the moving body 100 as a reference speed, and the like.
  • the ratio of the input values is provided with a range so that the input with the magnification value set to 0 is easy.
  • the input device 200A may be provided with a notification control unit that notifies the user when the ratio of the input value to the input range amount falls within or out of the range in which the magnification value reaches a predetermined value.
  • the notification by the notification control unit may be any method that can be recognized by the user, such as vibration of the input device 200A, display of a message on the display unit 205B, and output of a voice message.
  • the user inputs with the feeling of a finger instead of inputting while looking at the physical switch, so that the physical switch also specifies the magnification value. It can be difficult to match the value exactly. Therefore, as with the speed control UI described above, a range may be provided for the input value at which the speed magnification becomes a specific value. Then, the input device 200B may be provided with a notification mechanism for notifying the user when the input enters or exits within the range in which the magnification value becomes a predetermined value. As a result, the user can surely recognize that his / her input is an input having a predetermined value.
  • the notification mechanism includes a claw-shaped mechanism that gives a click feeling to the physical switch by being caught, a vibration mechanism of the entire input device 200B, and the like.
  • the input device 200B which is a second example of the input device 200, is a hardware controller dedicated to the operation of the mobile body 100. Since the block configuration of the input device 200B is the same as that of the input device 200A, the description thereof will be omitted with reference to FIG. 4B.
  • the input device 200B is configured to include a housing BD, sticks ST1, ST2, buttons B1 to B6, a touch panel TP, and wheels WH1 and WH2 (may be referred to as dials).
  • the sticks ST1 and ST2, the buttons B1 to B6, the touch panel TP, and the wheels WH1 and WH2 all correspond to the input unit 204A of the block diagram shown in FIG. 4B.
  • the sticks ST1 and ST2 can be operated by the user with the thumb and tilted in at least one of the vertical direction (vertical direction / vertical direction) and the horizontal direction (horizontal direction / horizontal direction).
  • the moving body 100 It is used to indicate the moving direction and turning direction of.
  • the sticks ST1 and ST2 may be configured so that they can be tilted in an oblique direction.
  • the moving body 100 moves forward, and when the user tilts the stick ST1 downward, the moving body 100 moves backward. Further, when the user tilts the stick ST1 to the left, the moving body 100 turns counterclockwise, and when the user tilts the stick ST1 to the right, the moving body 100 turns clockwise.
  • the moving body 100 when the user tilts the stick ST2 upward, the moving body 100 rises, and when the user tilts the stick ST2 downward, the moving body 100 descends.
  • the moving body 100 moves to the left, and when the user tilts the stick ST2 to the right, the moving body 100 moves to the right.
  • the operations by the sticks ST1 and ST2 are merely examples, and the operations of the sticks ST1 and ST2 may be reversed, or other operations of the moving body 100 may be assigned.
  • the number of sticks is merely an example, and the present technology is not limited to that number.
  • buttons B1 to B6 Various functions related to the operation and control of the moving body 100 are assigned to the buttons B1 to B6, for example, a power on / off function and the like are assigned.
  • the number of buttons is merely an example, and the present technology is not limited to the number.
  • the touch panel TP is for displaying information about the moving body 100 and presenting it to the user, and for the user to input various instructions.
  • Wheels WH1 and WH2 are input mechanisms that can input continuous values in the positive and negative directions.
  • the wheels WH1 and WH2 are provided so that a part of them is exposed on the side surface of the housing BD as shown in the partially enlarged view of FIG.
  • the wheel WH1 is configured to be rotatable in the R direction and the L direction.
  • the wheel WH1 is oriented from the front surface to the back surface of the housing BD, and has a structure that is easy to operate when it is located on the shoulder of the housing BD.
  • the wheel WH2 is configured to be rotatable in the U direction and the D direction.
  • the wheel WH2 is centered on the left-right direction of the side surface of the housing BD, and has a structure that is easy to operate when it is on the side surface of the housing BD.
  • the wheels WH1 and WH2 are provided on the upper side surface and the side surface of the housing BD so that the user can operate the sticks ST1 and ST2 with a finger different from the finger (for example, the index finger or the middle finger).
  • a finger different from the finger for example, the index finger or the middle finger.
  • the right rotation (clockwise) input corresponds to the positive (positive direction) magnification value
  • the left rotation (counterclockwise) input corresponds to the negative (negative direction) magnification value
  • the rotation amount of the wheel WH and the value of the magnification value correspond to each other, and the larger the rotation amount in the clockwise rotation direction, the larger the magnification value can be input as a positive value.
  • the amount of rotation in the counterclockwise direction is increased, a larger magnification value can be input with a negative value.
  • the clockwise rotation direction may correspond to a negative value
  • the counterclockwise rotation direction may correspond to a positive value.
  • a mechanism for notifying the user of the degree of rotation of the wheel WH corresponding to a predetermined magnification value for example, 1.0 times the speed of the moving body is set to a predetermined speed
  • the notification mechanism include a claw-shaped mechanism that catches the rotation of the wheel WH to create a click feeling, and a vibration mechanism that vibrates the entire input device 200B.
  • the wheel WH may be provided with a return mechanism that returns to a predetermined state (for example, a state in which the magnification value is 1.0) when the operating finger is released. If the wheel WH does not automatically return, the user needs to visually confirm the input value, and the line of sight is visually separated from the moving body 100 and the captured image. Therefore, it is desirable that the wheel WH be provided with a return mechanism.
  • the return mechanism can be configured by constantly urging the wheel WH in a predetermined direction with an elastic body such as a spring.
  • the wheel for inputting the magnification value may be either the wheel WH1 or the wheel WH2, or only one of the wheel WH1 and the wheel WH2 may be provided on the housing BD. Further, the wheel WH1 and the wheel WH2 may be provided on the left side surface of the housing BD. Further, wheels may be provided on both the right side surface and the left side surface of the housing BD.
  • a lever LV may be provided in the input device 200B instead of the wheel. It is an input mechanism that can input continuous values like the wheel of the lever LV.
  • the lever LV is provided on the upper side surface of the housing BD so that it can be operated with a finger (for example, the index finger) different from the finger for operating the stick ST1 like the wheel described above.
  • the input to the right of the lever LV corresponds to a positive magnification value
  • the input to the left corresponds to a negative magnification value.
  • the degree of tilting the lever LV corresponds to the magnification value
  • a larger magnification value can be input with a positive value as the lever LV is tilted.
  • a larger magnification value can be input with a negative value as the lever LV is increased.
  • tilting in the clockwise direction may correspond to a negative value
  • tilting in the counterclockwise direction may correspond to a positive value. It is advisable to provide a notification mechanism in the lever LV as well as the wheel.
  • the lever LV may also be provided with a return mechanism that returns to a predetermined state (for example, a state in which the magnification value is 1.0) when the finger to be operated is released in the same manner as the wheel.
  • a predetermined state for example, a state in which the magnification value is 1.0
  • the lever LV does not have a return mechanism because the input value can be confirmed with the feeling of a finger, but rather it is possible to prevent malfunction by increasing friction and maintain the input value. Good.
  • the mechanism for inputting the magnification value is a uniaxial operator regardless of whether the wheel WH or the lever LV is used. Since the uniaxial operator only operates on a straight line in two directions, the magnification value can be input at the same time as other operations (operation of the moving body 100 and operation of the image pickup device 400).
  • the input device 200B may be provided with both a wheel WH and a lever LV.
  • the pre-orbit is a plurality of "targets” consisting of a target position at which the moving body 100 passes and a target time at which the moving body 100 passes through the target position. It is composed of "position / time”.
  • the target position is set, for example, in latitude and longitude.
  • the target time may be set at a specific time such as "1:23:45”, or may be set at an elapsed time such as 10 seconds after the reference time (at the start of movement).
  • the moving body 100 moves based on this pre-orbit, and the information processing device 300 performs speed control processing based on this pre-orbit. Therefore, the user needs to set the pre-orbit before the actual movement.
  • the pre-orbit is basically unchanged except that it is recalculated by the recalculation process, and serves as a reference for the movement of the moving body 100.
  • the pre-orbit is set as shown in FIG. 10, for example.
  • two-dimensional map data of a racing car circuit is used as an example.
  • a plurality of target positions, which are positions where the moving body 100 passes, and target times, which are times when the moving body 100 passes through each target position, are set on the two-dimensional map data.
  • a pre-orbit which is an orbit in which the moving body 100 passes through the target positions in order of earliest target time, is set.
  • the target positions / times are numbered according to the order (time series) in which the moving body 100 passes.
  • the preliminary trajectory may be composed of a target position and a target speed indicating the speed at which the moving body 100 passes through the target position.
  • the target position can be set, for example, by directly designating the position on the map data displayed on the display unit 205A of the input device 200A or other display device or terminal device in the order in which the moving body 100 passes.
  • the target time can be set, for example, by inputting a specific numerical value for each target position.
  • the target position / time set in this way is collectively supplied to the information processing apparatus 300 as advance orbit information.
  • the input device for setting the pre-orbit may be the same as the input device 200, or may be a separate device.
  • the pre-orbit set in this way is supplied to the UAV control unit 101 of the moving body 100, and the UAV control unit 101 compares the current position information of the moving body 100 acquired from the sensor unit 103 with the pre-trajectory and performs the actuator. By controlling the outputs of 3a to 3d, the moving body 100 is moved along the pre-orbit.
  • a speed control UI having a button for designating a speed magnification with a fixed value as shown in FIG. 5B is suitable.
  • the speed of the moving body 100 in a place where you want to check the state of the orbit in advance (whether there is an obstacle such as a tree) or the position and orientation of the moving body 100, make the speed of the moving body 100 slower than the reference speed (for example, a speed magnification of 0.5). By selecting), it can be visually confirmed over time.
  • the speed of the moving body 100 faster than the reference speed for example, selecting a speed magnification of 2.0
  • the confirmation work time can be shortened.
  • the speed control UI with continuous value designation as shown in FIG. 5A is suitable. If it is found from this speed confirmation that "the speed magnification should be about 1.3 times at a specific position on the pre-orbit", set an appropriate target time according to the target position in the pre-orbit setting. You will be able to.
  • the speed control is capable of inputting the continuous value shown in FIG. 5A in order to flexibly and continuously control the speed according to the movement of the subject.
  • UI is suitable.
  • the moving body 100 continues to move at a speed along the target time of the prior orbit, so that the user can concentrate on the posture operation of the moving body 100 and the operation of the imaging device 400. Further, the moving body 100 can be smoothly accelerated or decelerated as needed. It is not essential to confirm the prior trajectory of the moving body 100 before the actual movement.
  • the advance orbit may be set on the three-dimensional district data.
  • a map service available on the Internet can be used.
  • the moving body 100 may be actually moved and a preliminary trajectory may be set based on the moving path.
  • the information processing device 300 performs a process of controlling the speed of the moving body 100 by using a magnification value which is a speed control value based on the input from the user to the input device 200.
  • the moving body 100 moves according to the target position / time set in the pre-orbit unless there is an input from the user.
  • the information processing apparatus 300 includes a magnification value conversion unit 301, a recalculation target extraction unit 302, an orbit recalculation unit 303, a target position / velocity extraction unit 304, a current position / velocity estimation unit 305, and a target arrival determination unit. It is configured to include 306, a recalculation trajectory counter update unit 307, a pre-track counter update unit 308, and an actuator output determination unit 309.
  • the pre-orbit is recalculated by the orbit recalculation unit 303 and redefined as a recalculated orbit.
  • the recalculation trajectory is composed of a plurality of target positions, target speeds, and target times (hereinafter referred to as target positions / speeds / times).
  • the information processing device 300 performs processing based on the value of the pre-orbit counter indicating the progress of movement of the moving body 100 in the pre-orbit and the value of the recalculated orbit counter indicating the progress of movement of the moving body 100 in the recalculated orbit.
  • the pre-orbit counter counts the progress of the moving body 100 based on the target position / time numbers constituting the pre-orbit.
  • the counter value of the pre-orbit counter is associated with the number assigned according to the order in which the moving body 100 passes at the target position / time, the initial value of the counter value of the pre-trajectory counter is 0, and the moving body 100 is new. It is incremented by 1 each time the target position is reached.
  • the recalculation trajectory counter counts the progress of the moving body 100 based on the target position / velocity / time numbers constituting the recalculation trajectory.
  • the counter value of the recalculated trajectory progress counter is associated with a number assigned to the target position / velocity / time according to the order in which the moving body 100 passes.
  • the initial value of the counter value of the recalculation trajectory progress counter is 0, and is incremented by 1 each time the moving body 100 reaches a new target position.
  • the magnification value conversion unit 301 converts the input value input to the input device 200 by the user into a magnification value which is a speed control value based on predetermined magnification conversion information, and recalculates the target extraction unit 302 and the pre-trajectory. It is supplied to the counter update unit 308.
  • the magnification conversion information is a function that determines the magnification value to be output based on the input value from the user described with reference to FIG.
  • the recalculation target extraction unit 302 extracts a plurality of target positions / times to be recalculated from the pre-orbit by inputting the magnification value, the pre-orbit, and the counter value of the pre-orbit counter, and supplies the recalculation target position / time to the orbit recalculation unit 303. To do.
  • the recalculation target extraction unit 302 starts from the target position / time of the number indicated by the value of the pre-orbit counter, and calculates from the magnification value S and the predetermined number of seconds R along the positive and negative directions of the magnification value S by the following equation 1. Extract a plurality of target positions / times for the number of seconds R'to be performed.
  • the counter value of the pre-orbit counter is K, and as shown in FIG. 12, the target position / time for the number of seconds R'from the target position / time [k] is the target position / time [k + 1] and the target position / time.
  • the target position / time [k] is extracted by the recalculation target extraction unit 302.
  • the time stamp of the extracted target position / time is corrected and the number is renumbered from the reference time (for example, 0) to R'seconds.
  • the extracted target position / time is shown as "preliminary orbit (extraction)" in FIG.
  • the orbit recalculation unit 303 calculates an orbit (recalculation orbit) of a cycle that matches the CP (Continuous Path) control cycle by inputting a plurality of extracted target positions / times.
  • PTP Point-to-Point
  • Smoother movement can be realized by generating a control command value according to the control cycle of the actuator of the moving body 100 from the designated pre-orbit and giving it to the UAV control unit 101 as a target value. In this case, a set of position and time is required for the pre-orbit, and the target speed is also determined each time.
  • the trajectory recalculation unit 303 calculates the target speed, which is the speed of the moving body 100 when passing through the target position, based on the target position and the target time.
  • the recalculation trajectory is composed of a target position, a target speed, and a target time (target position / speed / time).
  • the amount of control is "the amount of control according to the actuator controller”.
  • the recalculated orbit calculated by the orbit recalculation unit 303 may be R'seconds or not R'seconds. Good.
  • R'seconds are used for both, but the number of seconds extracted from the pre-orbit, the number of seconds of the recalculated orbit calculated by the orbit recalculation unit 303, the ratio of the two, and the like depend on the CP calculation algorithm.
  • the extraction range is limited by the number of seconds R'in the recalculation target extraction unit 302 instead of recalculating all the target positions / times. Then, the orbit recalculation unit 303 recalculates the target position / time within the extraction range. Further, instead of extracting the target position / time of the number of seconds R'minute by the recalculation target extraction unit 302, the extraction is performed in the range of the number of seconds R'minute or more, and the orbit recalculation unit 303 extracts the number of seconds R'minute. You may want to recalculate the target position / time of.
  • the target position / velocity extraction unit 304 determines the next target position / velocity / time that the moving body 100 should reach, which is the number indicated by the value of the recalculation trajectory counter from the recalculation trajectory calculated by the trajectory recalculation unit 303. It is to be extracted.
  • the extracted target position is supplied to the target arrival determination unit 306. Further, the extracted target position / velocity is supplied to the actuator output determination unit 309.
  • the current position / speed estimation unit 305 estimates the current position and current speed of the moving body 100 based on various sensor information supplied from the sensor unit 103 of the moving body 100.
  • the current position is supplied to the target arrival determination unit 306, and the current position / velocity is supplied to the actuator output determination unit 309.
  • the target arrival determination unit 306 determines whether or not the moving body 100 has reached the target position to be reached next from the difference between the target position and the current position.
  • the determination result of the target arrival determination unit 306 is supplied to the recalculation trajectory counter update unit 307.
  • the recalculation trajectory counter update unit 307 increments the value of the recalculation trajectory progress counter when the moving body 100 reaches the target position based on the determination result in the target arrival determination unit 306.
  • the value of the recalculation trajectory counter updated by the recalculation trajectory counter update unit 307 is supplied to the target position / velocity extraction unit 304.
  • the target position / velocity extraction unit 304 extracts the target position / velocity with the next number to be reached by the moving body 100 indicated by the recalculation trajectory counter value from the recalculation trajectory at the next extraction timing.
  • the value of the recalculated orbit progress counter is also supplied to the pre-orbit counter update unit 308.
  • the pre-track counter update unit 308 performs a process of incrementing or decrementing the pre-track counter based on the positive / negative of the value of the recalculated trajectory counter and the magnification value supplied from the magnification value conversion unit 301.
  • the magnification value is a positive value
  • the pre-orbit counter update unit 308 increments the value of the pre-orbit counter on the assumption that the moving body 100 has moved in the positive direction (method of advancing the orbit).
  • the magnification value is a negative value
  • the moving body 100 decrements the value of the pre-orbit counter assuming that it has moved in the negative direction (direction returning to the orbit).
  • the pre-orbit counter value is supplied to the recalculation target extraction unit 302.
  • the recalculation target extraction unit 302 extracts the target position / velocity with the next number to be reached by the moving body 100 indicated by the pre-orbit counter value from the pre-orbit at the next extraction timing.
  • the target position / velocity of the recalculated trajectory and the current position / velocity of the moving body 100 estimated by the current position / velocity estimation unit 305 are supplied to the actuator output determination unit 309.
  • the actuator output determination unit 309 When the actuator output determination unit 309 is in the position control mode, the difference between the target position and the current position is converted into a control signal for controlling the output of the actuators 3a to 3d of the moving body 100, and the UAV control unit 101 of the moving body 100 is used. Supply.
  • the actuator output determination unit 309 When the actuator output determination unit 309 is in the speed control mode, the actuator output determination unit 309 converts the difference between the target speed and the current speed into control signals for controlling the outputs of the actuators 3a to 3d of the mobile body 100, and the UAV control unit of the mobile body 100. Supply to 101.
  • the UAV control unit 101 controls the output of the actuators 3a to 3d by transmitting control signals to the actuators 3a to 3d to control the moving speed and moving direction of the moving body 100. This controls the speed of the moving body 100.
  • the control mode of the actuator output determination unit 309 may be determined by the user.
  • the speed control process by the information processing device 300 is performed as described above.
  • the information processing device 300 may perform the above-mentioned processing only when there is an input from the user, or continuously performs the processing at a predetermined time interval regardless of the presence or absence of the input from the user. You may do so.
  • the user can easily input for controlling the speed of the moving body 100. Therefore, while the moving body 100 is automatically operated, the speed can be easily specified by the user at the same time.
  • the information processing device 300 is realized by executing a program, and the program may be installed in the mobile body 100 in advance, or may be distributed by download, storage medium, or the like so that the user can install the information processing device 300 by himself / herself. Good. Further, the information processing device 300 may be realized not only by a program but also by combining a dedicated device, a circuit, or the like by hardware having the function.
  • the image pickup apparatus 400 is mounted on the bottom surface of the body portion 1 of the moving body 100 so as to be suspended via the gimbal 500.
  • the image pickup apparatus 400 can take an image by pointing the lens in any direction from the horizontal direction to the vertical direction of 360 degrees. This makes it possible to shoot with the set composition.
  • the operation of the gimbal 500 is controlled by the gimbal control unit 104.
  • the configuration of the image pickup apparatus 400 will be described with reference to the block diagram of FIG.
  • the image pickup device 400 includes a control unit 401, an optical image pickup system 402, a lens drive driver 403, an image sensor 404, an image signal processing unit 405, an image memory 406, a storage unit 407, and a communication unit 408.
  • the optical imaging system 402 includes an imaging lens for concentrating light from a subject on an imaging element 404, a drive mechanism for moving the imaging lens to perform focusing and zooming, a shutter mechanism, an iris mechanism, and the like. There is. These are driven based on the control signals from the control unit 401 of the image pickup apparatus 400 and the lens drive driver 403. The optical image of the subject obtained through the optical image pickup system 402 is imaged on the image pickup device 404 included in the image pickup apparatus 400.
  • the lens drive driver 403 is configured by, for example, a microcomputer or the like, and by moving the image pickup lens by a predetermined amount along the optical axis direction under the control of the control unit 401, autofocus is performed so as to focus on the target subject. Further, according to the control from the control unit 401, the operation of the drive mechanism, the shutter mechanism, the iris mechanism, etc. of the optical imaging system 402 is controlled. As a result, the exposure time (shutter speed) is adjusted, the aperture value (F value) and the like are adjusted.
  • the image sensor 404 photoelectrically converts the incident light from the subject into an amount of electric charge, and outputs a pixel signal. Then, the image sensor 404 outputs the pixel signal to the image signal processing unit 405.
  • a CCD Charge Coupled Device
  • CMOS Complementary Metal Oxide Semiconductor
  • the image signal processing unit 405 is a sample hold for maintaining a good S / N (Signal / Noise) ratio by CDS (Correlated Double Sampling) processing with respect to the image pickup signal output from the image sensor 404, and AGC (Auto Gain Control). ) Processing, A / D (Analog / Digital) conversion, etc. are performed to create an image signal.
  • the image memory 406 is a volatile memory, for example, a buffer memory composed of a DRAM (Dynamic Random Access Memory).
  • the image memory 406 temporarily stores image data that has been subjected to predetermined processing by the image signal processing unit 405.
  • the storage unit 407 is a large-capacity storage medium such as a hard disk, a USB flash memory, or an SD memory card.
  • the captured image is stored in a compressed state or an uncompressed state based on a standard such as JPEG (Joint Photographic Experts Group).
  • JPEG Joint Photographic Experts Group
  • EXIF Exchangeable Image File Format
  • additional information such as information about the saved image, imaging position information indicating the imaging position, and imaging time is also saved in association with the image.
  • the communication unit 408 is various communication terminals or communication modules for transmitting and receiving data to and from the mobile body 100 and the input device 200.
  • the communication may be either wired communication such as USB communication or wireless communication such as wireless LAN, WAN, WiFi, 4G, 5G, Bluetooth (registered trademark), ZigBee (registered trademark).
  • the input device 200 may be used to allow the user to operate the image pickup device 400 in addition to the operation of the mobile body 100, or the image pickup device 400 may be operated by a device different from the input device 200. Good.
  • the user can easily input for controlling the speed of the moving body 100.
  • the user can input for speed control of the mobile body 100 while operating the image pickup device 400 when the image pickup device 400 is mounted on the mobile body 100 and a picture is taken. Therefore, for example, the user is a cameraman who does not have an exclusive operator of the mobile body 100, and even if only the cameraman operates one operation, he can easily concentrate on framing and focusing while inputting for speed control of the mobile body 100. be able to.
  • the positional relationship between the subject and the imaging device 400 can be finely adjusted in actual shooting.
  • the photographer concentrates on the framing operation by the pan-tilt zoom camera attached to the drone that moves on the "lane”, and levers the drone that moves on the "lane” to adjust the distance and direction to the subject using this technology. You can accelerate or decelerate with one. For example, when a certain racing car stops due to course out, the drone can be stopped or reversed by operating the input device 200, and shooting can be continued while maintaining an appropriate position. Alternatively, the operation of the drone may be switched to manual operation.
  • the magnification value is used as the speed control value, but it is also possible to specify a specific speed value as the speed control value and adjust the speed with the offset value.
  • the speed to be added to the current speed may be directly specified as + 1 km / h, + 2 km / h, + 3 km / h, or the moving speed of the moving body 100 such as 43 km / h or 50 km / h may be directly specified. You may specify it.
  • the speed control of the moving body 100 is determined by addition / subtraction.
  • the speed control value is a magnification value
  • the speed of the moving body is determined by multiplication.
  • the moving body 100 and the imaging device 400 are configured as separate devices, but the moving body 100 and the imaging device 400 may be configured as an integrated device.
  • the drone as the moving body 100 is not limited to the one provided with the rotary wing as described in the embodiment, and may be a so-called fixed wing type.
  • the mobile body 100 of the present technology is not limited to a drone, and may be an automobile, a ship, a robot, a wheelchair, or the like that moves autonomously without being controlled by a person. Further, it may be a semi-mobile body that can be controlled by a person and can move autonomously.
  • the wheels WH1 and the wheels WH2 are provided, but the number of wheels is not limited to two.
  • a wheel WH3 may be further provided with the vertical direction of the housing BD as an axis, and a wheel operated left and right with the middle finger may be provided on the back surface of the housing BD.
  • a slider type input mechanism that can be realized with a thin structure other than the wheel shape may be provided.
  • Shooting using this technology can be used for a wide range of purposes such as movies and sports.
  • aerial photography by a drone is taken as an example, but this technology can also be applied to a lane moving camera that is premised on grounding, for example, when shooting a track and field event.
  • any device such as a digital camera, a smartphone, a mobile phone, a portable game machine, a laptop computer, a tablet terminal, etc., which has an image pickup function and can be mounted on the mobile body 100, is used. May be good.
  • the image pickup apparatus 400 may include an input unit, a display unit, and the like. Further, the image pickup device 400 may be a device that can be used alone as an image pickup device when it is not connected to the moving body 100.
  • the information processing device 300 may be provided in the input device 200 instead of the mobile body 100.
  • the present technology can also have the following configurations.
  • An information processing device that controls the speed of a moving body that autonomously moves in a preset orbit
  • An information processing system including an input unit that receives an input from a user, and an input device that supplies an input value input from the user and used for speed control of the moving body to the information processing device.
  • the moving body autonomously moves to pass an arbitrary preset target position on the orbit at a preset target time or at a target speed.
  • the information processing system according to (1) wherein the information processing apparatus controls the speed by updating the target position and / or the target speed based on the speed control value obtained from the input value.
  • the information processing system according to (2) which controls the speed of the moving body based on the difference between the current speed of the moving body and the updated target speed.
  • the information processing system according to (2) which controls the speed of the moving body based on the difference between the current position of the moving body and the updated target position.
  • the information processing system according to (7), wherein the input area of the input value is configured in a slider shape capable of inputting continuous values.
  • the information processing system according to (7), wherein the input area of the input value is configured in a button shape capable of inputting a discrete value.
  • the input unit is described in any one of (1) to (11), comprising a notification unit for notifying the user that the input from the user is the input value for setting the speed of the moving body to a predetermined speed.
  • Information processing system (13) The information processing system according to any one of (1) to (12), which controls the speed based on a magnification value of the speed as the speed control value.
  • the information processing device includes a conversion unit that converts the input value into the speed control value.
  • the information processing system according to any one of (1) to (14), wherein the input value and the speed control value have a linear or curved relationship.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Position Input By Displaying (AREA)

Abstract

予め設定された軌道を自律移動する移動体の速度を制御する情報処理装置と、ユーザからの入力を受け付ける入力部を備え、ユーザから入力された、移動体の速度制御に用いる入力値を情報処理装置に供給する入力装置とからなる情報処理システムである。

Description

情報処理システム、情報処理方法、情報処理プログラム
 本技術は、情報処理システム、情報処理方法、情報処理プログラムに関する。
 従来から車椅子などの移動体は広く普及しており、さらに近年ドローン、ロボットなど様々な移動体、半移動体が普及し始めてきている。
 そのような移動体の操作方法には種々の方法があり、その一つとして、操作量を入力する操作レバーと、前進ボタンと後進ボタンからなる軌道進退ボタンを備える車椅子などの半自律移動型の移動ロボットの操作についての技術が提案されている(特許文献1)
特開2011-212092号公報
 近年、移動体や半移動体(以下、移動体としてまとめる)と他の装置、例えばカメラなどを搭載し、一人のユーザが移動体の操作と他の装置の操作の両方を行う必要がある場合がある。そのような場合のために、より簡単な移動体の操作方法が求められている。特許文献1に記載の技術ではレバーとボタンという異なる2つの操作子があるため、他の装置を操作しながら移動体を操作することは難しい。
 本技術はこのような点に鑑みなされたものであり、容易に移動体の速度制御を行うことができる情報処理システム、情報処理方法、情報処理プログラムを提供することを目的とする。
 上述した課題を解決するために、第1の技術は、予め設定された軌道を自律移動する移動体の速度を制御する情報処理装置と、ユーザからの入力を受け付ける入力部を備え、ユーザから入力された速度制御に用いる入力値を情報処理装置に供給する入力装置とからなる情報処理システムである。
 また、第2の技術は、ユーザからの入力を受け付ける入力部を備える入力装置に入力された入力値に基づいて、予め定められた軌道を自律移動する移動体の速度を制御する情報処理方法である。
 また、第3の技術は、ユーザからの入力を受け付ける入力部を備える入力装置に入力された入力値に基づいて、予め定められた軌道を自律移動する移動体の速度を制御する情報処理方法をコンピュータに実行させる情報処理プログラムである。
本技術の実施の形態の全体構成を示す図である。 移動体100の構成を示す外観図である。 移動体100の構成を示すブロック図である。 図4Aは入力装置200の第1の例の外観図であり、図4Bは入力装置200のブロック図である。 入力装置200の第1の例の入力方法を示す図である。 入力値と出力値の関係を示すグラフである。 入力装置200の第2の例を示す外観図である。 入力装置200の第2の例の部分拡大図である。 入力装置200の第2の例の変形例を示す外観図である。 事前軌道の説明図である。 情報処理装置300の構成を示すブロック図である。 事前軌道から目標位置/時刻を抽出する処理の説明図である。 撮像装置400の構成を示すブロック図である。
 以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
<1.実施の形態>
[1-1.全体構成]
[1-2.移動体100の構成]
[1-3.入力装置200の構成]
[1-3-1.入力装置200の第1の構成例]
[1-3-2.入力装置200の第2の構成例]
[1-4.情報処理装置の構成と速度制御処理]
[1-4-1.事前軌道]
[1-4-2.情報処理装置300の構成および処理]
[1-5.撮像装置400の構成]
<2.変形例>
<1.実施の形態>
[1-1.全体構成]
 まず図1を参照して本技術の実施の形態の全体構成について説明する。本実施の形態は移動体100と、入力装置200と情報処理装置300からなり移動体100の動作の制御を行う情報処理システム1000と、移動体100に搭載されて撮影を行う撮像装置400とから構成されている。
 本実施の形態において移動体100はドローンと称される電動小型飛行体(無人航空機)である。
 入力装置200は地上においてユーザが使用するコントローラであり、ユーザからの入力内容に基づいて情報処理装置300に対して速度制御を行うための情報を送信するものである。詳しくは後述するが、本実施の形態において入力装置200は端末装置型の入力装置200Aと専用コントローラ型の入力装置200Bとがある。
 情報処理装置300は移動体100において動作し、入力装置200からの指示に従い移動体100の速度制御を行うものである。
 撮像装置400はジンバル500を介して移動体100に搭載され、移動体100の自律移動中にユーザの入力に応じて静止画/動画を撮影するものである。なお、撮像装置400は必須の構成ではない。
 情報処理システム1000で移動体100の速度制御を行い、移動体100の移動中に撮像装置400で撮影を行うことができる。なお、本実施の形態の説明において「位置」とは並進方向のみならず回転方向の「姿勢」を含むものであり、「速度」とは並進方向のみならず回転方向の「角速度」を含むものとする。
[1-2.移動体100の構成]
 図2および図3を参照して移動体100の構成について説明する。図2Aは移動体100の外観平面図であり、図2Bは移動体100の外観正面図である。中心部としての例えば円筒状または角筒状の胴体部1と、胴体部1の上部に固定された支持軸2a~2dとから機体が構成される。一例として、胴体部1の中心から4本の支持軸2a~2dが放射状に延びるようになされている。胴体部1および支持軸2a~2dは、カーボンファイバーなど軽量で強度の高い材料から構成されている。
 さらに、胴体部1および支持軸2a~2dからなる機体は、その重心が支持軸2a~2dの中心を通る鉛直線上にくるように、各構成部品の形状、配置等が設計される。さらに、この鉛直線上に重心がくるように、胴体部1内に回路ユニット5およびバッテリ6が設けられている。
 図2の例では回転翼およびアクチュエータの数が4個とされているが回転翼およびアクチュエータの数は4個以上でも以下でもよい。
 支持軸2a~2dの先端部には回転翼の駆動源としてのアクチュエータ3a~3dがそれぞれ取り付けられている。アクチュエータ3a~3dの回転軸に回転翼4a~4dが取り付けられている。各アクチュエータを制御するためのUAV制御部101などを含む回路ユニット5は支持軸2a~2dが交わる中心部に取り付けられている。
 アクチュエータ3aおよび回転翼4aと、アクチュエータ3cおよび回転翼4cとが対を構成する。同様に、アクチュエータ3bおよび回転翼4bと、アクチュエータ3dおよび回転翼4dとが対を構成する。
 胴体部1内に底面に動力源としてのバッテリ6が配置されている。バッテリ6は、例えばリチウムイオン二次電池と充放電を制御するバッテリ制御回路とを有する。バッテリ6は、胴体部1の内部に着脱自在に取り付けられている。バッテリ6の重心と機体の重心とを一致させることによって、重心の安定性が増加する。
 一般的にドローンと称される電動小型飛行体は、アクチュエータの出力を制御して所望の航行を可能としている。例えば、空中に静止しているホバーリングの状態では、機体に搭載されたジャイロセンサを用いて傾きを検知し、機体が下がった側のアクチュエータ出力を増加させ、上がった側のアクチュエータ出力を低下させることによって、機体を水平に保つようにしている。さらに、前進の際には、進行方向のアクチュエータ出力を低下、逆方向のアクチュエータ出力を増加させることによって、前傾姿勢を取らせ、進行方向への推進力を発生させるようにしている。このような電動小型飛行体の姿勢制御および推進制御において、上述したようなバッテリ6の設置位置は、機体の安定性と制御の容易性とのバランスをとることができる。
 図3は、移動体100の構成を示すブロック図である。移動体100は、UAV(Unmanned Aerial Vehicle)制御部101、通信部102、センサ部103、ジンバル制御部104、情報処理装置300、バッテリ6、アクチュエータ3a~3dを備えて構成されている。なお、移動体100の外観構成で説明した支持軸、回転翼などは省略する。UAV制御部101、通信部102、センサ部103、ジンバル制御部104、情報処理装置300は図2の移動体100の外観図に示される回路ユニット5に含まれているものとする。
 UAV制御部101はCPU(Central Processing Unit)、RAM(Random Access Memory)およびROM(Read Only Memory)などから構成されている。ROMには、CPUにより読み込まれ動作されるプログラムなどが記憶されている。RAMは、CPUのワークメモリとして用いられる。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって、移動体100全体および各部を制御する。また、UAV制御部101はアクチュエータ3a~3dの出力を制御する制御信号をアクチュエータ3a~3dに供給することにより移動体100の移動速度、移動方向、旋回方向などを制御する。
 また、UAV制御部101は予め設定された事前軌道情報を保持しており、センサ部103から移動体100の現在位置情報を随時取得して移動体100の現在位置と事前軌道の比較を行いながらアクチュエータ3a~3dの出力を制御することにより移動体100を事前軌道に沿って移動するように制御する。
 通信部102は、入力装置200および撮像装置400とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信は、入力装置200とは無線LAN(Local Area Network)やWAN(Wide Area Network)、WiFi(Wireless Fidelity)、4G(第4世代移動通信システム)、5G(第4世代移動通信システム)、Bluetooth(登録商標)、ZigBee(登録商標)などの無線通信で行われる。また、撮像装置400との通信は無線通信のほか、USB(Universal Serial Bus)通信などの有線通信でもよい。
 センサ部103は、GPS(Global Positioning System)モジュールなどの移動体100の位置を検出することができるセンサである。GPSは地球の周囲に位置する複数の人工衛星からの信号を受信機で受け取ることにより現在位置を知るシステムである。センサ部103が検出した移動体100の位置情報は情報処理装置300に供給される。情報処理装置300は位置情報から移動体100の位置を認識するとともに、位置情報の変化と経過時間とから移動体100の速度を検出することもできる。
 なお、センサ部103はGPSの他にもステレオカメラやLiDAR(Laser Imaging Detection and Ranging)などの距離を測定することができるセンサを含んでいてもよい。ステレオカメラは、距離センサの一種で、人間が物を見るときの三角測量の原理を応用した左右2台のカメラによるステレオ方式カメラである。ステレオカメラで撮影した画像データを用いて視差データを生成し、カメラ(レンズ)と対象表面までの距離を測定することができる。LiDARはパルス状に発光するレーザー照射に対する散乱光を測定し、遠距離にある対象までの距離やその対象の性質を分析するものである。
 またセンサ部103はIMU(Inertial Measurement Unit)モジュールなどの角速度を検出するセンサを含んでいてもよい。IMUモジュールは、慣性計測装置であり、2軸または3軸方向に対する加速度センサ、角速度センサ、ジャイロセンサなどによって、3次元の角速度と加速度を求めることにより、移動体100の姿勢、傾き、旋回時の角速度やY軸方向周りの角速度など検出する。
 さらにセンサ部103は高度計、方位計などを含んでいてもよい。高度計は、移動体100が位置する高度を計測して高度データをUAV制御部101に供給するものであり、気圧高度計、電波高度計などがある。方位計は磁石の作用を用いて移動体100の進行方角を検出してUAV制御部101などに供給するものである。
 ジンバル制御部104は、移動体100に撮像装置400を回転自在に装着させるためのジンバル500の動作を制御する処理部である。ジンバル制御部104でジンバル500の軸の回転を制御することにより撮像装置400の向きを自在に調整することができる。これにより、設定された構図に合わせて撮像装置400の向きを調整して撮影を行うことができる。
 本実施の形態においては、移動体100の下部にジンバル500を介して撮像装置400が搭載されている。ジンバル500とは例えば2軸または3軸の軸で支持する物体(本実施の形態では撮像装置400)を回転させる回転台の一種である。
 情報処理装置300の構成は後述する。
[1-3.入力装置200の構成]
[1-3-1.入力装置200の第1の構成例]
 次に入力装置200の構成について説明する。第1の例である入力装置200Aは図4Aに示すスマートフォンなどの端末装置である。図4Bに示すように、入力装置200Aは制御部201A、記憶部202A、通信部203A、入力部204A、表示部205Aを備えて構成されている。
 制御部201Aは、CPU、RAMおよびROMなどから構成されている。CPUは、ROMに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって入力装置200Aの全体および各部の制御を行う。
 記憶部202Aは、例えば、ハードディスク、フラッシュメモリなどの大容量記憶媒体である。記憶部202Aには入力装置200Aで使用する各種アプリケーションやデータなどが格納されている。
 通信部203Aは、移動体100、情報処理装置300および撮像装置400とデータや各種信号の送受信を行なうための通信モジュールである。通信方法としては、離れた移動体100および撮像装置400と通信することができる無線LAN、WAN、WiFi、4G、5G、Bluetooth(登録商標)、ZigBee(登録商標)などの無線通信であればどのような方法でもよい。
 入力部204Aは、入力装置200Aの操作、およびユーザが移動体100の速度制御などのための入力値の入力など行うためのものである。入力部204Aに対してユーザから入力がなされると、その入力に応じた制御信号が生成されて制御部201Aに供給される。そして、制御部201Aはその制御信号に対応した各種処理を行う。また、情報処理装置300および/または撮像装置400への指示入力があった場合、入力内容は通信部203Aによる通信で情報処理装置300または撮像装置400に送信される。入力部204Aは表示部205Aであるディスプレイと一体に構成されたタッチパネル、物理ボタンなどがある。なお、入力装置200Aは音声認識による音声入力機能を備えていてもよい。
 表示部205Aは、画像/映像、GUI(Graphical User Interface)などを表示するディスプレイなどの表示デバイスである。本実施の形態において表示部205Aには移動体100の速度制御用UI(User Interface)、ウェイポイント入力用UIなどが表示される。なお、入力装置200Aは表示部205A以外の出力手段として音声を出力するスピーカなどを備えていてもよい。
 入力装置200Aとして機能する端末装置としてはスマートフォン以外にタブレット端末、ノートパソコン、携帯ゲーム機、ウェアラブルデバイスなどでもよい。
 次に入力装置200Aにおける速度制御用UIについて説明する。本実施の形態においてユーザは入力装置200Aに対して入力値を入力し、情報処理装置300は、その入力値に基づく速度制御値である速度の倍率値に基づいて移動体100の速度制御を行う。
 この説明では図5Aに示すように、入力部204Aは表示部205Aとしてのディスプレイと一体に構成されたタッチパネルであるとする。
 図5Aは表示部205Aに表示される第1の速度制御用UIの例である。この第1の速度制御用UIは直線状の入力領域211Aにより構成され、その入力領域211A上の位置が速度制御値としての倍率値に対応している。入力領域211A上には今現在の倍率値を示すスライダ212Aが表示されている。スライダ212Aはユーザの入力に応じて入力領域211A上をスライドする。このようなスライダの構成を用いることにより連続値の入力が可能になる。
 図5Aの例においては右端が倍率値の最大値である「×2.0」に対応し、右端が倍率値の最小値である「×-1.0」に対応している。その左端の「×2.0」と右端の「×-1.0」の間が「×2.0」以下「×-1.0」以上の値に対応している。ユーザが入力領域211A上に指を接触させることによりその入力領域211Aの位置に対応した倍率値を指定することができる。なお、図5Aに示す具体的な倍率値はあくまで例示であり本技術がその値に限定されるものではない。
 第1の速度制御用UIにおいては入力領域211Aの近傍(図5Aにおいては上方)に入力領域211Aの位置を対応する倍率値の目安となる数値を表示させておくとよい。これによりユーザは目的の倍率値を指定するため入力領域211Aのどこに指を接触させればよいかと容易に理解することができる。なお、この第1の速度制御用UIは倍率値を示す数値が表示された位置と位置の間の領域も倍率値に対応しており、ユーザはシームレスに倍率値を指定することができる。
 第1の速度制御用UIにおいてはユーザが指を入力領域211Aから離すとそれまでに指が入力領域211Aのどこに接触していたかに関わらず倍率値が自動的に所定の値、例えば「×1.0」に遷移するようにしてもよい。これにより、ユーザが入力領域211Aから指を離すと移動体100は予め設定された一定の速度に遷移して移動することになる。
 なお、第1の速度制御用UIにおいてはユーザが指を入力領域211Aから離すとそれまでに指が接触していた入力領域211Aの位置に対応する倍率値が維持されるようにしてもよい。
 図5Bは表示部205Bに表示される第2の速度制御用UIの例である。この第2の速度制御用UIでは複数の個別のボタン状の入力領域213A、213A、・・・により構成され、個別の入力領域213Aのそれぞれが異なる倍率値に対応している。これにより第2の速度制御用UIは第1の速度制御用UIとは異なり倍率値を離散値として直接指定する方式となる。
 第2の速度制御用UIではユーザに指定された倍率値と指定されていない倍率値とを目視で区別できるようにするとよい。例えば指定された倍率値を選択されていない倍率値よりも明るく表示するなどである。
 また、第2の速度制御用UIにおいても第1の速度制御用UIの説明で上述したのと同様に、ユーザが指をいずれかの入力領域213Aから離すとそれまでに指がどの入力領域213Aに接触していたかに関わらず速度の倍率値が自動的に所定の値、例えば「×1.0」に遷移するようにしてもよい。これにより、どのような速度であってもユーザが入力領域213Aから指を離すと移動体100は予め設定された一定の速度に遷移して移動することになる。
 なお、第2の速度制御用UIにおいてもユーザが指を入力領域213Aから離すとそれまでに指が接触していた入力領域213Aの位置に対応する倍率値が維持されるようにしてもよい。
 この第2の速度制御用UIによれば容易に特定の値の倍率値を指定することができる。
 ここで、ユーザから入力される入力値と入力装置200から実際に出力される倍率値との関係について説明する。図6Aおよび図6Bは入力値と出力する倍率値の関係を示すグラフである。
 図6Aおよび図6Bにおいて横軸は入力範囲量に対する入力値の比率であり、+1.0から-1.0までの値をとり、右端は最大値として+1.0であり、左端は最小値として-1.0である。入力範囲量とは入力装置200において入力可能な倍率値の上限から下限まで範囲である。
 縦軸は入力部204Aが入力値に基づいて出力する倍率値であり、縦軸の上端は正方向の倍率値の最大値(+Max)であり、下端は負方向の倍率値の最小値(-Max)である。
 倍率値については正方向の最大値を+Max(>1)としたとき、正方向の入力に対する倍率値は零点との差分に対して図6Aに示すように線形もしくは図6Bに示すように任意の曲線を経て1.0から+Maxに至るようにする。
 同様に、倍率値の負方向の最大値を-Max(<0)としたとき、負方向の入力に対する倍率値は零点との差分に対して図6Aに示すように線形もしくは図6Bに示すように任意の曲線を経て1.0から-Maxに至るようにする。
 移動体100の操作においては通常、人間は感覚的には移動速度を遅くする場合とは細かく繊細な操作が必要となる場合が多いため、入力操作の解像度が高いほうが好ましい。一方、移動速度を速くする場合とは細かく繊細な操作は必要ない場合が多いため、入力操作の解像度が低くても短い操作ストロークおよび短い時間で速度が上げることができるほうが好ましい。よって、図6Bに示すような曲線状の関数で倍率値を変化させることによりそのような操作感を実現することができる。このようにユーザからの入力値に基づいて出力する倍率値を決定する直線または曲線で表される関数が後述する倍率変換情報である。
 図5Aに示すようなシームレスな入力方法は感覚的に倍率値を上げ下げする点においては優れているが、倍率値を特定の値に正確に合わせるのは難しいおそれがある。そこで、図5Aに示すように速度の倍率が特定の値になる入力値の比率に範囲をもたせる。これにより倍率値が特定の値となる入力に幅が設けられることになるので、倍率値をその特定の値にする入力が容易になる。特定の値としては、例えば移動体100の速度を0(停止状態)にする倍率値「0.0」や、移動体100の速度を基準速度にする倍率値「1.0」などがある。図6Aにおいては倍率値を0とする入力が容易になるように入力値の比率に範囲をもたせている。
 なお、入力範囲量に対する入力値の比率が、倍率値が所定の値になる範囲に入る場合と抜ける場合とでユーザにその旨の通知を行う通知制御部を入力装置200Aに設けてもよい。これによりユーザは確実に自身の入力が所定の倍率値を指定する入力であることを認識することができる。通知制御部による通知としては入力装置200Aの振動、表示部205Bにおけるメッセージの表示、音声メッセージの出力などユーザが認識できる方法であればどのようなものでもよい。
 また、図7で後述するような入力装置200Bにおけるホイールやレバーなどの物理スイッチではユーザは物理スイッチを見ながら入力を行うのではなく指の感覚で入力するので、物理スイッチでも倍率値を特定の値に正確に合わせるのは難しいおそれがある。そこで、上述の速度制御用UIと同様に速度の倍率が特定の値になる入力値に範囲を設けてもよい。そして、倍率値が所定の値になる範囲に入力が入る場合と抜ける場合とでユーザにその旨の通知を行う通知機構を入力装置200Bに設けてもよい。これにより、ユーザは確実に自身の入力が所定の値になる入力であることを認識することができる。通知機構としては引っ掛かりにより物理スイッチにクリック感を与える爪状機構、入力装置200B全体の振動機構などがある。
[1-3-2.入力装置200の第2の構成例]
 次に入力装置200の第2の例について説明する。入力装置200の第2の例である入力装置200Bは図7に示すように移動体100の操作専用のハードウェアコントローラである。なお、入力装置200Bのブロック構成は入力装置200Aと同様であるため図4Bを援用してその説明を省略する。
 入力装置200Bは筐体BD、スティックST1,ST2、ボタンB1~B6、タッチパネルTP、ホイールWH1,WH2(ダイヤルと称してもよい)を備えて構成されている。スティックST1,ST2、ボタンB1~B6、タッチパネルTP、ホイールWH1,WH2は全て図4Bに示すブロック図の入力部204Aに相当するものである。
 スティックST1,ST2は、ユーザが親指で操作し、上下方向(垂直方向・縦方向)および左右方向(水平方向・横方向)の少なくとも一方に倒すように操作することができ、例えば、移動体100の移動方向や旋回方向を指示するために用いられる。なお、スティックST1,ST2は斜め方向に倒すことができるように構成してもよい。
 例えば、ユーザがスティックST1を上方向に倒すと移動体は前方に進み、ユーザがスティックST1を下方向に倒すと移動体100は後方に進む。また、ユーザがスティックST1を左方向に倒すと移動体100は左回りに旋回し、ユーザがスティックST1を右方向に倒すと移動体100は右回りに旋回する。
 さらに、ユーザがスティックST2を上方向に倒すと、移動体100が上昇し、ユーザがスティックST2を下方向に倒すと移動体100が下降する。ユーザがスティックST2を左方向に倒すと、移動体100が左方向に移動し、ユーザがスティックST2を右方向に倒すと移動体100は右方向に移動する。なお、このスティックST1,ST2による操作は一例に過ぎずスティックST1とスティックST2の操作が逆でもよいし、移動体100の他の動作が割り当てられてもよい。なお、スティックの数はあくまで例示であり本技術がその数に限定されるものではない。
 ボタンB1~B6には移動体100の操作、制御に関する種々の機能が割り当てられており、例えば、電源のオン/オフの機能などが割り当てられている。なお、ボタンの数はあくまで例示であり本技術がその数に限定されるものではない。
 タッチパネルTPは、移動体100に関する情報を表示してユーザに提示するとともに、ユーザが各種指示を入力するためものである。
 ホイールWH1,WH2は正負方向に連続値を入力可能な入力機構である。ホイールWH1,WH2は図8の部分拡大図に示すように筐体BDの側面に一部が露出するように設けられている。ホイールWH1はR方向とL方向に回転可能に構成されている。ホイールWH1は筐体BDの前面から背面の方向を軸としたものであり、筐体BDの肩部にあると操作しやすい構造となっている。ホイールWH2はU方向とD方向に回転可能に構成されている。ホイールWH2は筐体BD側面の左右方向を軸としたものであり、筐体BDの側面にあると操作しやすい構造となっている。ホイールWH1,WH2はユーザがスティックST1,ST2を操作する指とは異なる指(例えば人差し指または中指)で操作できるように筐体BDの上部側面と側面にそれぞれ設けられている。なお、以下の説明においてホイールWH1とホイールWH2を区別する必要がないときはホイールWHと記載する。
 ホイールWHは、例えば右回転(時計回り)の入力がプラス(正方向)の倍率値に対応し、左回転(反時計回り)の入力がマイナス(負方向)の倍率値に対応している。また、ホイールWHの回転量と倍率値の値が対応しており、右回転方向への回転量を大きくすればするほどプラスの値で大きい倍率値を入力することができる。また、左回転方向への回転量を大きくすればするほどマイナスの値で大きい倍率値を入力することができる。これによりユーザはスティックST1,スティックST2で移動体の移動方向と旋回方向の操作指示を行いながら同時に速度調整のための操作指示を行うことができる。なお、右回転方向をマイナスの値、左回転方向をプラスの値に対応させてもよい。
 また、所定の倍率値(例えば移動体の速度を予め定めた速度にする1.0倍)に対応するホイールWHの回転の度合いをユーザが認識できるようにユーザに通知する機構を設けるとよい。通知機構としてはホイールWHの回転に引っ掛かりを与えてクリック感を生む爪状機構や入力装置200B全体が振動する振動機構などがある。これによりユーザは、目視しなくても自身が所定の倍率値を入力したことを認識することができる。
 ホイールWHには操作する指を離したら所定の状態(例えば、倍率値が1.0の状態)に復帰する復帰機構を備えてもよい。ホイールWHが自動復帰しない場合、ユーザは入力値を目視で確認する必要が生じ、目視により移動体100や撮影画像から視線が離れてしまう。よってホイールWHにおいては復帰機構を備えることが望ましい。復帰機構はバネなどの弾性体により常時ホイールWHを所定の状態の方向に付勢することにより構成することができる。
 なお、倍率値入力用のホイールはホイールWH1とホイールWH2のどちらでもよいし、ホイールWH1とホイールWH2のいずれか一方だけが筐体BDに設けられていてもよい。さらに、ホイールWH1とホイールWH2は筐体BDの左側の側面に設けられていてもよい。さらに、筐体BDの右側側面と左側側面の両方にホイールを設けてもよい。
 なお、図9に示すようにホイールに代えて入力装置200BにレバーLVを設けてもよい。レバーLVのホイールと同様に連続値を入力可能な入力機構である。レバーLVは上述したホイールと同様にスティックST1を操作する指とは異なる指(例えば人差し指)で操作できるように筐体BDの上部側面に設けられている。
 レバーLVは例えば右方向への入力がプラスの倍率値に対応しており、左方向への入力がマイナスの倍率値に対応している。また、レバーLVを倒す度合いと倍率値が対応しており、右回転方向へ倒す度合いを大きくするとレバーLVするほどプラスの値で大きい倍率値を入力することができる。また、左回転方向への傾きの度合いを大きくするとレバーLVするほどマイナスの値で大きい倍率値を入力することができる。なお、右方向へ倒すのをマイナスの値、左回転方向へ倒すのをプラスの値に対応させてもよい。レバーLVにおいてもホイールと同様に通知機構を設けるとよい。
 レバーLVにおいてもホイールと同様に操作する指を離したら所定の状態(例えば、倍率値が1.0の状態)に復帰する復帰機構を設けてもよい。ただし、レバーLVはホイールとは異なり、指の感覚で入力値を確認できるため復帰機構は復帰機構を設けず、むしろあえて摩擦を高めるなどして誤動作を防ぎ、入力値を維持するようにしてもよい。
 このようにホイールWHであってもレバーLVであっても倍率値入力のための機構は一軸の操作子であることが好ましい。一軸の操作子であれば2つの方向への直線上の操作だけなので他の操作(移動体100の操作や撮像装置400の操作)と同時に倍率値の入力を行うことができる。
 なお、入力装置200BにホイールWHとレバーLVの両方を設けてもよい。
[1-4.情報処理装置の構成と速度制御処理]
[1-4-1.事前軌道]
 次に情報処理装置300の構成および情報処理装置300による移動体100の速度制御処理について説明する。まず、速度制御処理の説明の前に事前軌道について説明する。
 事前軌道とは、図10および図11に示すように、移動体100が通過する位置である目標位置と、その目標位置を移動体100が通過する時刻である目標時刻とからなる複数の「目標位置/時刻」により構成されるものである。目標位置は例えば緯度経度で設定される。また目標時刻は「1時23分45秒」など具体的な時刻で設定してもよいし、基準時刻(移動開始時など)から10秒後など、経過時間で設定してもよい。移動体100はこの事前軌道に基づいて移動を行い、情報処理装置300はこの事前軌道に基づいて速度制御処理を行う。よって、ユーザは実際の移動の前に事前軌道を設定する必要がある。事前軌道は全ての目標位置/時刻を設定した後は再計算処理により再計算軌道とされる以外は基本的に不変であり、移動体100の移動の基準となる。
 事前軌道は例えば図10のように設定される。図10では一例としてレーシングカーのサーキットの2次元の地図データを用いている。二次元の地図データ上に移動体100が通過する位置である複数の目標位置と各目標位置を通過する時刻である目標時刻をそれぞれに設定する。これにより移動体100がそれら目標位置を目標時刻が早い順に通過する軌道である事前軌道が設定される。目標位置/時刻は移動体100が通過する順序(時系列)に従い番号が付されている。なお、事前軌道は目標位置と、その目標位置を移動体100が通過する際の速度を示す目標速度で構成されてもよい。
 目標位置は例えば入力装置200Aの表示部205Aやその他の表示装置や端末装置に表示された地図データ上の位置を移動体100が通過する順序で直接指定することにより設定できる。目標時刻は例えば目標位置ごとに具体的な数値を入力することにより設定することができる。このように設定された目標位置/時刻は事前軌道情報としてひとまとめにされて情報処理装置300に供給される。なお、事前軌道を設定するための入力装置は入力装置200と同一のものであってもよいし、別個の装置であってもよい。
 このようにして設定された事前軌道は移動体100のUAV制御部101に供給され、UAV制御部101は、センサ部103から取得した移動体100の現在位置情報と事前軌道の比較を行いながらアクチュエータ3a~3dの出力を制御することにより移動体100を事前軌道に沿って移動させる。
 例えば移動体100に搭載した撮像装置400を用いた実際の撮影の前に実際に事前軌道に沿って移動体100を移動させて事前軌道の状態を確認する場合を考える。この場合の速度制御では図5Bに示したような速度の倍率を固定値で指定するボタンを備える速度制御用UIが適している。例えば、事前軌道の状態の確認(木などの障害物がないかなど)や移動体100の位置姿勢を確認したい場所では移動体100の速度を基準速度より遅くする(例えば速度の倍率0.5を選択)ことにより時間をかけて目視で確認することができる。移動体100が目標位置から他の目標位置へと略直線状に移動する動きが単調な個所では移動体100の速度を基準速度より速くする(例えば速度の倍率2.0を選択)することにより確認作業時間を短縮することができる。
 事前軌道に沿って移動体100が移動する際の速度の確認を行う場合には図5Aに示したような連続値指定の速度制御用UIが適している。この速度の確認によって「事前軌道上の特定の位置では速度の倍率は1.3倍くらいがちょうどよい」といったことがわかれば、事前軌道の設定において目標位置に対応させて適切な目標時刻を設定することができるようになる。
 また、移動体100に搭載した撮像装置400を用いた実際の撮影では被写体の動きに合わせて柔軟かつ連続的な速度制御を行うために図5Aに示した連続値の入力が可能な速度制御用UIが適している。ユーザが入力領域211Aから指を離せば移動体100は事前軌道の目標時刻に沿った速度で移動し続けるのでユーザは移動体100の姿勢の操作や撮像装置400の操作に集中することができる。さらに、必要応じて移動体100の滑らかな加速または減速を行うことができる。なお、移動体100の実際の移動の前の事前軌道の確認は必須ではない。
 事前軌道は3次元の地区データ上に設定してもよい。2次元または3次元の地図データとしてはインターネットで利用可能な地図サービスなどを利用することもできる。また、実際に移動体100を移動させてその移動経路に基づいて事前軌道を設定してもよい。
[1-4-2.情報処理装置300の構成および処理]
 次に情報処理装置300の構成および速度制御処理について説明する。情報処理装置300はユーザからの入力装置200に対する入力に基づく速度制御値である倍率値を用いて移動体100の速度を制御する処理を行うものである。なお、移動体100はユーザからの入力がない限り、事前軌道で設定された目標位置/時刻に従って移動する。
 図11に示すように情報処理装置300は倍率値変換部301、再計算対象抽出部302、軌道再計算部303、目標位置/速度抽出部304、現在位置/速度推定部305、目標到達判断部306、再計算軌道カウンタ更新部307、事前軌道カウンタ更新部308、アクチュエータ出力決定部309を備えて構成されている。
 情報処理装置300における処理で事前軌道は軌道再計算部303により再計算されて再計算軌道として再定義される。詳しくは後述するが、再計算軌道は複数の目標位置、目標速度および目標時刻(以下、目標位置/速度/時刻と称する。)から構成されている。
 情報処理装置300は移動体100の事前軌道における移動の進捗具合を示す事前軌道カウンタの値と、移動体100の再計算軌道における移動の進捗具合を示す再計算軌道カウンタの値に基づいて処理を行う。事前軌道カウンタは事前軌道を構成する目標位置/時刻の番号に基づいて移動体100の進み具合をカウントする。事前軌道カウンタのカウンタ値は目標位置/時刻に移動体100が通過する順序に従い付された番号と関連付けられており、事前軌道カウンタのカウンタ値の初期値は0であり、移動体100が新たな目標位置に到達するたびに1ずつインクリメントされる。
 再計算軌道カウンタは再計算軌道を構成する目標位置/速度/時刻の番号に基づいて移動体100の進捗具合をカウントする。再計算軌道進捗カウンタのカウンタ値は目標位置/速度/時刻に移動体100が通過する順序に従って付された番号と関連付けられている。再計算軌道進捗カウンタのカウンタ値の初期値は0であり、移動体100が新たな目標位置に到達するたびに1ずつインクリメントされる。
 倍率値変換部301は、ユーザから入力装置200に対して入力された入力値を予め定めた倍率変換情報に基づいて速度制御値である倍率値に変換し、再計算対象抽出部302と事前軌道カウンタ更新部308に供給する。倍率変換情報とは図6を参照して説明したユーザからの入力値に基づいて出力する倍率値を決定する関数である。
 再計算対象抽出部302は倍率値と、事前軌道と、事前軌道カウンタのカウンタ値を入力として事前軌道から再計算の対象となる複数の目標位置/時刻を抽出して軌道再計算部303に供給する。再計算対象抽出部302は事前軌道カウンタの値で示される番号の目標位置/時刻を始点として、倍率値Sの正負方向に沿って倍率値Sと所定の秒数Rから下記の式1で算出される秒数R’分の複数の目標位置/時刻を抽出する。
[式1]
R’=|S|×R
 例えば事前軌道カウンタのカウンタ値がKであり、図12に示すように、目標位置/時刻[k]から秒数R’分の目標位置/時刻が目標位置/時刻[k+1]と目標位置/時刻[k+2]である場合、目標位置/時刻[k]、目標位置/時刻[k+1]、目標位置/時刻[K+2]の3つが再計算対象抽出部302により抽出される。
 抽出された目標位置/時刻はタイムスタンプが修正されて基準時刻(例えば0)からR’秒分のものとして番号が付与し直される。抽出された目標位置/時刻は図11においては「事前軌道(抽出)」と示されている。
 なお、倍率値Sが0の場合、R’も0になるため、上述の処理では0秒分の目標位置/時刻を抽出することはできない。そこで、倍率値Sが0の場合はカウンタ値kと同じ番号が付されたk番目の目標位置/時刻を抽出して複数個並べることとする。また、事前軌道カウンタのカウンタ値が事前軌道の始点や終点を示し、それ以上辿れない場合、事前軌道の終点である最後の目標位置/時刻を抽出して複数並べることとする。
 軌道再計算部303は、抽出された複数の目標位置/時刻を入力としてCP(Continuous Path)制御周期に合わせた周期の軌道(再計算軌道)を算出するものである。PTP(Point-to-Point)制御的な動きでは人間が操縦するような滑らかな軌道を実現することはできない。そこで本技術ではCP制御を用いる。指定された事前軌道から移動体100のアクチュエータの制御周期に合わせた制御命令値を生成し、それを目標値としてUAV制御部101に与えることによって、より滑らかな移動を実現することができる。この場合、事前軌道には位置と時刻の組が必要になり、ここで都度の目標速度も決定される。
 軌道再計算部303は、目標位置と目標時刻に基づいて、目標位置を通過する際の移動体100の速度である目標速度を算出する。再計算軌道は目標位置、目標速度および目標時刻(目標位置/速度/時刻)とから構成される。ただし、実際には「アクチュエータコントローラに合わせた制御量」でありさえすればよい。なお、事前軌道から抽出された目標位置/時刻がR’秒分である場合、軌道再計算部303で算出される再計算軌道はR’秒分でもよいし、R’秒分ではなくてもよい。説明の便宜上共にR’秒分としたが、事前軌道から抽出する秒数、軌道再計算部303で算出される再計算軌道の秒数、両者の比率などはCP計算アルゴリズム次第となる。
 事前軌道として予め全ての目標位置/時刻が設定されているため、速度制御により移動体100の速度が変わると速度が変わった地点以降の全ての目標位置への到達時間が変わることになる。これにより、速度が変わった地点以降の全ての目標位置への到達時間がずれることになる。よって、軌道再計算部303で目標位置/時刻を再計算してズレを補正して再設定する必要がある。
 ただし、軌道再計算部303による処理は負荷が大きくなる場合があるため、全ての目標位置/時刻の再計算を行うのではなく、再計算対象抽出部302で秒数R’により抽出範囲を限定し、軌道再計算部303はその抽出範囲内の目標位置/時刻を再計算する。また、再計算対象抽出部302で秒数R’分の目標位置/時刻を抽出するのではなく、抽出は秒数R’分以上の範囲で行い、軌道再計算部303で秒数R’分の目標位置/時刻の再計算を行うようにしてもよい。
 目標位置/速度抽出部304は、軌道再計算部303により算出された再計算軌道から再計算軌道カウンタの値で示される番号の、移動体100が到達すべき次の目標位置/速度/時刻を抽出するものである。抽出された目標位置は目標到達判断部306に供給される。また、抽出された目標位置/速度はアクチュエータ出力決定部309に供給される。
 現在位置/速度推定部305は移動体100のセンサ部103から供給された各種センサ情報に基づいて移動体100の現在位置と現在速度を推定するものである。現在位置は目標到達判断部306に供給され、現在位置/速度はアクチュエータ出力決定部309に供給される。
 目標到達判断部306は目標位置と現在位置との差分から移動体100が次に到達すべき目標位置に到達したか否かを判断するものである。目標到達判断部306の判断結果は再計算軌道カウンタ更新部307に供給される。
 再計算軌道カウンタ更新部307は目標到達判断部306に判断結果に基づき、移動体100が目標位置に到達した場合、再計算軌道進捗カウンタの値をインクリメントする。再計算軌道カウンタ更新部307により更新された再計算軌道カウンタの値は目標位置/速度抽出部304に供給される。これにより目標位置/速度抽出部304は次の抽出タイミングでは再計算軌道カウンタ値で示される移動体100が到達すべき次の番号が付された目標位置/速度を再計算軌道から抽出する。さらに、再計算軌道進捗カウンタの値は事前軌道カウンタ更新部308にも供給される。
 事前軌道カウンタ更新部308は、再計算軌道カウンタの値と倍率値変換部301から供給された倍率値の正負に基づいて事前軌道カウンタをインクリメントまたはデクリメントする処理を行う。事前軌道カウンタ更新部308は、倍率値が正の値である場合、移動体100は正方向(軌道を進む方法)に移動したとして事前軌道カウンタの値をインクリメントする。一方、倍率値が負の値である場合、移動体100は負方向(軌道を戻る方向)に移動したとして事前軌道カウンタの値をデクリメントする。事前軌道カウンタ値は再計算対象抽出部302に供給される。これにより再計算対象抽出部302は次の抽出タイミングでは事前軌道カウンタ値で示される移動体100が到達すべき次の番号が付された目標位置/速度を事前軌道から抽出する。
 アクチュエータ出力決定部309には再計算軌道の目標位置/速度と、現在位置/速度推定部305が推定した移動体100の現在位置/速度が供給される。
 アクチュエータ出力決定部309は位置制御モードである場合、目標位置と現在位置の差分を移動体100のアクチュエータ3a~3dにおける出力を制御する制御信号に変換して、移動体100のUAV制御部101に供給する。また、アクチュエータ出力決定部309は速度制御モードである場合、目標速度と現在速度の差分を移動体100のアクチュエータ3a~3dにおける出力を制御する制御信号に変換して、移動体100のUAV制御部101に供給する。UAV制御部101はアクチュエータ3a~3dに制御信号を送信することによりアクチュエータ3a~3dの出力を制御して移動体100の移動速度、移動方向を制御する。これにより移動体100の速度が制御される。なお、アクチュエータ出力決定部309の制御モードはユーザが決定することができるようにするとよい。
 以上のようにして情報処理装置300による速度制御処理が行われる。なお、情報処理装置300は、ユーザからの入力があった場合にだけ上述の処理を行うようにしてもよいし、ユーザからの入力の有無に関わらず所定の時間間隔で継続して処理を行うようにしてもよい。
 本技術によれば、ユーザは容易に移動体100の速度を制御するための入力を行うことができる。よって、移動体100を自動操縦させつつも、同時にその速度はユーザが簡単に指定できる。
 ユーザによる速度の指定方法が複数あることにより、幅広いユーザの要求や幅広い用途に柔軟に対応可能である。
 なお、情報処理装置300はプログラムの実行により実現され、そのプログラムは予め移動体100内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。さらに、情報処理装置300は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
[1-5.撮像装置400の構成]
 次に撮像装置400の構成について説明する。撮像装置400は、図1、図2Bに示すように移動体100の胴体部1の底面にジンバル500を介して吊り下げられるように搭載されている。撮像装置400はジンバル500の駆動により360度水平方向から垂直方向への全方向のいずれの方向にもレンズを向けて撮像することが可能となっている。これにより、設定した構図での撮影が可能となっている。なお、ジンバル500の動作制御はジンバル制御部104により行われる。
 図13のブロック図を参照して撮像装置400の構成について説明する。撮像装置400は、制御部401、光学撮像系402、レンズ駆動ドライバ403、撮像素子404、画像信号処理部405、画像メモリ406、記憶部407、通信部408を備えて構成されている。
 光学撮像系402は、被写体からの光を撮像素子404に集光するための撮像レンズ、撮像レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは撮像装置400の制御部401、レンズ駆動ドライバ403からの制御信号に基づいて駆動される。光学撮像系402を介して得られた被写体の光画像は、撮像装置400が備える撮像素子404上に結像される。
 レンズ駆動ドライバ403は、例えばマイコンなどにより構成され、制御部401の制御に従い撮像レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行う。また、制御部401からの制御に従い、光学撮像系402の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間(シャッタースピード)の調整、絞り値(F値)などの調整がなされる。
 撮像素子404は、被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子404は画素信号を画像信号処理部405に出力する。撮像素子404としては、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などが用いられる。
 画像信号処理部405は撮像素子404から出力された撮像信号に対して、CDS(Correlated Double Sampling)処理によりS/N(Signal/Noise)比を良好に保つためのサンプルホールド、AGC(Auto Gain Control)処理、A/D(Analog/Digital)変換などを行ない、画像信号を作成する。
 画像メモリ406は、揮発性メモリ、例えば、DRAM(Dynamic Random Access Memory)で構成されるバッファメモリである。画像メモリ406は画像信号処理部405によって所定の処理が施された画像データを一時的に蓄えておくものである。
 記憶部407は、例えば、ハードディスク、USBフラッシュメモリ、SDメモリカードなどの大容量記憶媒体である。撮像された画像は例えばJPEG(Joint Photographic Experts Group)などの規格に基づいて圧縮された状態または非圧縮の状態で保存される。また、保存された画像に関する情報、撮像位置を示す撮像位置情報、撮像日時を示す撮像時刻情報などの付加情報を含むEXIF(Exchangeable Image File Format)データもその画像に対応付けられて保存される。
 通信部408は、移動体100および入力装置200とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信は、USB通信などの有線通信や、無線LAN、WAN、WiFi、4G、5G、Bluetooth(登録商標)、ZigBee(登録商標)などの無線通信のどちらであってもよい。
 なお、入力装置200を使用してユーザが移動体100の操作に加えて撮像装置400を操作できるようにしてもよいし、入力装置200とは異なる装置で撮像装置400を操作できるようにしてもよい。
 本技術によれば、ユーザは容易に移動体100の速度を制御するための入力を行うことができる。これによりユーザは移動体100に撮像装置400を搭載して撮影を行う際に撮像装置400の操作を行いながら移動体100の速度制御のための入力を行うことができる。よって、例えばユーザが移動体100の専属操縦者を付けないカメラマンであり、そのカメラマンのみのワンオペレーションであっても容易に移動体100の速度制御のための入力を行いながらフレーミングやフォーカシングに集中することができる。
 また、事前に設定した事前軌道に沿って移動体100を移動させつつ速度を調整することが可能なので、実際の撮影において被写体と撮像装置400の位置関係を微調整することができる。実際の撮影では被写体の動きに合わせて柔軟かつ連続的な速度制御を行うために図5Aや図8に示した連続値の入力が可能なUIを用いるのが好ましい。指を離すなど入力を無くせば移動体100は1倍速で移動を続けるためよりカメラワークに集中でき、しかし必要に応じて入力に合わせた滑らかな加速・減速を行うことができる。
 本技術の利用態様の具体的な例としてサーキットを周回するレーシングカーを移動体100としてのドローンで空撮する例が挙げられる。特定のレースにおける理想的なレーシングカーの走行ラインと速度分布は事前に仮定することができる。その仮定した情報を利用してドローンの事前軌道は理想的な撮影を行うための飛行ラインとして「レーン」のように決定できる。
 カメラマンは「レーン」上を移動するドローンに装着されたパンチルトズームカメラによるフレーミング操作に集中しつつ、本技術を用いて被写体との距離および方向を調整するために「レーン」を移動するドローンをレバー一つで加減速させることができる。
例えば、とあるレーシングカーがコースアウトにより停車したといった場合は入力装置200への操作でドローンの停止もしくは逆行を行い、適切なポジションを維持しながら撮影を続行することができる。またはドローンの操作をマニュアル操作に切り替えてもよい。
<2.変形例>
 以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
 実施の形態では速度制御値として倍率値を用いたが、速度制御値として具体的な速度の数値を指定してオフセット値で速度を調整することもできる。例えば今現在の速度に対して+1km/h、+2km/h、+3km/hのように加算する速度を直接指定してもよいし、43km/h、50km/hなど移動体100の移動速度を直接指定してもよい。この場合、移動体100の速度制御は加算/減算により決定する。速度制御値が倍率値である場合、乗算により移動体の速度が決定する。
 実施の形態では移動体100に撮像装置400を搭載している例で説明を行ったが、本技術は撮像装置400ではなく他の装置を搭載した移動体100の速度制御にも適用可能であるし、他の装置を搭載しない移動体100の速度制御にも適用可能である。
 実施の形態では移動体100と撮像装置400とを別個の装置として構成したが、移動体100と撮像装置400とを一体の装置として構成してもよい。
 移動体100としてのドローンは実施の形態で説明したような回転翼を備えるものに限られず、いわゆる固定翼型であってもよい。
 本技術の移動体100はドローンに限られず、人の操縦を受けずに自律して移動する自動車、船舶、ロボット、車椅子などであってもよい。また、人の操縦を受け、かつ自律して移動することもできる半移動体であってもよい。
入力装置200の第2の構成例においてはホイールWH1、ホイールWH2を備えるよう説明を行ったが、ホイールの数は2つに限られるものではない。例えば、さらにホイールWH3として筐体BDの上下方向を軸としたものを設け、筐体BDの背面に中指で左右に操作するホイールを設けてもよい。さらに、ホイール形状以外にも薄い構造で実現できるスライダ型の入力機構を設けてもよい。
 本技術を用いた撮影は映画やスポーツなど幅広い目的に用いることができる。実施の形態ではドローンによる空撮を例に挙げたが、本技術は他にも例えば陸上トラック競技の撮影のような接地を前提としたレーン移動カメラのようなものにも応用が可能である。
 撮像装置400としては、デジタルカメラ、スマートフォン、携帯電話機、携帯ゲーム機、ノートパソコン、タブレット端末など、撮像機能を備え、移動体100に搭載させることができる機器であればどのようなものを用いてもよい。
 撮像装置400は入力部、表示部などを備えていてもよい。また、撮像装置400は移動体100と接続しない場合には単体で撮像装置として使用できるものであってもよい。
 情報処理装置300は移動体100ではなく入力装置200に設けられていてもよい。
 本技術は以下のような構成も取ることができる。
(1)
 予め設定された軌道を自律移動する移動体の速度を制御する情報処理装置と、
 ユーザからの入力を受け付ける入力部を備え、前記ユーザから入力された、前記移動体の速度制御に用いる入力値を前記情報処理装置に供給する入力装置と
からなる
情報処理システム。
(2)
 前記移動体は前記軌道上において予め設定された任意の目標位置を予め設定された目標時刻に、または目標速度で通過するように自律移動し、
 前記情報処理装置は前記入力値から得られる速度制御値に基づいて前記目標位置および/または前記目標速度を更新することにより速度の制御を行う(1)に記載の情報処理システム。
(3)
 前記移動体の現在速度と、更新された前記目標速度の差分に基づいて前記移動体の速度の制御を行う(2)に記載の情報処理システム。
(4)
 前記移動体の現在位置と、更新された前記目標位置の差分に基づいて前記移動体の速度の制御を行う(2)に記載の情報処理システム。
(5)
 前記入力部は一軸の操作子により構成されている(1)から(4)のいずれかに記載の情報処理システム。
(6)
 前記入力部はホイールおよび/またはレバーにより構成されている(5)に記載の情報処理システム。
(7)
 前記入力部は前記入力値の入力領域を備えるタッチパネルにより構成されている(1)から(6)のいずれかに記載の情報処理システム。
(8)
 前記入力値の入力領域が、連続値を入力可能なスライダ状に構成されている(7)に記載の情報処理システム。
(9)
 前記入力値の入力領域が、離散値を入力可能なボタン状に構成されている(7)に記載の情報処理システム。
(10)
 前記移動体の速度を所定の速度にするよう制御するための前記入力値に範囲が設けられている(1)から(9)のいずれかに記載の情報処理システム。
(11)
 前記入力装置は、前記ユーザからの入力が前記入力値の範囲に入ったおよび/または範囲から出たことを前記ユーザに通知する通知部を備える(1)から(10)のいずれかに記載の情報処理システム。
(12)
 前記入力部は、前記ユーザからの入力が前記移動体の速度を所定の速度にする前記入力値であることを前記ユーザに通知する通知部を備える(1)から(11)のいずれかに記載の情報処理システム。
(13)
 前記速度制御値としての速度の倍率値に基づいて前記速度の制御を行う(1)から(12)のいずれかに記載の情報処理システム。
(14)
 前記速度制御値としての速度の数値に基づいて前記速度の制御を行う(1)から(13)のいずれかにに記載の情報処理システム。
(15)
 前記情報処理装置は、前記入力値を前記速度制御値に変換する変換部を備え、
 前記入力値と前記速度制御値が直線上または曲線状の関係を有する(1)から(14)のいずれかに記載の情報処理システム。
(16)
 前記情報処理装置は前記移動体に設けられている(1)から(15)のいずれかに記載の情報処理システム。
(17)
 前記情報処理装置は前記入力装置に設けられている(1)から(15)のいずれかに記載の情報処理システム。
(18)
 ユーザからの入力を受け付ける入力部を備える入力装置に入力された入力値に基づいて、予め定められた軌道を自律移動する移動体の速度を制御する情報処理方法。
(19)
 ユーザからの入力を受け付ける入力部を備える入力装置に入力された入力値に基づいて、予め定められた軌道を自律移動する移動体の速度を制御する情報処理方法をコンピュータに実行させる情報処理プログラム。
100・・・・移動体
200・・・・入力装置
204A・・・入力部
WH・・・・・ホイール
LV・・・・・レバー
300・・・・情報処理装置
1000・・・情報処理システム。

Claims (19)

  1.  予め設定された軌道を自律移動する移動体の速度を制御する情報処理装置と、
     ユーザからの入力を受け付ける入力部を備え、前記ユーザから入力された、前記移動体の速度制御に用いる入力値を前記情報処理装置に供給する入力装置と
    からなる
    情報処理システム。
  2.  前記移動体は前記軌道上において予め設定された任意の目標位置を予め設定された目標時刻に、または目標速度で通過するように自律移動し、
     前記情報処理装置は前記入力値から得られる速度制御値に基づいて前記目標位置および/または前記目標速度を更新することにより速度の制御を行う
    請求項1に記載の情報処理システム。
  3.  前記移動体の現在速度と、更新された前記目標速度の差分に基づいて前記移動体の速度の制御を行う
    請求項2に記載の情報処理システム。
  4.  前記移動体の現在位置と、更新された前記目標位置の差分に基づいて前記移動体の速度の制御を行う
    請求項2に記載の情報処理システム。
  5.  前記入力部は一軸の操作子により構成されている
    請求項1に記載の情報処理システム。
  6.  前記入力部はホイールおよび/またはレバーにより構成されている
    請求項5に記載の情報処理システム。
  7.  前記入力部は前記入力値の入力領域を備えるタッチパネルにより構成されている
    請求項1に記載の情報処理システム。
  8.  前記入力値の入力領域が、連続値を入力可能なスライダ状に構成されている
    請求項7に記載の情報処理システム。
  9.  前記入力値の入力領域が、離散値を入力可能なボタン状に構成されている
    請求項7に記載の情報処理システム。
  10.  前記移動体の速度を所定の速度にするよう制御するための前記入力値に範囲が設けられている
    請求項1に記載の情報処理システム。
  11.  前記入力装置は、前記ユーザからの入力が前記入力値の範囲に入ったおよび/または範囲から出たことを前記ユーザに通知する通知部を備える
    請求項1に記載の情報処理システム。
  12.  前記入力部は、前記ユーザからの入力が前記移動体の速度を所定の速度にする前記入力値であることを前記ユーザに通知する通知部を備える
    請求項1に記載の情報処理システム。
  13.  前記速度制御値としての速度の倍率値に基づいて前記速度の制御を行う
    請求項1に記載の情報処理システム。
  14.  前記速度制御値としての速度の数値に基づいて前記速度の制御を行う
    請求項1に記載の情報処理システム。
  15.  前記情報処理装置は、前記入力値を前記速度制御値に変換する変換部を備え、
     前記入力値と前記速度制御値が直線上または曲線状の関係を有する
    請求項1に記載の情報処理システム。
  16.  前記情報処理装置は前記移動体に設けられている
    請求項1に記載の情報処理システム。
  17.  前記情報処理装置は前記入力装置に設けられている
    請求項1に記載の情報処理システム。
  18.  ユーザからの入力を受け付ける入力部を備える入力装置に入力された入力値に基づいて、予め定められた軌道を自律移動する移動体の速度を制御する
    情報処理方法。
  19.  ユーザからの入力を受け付ける入力部を備える入力装置に入力された入力値に基づいて、予め定められた軌道を自律移動する移動体の速度を制御する
    情報処理方法をコンピュータに実行させる情報処理プログラム。
PCT/JP2020/027458 2019-09-25 2020-07-15 情報処理システム、情報処理方法、情報処理プログラム WO2021059684A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/640,628 US20220404841A1 (en) 2019-09-25 2020-07-15 Information processing system, information processing method, and information processing program
JP2021548365A JP7544061B2 (ja) 2019-09-25 2020-07-15 情報処理システム、情報処理方法、情報処理プログラム
CN202080065662.0A CN114424137A (zh) 2019-09-25 2020-07-15 信息处理系统、信息处理方法和信息处理程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019173890 2019-09-25
JP2019-173890 2019-09-25

Publications (1)

Publication Number Publication Date
WO2021059684A1 true WO2021059684A1 (ja) 2021-04-01

Family

ID=75166541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027458 WO2021059684A1 (ja) 2019-09-25 2020-07-15 情報処理システム、情報処理方法、情報処理プログラム

Country Status (4)

Country Link
US (1) US20220404841A1 (ja)
JP (1) JP7544061B2 (ja)
CN (1) CN114424137A (ja)
WO (1) WO2021059684A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11123278A (ja) * 1998-08-28 1999-05-11 Sega Enterp Ltd 自走車の走行制御方法及び装置
JP2011150512A (ja) * 2010-01-21 2011-08-04 Ihi Aerospace Co Ltd 無人移動体の制御方法及び無人移動体
JP2016096833A (ja) * 2014-11-18 2016-05-30 日本遠隔制御株式会社 ラジオコントロール用送信機
WO2016163035A1 (ja) * 2015-04-07 2016-10-13 株式会社Doog 移動筐体制御インタフェース
US20180096455A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Course profiling and sharing
JP2018116443A (ja) * 2017-01-18 2018-07-26 住友重機械工業株式会社 検査システム
US20190002103A1 (en) * 2017-06-30 2019-01-03 Intel Corporation Unmanned aerial vehicles and related methods and systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080026671A1 (en) * 2005-10-21 2008-01-31 Motorola, Inc. Method and system for limiting controlled characteristics of a remotely controlled device
EP3783454B1 (en) * 2016-02-26 2024-03-20 SZ DJI Technology Co., Ltd. Systems and methods for adjusting uav trajectory
WO2018161287A1 (en) * 2017-03-09 2018-09-13 SZ DJI Technology Co., Ltd. Systems and methods for operating unmanned aerial vehicle
WO2019084504A1 (en) * 2017-10-27 2019-05-02 Fluidity Technologies, Inc. MULTI-DEGREE MANUAL CONTROL DEVICE WITH DYNAMIC BALANCING
US11307584B2 (en) * 2018-09-04 2022-04-19 Skydio, Inc. Applications and skills for an autonomous unmanned aerial vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11123278A (ja) * 1998-08-28 1999-05-11 Sega Enterp Ltd 自走車の走行制御方法及び装置
JP2011150512A (ja) * 2010-01-21 2011-08-04 Ihi Aerospace Co Ltd 無人移動体の制御方法及び無人移動体
JP2016096833A (ja) * 2014-11-18 2016-05-30 日本遠隔制御株式会社 ラジオコントロール用送信機
WO2016163035A1 (ja) * 2015-04-07 2016-10-13 株式会社Doog 移動筐体制御インタフェース
US20180096455A1 (en) * 2016-09-30 2018-04-05 Sony Interactive Entertainment Inc. Course profiling and sharing
JP2018116443A (ja) * 2017-01-18 2018-07-26 住友重機械工業株式会社 検査システム
US20190002103A1 (en) * 2017-06-30 2019-01-03 Intel Corporation Unmanned aerial vehicles and related methods and systems

Also Published As

Publication number Publication date
CN114424137A (zh) 2022-04-29
JP7544061B2 (ja) 2024-09-03
US20220404841A1 (en) 2022-12-22
JPWO2021059684A1 (ja) 2021-04-01

Similar Documents

Publication Publication Date Title
US11644832B2 (en) User interaction paradigms for a flying digital assistant
US11573562B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
US10979615B2 (en) System and method for providing autonomous photography and videography
CN107000839B (zh) 无人机的控制方法、装置、设备和无人机的控制系统
US11625034B2 (en) One-handed remote-control device for aerial system
JP2017163265A (ja) 操縦支援システム、情報処理装置およびプログラム
WO2019227289A1 (zh) 延时拍摄控制方法和设备
CN111356954B (zh) 控制装置、移动体、控制方法以及程序
US20200304719A1 (en) Control device, system, control method, and program
US20210120171A1 (en) Determination device, movable body, determination method, and program
JP2017169170A (ja) 撮像装置、移動装置、撮像システム、撮像方法およびプログラム
WO2022151473A1 (zh) 拍摄控制方法、拍摄控制装置及云台组件
WO2020133410A1 (zh) 一种拍摄方法及装置
CN204287973U (zh) 飞行相机
WO2022109860A1 (zh) 跟踪目标对象的方法和云台
WO2021014752A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム
CN111630838B (zh) 确定装置、摄像装置、摄像系统、移动体、确定方法以及程序
CN105807783A (zh) 飞行相机
US12007763B2 (en) Magic wand interface and other user interaction paradigms for a flying digital assistant
WO2021059684A1 (ja) 情報処理システム、情報処理方法、情報処理プログラム
CN111602385B (zh) 确定装置、移动体、确定方法以及计算机可读记录介质
WO2022056683A1 (zh) 视场确定方法、视场确定装置、视场确定系统和介质
CN111357271B (zh) 控制装置、移动体、控制方法
JP7545758B2 (ja) 飛行制御システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20870383

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021548365

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20870383

Country of ref document: EP

Kind code of ref document: A1