WO2019087891A1 - 情報処理装置及び飛行制御システム - Google Patents

情報処理装置及び飛行制御システム Download PDF

Info

Publication number
WO2019087891A1
WO2019087891A1 PCT/JP2018/039476 JP2018039476W WO2019087891A1 WO 2019087891 A1 WO2019087891 A1 WO 2019087891A1 JP 2018039476 W JP2018039476 W JP 2018039476W WO 2019087891 A1 WO2019087891 A1 WO 2019087891A1
Authority
WO
WIPO (PCT)
Prior art keywords
terminal
pilot
aircraft
communication unit
control
Prior art date
Application number
PCT/JP2018/039476
Other languages
English (en)
French (fr)
Inventor
中川　宏
山田　和宏
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to US16/754,240 priority Critical patent/US20200278673A1/en
Priority to JP2019551196A priority patent/JP6945005B2/ja
Publication of WO2019087891A1 publication Critical patent/WO2019087891A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/20—Initiating means actuated automatically, e.g. responsive to gust detectors using radiated signals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00—Propulsion; Power supply
    • B64U50/10—Propulsion
    • B64U50/19—Propulsion using electrically powered motors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/005—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with signals other than visual, e.g. acoustic, haptic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • the present invention relates to maneuvering support for a pilot of a flight vehicle.
  • imaging of the flying state of the flying object is performed by causing light emission from a light emitter provided on the flying object to follow the camera provided on the moving mechanism, A mechanism for displaying the captured image at a remote location is disclosed.
  • an object of the present invention is to provide a mechanism capable of providing steering assistance to a pilot of a flying object from a remote location.
  • the present invention is directed to a first communication unit for communicating with a first control terminal for operating a flying object by radio, and a second control terminal for operating the flight object via a network.
  • a second communication unit for performing communication, the first piloting terminal or the information received by the first communication unit from the first pilot terminal or the information received by the second communication unit from the second pilot terminal.
  • a determination unit that determines which of the second piloting terminals will steer the aircraft, and the second piloting terminal determines that the second piloting terminal will steer the aircraft.
  • An information processing apparatus comprising: a remote control unit for transferring an instruction transmitted to an aircraft to the aircraft.
  • the remote control unit uses the first communication unit when the second control terminal determines that the second control terminal controls the flying body, and the second control terminal controls the first control terminal with respect to the first control terminal.
  • a notification may be issued that the aircraft is to be maneuvered, and an instruction transmitted from the second pilot terminal to the aircraft may be transferred to the aircraft upon receiving a permission for the notification.
  • the determination unit is based on the information received by the first communication unit from the first pilot terminal or the information received by the second communication unit from the second pilot terminal, the skill level of piloting by the first pilot terminal May be identified, and the determination may be made based on the skill level.
  • the determination unit may specify a flight environment of the aircraft based on information received from the first pilot terminal by the first communication unit, and perform the determination based on the flight environment.
  • the determination unit may identify the state of the flying object based on the information received by the first communication unit from the first pilot terminal, and may make the determination based on the state.
  • the first communication unit and the second communication unit relay voice calls between the first pilot terminal and the second pilot terminal, and the first communication unit further receives information received from the first pilot terminal.
  • the second communication unit may be used to output voice.
  • the determination unit makes the determination for each set of the first control terminal and the second control terminal, and the remote control unit When it is determined that the second pilot terminal steers the aircraft for each pair of the first pilot terminal and the second pilot terminal, the second pilot terminal is transmitted to the aircraft An instruction may be forwarded to the aircraft.
  • a first control terminal for operating a flying object by radio, a second control terminal for operating the flying object via a network, and a first communication for communicating with the first control terminal.
  • a second communication unit for communicating with the second pilot terminal, and information received from the first pilot terminal by the first communication unit or information received from the second pilot terminal by the second communication unit.
  • a determination unit that determines which one of the first piloting terminal and the second piloting terminal maneuvers the aircraft, and the second piloting terminal is determined to steer the aircraft;
  • a remote control unit for transferring, to the aircraft, an instruction transmitted from the second pilot terminal to the aircraft, to provide a flight control system.
  • steering assistance to the pilot of the flying object can be provided from a remote place.
  • FIG. 1 shows an example of the configuration of a flight control system 1.
  • FIG. FIG. 2 is a view showing an example of the appearance of a flying object 10; It is a figure which shows the hardware constitutions of the flying body 10.
  • FIG. It is a figure which shows the hardware constitutions of the 1st control terminal 30.
  • FIG. It is a figure which shows the hardware constitutions of the 2nd control terminal 50.
  • FIG. FIG. 2 is a diagram showing a hardware configuration of a server device 20.
  • FIG. 2 is a diagram showing an example of a functional configuration of a server device 20.
  • 5 is a sequence chart showing an example of the operation of the flight control system 1;
  • FIG. 1 is a diagram showing an example of the configuration of a flight control system 1.
  • the flight control system 1 is a system for controlling the flight of the flying object 10.
  • the flight control system 1 includes an aircraft 10, a server device 20, a first control terminal 30, an imaging device 40, a second control terminal 50, and a network 60.
  • the flying object 10 is a flightable device called, for example, a drone, and has an imaging function of capturing an image of itself by moving images. An image captured by this imaging function is an image when the flying object 10 is a viewpoint, and hereinafter, it is referred to as a flying object viewpoint image.
  • the first control terminal 30 is a terminal for the pilot to steer while viewing the flying object 10.
  • the first control terminal 30 is wirelessly connected to the flying object 10, transmits a wireless signal according to the operation of the operator to the flying object 10, and instructs its operation.
  • the imaging device 40 is, for example, a camera, and captures an image of the flight of the flying object 10 as a moving image.
  • the imaging device 40 has a pan-tilt function.
  • the captured image is analyzed by image recognition technology to recognize the flying object 10 in the captured image, and the pan-tilt function is controlled to control the recognized flight.
  • the imaging direction can be changed so as to track and capture the body 10.
  • the imaging device 40 may be a stationary imaging device installed on the ground below the flight airspace of the aircraft 10 or a portable imaging device that can be carried by a human.
  • the imaging device 40 is portable, and is placed near the operator to image a space including the flying object 10.
  • the image captured by the imaging device 40 is substantially equal to the field of view when the user views the flight of the flying object 10 from the viewpoint of the driver, and in the following, is referred to as a driver viewpoint image.
  • the second steering terminal 50 is a terminal for a steering assistant who remotely assists the pilot by the pilot to operate.
  • the second control terminal 50 has a display function, and can display the above-mentioned flying object viewpoint image or pilot viewpoint image.
  • the steering assistant operates the second steering terminal 50 while watching the image to assist the pilot in steering.
  • the maneuvering skill level indicating the level of the maneuvering skill of the maneuvering assistant operating the second maneuvering terminal 50 is higher than the maneuvering skill level of the pilot operating the first maneuvering terminal 30.
  • the server device 20 is an information processing device that functions as a control platform that controls the flight of the aircraft 10.
  • the server device 20 determines which of the first piloting terminal 30 operated by the pilot or the second piloting terminal 50 operated by the piloting assistant steers the flying object 10, and the second piloting terminal 50 When it is determined that 10 maneuvers are to be performed, the command transmitted from the second maneuvering terminal 50 to the aircraft 10 is transferred to the aircraft 10 to perform flight control.
  • the server device 20 gives priority to any one of the flying object viewpoint image captured by the imaging function of the flying object 10 and the pilot viewpoint image obtained by capturing an image of the flying object 10 flying by the imaging device 40.
  • to display preferentially is to display on the second control terminal 50 so that the user can easily or easily view one captured image to be displayed preferentially compared to the other captured image.
  • a mode in which one captured image to be displayed preferentially is displayed earlier in time than the other captured image, or one captured image to be displayed preferentially is visually emphasized in comparison to the other captured image Including the form to be displayed.
  • the server device 20, the first control terminal 30, the imaging device 40, and the second control terminal 50 are connected to the network so as to be able to communicate with the network 60 by wire or wireless.
  • the network 60 is preferably a closed area network to realize low latency data transfer.
  • FIG. 2 is a view showing an example of the appearance of the flying object 10.
  • the flying object 10 is, for example, a so-called drone, and includes a propeller 101, a drive device 102, and a battery 103.
  • the propeller 101 rotates about an axis. As the propeller 101 rotates, the flying object 10 flies.
  • the driving device 102 powers and rotates the propeller 101.
  • the drive device 102 includes, for example, a motor and a transmission mechanism that transmits the power of the motor to the propeller 101.
  • the battery 103 supplies power to each part of the aircraft 10 including the drive device 102.
  • FIG. 3 is a diagram showing the hardware configuration of the aircraft 10.
  • the flying object 10 is physically configured as a computer device including a processor 11, a memory 12, a storage 13, a communication device 14, a positioning device 15, an imaging device 16, a sensor 18, a bus 17, and the like.
  • the term “device” can be read as a circuit, a device, a unit, or the like.
  • the processor 11 operates an operating system, for example, to control the entire computer.
  • the processor 11 may be configured by a central processing unit (CPU) including an interface with a peripheral device, a control device, an arithmetic device, a register, and the like.
  • CPU central processing unit
  • the processor 11 reads a program (program code), a software module or data from the storage 13 and / or the communication device 14 to the memory 12 and executes various processing according to these.
  • a program a program that causes a computer to execute at least a part of the operation of the flying object 10 is used.
  • the various processes performed in the aircraft 10 may be performed by one processor 11 or may be performed simultaneously or sequentially by two or more processors 11.
  • the processor 11 may be implemented by one or more chips.
  • the program may be transmitted from the network via a telecommunication line.
  • the memory 12 is a computer readable recording medium, and includes, for example, at least one of a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), an EEPROM (Electrically Erasable Programmable ROM), and a RAM (Random Access Memory). It may be done.
  • the memory 12 may be called a register, a cache, a main memory (main storage device) or the like.
  • the memory 12 can store a program (program code), a software module, and the like that can be executed to implement the flight control method according to the embodiment of the present invention.
  • the storage 13 is a computer readable recording medium, and is, for example, an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, a magnetooptical disk (for example, a compact disk, a digital versatile disk, Blu-ray A (registered trademark) disk, a smart card, a flash memory (for example, a card, a stick, a key drive), a floppy (registered trademark) disk, a magnetic strip, and the like may be used.
  • the storage 13 may be called an auxiliary storage device.
  • the communication device 14 is hardware for performing wireless communication with the first control terminal 30.
  • the positioning device 15 measures the three-dimensional position of the aircraft 10.
  • the positioning device 15 is, for example, a GPS (Global Positioning System) receiver, and measures the current position of the aircraft 10 based on GPS signals received from a plurality of satellites.
  • GPS Global Positioning System
  • the imaging device 16 captures an image around the flying object 10.
  • the imaging device 16 is, for example, a camera, and captures an image by forming an image on an imaging element using an optical system.
  • the imaging device 16 captures an image of a predetermined range in front of the aircraft 10, for example.
  • the imaging direction of the imaging device 16 is not limited to the front of the aircraft 10, and may be above, below, or behind the aircraft 10. Also, for example, the imaging direction may be changed by rotating a pedestal that supports the imaging device 16.
  • the sensor 18 is a device for detecting various states of the aircraft 10. For example, the altitude of the aircraft 10, the velocity of the aircraft 10, the attitude of the aircraft 10, the remaining battery capacity of the aircraft 10, and the The motor rotation number, the distance between the flying object 10 and the work object, and the like are detected.
  • the work object is, for example, the structure when the flying object 10 flies for imaging the structure.
  • the devices such as the processor 11 and the memory 12 described above are connected by a bus 17 for communicating information.
  • the bus 17 may be configured as a single bus or may be configured as different buses among the devices.
  • FIG. 4 is a diagram showing a hardware configuration of the first control terminal 30.
  • the first control terminal 30 is physically configured as a computer device including a processor 31, a memory 32, a storage 33, a first communication device 34, a second communication device 35, a UI (User Interface) unit 36, a bus 37, and the like. It is done.
  • the first communication device 34 performs wireless communication with the communication device 14 of the aircraft 10.
  • the second communication device 35 communicates with the server device 20 via the network 60.
  • the UI unit 36 includes, for example, a display unit including a liquid crystal panel and a liquid crystal drive circuit and the like for displaying an image according to image data, and an operator such as a key and a touch sensor, for example.
  • the processor 31, the memory 32, the storage 33, and the bus 37 other than the above are the same as the processor 11, the memory 12, the storage 13, and the bus 17 described above, and thus the description thereof will be omitted.
  • FIG. 5 is a diagram showing a hardware configuration of the second control terminal 50.
  • the second control terminal 50 is physically configured as a computer device including a processor 51, a memory 52, a storage 53, a communication device 54, a UI unit 55, a bus 56, and the like.
  • the communication device 54 communicates with the server device 20 via the network 60.
  • the processor 51, the memory 52, the storage 53, the UI unit 55, and the bus 56 other than the above are the same as the processor 11, the memory 12, the storage 13, the UI unit 36, and the bus 17 described above.
  • FIG. 6 is a diagram showing a hardware configuration of the server device 20.
  • the server device 20 is physically configured as a computer device including a processor 21, a memory 22, a storage 23, a communication device 24, a bus 25, and the like.
  • the communication device 24 communicates with the first control terminal 30 and the second control terminal 50 via the network 60.
  • the processor 21, the memory 22, the storage 23, and the bus 25 are similar to the processor 11, the memory 12, the storage 13, and the bus 17 described above, and thus the description thereof will be omitted.
  • FIG. 7 is a diagram showing an example of a functional configuration of the server device 20.
  • Each function in the server device 20 causes the processor 21 to perform an operation by reading predetermined software (program) on hardware such as the processor 21 and the memory 22, thereby performing communication by the communication device 24, the memory 22, and the storage 23. This is realized by controlling the reading and / or writing of data in
  • the tracking unit 200 records the flying object identification information of the flying object 10 under the control of the server device 20 and the flight status thereof.
  • the flight status includes the position where the flying object 10 is flying and the date and time at that position.
  • the tracking unit 200 records position information and date and time information notified from the aircraft 10 via the first pilot terminal 30.
  • the tracking unit 200 determines whether the position information and the date and time information are within a previously planned flight plan, and records the determination result.
  • the first acquisition unit 201 acquires an aircraft viewpoint image captured by the imaging device 16 mounted on the aircraft 10 via the first maneuvering terminal 30.
  • the second acquisition unit 202 acquires, from the imaging device 40, the operator's viewpoint image in which the imaging device 40 captures an image of how the flying object 10 flies.
  • the priority display control unit 203 preferentially displays, on the second maneuvering terminal 50, any one of the flight vehicle viewpoint image acquired by the first acquisition unit 201 or the pilot image of the pilot acquired by the second acquisition unit 202. Let In addition, the priority display control unit 203 causes the second control terminal 50 to display information on the flight of the flying object 10 in flight.
  • the first communication unit 204 communicates with the first control terminal 30 for operating the aircraft 10 by radio.
  • the second communication unit 205 communicates with the second control terminal 50 for operating the aircraft 10 via the network 60.
  • the determination unit 206 determines which of the first control terminal 30 and the second control terminal 50 controls the aircraft 10. More specifically, the determination unit 206 specifies the maneuvering skill level by the first maneuvering terminal 30 based on the information received by the first communication unit 204 from the first maneuvering terminal 30, and makes a determination based on the skill level I do.
  • the remote control unit 207 transfers an instruction transmitted from the second control terminal 50 to the flying object 10 to the flying object 10. . More specifically, when it is determined that the second control terminal 50 controls the flying object 10, the remote control unit 207 uses the first communication unit 204 to transmit the first control terminal 30 to the first control terminal 30. The second maneuvering terminal 50 notifies that the maneuvering of the flying object 10 is to be performed, and upon receiving the permission for the notification, the instruction transmitted from the second maneuvering terminal 50 to the flying object 10 is transferred to the flight vehicle 10 . Thus, the flying object 10 may fly according to the instruction from the first control terminal 30, or may fly according to the instruction from the second control terminal 50.
  • FIG. 8 shows an example of a display image determination table in which a condition for determining which one of an aircraft viewpoint image and a pilot viewpoint image is to be preferentially displayed is described in the second pilot terminal.
  • the display image determination table is stored in the storage 23 of the server device 20.
  • the priority display control unit 203 determines the captured image to be displayed preferentially based on the information on the flight of the flying object 10, but in the present embodiment, in particular, it is displayed preferentially based on the state of the flying object 10 in flight. Determine the captured image to be
  • the state in flight includes the state detected by the sensor 18 of the flying object 10, for example, the altitude, speed, attitude, remaining battery charge, motor rotation speed, and distance to the work object of the flying object 10.
  • the aircraft viewpoint image is preferentially displayed when the altitude of the flying object 10 is a certain threshold H or more, and the altitude is less than the threshold H , Display the pilot viewpoint image preferentially. That is, when considering the condition of the altitude of the flying object 10, it is easier to provide assistance if the maneuvering assistant looks at the flying object viewpoint image or if it is easier to assist if viewing the pilot viewpoint image.
  • the captured image to be displayed preferentially has been decided. From this point of view, the captured image to be displayed is determined with priority regarding conditions other than the altitude, that is, the speed, attitude, remaining battery capacity, motor rotation speed, and distance to the work object of the flying object 10.
  • FIG. 9 shows an example of the control subject determination table in which the condition for determining whether the control subject is the first control terminal 30 or the second control terminal 50 is described.
  • the control unit determination table is stored in the storage 23 of the server device 20.
  • the determination unit 206 Based on the information received by the first communication unit 204 from the first maneuvering terminal 30, the determination unit 206 identifies the maneuvering skill level of the pilot and the degree of difficulty of the maneuver being conducted by the pilot, If the relationship is that the pilot's maneuvering skill level ⁇ ⁇ the degree of difficulty in maneuver, the pilot subject is determined to be the pilot, and if the pilot's maneuvering ability ⁇ the degree of difficulty in the maneuver, the pilot subject is the pilot support person decide.
  • FIG. 10 is a sequence chart showing an example of the operation of the flight control system 1.
  • the processor 11 performs an operation by reading predetermined software (program) on hardware such as the processor 11 and the memory 12.
  • control of communication by the communication device 14 and control of reading and / or writing of data in the memory 12 and the storage 13 mean that the processing is executed.
  • the imaging device 16 of the flying object 10 starts imaging (step S11).
  • the moving image data of the captured image imaged by this is transmitted to the 1st control terminal 30 by radio from the communication apparatus 14 of the aircraft 10 (step S12).
  • the flying object 10 is information related to the flight detected by the positioning device 15 and the sensor 18 (date and time, position of the flying object 10, altitude of the flying object 10, speed of the flying object 10, attitude of the flying object 10, flight object
  • the remaining battery level 10 the motor rotation speed of the flying object 10, the distance between the flying object 10 and the work object, and the like are transmitted from the communication device 14 to the first pilot terminal 30 by radio.
  • the first maneuvering terminal 30 transmits, to the server device 20, moving image data of the captured image received from the flying object 10 and information on flight (step S13).
  • generate among the information regarding flight may be produced
  • the imaging device 40 starts imaging in response to the operator's imaging start operation (step S14).
  • the moving image data of the imaged captured image is transmitted from the imaging device 40 to the server device 20 (step S15).
  • the first acquisition unit 201 of the server device 20 acquires moving image data of a captured image (aircraft viewpoint image) and information related to flight from the imaging device 16, and the second acquisition unit 202 of the server device 20 acquires the imaging device From 40, moving image data of a captured image (pilot viewpoint image) is acquired.
  • the first communication unit 204 and the second communication unit 205 of the server device 20 relay the voice call between the first control terminal 30 and the second control terminal 50 (step S16).
  • the pilot and the steering assistant can talk by voice.
  • the steering assistant can use this voice call to send advice to assist the pilot in steering.
  • the priority display control unit 203 of the server device 20 determines a captured image to be displayed on the second pilot terminal 50 with reference to the display target determination table and the information related to flight (step S17). Specifically, the priority display control unit 203 fits the acquired information about the flight in the display target determination table, and determines a captured image corresponding to the information as a display target.
  • the display object determined by paying attention to the condition of altitude is the flying object viewpoint image
  • the display object determined by paying attention to the condition of speed is the pilot viewpoint image, and so on.
  • the captured images determined in accordance with the respective conditions may be different. In such a case, for example, the captured image having the larger number determined for each condition may be set as the display target.
  • each condition may be determined by weighting. For example, the display object determined by paying attention to the condition of altitude is weighted by 1.1 times, the display object determined by paying attention to the condition of speed is weighted by 1.3 times, and so on. is there.
  • the priority display control unit 203 of the server device 20 sends the moving image data of the captured image to be displayed to the determined second display terminal 50 so that the captured image is prioritized in the second control terminal 50.
  • Display control to display is performed (steps S18 and S19).
  • the second control terminal 50 displays an image corresponding to the determined moving image data of the captured image to be displayed (step S20).
  • the server device 20 receives the information received by the first communication unit 204 from the first pilot terminal 30 (for example, the position of the aircraft 10, the altitude of the aircraft 10, the speed of the aircraft 10, the attitude of the aircraft 10, The battery remaining amount of the flying object 10, the motor rotation number of the flying object 10, the distance between the flying object 10 and the work object, and the like are transmitted to the second pilot terminal 50 using the second communication unit 205, and the second pilot The terminal 50 is made to output voice. By hearing the voice, the steering assistant can decide the content of the advice for assisting the pilot's steering. These pieces of information may be displayed on the second control terminal 50.
  • the pilot operates the first control terminal 30 to control the flying object 10 (step S21).
  • the operator of the first pilot terminal 30 from the second communication device 35
  • Information required to specify the maneuvering skill level eg, the position of the aircraft 10 detected by the positioning device 15 and the sensor 18 of the aircraft 10, the altitude of the aircraft 10, the velocity of the aircraft 10, the attitude of the aircraft 10.
  • the remaining battery level of the flying object 10, the motor rotation speed of the flying object 10, the distance between the flying object 10 and the work object, and the like are transmitted to the server device 20 (step S23).
  • the first communication unit 204 of the server device 20 acquires information required to specify the maneuvering skill level of the operator of the first maneuvering terminal 30 as described above.
  • the determination unit 206 determines which of the first maneuvering terminal 30 and the second maneuvering terminal 50 maneuvers the aircraft 10 based on the information received by the first communication unit 204 from the first maneuvering terminal 30, that is, the maneuvering main body Is determined (step S24).
  • the determination unit 206 specifies the level of the control skill by the first control terminal 30. For example, if the change in the position of the flying object 10, the change in the velocity of the flying object 10, or the change in the attitude of the flying object 10 is within a predetermined range, that is, the determination unit 206 If it can be estimated that there is no change and smooth flight control is reasonable, it is determined that the level of maneuvering skill by the first maneuvering terminal 30 is high.
  • the determination unit 206 can not In the case where there is a problem, it is determined that the level of maneuvering ability by the first maneuvering terminal 30 is low.
  • the determination unit 206 specifies the difficulty level of the control of the aircraft 10. For example, the determination unit 206 determines that the higher the altitude of the flying object 10, the lower the battery level of the flying object 10, or the closer the distance between the flying object 10 and the work object, that is, the maneuvering of the flying object 10 If the predetermined conditions that are considered to be difficult are met, it is determined that the difficulty of maneuvering the flying object 10 is high. Thus, based on the information received by the first communication unit 204 from the first control terminal 30, the determination unit 206 identifies the level of the control technique of the operator and the degree of difficulty of the operation performed by the operator.
  • the pilot subject is determined to be the pilot, and if the pilot's maneuverability ⁇ the degree of difficulty in the maneuver, the pilot subject Decide on the steering assistant.
  • the remote control unit 207 uses the first communication unit 204 to notify the first maneuvering terminal 30 that the second maneuvering terminal 50 maneuvers the aircraft 10 (step S25).
  • the notification is output from the first control terminal 30, and the pilot performs an operation indicating permission for the notification
  • the first control terminal 30 transmits permission for the notification to the server device 20 (step S26).
  • the remote control unit 207 notifies the second control terminal 50 that the main control body moves from the first control terminal 30 to the second control terminal 50 (step S27).
  • the maneuvering assistant manipulates the second maneuvering terminal 50 to maneuver the aircraft 10 (step S28).
  • the priority display control unit 203 of the server device 20 transmits the moving image data of the captured image to be determined to be displayed to the second pilot terminal 50, and the second pilot terminal 50 captures the image. Since the image is displayed preferentially, the steering assistant can steer the flying object 10 while watching the image.
  • the second control terminal 50 transmits, to the server device 20, an instruction for an operation addressed to the flying object 10 in response to the operation of the control assistant (step S29).
  • the remote control unit 207 of the server device 20 performs remote control of the flying object 10 by transferring the operation instruction sent from the second pilot terminal 50 to the flying object 10 to the flying object 10 (step S30). , S31). This instruction is delivered to the aircraft 10 via the first control terminal 30 (step S32), and the aircraft 10 will fly according to this instruction. From this point on, the maneuvering assistant operates the second maneuvering terminal 50 to continue the maneuvering of the aircraft 10.
  • the steering assistant can easily perform steering assistance from a remote place.
  • the image suitable for the maneuvering assistance is preferentially displayed to the maneuvering assistant, it contributes to the maneuvering assistance from a remote place.
  • the determination unit 206 determines the main control subject based on the information received by the first communication unit 204 from the first control terminal 30, but the second communication unit 205 determines based on the information received from the second control terminal 50. You may judge the control subject. That is, based on the information received by the first communication unit 204 from the first control terminal 30 or the information received by the second communication unit 205 from the second control terminal 50, the determination unit 206 determines whether the first control terminal 30 or the second It is determined which one of the control terminals 50 controls the flying object 10. For example, when the second communication unit 205 acquires information indicating the control content from the second control terminal 50 after the control subject has transferred to the control assistant, the control unit 206 controls the control of the flying object 10 based on the information. It is also possible to identify the degree of difficulty of and to return the control subject to the pilot when the degree of difficulty falls below the level of the pilot's maneuvering skill already identified.
  • Modification 2 The operation instruction transmitted from the second pilot terminal 50 to the aircraft 10 is not transferred to the aircraft 10 via the first pilot terminal 30, but the aircraft 10 directly communicates with the network 60. If possible, it may be transferred to the aircraft 10 via the network 60 without passing through the first control terminal 30.
  • the conditions when the determination unit 206 determines the control subject are not limited to the examples of the embodiment.
  • the determination unit 206 may specify the flight environment of the aircraft 10 based on the information received by the first communication unit 204 from the first control terminal 30, and make the determination based on the flight environment.
  • the flight environment referred to here includes, for example, information on wind such as wind direction and wind speed, and information on weather such as sunny, cloudy, fog, rain, snow, and lightning.
  • the first control terminal 30 measures information for identifying these by itself or acquires it from a predetermined measuring device, and transmits it to the server device 20.
  • the determination unit 206 of the server device 20 specifies the degree of difficulty of flight of the flying object 10 from these flight environments.
  • the determination unit 206 may specify the state of the aircraft 10 based on the information received by the first communication unit 204 from the first control terminal 30, and make the determination based on the state.
  • the state of the flying body referred to here is a malfunction, a malfunction or the like, and the first control terminal 30 measures and acquires information for identifying these by itself, and transmits the information to the server device 20.
  • the determination unit 206 of the server device 20 specifies the degree of difficulty of the flight of the flying object 10 from these flight states.
  • the remote control in the case where there are a plurality of steering assistants for one or a plurality of pilots may be performed as follows. That is, when there are a plurality of sets of the first maneuvering terminal 30 and the second maneuvering terminal 50 (in counting the sets, one first maneuvering terminal 30 may be counted redundantly), the determination unit 206 The control main body is determined for each pair of the first control terminal 30 and the second control terminal 50, and the remote control unit 207 controls the second control terminal 50 to fly for each pair of the first control terminal 30 and the second control terminal 50. When it is determined that the body 10 should be steered, the instruction transmitted from the second pilot terminal 50 to the aircraft 10 is transferred to the aircraft 10.
  • each maneuvering assistant performs operations relating to flight or imaging of the flying object 10 at each second maneuvering terminal 50 while viewing the respective images, in accordance with the purpose of assistance. In this way, steering assistance by a plurality of steering assistants can be realized for one pilot.
  • Modification 6 The conditions which determine the captured image used as a display object regarding a priority display are not limited to the example of embodiment.
  • priority display may be performed according to steering information such as an operation amount, an operation direction, and an operation frequency of the first steering terminal 30 by the operator.
  • the storage image 23 stores a display image determination table in which conditions relating to the steering information are described for determining which one of the flight vehicle viewpoint image and the pilot viewpoint image is to be displayed preferentially.
  • the priority display control unit 203 preferentially displays the information based on the information referring to the display image determination table.
  • priority display may be performed according to attributes such as the maneuvering ability and maneuvering history of the pilot or the maneuver support person.
  • the display image determination table in which the condition regarding the attribute of the pilot or the steering assistant is described is used to determine which one of the aircraft viewpoint image and the pilot viewpoint image is to be displayed preferentially. Is stored in The priority display control unit 203 identifies a pilot or a steering assistant who has logged in to the system, refers to the display image determination table based on the attribute thereof, and determines a captured image to be displayed preferentially.
  • the pilot's steering determined from the attribute is at a high level
  • the pilot's steering is at a high level
  • the pilot's steering is at a low level
  • the pilot's steering is at a low level
  • the captured image to be preferentially displayed is made different. In this way, steering assistance can be realized according to the attribute.
  • Modification 8 Priority display may be performed according to the content of the steering assistance by the steering assistant.
  • the storage image 23 stores a display image determination table in which conditions relating to steering assistance are described for determining which one of the flight vehicle viewpoint image and the pilot viewpoint image is to be displayed preferentially.
  • the priority display control unit 203 acquires information (e.g., level and complexity / simplicity of support level) regarding the steering assistance by the steering assistant from the second steering terminal 50, and refers to the display image determination table according to the information. To determine a captured image to be displayed preferentially.
  • an image that is preferentially displayed when the level of the maneuvering assistance judged from the content of the maneuvering assistance is high, when the maneuvering assistance itself is easy, and when the level of the maneuvering assistance is low or when the maneuvering assistance itself is difficult make the image different.
  • steering assistance can be realized according to the content of steering assistance.
  • the priority display in the case where there are a plurality of steering assistants for one pilot may be as follows. That is, when there are a plurality of second control terminals 50, the priority display control unit 203 determines a captured image to be displayed preferentially according to the method determined for each second control terminal 50.
  • one second control terminal 50 is a terminal for supporting the flight of the aircraft 10 by the pilot
  • the other second control terminal 50 is a terminal for supporting imaging by the pilot from the aircraft 10
  • one second pilot terminal 50 preferentially displays a pilot's viewpoint image that is more useful for supporting the flight
  • the other second pilot terminal 50 gives priority to an aircraft's perspective image that is more useful for supporting the imaging.
  • Each maneuvering assistant operates each second maneuvering terminal 50 while looking at the respective image in accordance with its own support purpose. In this way, steering assistance by a plurality of steering assistants can be realized for one pilot.
  • the priority display may be as follows when there are a plurality of flying vehicles 10 and multiple pilots for one steering assistant.
  • the first acquiring unit 201 acquires a plurality of captured images captured by the imaging device 16 mounted on each of the flying objects 10, and the second acquiring unit 202 captures an image of how each of the flying objects 10 fly. Acquire multiple captured images.
  • the priority display control unit 203 is for the purpose of steering assistance for each operator of either the captured image acquired by the first acquisition unit 201 or the captured image acquired by the second acquisition unit 202 for each flight object 10.
  • the selected picked up image is preferentially displayed on the terminal of the maneuvering assistant.
  • a pilot's viewpoint image obtained by capturing an image of the flight is preferentially displayed on the first flying object 10, and the other first maneuvering terminal 30 is In order to support the above, it is preferable to preferentially display an aircraft viewpoint image captured from the second aircraft 10.
  • One pilot's assistant operates the second pilot terminal 50 while viewing these images to simultaneously or alternately provide assistance to the two pilots. In this way, steering assistance by one steering assistant can be realized for a plurality of pilots.
  • Modification 11 Information on latency in the network 60 may be displayed on the second control terminal 50. That is, the priority display control unit 203 causes the second control terminal 50 to display information on the delay in data communication between the server apparatus 20 and the second control terminal 50. Such information is also useful for steering assistance.
  • the second maneuvering terminal 50 may display the captured image designated by the maneuvering assistant preferentially.
  • the weather forecast may be considered in the determination of the captured image to be displayed preferentially in the second control terminal 50.
  • Modification 13 Any method may be used to track and image the flying object 10. Further, the method of measuring the position of the flying object 10 is not limited to the method using GPS, and any method may be used. Further, the flying object 10 may be configured to be able to communicate via the network 60, and the flying object 10 may communicate with the server device 20 or the second control terminal 50 without passing through the first control terminal 30.
  • each functional block may be realized by one physically and / or logically coupled device, or directly and / or indirectly two or more physically and / or logically separated devices. It may be connected by (for example, wired and / or wireless) and realized by the plurality of devices.
  • at least a part of the functions of the server device 20 may be implemented in the first control terminal 30 or the second control terminal 50.
  • at least a part of the functions of the first control terminal 30 or the second control terminal 50 may be implemented in the server device 20.
  • Each aspect / embodiment described in the present specification is LTE (Long Term Evolution), LTE-A (LTE-Advanced), SUPER 3G, IMT-Advanced, 4G, 5G, FRA (Future Radio Access), W-CDMA (Registered trademark), GSM (registered trademark), CDMA2000, UMB (Ultra Mobile Broadband), IEEE 802.11 (Wi-Fi), IEEE 802.16 (WiMAX), IEEE 802.20, UWB (Ultra-Wide Band),
  • the present invention may be applied to a system utilizing Bluetooth (registered trademark), other appropriate systems, and / or an advanced next-generation system based on these.
  • system and "network” as used herein are used interchangeably.
  • radio resources may be indexed.
  • determining may encompass a wide variety of operations. For example, “judgment” and “decision” may be judging, calculating, calculating, processing, processing, deriving, investigating, looking up (for example, a table) (Searching in a database or another data structure), ascertaining may be considered as “decision” or “decision”. Also, “determination” and “determination” are receiving (for example, receiving information), transmitting (for example, transmitting information), input (input), output (output), access (Accessing) (for example, accessing data in a memory) may be regarded as “determined” or “determined”.
  • the present invention may be provided as a flight control method comprising the steps of processing performed in the flight control system 1. Furthermore, the present invention may be provided as a program executed by the server device 20, the flying object 10, the first control terminal 30, or the second control terminal 50. Such a program may be provided in the form of being recorded in a recording medium such as an optical disk, or may be provided in the form of being downloaded to a computer via a network such as the Internet and installed and made available. It is possible.
  • Software, instructions, etc. may be sent and received via a transmission medium.
  • software may use a wireline technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or a website, server or other using wireless technology such as infrared, radio and microwave When transmitted from a remote source, these wired and / or wireless technologies are included within the definition of transmission medium.
  • wireline technology such as coaxial cable, fiber optic cable, twisted pair and digital subscriber line (DSL) and / or a website, server or other using wireless technology such as infrared, radio and microwave
  • data, instructions, commands, information, signals, bits, symbols, chips etc may be voltage, current, electromagnetic waves, magnetic fields or particles, optical fields or photons, or any of these May be represented by a combination of
  • the channels and / or symbols may be signals.
  • the signal may be a message.
  • the component carrier (CC) may be called a carrier frequency, a cell or the like.
  • any reference to an element using the designation "first,” “second,” etc. as used herein does not generally limit the quantity or order of those elements. These designations may be used herein as a convenient way of distinguishing between two or more elements. Thus, reference to the first and second elements does not mean that only two elements can be taken there, or that in any way the first element must precede the second element.
  • each device described above may be replaced with a “unit”, a “circuit”, a “device” or the like.
  • Flight control system 10 Flight object 20: Server device 21: Processor 22: Memory 23: Storage 24: Communication device 200: Tracking unit 201: First acquisition unit 202: Second acquisition Unit 203: Priority display control unit 204: first communication unit 205: second communication unit 206: determination unit 207: remote control unit 30: first pilot terminal 40: imaging device 50: second Control terminal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Toys (AREA)

Abstract

飛行体の操縦者に対する操縦支援を遠隔地から行い得るようにする。　サーバ装置（２０）は、飛行体（１０）の飛行を制御する制御プラットフォームとして機能する。具体的には、操縦者が操作する第１操縦端末又は操縦支援者が操作する第２操縦端末のうちどちらが飛行体（１０）の操縦を行うかを判断し、第２操縦端末（５０）が飛行体（１０）の操縦を行うと判断されると、第２操縦端末（５０）から飛行体（１０）宛てに送信されてくるコマンドを飛行体（１０）に転送して飛行制御を行う。

Description

情報処理装置及び飛行制御システム
　本発明は、飛行体の操縦者に対する操縦支援に関する。
　飛行体を制御する技術として、例えば特許文献１には、飛行体に設けられた発光体からの発光を、移動機構に設けられたカメラで追随させることで、飛行体の飛行状態を撮像し、その撮像画像を遠隔地にて表示させる仕組みが開示されている。
特開２０１４－１０４７９７号公報
　近年、ドローンと呼ばれる飛行体を利用したサービスとして様々なものが普及しつつある。このような状況において、例えば、飛行体の操縦に不慣れな操縦者に対してその操縦を遠隔から支援するような仕組みが考えられている。そこで、本発明は、飛行体の操縦者に対する操縦支援を遠隔地から行い得る仕組みを提供することを目的とする。
　上記課題を解決するため、本発明は、飛行体を無線で操縦するための第１操縦端末と通信を行う第１通信部と、前記飛行体をネットワーク経由で操縦するための第２操縦端末と通信を行う第２通信部と、前記第１通信部が前記第１操縦端末から受信した情報又は前記第２通信部が前記第２操縦端末から受信した情報に基づいて、前記第１操縦端末又は前記第２操縦端末のうちどちらが前記飛行体の操縦を行うかを判断する判断部と、前記第２操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第２操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送する遠隔制御部とを備えることを特徴とする情報処理装置を提供する。
　前記遠隔制御部は、前記第２操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第１通信部を用いて、前記第１操縦端末に対して、前記第２操縦端末が前記飛行体の操縦を行うことを通知し、当該通知に対する許可を受け取ると、前記第２操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送するようにしてもよい。
　前記判断部は、前記第１通信部が前記第１操縦端末から受信した情報又は前記第２通信部が前記第２操縦端末から受信した情報に基づいて、前記第１操縦端末による操縦の技量レベルを特定し、当該技量レベルに基づいて前記判断を行うようにしてもよい。
　前記判断部は、前記第１通信部が前記第１操縦端末から受信した情報に基づいて、前記飛行体の飛行環境を特定し、当該飛行環境に基づいて前記判断を行うようにしてもよい。
　前記判断部は、前記第１通信部が前記第１操縦端末から受信した情報に基づいて、前記飛行体の状態を特定し、当該状態に基づいて前記判断を行うようにしてもよい。
　前記第１通信部及び前記第２通信部は、前記第１操縦端末及び前記第２操縦端末間の音声通話を中継し、さらに、前記第１通信部が前記第１操縦端末から受信した情報を、前記第２通信部を用いて音声で出力するようにしてもよい。
　前記第１操縦端末及び前記第２操縦端末の組が複数ある場合に、前記判断部は、前記第１操縦端末及び前記第２操縦端末の組ごとに前記判断を行い、前記遠隔制御部は、前記第１操縦端末及び前記第２操縦端末の組ごとに前記第２操縦端末が前記飛行体の操縦を行うと判断された場合に、当該第２操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送するようにしてもよい。
　また、本発明は、飛行体を無線で操縦するための第１操縦端末と、前記飛行体をネットワーク経由で操縦するための第２操縦端末と、前記第１操縦端末と通信を行う第１通信部と、前記第２操縦端末と通信を行う第２通信部と、前記第１通信部が前記第１操縦端末から受信した情報又は前記第２通信部が前記第２操縦端末から受信した情報に基づいて、前記第１操縦端末又は前記第２操縦端末のうちどちらが前記飛行体の操縦を行うかを判断する判断部と、前記第２操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第２操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送する遠隔制御部とを備えることを特徴とする飛行制御システムを提供する。
　本発明によれば、飛行体の操縦者に対する操縦支援を遠隔地から行い得る。
飛行制御システム１の構成の一例を示す図である。 飛行体１０の外観の一例を示す図である。 飛行体１０のハードウェア構成を示す図である。 第１操縦端末３０のハードウェア構成を示す図である。 第２操縦端末５０のハードウェア構成を示す図である。 サーバ装置２０のハードウェア構成を示す図である。 サーバ装置２０の機能構成の一例を示す図である。 表示画像決定テーブルの一例を示す図である。 操縦主体決定テーブルの一例を示す図である。 飛行制御システム１の動作の一例を示すシーケンスチャートである。
構成
　図１は、飛行制御システム１の構成の一例を示す図である。飛行制御システム１は、飛行体１０の飛行を制御するためのシステムである。飛行制御システム１は、飛行体１０と、サーバ装置２０と、第１操縦端末３０と、撮像装置４０と、第２操縦端末５０と、ネットワーク６０とを備える。飛行体１０は、例えばドローンと呼ばれる飛行可能な装置であり、自身の周囲を動画によって撮像する撮像機能を備えている。この撮像機能によって撮像された画像は、飛行体１０を視点としたときの画像であり、以下では、飛行体視点画像という。
　第１操縦端末３０は、操縦者が飛行体１０を視認しながら操縦するための端末である。第１操縦端末３０は、飛行体１０と無線接続されており、操縦者の操作に応じた無線信号を飛行体１０に送信してその動作を指示する。
　撮像装置４０は、例えばカメラであり、飛行体１０が飛行する様子を動画によって撮像する。この撮像装置４０はパン・チルト機能を備えており、例えば撮像した画像を画像認識技術によって解析して撮像画像中の飛行体１０を認識し、パン・チルト機能を制御することで、認識した飛行体１０を追尾して撮像するよう撮像方向を変更し得るようになっている。この撮像装置４０は、飛行体１０の飛行空域下方の地上に設置された固定型の撮像装置であってもよいし、人間が持ち運び可能な可搬型の撮像装置であってもよい。本実施形態では撮像装置４０は可搬型であり、操縦者の傍に置かれて飛行体１０を含む空間を撮像する。撮像装置４０によって撮像された画像は、操縦者の視点から飛行体１０の飛行を見たときの視界とほぼ等しく、以下では、操縦者視点画像という。
　第２操縦端末５０は、操縦者による操縦を遠隔から支援する操縦支援者が操作するための端末である。第２操縦端末５０は表示機能を備えており、前述した飛行体視点画像又は操縦者視点画像を表示し得るようになっている。操縦支援者はこの画像を見ながら第２操縦端末５０を操作して、操縦者の操縦を支援する。ここでは前提として、第２操縦端末５０を操作する操縦支援者の操縦技量の高低を示す操縦技量レベルは、第１操縦端末３０を操作する操縦者の操縦技量レベルよりも高いものとする。
　サーバ装置２０は、飛行体１０の飛行を制御する制御プラットフォームとして機能する情報処理装置である。サーバ装置２０は、操縦者が操作する第１操縦端末３０又は操縦支援者が操作する第２操縦端末５０のうちどちらが飛行体１０の操縦を行うかを判断し、第２操縦端末５０が飛行体１０の操縦を行うと判断されると、第２操縦端末５０から飛行体１０宛てに送信されてくるコマンドを飛行体１０宛てに転送して飛行制御を行う。
　また、サーバ装置２０は、飛行体１０の撮像機能によって撮像された飛行体視点画像と、撮像装置４０によって飛行体１０が飛行する様子が撮像された操縦者視点画像とのうち、いずれかを優先的に第２操縦端末５０に表示させる。ここで、優先的に表示させる、とは、優先的に表示させる一方の撮像画像を他方の撮像画像に比べてユーザが容易に又は分かりやすく閲覧できるように第２操縦端末５０に表示させることを意味しており、例えば、優先的に表示させる一方の撮像画像を表示させて他方の撮像画像を表示させない形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも大きく表示させる形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも時間的に先に表示させる形態や、優先的に表示させる一方の撮像画像を他方の撮像画像よりも視覚的に強調して表示させる形態などを含む。
　サーバ装置２０、第１操縦端末３０、撮像装置４０及び第２操縦端末５０はそれぞれ、ネットワークに６０との間で有線又は無線により通信可能となるように接続されている。このネットワーク６０は、低レイテンシでのデータ転送を実現するべく、閉域ネットワークであることが望ましい。
　図２は、飛行体１０の外観の一例を示す図である。飛行体１０は、例えばドローンと呼ばれるものであり、プロペラ１０１と、駆動装置１０２と、バッテリー１０３とを備える。
　プロペラ１０１は、軸を中心に回転する。プロペラ１０１が回転することにより、飛行体１０が飛行する。駆動装置１０２は、プロペラ１０１に動力を与えて回転させる。駆動装置１０２は、例えばモータとモータの動力をプロペラ１０１に伝達する伝達機構とを含む。バッテリー１０３は、駆動装置１０２を含む飛行体１０の各部に電力を供給する。
　図３は、飛行体１０のハードウェア構成を示す図である。飛行体１０は、物理的には、プロセッサ１１、メモリ１２、ストレージ１３、通信装置１４、測位装置１５、撮像装置１６、センサ１８及びバス１７などを含むコンピュータ装置として構成されている。なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。
　プロセッサ１１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central  Processing  Unit）で構成されてもよい。
　また、プロセッサ１１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１３及び／又は通信装置１４からメモリ１２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、飛行体１０の動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。飛行体１０において実行される各種処理は、１つのプロセッサ１１により実行されてもよいし、２以上のプロセッサ１１により同時又は逐次に実行されてもよい。プロセッサ１１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つで構成されてもよい。メモリ１２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１２は、本発明の一実施の形態に係る飛行制御方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact  Disc  ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１３は、補助記憶装置と呼ばれてもよい。
　通信装置１４は、第１操縦端末３０と無線通信を行うためのハードウェアである。
　測位装置１５は、飛行体１０の三次元の位置を測定する。測位装置１５は、例えばＧＰＳ（Global　Positioning  System）受信機であり、複数の衛星から受信したＧＰＳ信号に基づいて飛行体１０の現在位置を測定する。
　撮像装置１６は、飛行体１０の周囲の画像を撮像する。撮像装置１６は、例えばカメラであり、光学系を用いて撮像素子上に像を結ばせることにより、画像を撮像する。撮像装置１６は、例えば飛行体１０の前方において所定の範囲の画像を撮像する。ただし、撮像装置１６の撮像方向は、飛行体１０の前方に限定されず、飛行体１０の上方、下方、又は後方であってもよい。また、例えば撮像装置１６を支持する台座が回転することにより、撮像方向が変更されてもよい。
　センサ１８は、飛行体１０の各種状態を検知するためのデバイスであり、例えば飛行体１０の高度、飛行体１０の速度、飛行体１０の姿勢、飛行体１０の電池残量、飛行体１０のモータ回転数、飛行体１０と作業対象物との距離等を検知する。なお、作業対象物とは、例えば飛行体１０が建造物の撮像を行うために飛行する場合、その建造物のことである。
　上述したプロセッサ１１やメモリ１２などの各装置は、情報を通信するためのバス１７で接続される。バス１７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。
　図４は、第１操縦端末３０のハードウェア構成を示す図である。第１操縦端末３０は、物理的には、プロセッサ３１、メモリ３２、ストレージ３３、第１通信装置３４、第２通信装置３５、ＵＩ（User　Interface）部３６及びバス３７などを含むコンピュータ装置として構成されている。第１通信装置３４は、飛行体１０の通信装置１４と無線通信を行う。第２通信装置３５は、ネットワーク６０を介してサーバ装置２０と通信を行う。ＵＩ部３６は、例えば液晶パネル及び液晶駆動回路などを含み画像データに応じた画像を表示する表示部と、例えばキーやタッチセンサなどの操作子を含みユーザの操作を受け付けてその操作に応じた信号をプロセッサ３１に供給する操作部とを備えている。これ以外のプロセッサ３１、メモリ３２、ストレージ３３及びバス３７は、上述したプロセッサ１１、メモリ１２、ストレージ１３及びバス１７と同様であるため、その説明を省略する。
　図５は、第２操縦端末５０のハードウェア構成を示す図である。第２操縦端末５０は、物理的には、プロセッサ５１、メモリ５２、ストレージ５３、通信装置５４、ＵＩ部５５及びバス５６などを含むコンピュータ装置として構成されている。通信装置５４はネットワーク６０を介してサーバ装置２０と通信を行う。これ以外のプロセッサ５１、メモリ５２、ストレージ５３、ＵＩ部５５及びバス５６は、上述したプロセッサ１１、メモリ１２、ストレージ１３、ＵＩ部３６及びバス１７と同様であるため、その説明を省略する。
　図６は、サーバ装置２０のハードウェア構成を示す図である。サーバ装置２０は、物理的には、プロセッサ２１、メモリ２２、ストレージ２３、通信装置２４及びバス２５などを含むコンピュータ装置として構成されている。通信装置２４はネットワーク６０を介して第１操縦端末３０及び第２操縦端末５０と通信を行う。プロセッサ２１、メモリ２２、ストレージ２３、及びバス２５は、上述したプロセッサ１１、メモリ１２、ストレージ１３、及びバス１７と同様であるため、その説明を省略する。
　図７は、サーバ装置２０の機能構成の一例を示す図である。サーバ装置２０における各機能は、プロセッサ２１、メモリ２２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ２１が演算を行い、通信装置２４による通信や、メモリ２２及びストレージ２３におけるデータの読み出し及び／又は書き込みを制御することにより実現される。
　図７において、トラッキング部２００は、サーバ装置２０の制御下にある飛行体１０の飛行体識別情報とその飛行状況を記録する。飛行状況には飛行体１０が飛行している位置とその位置における日時が含まれている。トラッキング部２００は、飛行体１０から第１操縦端末３０を介して通知される位置情報及び日時情報を記録する。また、トラッキング部２００は、その位置情報及び日時情報が、予め計画された飛行計画内であるかどうかを判断し、その判断結果を記録する。
　第１取得部２０１は、飛行体１０に搭載された撮像装置１６により撮像された飛行体視点画像を第１操縦端末３０経由で取得する。第２取得部２０２は、撮像装置４０によって飛行体１０が飛行する様子が撮像された操縦者視点画像を撮像装置４０から取得する。
　優先表示制御部２０３は、第２操縦端末５０において、第１取得部２０１により取得された飛行体視点画像又は第２取得部２０２により取得された操縦者視点画像のうちいずれかを優先的に表示させる。また、優先表示制御部２０３は、飛行している飛行体１０の飛行に関する情報を第２操縦端末５０に表示させる。
　第１通信部２０４は、飛行体１０を無線で操縦するための第１操縦端末３０と通信を行う。第２通信部２０５は、飛行体１０をネットワーク６０経由で操縦するための第２操縦端末５０と通信を行う。判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて、第１操縦端末３０又は第２操縦端末５０のうちどちらが飛行体１０の操縦を行うかを判断する。より具体的には、判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて、第１操縦端末３０による操縦技量レベルを特定し、当該技量レベルに基づいて判断を行う。
　遠隔制御部２０７は、第２操縦端末５０が飛行体１０の操縦を行うと判断された場合に、第２操縦端末５０から飛行体１０宛てに送信されてくる指示を飛行体１０宛てに転送する。より具体的には、遠隔制御部２０７は、第２操縦端末５０が飛行体１０の操縦を行うと判断された場合に、第１通信部２０４を用いて、第１操縦端末３０に対して、第２操縦端末５０が飛行体１０の操縦を行うことを通知し、当該通知に対する許可を受け取ると、第２操縦端末５０から飛行体１０宛てに送信されてくる指示を飛行体１０宛てに転送する。このように、飛行体１０は、第１操縦端末３０からの指示に従い飛行する場合と、第２操縦端末５０からの指示に従い飛行する場合とがある。
　図８は、第２操縦者端末において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための条件が記述された表示画像決定テーブルの一例を示している。この表示画像決定テーブルは、サーバ装置２０のストレージ２３に記憶される。優先表示制御部２０３は、飛行体１０の飛行に関する情報に基づいて優先的に表示させる撮像画像を決定するが、特に本実施形態では、飛行体１０の飛行中の状態に基づいて優先的に表示させる撮像画像を決定する。
　ここで、飛行中の状態には、飛行体１０のセンサ１８によって検知される状態、例えば飛行体１０の高度、速度、姿勢、電池残量、モータ回転数、作業対象物との距離が含まれる。例えば高度という条件に基づいて表示対象となる撮像画像を決定する場合、飛行体１０の高度が或る閾値Ｈ以上のときには、飛行体視点画像を優先的に表示し、高度が閾値Ｈ未満のときには、操縦者視点画像を優先的に表示する。つまり、飛行体１０の高度という条件を考えたときに、操縦支援者が飛行体視点画像を見たほうが支援を行いやすいのか或いは操縦者視点画像を見たほうが支援を行いやすいのかという観点で、優先的に表示させる撮像画像が決まっている。このような観点に従って、高度以外の条件、つまり飛行体１０の速度、姿勢、電池残量、モータ回転数、作業対象物との距離に関しても、優先的に表示する撮像画像が決まることになる。
　図９は、操縦主体が第１操縦端末３０であるか又は第２操縦端末５０であるかを決定するための条件が記述された操縦主体決定テーブルの一例を示している。この操縦主体決定テーブルは、サーバ装置２０のストレージ２３に記憶される。判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて、操縦者の操縦技量レベルと、その操縦者が行っている操縦の難易度とを特定し、両者の関係が、操縦者の操縦技量レベル≧操縦の難易度である場合には操縦主体を操縦者に決定し、操縦者の操縦技量＜操縦の難易度である場合には操縦主体を操縦支援者に決定する。
動作
　図１０は、飛行制御システム１の動作の一例を示すシーケンスチャートである。以下の説明において、飛行体１０を処理の主体として記載する場合には、具体的にはプロセッサ１１、メモリ１２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１１が演算を行い、通信装置１４による通信や、メモリ１２及びストレージ１３におけるデータの読み出し及び／又は書き込みを制御することにより、処理が実行されることを意味する。サーバ装置２０、第１操縦端末３０、第２操縦端末５０についても同様である。
　飛行体１０が飛行を開始すると、飛行体１０の撮像装置１６は撮像を開始する（ステップＳ１１）。これにより撮像された撮像画像の動画データは、飛行体１０の通信装置１４から無線により第１操縦端末３０に送信される（ステップＳ１２）。このとき、飛行体１０は、測位装置１５及びセンサ１８により検知された飛行に関する情報（日時、飛行体１０の位置、飛行体１０の高度、飛行体１０の速度、飛行体１０の姿勢、飛行体１０の電池残量、飛行体１０のモータ回転数、飛行体１０と作業対象物との距離、等を含む）を、通信装置１４から無線により第１操縦端末３０に送信する。第１操縦端末３０は、飛行体１０から受信した撮像画像の動画データ及び飛行に関する情報をサーバ装置２０に送信する（ステップＳ１３）。なお、飛行に関する情報のうち第１操縦端末３０が生成し得るもの（例えば日時）は、第１操縦端末３０が生成してサーバ装置２０に送信してもよい。
　一方、撮像装置４０は、操縦者の撮像開始操作に応じて撮像を開始する（ステップＳ１４）。撮像された撮像画像の動画データは、撮像装置４０からサーバ装置２０に送信される（ステップＳ１５）。これにより、サーバ装置２０の第１取得部２０１は、撮像装置１６から撮像画像（飛行体視点画像）の動画データ及び飛行に関する情報を取得し、サーバ装置２０の第２取得部２０２は、撮像装置４０から撮像画像（操縦者視点画像）の動画データを取得する。
　次に、サーバ装置２０の第１通信部２０４及び第２通信部２０５は、第１操縦端末３０及び第２操縦端末５０間の音声通話を中継する（ステップＳ１６）。これにより、操縦者と操縦支援者とは音声により通話を行うことが可能となる。操縦支援者はこの音声通話を用いて操縦者の操縦を支援するアドバイスを送ることが可能となる。
　サーバ装置２０の優先表示制御部２０３は、表示対象決定テーブルと飛行に関する情報とを参照して、第２操縦端末５０において表示対象となる撮像画像を決定する（ステップＳ１７）。具体的には、優先表示制御部２０３は、表示対象決定テーブルにおいて、取得した飛行に関する情報を当て嵌め、その情報に対応する撮像画像を表示対象として決定する。このとき、例えば高度という条件に注目して決定される表示対象が飛行体視点画像であり、速度という条件に注目して決定される表示対象が操縦者視点画像であり、・・・というようにそれぞれの条件に応じて決定される撮像画像が異なる場合がある。このようなときには、例えば各条件に付いて決定された数が多いほうの撮像画像を表示対象とすればよい。さらに各条件について重みをつけて決定してもよい。例えば高度という条件に注目して決定される表示対象については１．１倍という重みをつけ、速度という条件に注目して決定される表示対象については１．３倍という重みをつけ、といった具合である。
　そして、サーバ装置２０の優先表示制御部２０３は、決定された表示対象となる撮像画像の動画データを第２操縦端末５０に送信することで、第２操縦端末５０においてその撮像画像を優先的に表示させる表示制御を行う（ステップＳ１８，Ｓ１９）。第２操縦端末５０は、決定された表示対象となる撮像画像の動画データに応じた画像を表示する（ステップＳ２０）。このとき、サーバ装置２０は、第１通信部２０４が第１操縦端末３０から受信した情報（例えば、飛行体１０の位置、飛行体１０の高度、飛行体１０の速度、飛行体１０の姿勢、飛行体１０の電池残量、飛行体１０のモータ回転数、飛行体１０と作業対象物との距離等）を、第２通信部２０５を用いて第２操縦端末５０に送信し、第２操縦端末５０において音声で出力させるようにする。操縦支援者はこの音声を聞くことで、操縦者の操縦を支援するアドバイスの内容を決めることが可能となる。なお、これらの情報を第２操縦端末５０において表示させるようにしてもよい。
　操縦者は第１操縦端末３０を操作して飛行体１０を操縦する（ステップＳ２１）。このとき、第１操縦端末３０において、飛行体１０に対する動作の指示が第１通信装置３４から無線で送信される一方（ステップＳ２２）、第２通信装置３５から第１操縦端末３０の操縦者の操縦技量レベルを特定するのに要する情報（例えば飛行体１０の測位装置１５及びセンサ１８により検知された飛行体１０の位置、飛行体１０の高度、飛行体１０の速度、飛行体１０の姿勢、飛行体１０の電池残量、飛行体１０のモータ回転数、飛行体１０と作業対象物との距離等）がサーバ装置２０に送信される（ステップＳ２３）。
　サーバ装置２０の第１通信部２０４は、上述したような第１操縦端末３０の操縦者の操縦技量レベルを特定するのに要する情報を取得する。判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて、第１操縦端末３０又は第２操縦端末５０のうちどちらが飛行体１０の操縦を行うか、つまり操縦主体を判断する（ステップＳ２４）。
　まず、判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて、第１操縦端末３０による操縦技量レベルを特定する。例えば、判断部２０６は、飛行体１０の位置の変化、飛行体１０の速度の変化又は飛行体１０の姿勢の変化等が予め決められた範囲内である場合、つまり飛行体１０の飛行において急激な変化がなく、無理のないスムーズな飛行制御であると推定できる場合には、第１操縦端末３０による操縦技量レベルを高いと判断する。一方、判断部２０６は、飛行体１０の位置の変化、飛行体１０の速度の変化又は飛行体１０の姿勢の変化等が予め決められた範囲を逸脱する場合、つまり飛行体１０の飛行に無理があるような場合には、第１操縦端末３０による操縦技量レベルを低いと判断する。
　次に、判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて、飛行体１０の操縦の難易度レベルを特定する。例えば、判断部２０６は、飛行体１０の高度が高いほど、飛行体１０の電池残量が少ないほど、又は、飛行体１０と作業対象物との距離が近いほど、つまり飛行体１０の操縦が難しいとされる所定の条件に合致する場合には、飛行体１０の操縦の難易度が高いと判断する。このように、判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて、操縦者の操縦技量レベルと、その操縦者が行っている操縦の難易度とを特定すると、これら両者の関係が、操縦者の操縦技量レベル≧操縦の難易度である場合には操縦主体を操縦者に決定し、操縦者の操縦技量＜操縦の難易度である場合には操縦主体を操縦支援者に決定する。
　ここで、判断部２０６が操縦主体は操縦者であると判断した場合には、操縦者による第１操縦端末３０を用いた飛行体１０の操縦が継続される。一方、判断部２０６が操縦主体は操縦支援者であると判断した場合には、操縦支援者による第２操縦端末５０を用いた飛行体１０の操縦がなされることになる。まず、遠隔制御部２０７は、第１通信部２０４を用いて、第１操縦端末３０に対して、第２操縦端末５０が飛行体１０の操縦を行うことを通知する（ステップＳ２５）。第１操縦端末３０においてこの通知が出力され、操縦者がこの通知に対する許可を意味する操作を行うと、第１操縦端末３０は当該通知に対する許可をサーバ装置２０に送信する（ステップＳ２６）。遠隔制御部２０７は、操縦主体が第１操縦端末３０から第２操縦端末５０に移ることを第２操縦端末５０に通知する（ステップＳ２７）。
　操縦支援者はこの通知を受けて、第２操縦端末５０を操作して飛行体１０を操縦する（ステップＳ２８）。このとき、既述のようにサーバ装置２０の優先表示制御部２０３は、決定された表示対象となる撮像画像の動画データを第２操縦端末５０に送信して、第２操縦端末５０においてその撮像画像を優先的に表示させているので、操縦支援者はその画像を見ながら飛行体１０を操縦することができる。第２操縦端末５０は、操縦支援者の操作に応じて、飛行体１０宛ての動作の指示をサーバ装置２０に送信する（ステップＳ２９）。サーバ装置２０の遠隔制御部２０７は、第２操縦端末５０から飛行体１０宛てに送信されてくる動作の指示を飛行体１０宛てに転送することで、飛行体１０の遠隔制御を行う（ステップＳ３０，Ｓ３１）。この指示は、第１操縦端末３０を経由して飛行体１０へと届けられ（ステップＳ３２）、飛行体１０はこの指示に従い飛行することになる。これ以降、操縦支援者は第２操縦端末５０を操作して飛行体１０の操縦を継続することになる。
　以上説明した実施形態によれば、操縦支援者が遠隔地から容易に操縦支援を行うことができる。また、操縦支援者に対して、その操縦支援に適切な画像が優先的に表示されるので、遠隔地からの操縦支援に寄与する。
変形例
　本発明は、上述した実施形態に限定されない。上述した実施形態を以下のように変形してもよい。また、以下の２つ以上の変形例を組み合わせて実施してもよい。
変形例１
　判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて操縦主体を判断していたが、第２通信部２０５が第２操縦端末５０から受信した情報に基づいて操縦主体を判断してもよい。つまり、判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報又は第２通信部２０５が第２操縦端末５０から受信した情報に基づいて、第１操縦端末３０又は第２操縦端末５０のうちどちらが飛行体１０の操縦を行うかを判断する。例えば、操縦主体が操縦支援者に移った後に、判断部２０６は、第２操縦端末５０から操縦内容を示す情報を第２通信部２０５が取得すると、その情報に基づいて、飛行体１０の操縦の難易度を特定し、その難易度が、既に特定している操縦者の操縦技量レベルを下回ったときに、操縦主体を操縦者に戻すという判断を行ってもよい。
変形例２
　第２操縦端末５０から飛行体１０宛てに送信されてくる動作の指示は、第１操縦端末３０を経由して飛行体１０に転送されるのではなく、飛行体１０がネットワーク６０に直接通信接続可能な場合には、第１操縦端末３０を経由せずにネットワーク６０を介して飛行体１０に転送されてもよい。
変形例３
　判断部２０６が操縦主体を判断するときの条件は実施形態の例示に限定されない。例えば、判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて、飛行体１０の飛行環境を特定し、当該飛行環境に基づいて判断を行ってもよい。ここでいう飛行環境とは、例えば風向きや風速等の風に関する情報や、晴れ、曇り、霧、雨、雪、雷等の天候に関する情報を含む。第１操縦端末３０はこれらを特定するための情報を自身で計測又は所定の計測装置から取得し、サーバ装置２０に送信する。サーバ装置２０の判断部２０６は、これらの飛行環境から、飛行体１０の飛行の難易度を特定する。
変形例４
　また、例えば、判断部２０６は、第１通信部２０４が第１操縦端末３０から受信した情報に基づいて、飛行体１０の状態を特定し、当該状態に基づいて判断を行ってもよい。ここでいう飛行体の状態とは、機能不良や動作不良等であり、第１操縦端末３０はこれらを特定するための情報を自身で計測して取得し、サーバ装置２０に送信する。サーバ装置２０の判断部２０６は、これらの飛行の状態から、飛行体１０の飛行の難易度を特定する。
変形例５
　１又は複数の操縦者に対して複数の操縦支援者が複数いる場合の遠隔制御を次のようにしてもよい。つまり、第１操縦端末３０及び第２操縦端末５０の組が複数ある場合に（組をカウントするに当たり、１の第１操縦端末３０を重複してカウントしてもよい）、判断部２０６は、第１操縦端末３０及び第２操縦端末５０の組ごとに操縦主体の判断を行い、遠隔制御部２０７は、第１操縦端末３０及び第２操縦端末５０の組ごとに第２操縦端末５０が飛行体１０の操縦を行うと判断された場合に、当該第２操縦端末５０から飛行体１０宛てに送信されてくる指示を飛行体１０に転送する。例えば、第２操縦端末５０が２つある場合（つまり操縦支援者が二人いる場合）、一方の第２操縦端末５０は操縦者による飛行体１０の飛行を支援するための端末であり、他方の第２操縦端末５０は操縦者による飛行体１０からの撮像を支援するための端末であるとする。この場合、各々の操縦支援者は、自身の支援目的に従って、それぞれの画像を見ながら各第２操縦端末５０において、飛行体１０の飛行又は撮像に関する操作を行う。このようにすれば、１人の操縦者に対して複数の操縦支援者による操縦支援を実現し得る。
変形例６
　優先表示に関し、表示対象となる撮像画像を決定する条件は、実施形態の例に限定されない。例えば操縦者による第１操縦端末３０における操作量、操作方向、操作頻度等の操縦情報に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦情報に関する条件が記述された表示画像決定テーブルがストレージ２３に記憶されている。優先表示制御部２０３は、第１取得部２０１が第１操縦端末３０から上記のような操縦者による操縦に関する情報を取得すると、これに基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦情報から判断される操縦者の操縦が高レベルにあるとか操縦そのものが容易であるときと、操縦情報から判断される操縦者の操縦が低レベルにあるとか操縦そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦内容に応じた操縦支援を実現し得る。
変形例７
　また、操縦者又は操縦支援者の操縦能力や操縦歴などの属性に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦者又は操縦支援者の属性に関する条件が記述された表示画像決定テーブルがストレージ２３に記憶されている。優先表示制御部２０３は、システムにログインした操縦者又は操縦支援者を識別し、その属性に基づいて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば属性から判断される操縦者の操縦が高レベルにあるとき、操縦支援者の操縦が高レベルであるとき、操縦者の操縦が低レベルにあるとき、操縦支援者の操縦が低レベルであるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば属性に応じた操縦支援を実現し得る。
変形例８
　操縦支援者による操縦支援の内容に応じた優先表示を行ってもよい。この例において、飛行体視点画像又は操縦者視点画像のうちいずれを優先的に表示させるかを決定するための、操縦の支援に関する条件が記述された表示画像決定テーブルがストレージ２３に記憶されている。優先表示制御部２０３は、第２操縦端末５０から操縦支援者による操縦の支援に関する情報（例えば支援レベルの高低や複雑さ/簡単さ）を取得し、その情報に応じて表示画像決定テーブルを参照して、優先的に表示させる撮像画像を決定する。例えば操縦支援の内容から判断される操縦支援のレベルが高いとか操縦支援そのものが容易であるときと、操縦支援のレベルが低いとか操縦支援そのものが困難であるときとで、優先的に表示させる撮像画像を異ならせる。このようにすれば操縦支援の内容に応じた操縦支援を実現し得る。
変形例９
　１人の操縦者に対して操縦支援者が複数いる場合の優先表示は次のようにしてもよい。つまり、第２操縦端末５０が複数ある場合に、優先表示制御部２０３は、第２操縦端末５０ごとに決められた方法に従って、優先的に表示させる撮像画像を決定する。例えば、一方の第２操縦端末５０は操縦者による飛行体１０の飛行を支援するための端末であり、他方の第２操縦端末５０は操縦者による飛行体１０からの撮像を支援するための端末である場合、一方の第２操縦端末５０には飛行の支援により役立つ操縦者視点画像を優先的に表示させ、他方の第２操縦端末５０には撮像の支援により役立つ飛行体視点画像を優先的に表示させる、といった具合である。各々の操縦支援者は、自身の支援目的に従って、それぞれの画像を見ながら各第２操縦端末５０を操作する。このようにすれば、１人の操縦者に対して複数の操縦支援者による操縦支援を実現し得る。
変形例１０
　１人の操縦支援者に対して飛行体１０及び操縦者がそれぞれ複数いる場合の優先表示は次のようにしてもよい。第１取得部２０１は、各々の飛行体１０に搭載された撮像装置１６により撮像された複数の撮像画像を取得し、第２取得部２０２は、各々の飛行体１０が飛行する様子が撮像された複数の撮像画像を取得する。優先表示制御部２０３は、各々の飛行体１０について第１取得部２０１により取得された撮像画像又は第２取得部２０２により取得された撮像画像のうちいずれかを各々の操縦者に対する操縦支援の目的に応じて選択し、選択した撮像画像を操縦支援者の端末において優先的に表示させる。例えば、一方の第１操縦端末３０に対しては第１の飛行体１０の飛行を支援し、他方の第１操縦端末３０に対しては第２の飛行体１０による撮像を支援する場合、１の第２操縦端末５０において、一方の第１操縦端末３０の支援に関しては第１の飛行体１０に飛行の様子を撮像した操縦者視点画像を優先的に表示させ、他方の第１操縦端末３０の支援に関しては第２の飛行体１０から撮像された飛行体視点画像を優先的に表示させるといった具合である。１人の操縦支援者はこれらの画像を見ながら第２操縦端末５０を操作して、２人の操縦者に対する支援を同時又は交互に行う。このようにすれば、複数の操縦者に対して１人の操縦支援者による操縦支援を実現し得る。
変形例１１
　第２操縦端末５０において、ネットワーク６０におけるレイテンシに関する情報を表示するようにしてもよい。つまり、優先表示制御部２０３は、自サーバ装置２０と第２操縦端末５０との間のデータ通信の遅延に関する情報を、第２操縦端末５０に表示させる。このような情報も操縦支援に役立つことになる。
変形例１２
　第２操縦端末５０において、操縦支援者によって指定された撮像画像を優先的に表示させてもよい。第２操縦端末５０において、優先表示する撮像画像の決定に、気象予報を考慮してもよい。
変形例１３
　飛行体１０を追尾して撮像するための方法はどのようなものでもよい。また、飛行体１０の位置を測定する方法は、ＧＰＳを用いた方法に限定されず、どのようなものでもよい。また、飛行体１０はネットワーク６０を介して通信可能な構成とし、飛行体１０が、第１操縦端末３０を経由せずに、サーバ装置２０又は第２操縦端末５０と通信を行ってもよい。
そのほかの変形例
　上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に（例えば、有線及び／又は無線）で接続し、これら複数の装置により実現されてもよい。また、サーバ装置２０の機能の少なくとも一部が第１操縦端末３０又は第２操縦端末５０に実装されてもよい。同様に、第１操縦端末３０又は第２操縦端末５０の機能の少なくとも一部がサーバ装置２０に実装されてもよい。
　本明細書で説明した各態様／実施形態は、ＬＴＥ（Long　Term　Evolution）、ＬＴＥ－Ａ（LTE-Advanced）、ＳＵＰＥＲ　３Ｇ、ＩＭＴ－Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future　Radio  Access）、Ｗ－ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra  Mobile  Broadband）、ＩＥＥＥ　８０２．１１（Ｗｉ－Ｆｉ）、ＩＥＥＥ　８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ　８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。
　本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　本明細書で使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。
　本明細書で説明した情報又はパラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。
　上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。
　本明細書で使用する「判定（determining）」、「決定（determining）」という用語は、多種多様な動作を包含する場合がある。「判定」、「決定」は、例えば、判定（judging）、計算（calculating）、算出（computing）、処理（processing）、導出（deriving）、調査（investigating）、探索（looking  up）（例えば、テーブル、データベース又は別のデータ構造での探索）、確認（ascertaining）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、受信（receiving）（例えば、情報を受信すること）、送信（transmitting）（例えば、情報を送信すること）、入力（input）、出力（output）、アクセス（accessing）（例えば、メモリ中のデータにアクセスすること）した事を「判定」「決定」したとみなす事などを含み得る。また、「判定」、「決定」は、解決（resolving）、選択（selecting）、選定（choosing）、確立（establishing）、比較（comparing）などした事を「判定」「決定」したとみなす事を含み得る。つまり、「判定」「決定」は、何らかの動作を「判定」「決定」したとみなす事を含み得る。
　本発明は、飛行制御システム１において行われる処理のステップを備える飛行制御方法として提供されてもよい。また、本発明は、サーバ装置２０、飛行体１０、第１操縦端末３０又は第２操縦端末５０において実行されるプログラムとして提供されてもよい。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等のネットワークを介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。
　ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。
　本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。
　本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セルなどと呼ばれてもよい。
　本明細書で使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。
　上記の各装置の構成における「手段」を、「部」、「回路」、「デバイス」等に置き換えてもよい。
　「含む（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。
　本開示の全体において、例えば、英語でのa、an、及びtheのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。
　以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。
１：飛行制御システム、１０：飛行体、２０：サーバ装置、２１：プロセッサ、２２：メモリ、２３：ストレージ、２４：通信装置、２００：トラッキング部、２０１：第１取得部、２０２：第２取得部、２０３：優先表示制御部、２０４：第１通信部、２０５：第２通信部、２０６：判断部、２０７：遠隔制御部、３０：第１操縦端末、４０：撮像装置、５０：第２操縦端末。

Claims (8)

  1. 　飛行体を無線で操縦するための第１操縦端末と通信を行う第１通信部と、
    　前記飛行体をネットワーク経由で操縦するための第２操縦端末と通信を行う第２通信部と、
    　前記第１通信部が前記第１操縦端末から受信した情報又は前記第２通信部が前記第２操縦端末から受信した情報に基づいて、前記第１操縦端末又は前記第２操縦端末のうちどちらが前記飛行体の操縦を行うかを判断する判断部と、
    　前記第２操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第２操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送する遠隔制御部と
    　を備えることを特徴とする情報処理装置。
  2. 　前記遠隔制御部は、前記第２操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第１通信部を用いて、前記第１操縦端末に対して、前記第２操縦端末が前記飛行体の操縦を行うことを通知し、当該通知に対する許可を受け取ると、前記第２操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送する
    　ことを特徴とする請求項１記載の情報処理装置。
  3. 　前記判断部は、前記第１通信部が前記第１操縦端末から受信した情報又は前記第２通信部が前記第２操縦端末から受信した情報に基づいて、前記第１操縦端末による操縦の技量レベルを特定し、当該技量レベルに基づいて前記判断を行う
    　ことを特徴とする請求項１又は２に記載の情報処理装置。
  4. 　前記判断部は、前記第１通信部が前記第１操縦端末から受信した情報に基づいて、前記飛行体の飛行環境を特定し、当該飛行環境に基づいて前記判断を行う
    　ことを特徴とする請求項１又は２に記載の情報処理装置。
  5. 　前記判断部は、前記第１通信部が前記第１操縦端末から受信した情報に基づいて、前記飛行体の状態を特定し、当該状態に基づいて前記判断を行う
    　ことを特徴とする請求項１又は２に記載の情報処理装置。
  6. 　前記第１通信部及び前記第２通信部は、前記第１操縦端末及び前記第２操縦端末間の音声通話を中継し、
    　さらに、前記第１通信部が前記第１操縦端末から受信した情報を、前記第２通信部を用いて音声で出力する
    　ことを特徴とする請求項１～５のいずれか１項に記載の情報処理装置。
  7. 　前記第１操縦端末及び前記第２操縦端末の組が複数ある場合に、
    　前記判断部は、前記第１操縦端末及び前記第２操縦端末の組ごとに前記判断を行い、
    　前記遠隔制御部は、前記第１操縦端末及び前記第２操縦端末の組ごとに前記第２操縦端末が前記飛行体の操縦を行うと判断された場合に、当該第２操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送する
    　ことを特徴とする請求項１～６のいずれか１項に記載の情報処理装置。
  8. 　飛行体を無線で操縦するための第１操縦端末と、
    　前記飛行体をネットワーク経由で操縦するための第２操縦端末と、
    　前記第１操縦端末と通信を行う第１通信部と、
    　前記第２操縦端末と通信を行う第２通信部と、
    　前記第１通信部が前記第１操縦端末から受信した情報又は前記第２通信部が前記第２操縦端末から受信した情報に基づいて、前記第１操縦端末又は前記第２操縦端末のうちどちらが前記飛行体の操縦を行うかを判断する判断部と、
    　前記第２操縦端末が前記飛行体の操縦を行うと判断された場合に、前記第２操縦端末から前記飛行体宛てに送信されてくる指示を前記飛行体宛てに転送する遠隔制御部と
    　を備えることを特徴とする飛行制御システム。
PCT/JP2018/039476 2017-10-30 2018-10-24 情報処理装置及び飛行制御システム WO2019087891A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/754,240 US20200278673A1 (en) 2017-10-30 2018-10-24 Information processing apparatus and flight control system
JP2019551196A JP6945005B2 (ja) 2017-10-30 2018-10-24 飛行制御システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017209454 2017-10-30
JP2017-209454 2017-10-30

Publications (1)

Publication Number Publication Date
WO2019087891A1 true WO2019087891A1 (ja) 2019-05-09

Family

ID=66331801

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039476 WO2019087891A1 (ja) 2017-10-30 2018-10-24 情報処理装置及び飛行制御システム

Country Status (3)

Country Link
US (1) US20200278673A1 (ja)
JP (1) JP6945005B2 (ja)
WO (1) WO2019087891A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107818672A (zh) * 2017-11-14 2018-03-20 深圳市道通智能航空技术有限公司 一种控制飞行器的方法和装置
JP7032950B2 (ja) 2018-02-19 2022-03-09 株式会社デンソーテン 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法
JP7060418B2 (ja) * 2018-03-15 2022-04-26 株式会社デンソーテン 車両遠隔操作装置及び車両遠隔操作方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017074826A (ja) * 2015-10-14 2017-04-20 株式会社プロドローン 遠隔操縦型無人飛行機および遠隔操縦型無人飛行機の操縦引継方法
JP2017141010A (ja) * 2015-09-04 2017-08-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 通知方法、通知装置及び端末

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6085153B2 (ja) * 2012-11-26 2017-02-22 日立Ｇｅニュークリア・エナジー株式会社 建屋内調査システム
US9620004B2 (en) * 2014-09-04 2017-04-11 Cisco Technology, Inc. Multi-master wireless remote control
CN109074068A (zh) * 2016-03-31 2018-12-21 株式会社尼康 飞行装置、电子设备以及程序

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017141010A (ja) * 2015-09-04 2017-08-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 通知方法、通知装置及び端末
JP2017074826A (ja) * 2015-10-14 2017-04-20 株式会社プロドローン 遠隔操縦型無人飛行機および遠隔操縦型無人飛行機の操縦引継方法

Also Published As

Publication number Publication date
US20200278673A1 (en) 2020-09-03
JPWO2019087891A1 (ja) 2020-10-22
JP6945005B2 (ja) 2021-10-06

Similar Documents

Publication Publication Date Title
US11175651B2 (en) Method, device and system for presenting operation information of a mobile platform
US20190369613A1 (en) Electronic device and method for controlling multiple drones
US10373483B2 (en) Electronic device for controlling unmanned aerial vehicle and method of operating the same
US20160231739A1 (en) System and method for controlling a remote aerial device for up-close inspection
WO2019087891A1 (ja) 情報処理装置及び飛行制御システム
US20210001487A1 (en) Information processing apparatus, information processing method, and storage medium
US11363185B1 (en) Determining capture instructions for drone photography based on images on a user device
JP7341991B2 (ja) 監視装置
CN110673647B (zh) 全向避障方法及无人飞行器
US10755582B2 (en) Drone physical and data interface for enhanced distance coverage
JP7079345B2 (ja) 情報処理装置
JP6945004B2 (ja) 情報処理装置
JP7050809B2 (ja) 情報処理装置
US11830247B2 (en) Identifying antenna communication issues using unmanned aerial vehicles
JP7060616B2 (ja) 情報処理装置
CN113741498A (zh) 云台相机的变焦控制方法、装置及终端
US11127286B2 (en) Information processing device and method, and recording medium
Gunasundari et al. Gesture Controlled Drone Swarm System for Violence Detection Using Machine Learning for Women Safety
JP7058290B2 (ja) 情報処理装置及び情報処理方法
WO2020262529A1 (ja) 情報処理装置及び情報処理方法
JP7064229B2 (ja) 自動追尾システム、自動追尾方法、プログラム
CN113885550A (zh) 信息处理装置、信息处理方法以及非临时性存储介质
CN116745723A (zh) 无人机的控制方法、无人机及存储介质
CN117716315A (zh) 无人飞行器的控制方法、装置、无人飞行器和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18874515

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019551196

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18874515

Country of ref document: EP

Kind code of ref document: A1