WO2019212035A1 - 飛行体の制御に関する情報表示方法 - Google Patents

飛行体の制御に関する情報表示方法 Download PDF

Info

Publication number
WO2019212035A1
WO2019212035A1 PCT/JP2019/017822 JP2019017822W WO2019212035A1 WO 2019212035 A1 WO2019212035 A1 WO 2019212035A1 JP 2019017822 W JP2019017822 W JP 2019017822W WO 2019212035 A1 WO2019212035 A1 WO 2019212035A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display method
information
information display
flying object
Prior art date
Application number
PCT/JP2019/017822
Other languages
English (en)
French (fr)
Inventor
直晃 間下
太郎 吉井
Original Assignee
株式会社センシンロボティクス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社センシンロボティクス filed Critical 株式会社センシンロボティクス
Publication of WO2019212035A1 publication Critical patent/WO2019212035A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
    • B64C13/02—Initiating means
    • B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
    • B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms

Definitions

  • the present invention relates to an information display method related to control of an aircraft.
  • flying bodies such as drones (Drone) and unmanned aerial vehicles (UAVs) used for various purposes have been provided. .
  • Aircraft data transmitted from the flying object is received by the ground station located remotely when the flying object is flying, and the aircraft information, map information, and aircraft operation panel obtained from the aircraft data on the monitor screen of a personal computer installed on the ground station
  • Patent Document 1 discloses a technique for displaying an airframe-mounted camera operation panel and the like.
  • Patent Document 2 discloses a technique for displaying flight data of each unmanned air vehicle by switching or dividing on one screen when operating a plurality of air vehicles.
  • the technique disclosed in the above-mentioned patent document focuses on the operation of a single or a plurality of flying objects, and aims to optimize the monitor screen display of necessary information in a remotely provided device.
  • a technique for displaying a plurality of pieces of image information transmitted from a plurality of flying objects and optimizing the image display has not yet been disclosed.
  • an object of the present invention is to optimize display of information including a plurality of images transmitted from a plurality of flying objects.
  • One embodiment of the present invention is an information display method for displaying information including images provided from a plurality of flying objects, receives images transmitted from the plurality of flying objects, and displays the received images.
  • An image display area an image display area corresponding to each of the plurality of flying objects is generated, and among the image display areas, an image display area for displaying an image corresponding to a predetermined flying object Control to make it larger than the image display area.
  • 1 is a functional block diagram of a flying object according to a first embodiment of the present invention. It is a functional block diagram of a control part and a storage part among management terminals by a 1st embodiment by the present invention. It is a flowchart figure concerning information display by a 1st embodiment by the present invention.
  • An aircraft has the following configuration.
  • An information display method according to item 1 wherein The information display method, wherein the predetermined aircraft is an aircraft selected by a user.
  • An image display method according to item 1 wherein An information display method for providing a control panel area for controlling the predetermined aircraft.
  • An image display method according to item 1 wherein An information display method for recording an image transmitted from the predetermined aircraft.
  • FIG. 1 is a system configuration diagram including a management terminal and a flying object according to the first embodiment of the present invention.
  • the management terminal 1 is connected to a plurality of flying bodies 2A, 2B, 2G, etc. via a network such as the Internet (hereinafter, for convenience, an arbitrary flying body is simply referred to as a flying body. 2 ”).
  • networks include local area networks (LAN), wide area networks (WAN), infrared, wireless, WiFi, point-to-point (P2P) networks, telecommunications networks, cloud communications, and the like.
  • the flying object 2 include an unmanned flying object (for example, a drone) that autonomously flies or can be operated and controlled remotely by a user terminal described later.
  • predetermined control data such as flight position information (latitude, longitude, altitude Etc.), information such as flight path, battery usage / remaining amount, flight speed, flight time, acceleration, tilt, and other equipment operation status are transmitted automatically or in response to a request from the user.
  • the flying object is illustrated as being connected to the management terminal 1.
  • any imaging device may be used. Also good.
  • fixed cameras equipment with imaging means fixedly installed indoors / outdoors
  • moving cameras cameras that move automatically, moving means (not limited to cars, railways, etc.) Examples include cameras installed on animals (including animals, etc.)
  • any information collecting device having a special sensing function may be used (infrared camera (near-infrared camera). / Infrared / far-infrared), infrared, X-ray, high-sensitivity camera) These may be adopted as appropriate according to the application and purpose.
  • FIG. 2 is a system configuration diagram including a management terminal and a user terminal according to the first embodiment of the present invention.
  • the management terminal 1 is connected to a plurality of user terminals 3A, 3B, 3G, etc. via a network such as the Internet (hereinafter, for convenience, an arbitrary user terminal is simply referred to as “user terminal”).
  • 3 Examples of networks include local area networks (LAN), wide area networks (WAN), infrared, wireless, WiFi, point-to-point (P2P) networks, telecommunications networks, cloud communications, and the like.
  • the user terminal 3 for example, a general-purpose computer such as a workstation or a personal computer may be used, or a mobile device terminal such as a smartphone or a tablet may be used.
  • the user terminal 3 includes a display device such as a display panel, and the display device displays predetermined information including images and moving image data transmitted from the management terminal 1 by display software such as a built-in browser.
  • FIG. 3 is a diagram illustrating a hardware configuration of the management server 1.
  • the structure shown in figure is an example and may have a structure other than this.
  • the management server 1 is connected to a database (not shown) and constitutes a part of the system.
  • the management server 1 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.
  • the management server 1 includes at least a control unit 10, a memory 11, a storage 12, a transmission / reception unit 13, an input / output unit 14, and the like, which are electrically connected to each other through a bus 15.
  • the control unit 10 is an arithmetic device that controls the operation of the management server 1 as a whole, performs data transmission / reception control between elements, and performs information processing necessary for application execution and authentication processing.
  • the processor 10 is a CPU (Central Processing Unit), and executes each information process by executing a program stored in the storage 12 and expanded in the memory 11.
  • the memory 11 includes a main memory composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary memory composed of a nonvolatile storage device such as a flash memory or an HDD (Hard Disc Drive). .
  • the memory 11 is used as a work area of the processor 10 and stores a BIOS (Basic Input / Output System) executed when the management server 1 is started up, various setting information, and the like.
  • BIOS Basic Input / Output System
  • the storage 12 stores various programs such as application programs.
  • a database storing data used for each process may be constructed in the storage 12.
  • the transmission / reception unit 13 connects the management server 1 to a network and a block chain network.
  • the transmission / reception unit 13 may include a Bluetooth (registered trademark) and a BLE (Bluetooth Low Energy) short-range communication interface.
  • the input / output unit 14 is an information input device such as a keyboard / mouse and an output device such as a display.
  • the bus 15 is commonly connected to each of the above elements, and transmits, for example, an address signal, a data signal, and various control signals.
  • FIG. 4 is a functional block diagram of the flying object according to the first embodiment of the present invention.
  • the following functional block diagram is described as a concept stored in a single device (aircraft) for the sake of simplicity of explanation, but for example, a part of its functions can be exhibited by an external device, It may be logically configured by using cloud computing technology.
  • the flight controller 21 may have one or more processors such as a programmable processor (for example, a central processing unit (CPU)).
  • a programmable processor for example, a central processing unit (CPU)
  • CPU central processing unit
  • the flight controller 21 has a memory 22 and can access the memory.
  • the memory 22 stores logic, code, and / or program instructions that can be executed by the flight controller 21 to perform one or more steps.
  • the memory 22 may include, for example, a separable medium such as an SD card or a random access memory (RAM) or an external storage device. Data acquired from the camera and sensors 27 may be directly transmitted to and stored in the memory. For example, still image / moving image data shot by a camera or the like is recorded in a built-in memory or an external memory. The camera is installed on the flying object via the gimbal 28.
  • a separable medium such as an SD card or a random access memory (RAM) or an external storage device.
  • RAM random access memory
  • the flight controller 21 includes a control module configured to control the state of the aircraft.
  • the control module may adjust the spatial arrangement, velocity, and / or acceleration of an aircraft having six degrees of freedom (translational motions x, y, and z, and rotational motions ⁇ x , ⁇ y, and ⁇ z ).
  • the aircraft propulsion mechanism (motor 30 and the like) is controlled via the ESC 29.
  • the propeller 31 is rotated by the motor to generate lift of the flying object.
  • the control module can control one or more of the states of the mounting unit and sensors.
  • the flight controller 21 is configured to send and / or receive data from one or more external devices (eg, a transceiver 25 (propo), terminal, display device, or other remote controller).
  • a transceiver 25 (propo), terminal, display device, or other remote controller.
  • the communication with the unit 26 is possible.
  • the transceiver 25 can use any appropriate communication means such as wired communication or wireless communication.
  • the transmission / reception unit 26 uses one or more of a local area network (LAN), a wide area network (WAN), infrared, wireless, WiFi, point-to-point (P2P) network, telecommunication network, cloud communication, etc. can do.
  • LAN local area network
  • WAN wide area network
  • P2P point-to-point
  • the transmission / reception unit 26 transmits and / or receives one or more of data acquired by the sensors 27, a processing result generated by the flight controller 21, predetermined control data, a user command from a terminal or a remote controller, and the like. be able to.
  • the sensors 27 may include inertial sensors (acceleration sensor, gyro sensor), GPS sensor, proximity sensor (for example, rider), or vision / image sensor (for example, camera).
  • inertial sensors acceleration sensor, gyro sensor
  • GPS sensor GPS sensor
  • proximity sensor for example, rider
  • vision / image sensor for example, camera
  • FIG. 5 is a functional block diagram of a control unit and a storage unit in the management terminal according to the first embodiment of the present invention.
  • FIG. 6 is a flowchart according to the information display process executed in the management terminal according to the first embodiment of the present invention. This information processing can be realized by executing a program for displaying information stored in the storage unit in the control unit.
  • the information receiving unit 41 of the control unit 10 receives related information such as image / moving image data and / or predetermined control data from the flying object 2 (S101).
  • the control unit 10 stores the information in the image storage unit 51 or the information storage unit 52 of the storage unit 11.
  • the display control unit 44 of the control unit 10 receives the image received from the flying object 2 for the preset layout of the display area and the common elements arranged in accordance with the UI template stored in the template storage unit 53.
  • a user interface (UI) screen file to be displayed on the display device of the user terminal 3 is generated by arranging information such as moving image data and text (S102).
  • FIG. 7 shows an example of a user interface displayed on the user terminal according to the first embodiment of the present invention.
  • the user interface screen 60 has a plurality of display areas 61 and 62A-62E for displaying image / moving image data transmitted from each aircraft 2.
  • Each display area is provided for displaying the image / moving image data of the corresponding flying object.
  • the display area 61 displays the image / moving picture data transmitted from the drone 1
  • the display area 62 ⁇ / b> A displays the image / moving picture data transmitted from the drone 2.
  • the display area 62 ⁇ / b> B displays the image / moving image data transmitted from the drone 3.
  • the display area 61 is an area for displaying the flying object selected from the flying object selection unit 64 or the map display area 65 by the user.
  • the display area 61 has a display area larger than that of the other display areas 62A to 62E.
  • the display area 61 displays image / moving image data received from the drone 1 selected by the user via the flying object selection unit 64. Thereby, the user can confirm the image / moving image data received from the selected flying object more easily.
  • the flying object selection unit 64 can select another drone 2-6 by pull-down. It is also possible to display and select an operating airframe / device (in flight / landing / fixed camera, etc., regardless of its form or state) in a list format.
  • the flying object operation panel 63 is arranged so as to be overlaid on the display area 61, and is prepared for the flying object flight control (for example, control of the flying direction of the flying object) and the flying object according to a request from the user.
  • Camera control for example, switching between still image / moving image shooting, zoom-in / out control, camera shooting direction control, etc.
  • the flight control of the flying object is realized by executing the flying object control program stored in the flying object control program storage unit 57 of the storage unit 11 in the flying object control unit program execution unit 48 of the control unit 10.
  • the flying object operation panel 63 may be outside the display area 61.
  • the user interface screen 60 displays the position information and flight path transmitted from the GPS of the currently selected aircraft on a map, a map display area 65, and various control data (e.g., latitude) transmitted from the aircraft. , Longitude, altitude, direction, speed, remaining battery level, etc.).
  • the user interface screen 60 can have a recording button 67 for recording (screen recording) moving image data transmitted from the selected flying body and displayed in the display area 61.
  • the recording function according to the present embodiment can be recorded for each of the display areas 61 and 62A-62E, but the entire user interface 60 may be recorded.
  • the recording button 67 may have a function of capturing video (or recorded moving images) that flows in real time. Thus, when it is desired to leave a part of the video, the moment can be left as a still image by operating the recording button 67. Note that a comment, a memo, an object, or the like may be recorded in association with a moving image or a still image. Further, as shown in the figure, a button for capturing a part of a moving image may be provided as a capture button 67 a in addition to the recording button 67.
  • chat program for sharing the user interface screen 60 with other user terminals.
  • Each user while referring to the shared user interface screen 60, can input comments, post stamp objects, and share (upload) information such as files and data through the chat interface. Comments received from can be confirmed.
  • the chat program is realized by executing the chat program stored in the chat program storage unit 55 of the storage unit 11 by the chat program execution unit 47 of the control unit 10.
  • each user can control the aircraft operation panel 63 displayed in the display area 61 on the shared user interface screen.
  • the original user who shared the user interface screen (host user) provides a selection button (not shown) for designating the authority for operating the operation panel 63 to a specific other user. It can also be provided on the screen 60.
  • the determination unit 43 of the control unit 10 determines whether or not the management terminal 1 has received a request from the user terminal 3 to select a desired flying body among a plurality of flying bodies (S103). .
  • the user terminal 3 selects a desired flying object by a pull-down operation of the flying object selection unit 64 on the user interface screen 60.
  • the display control unit 45 displays the image / moving image data transmitted from the flying object selected by the user terminal 3 in the display area 61 (S104). For example, as illustrated in FIG. 8, when the user terminal 3 makes a request to select the drone 2, the image / moving image data transmitted from the drone 2 is displayed in the display area 61.
  • the drone 1 selected so far is displayed in the display area 62A where the image / moving image data of the drone 2 has been displayed.
  • a user interface screen as in this embodiment, it is possible to view the image / movie data of a plurality of flying objects from a bird's-eye view and to display a large image / movie data of the flying object to be focused. It is possible to provide a user with a display that is easier to see.
  • an operation panel that enables aircraft operation and camera operation of the flying object to a display area that displays image / movie data of the selected flying object, a user interface with higher operability is provided. be able to.
  • the drone 1 relating to the image currently displayed in the display area 61 is displayed in the center (d1), and other drones (for example, Drone 2: d2) may be displayed on the same screen.
  • an icon that can indicate the traveling direction of each drone for example, a figure that is asymmetric with respect to the traveling direction
  • a flight history flight path
  • information for avoiding a collision may be presented by displaying a planned route (not shown).
  • the interface shown in FIG. 7 selects a flying object by pull-down operation of the flying object selection unit 64, but it is also possible to directly select a drone (icon) displayed in the map display area 65.
  • a drone icon displayed in the map display area 65.
  • each drone displayed on the map display area 65 is colored, and the corresponding display areas 61 and 62A-62E are indicated by the same color, so that which display area corresponds to which drone. It makes it easier to understand visually what the object is.
  • the other selected display areas 62A-62E may be displayed in the display area 61.
  • the flying object selecting unit 64 and the map display area 65 are interlocked so that the selected drone is displayed.
  • each drone is assumed to be autonomously flying (flight based on a preset or stored flight control program, etc.).
  • the following operation operation can be performed.
  • the local operator it is preferable not to accept the operation of the operation prop. However, in an emergency or the like, it is more preferable to accept a forced interrupt operation from a local operator by operating a predetermined button or the like.
  • FIG. 9 is an example of a user interface displayed on the user terminal according to the second embodiment of the present invention.
  • the image / movie data transmitted from the selected flying object is the image / moving picture data of another flying object that has been selected so far.
  • the display area in which the image / movie data of the aircraft selected this time has been displayed so far is enlarged and displayed. It is characterized by being. For example, in FIG.
  • the display area 62 ⁇ / b> A where the image / movie data of the drone 2 has been displayed so far is enlarged and displayed.
  • the image / video data display area 61 of the adjacent drone 1 is reduced and displayed, and the display position of the image / video data display area 62B of the drone 3 is changed.
  • FIG. 10 is a functional block diagram of a control unit and a storage unit in the management terminal according to the third embodiment of the present invention.
  • FIG. 11 is a flowchart for information display according to the third embodiment of the present invention.
  • control unit 10 includes an object detection unit 49 that detects a predetermined object stored in the search object storage unit 58 of the storage unit 11.
  • the information receiving unit 41 receives information such as image / moving image data and / or related information such as predetermined control data from the flying object 2 (S201).
  • the control unit 10 stores the information in the image storage unit 51 or the information storage unit 52 of the storage unit 11.
  • the display control unit 44 of the control unit 10 receives the image received from the flying object 2 for the preset layout of the display area and the common elements arranged in accordance with the UI template stored in the template storage unit 53.
  • a user interface (UI) screen file to be displayed on the display device of the user terminal 3 is generated by arranging information such as moving image data and text (S202).
  • the determination unit 43 of the control unit 10 determines whether or not any of the plurality of flying objects 2 has detected a predetermined object by the management terminal 1 (S203). For example, when a plurality of flying objects are searching for a victim in a mountainous area, each flying object transmits image / video data to the management terminal 1, and the management terminal 1 then searches the search object storage unit 58. The image data related to the search target person stored in is referred to and it is determined whether or not the search target person is included in the image / movie data received from the flying object.
  • the display control unit 45 controls to display the image / moving image data of the flying object in which the search target person is detected in the display area 61 in FIG. 7 (S204).
  • the camera image of a plurality of flying objects is displayed in the display area.
  • the image is obtained by a fixed camera or communication software via a network such as a so-called conference call.
  • the acquired image and the image acquired by the moving body including the camera unit such as the ground moving body and the underwater moving body can also be displayed.
  • a display that enables the terminals having the initiative to perform the operation to recognize each other is displayed, and a display for switching the initiative is also provided. It is preferable to display them together.
  • the flying object of the present invention can be expected to be used as an industrial flying object in surveying, surveying, observation and the like.
  • the flying object of the present invention can be used in an aircraft related industry such as a multicopter drone, and further contributes to the improvement of safety related to the flight of these flying objects and the flying object through the present invention. be able to.
  • the user interface 60 displayed in the present embodiment may be displayed (output) on a single display unit or may be displayed on a plurality of display units. For example, as shown in FIG. 13, it may be displayed on a plurality of monitors 60, 60L, 60R, or may be displayed on other monitors 60tv, 60tab regardless of wired / wireless.
  • FIG. 13 it may be displayed on a plurality of monitors 60, 60L, 60R, or may be displayed on other monitors 60tv, 60tab regardless of wired / wireless.
  • each of the plurality of display areas 61 to 66 may be displayed individually (or in combination) on the other monitor shown in FIG.
  • the display area 61 may be displayed on a large monitor alone. That is, for example, as shown in FIG. 14, images and videos from the drone 2 to the drone 5 are displayed on the left monitor 60L.
  • an image or video from the currently selected drone (drone 1) is displayed on the central monitor 60.
  • a flying object operation panel 63 is also displayed in the display area 61 of the central monitor 60.
  • a map display area 65 and a control information display area 66 are displayed on the right monitor 60R.
  • At least one of the display areas is different in size from the other display areas.
  • all the display areas (61) from drone 1 to 4 are all.
  • the sizes may be approximately the same.

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】複数の飛行体から送信される複数の画像を含む情報の表示の最適化を図ることを目的とする。 【解決手段】複数の飛行体から提供される画像を含む情報を表示する情報表示方法であって、複数の飛行体から送信される画像を受信し、受信した画像を表示する画像表示領域であって、複数の飛行体の各々の飛行体に対応する画像表示領域を生成し、画像表示領域のうち、所定の飛行体に対応する画像を表示する画像表示領域を、他の画像表示領域より大きくするよう制御する。

Description

飛行体の制御に関する情報表示方法
　本発明は、飛行体の制御に関する情報表示方法に関する。
　近年、様々な用途に利用されるドローン（Ｄｒｏｎｅ）や無人航空機（ＵＡＶ：Ｕｎｍａｎｎｅｄ　Ａｅｒｉａｌ　Ｖｅｈｉｃｌｅ）などの飛行体（以下、単に「飛行体」と総称する）を利用した様々なサービスが提供されている。
　飛行体の飛行にあたって、飛行体から送信される機体データを、遠隔に位置する地上局にて受信し、地上局設けられるパソコンのモニタ画面において機体データから得られる機体情報、地図情報、機体操作パネル、機体搭載カメラ操作パネル等を表示する技術が、例えば、特許文献１に開示されている。
　また、複数の飛行体を運用する場合に、各無人飛行体の飛行データを１つの画面上で切り換えや分割等することにより表示させる技術が、例えば特許文献２に開示されている。
ＷＯ２００６－０９８４６９号公報 特開平６－３１２７００号公報
　しかしながら、上記特許文献に開示の技術は、単一または複数の飛行体の操作に主眼を置いたもので、遠隔に設けられた装置における、必要な情報のモニタ画面表示の最適化を図るものであり、複数の飛行体から送信される画像情報を複数表示し、画像表示の最適化を図る技術は未だ開示されていない。
　そこで、本発明は、複数の飛行体から送信される複数の画像を含む情報の表示の最適化を図ることを目的とする。
　本発明の一の実施形態は、複数の飛行体から提供される画像を含む情報を表示する情報表示方法であって、複数の飛行体から送信される画像を受信し、受信した画像を表示する画像表示領域であって、複数の飛行体の各々の飛行体に対応する画像表示領域を生成し、画像表示領域のうち、所定の飛行体に対応する画像を表示する画像表示領域を、他の画像表示領域より大きくするよう制御する。
　本発明によれば、複数の飛行体から送信される複数の画像を含む情報の表示の最適化を実現することができる。
発明による第１の実施の形態による、管理端末及び飛行体からなるシステム構成図である。 本発明による第１の実施の形態による、管理端末及びユーザ端末からなるシステム構成図である。 本発明による第１の実施の形態による、管理端末のハードウェア構成を示す図である。 本発明による第１の実施の形態による、飛行体の機能ブロック図である。 本発明による第１の実施の形態による、管理端末のうち、制御部及び記憶部の機能ブロック図である。 本発明による第１の実施の形態による、情報表示にかかるフローチャート図である。 本発明による第１の実施の形態による、ユーザ端末に表示されるユーザインターフェースの一例である。 本発明による第１の実施の形態による、ユーザ端末に表示されるユーザインターフェースの他の例である。 本発明による第２の実施の形態による、ユーザ端末に表示されるユーザインターフェースの一例である。 本発明による第３の実施の形態による、管理端末のうち、制御部及び記憶部の機能ブロック図である。 本発明による第３の実施の形態による、情報表示にかかるフローチャート図である。 本発明の実施の形態によるシステムの画面表示例である。 本発明による変形例を示す図である。 本発明による変形例を示す図である。 本発明による変形例を示す図である。
　本発明の実施形態の内容を列記して説明する。本発明の実施の形態による飛行体は、以下のような構成を備える。
［項目１］　
複数の飛行体から提供される画像を含む情報を表示する情報表示方法であって、
前記複数の飛行体から送信される画像を受信し、
　前記受信した画像を表示する画像表示領域であって、前記複数の飛行体の各々の飛行体に対応する画像表示領域を生成し、
　前記画像表示領域のうち、所定の飛行体に対応する画像を表示する画像表示領域を、他の画像表示領域より大きくするよう制御する、情報表示方法。
［項目２］　
　項目１に記載の情報表示方法であって、
　前記所定の飛行体は、ユーザによって選択された飛行体である、情報表示方法。
［項目３］　
　項目１に記載の情報表示方法であって、
　前記所定の飛行体は、所定のオブジェクトを検出した飛行体である、情報表示方法。
［項目４］　
　項目１に記載の情報表示方法であって、
　前記選択された飛行体とは別の飛行体の選択を受け付けたときに、前記別の飛行体から送信される画像を、前記所定の飛行体に対応する画像を表示する画像表示領域に差替えて表示するよう制御する、情報表示方法。
［項目５］　
　項目１に記載の情報表示方法であって、
　前記所定の飛行体に関連する所定の情報を表示する第２の画像領域を生成する、画像表示方法。　
［項目６］　
　項目５に記載の画像表示方法であって、
　前記所定の情報は、対応する飛行体の、飛行経路、位置情報、飛行位置情報、飛行高度、飛行速度及びバッテリー残量のいずれか一つを含む、情報表示方法。
［項目７］　
　項目１に記載の画像表示方法であって、
　前記所定の飛行体を制御する制御パネル領域を提供する、情報表示方法。
［項目８］　
　項目１に記載の画像表示方法であって、
　前記所定の飛行体から送信される画像を記録する、情報表示方法。
［項目９］　
　項目１に記載の情報表示方法であって、
　前記表示された画像を複数のユーザに送信する、情報表示方法。
［項目１０］　
項目９に記載の情報表示方法であって、
　前記複数のユーザの各々のユーザからのメッセージ入力を受信し、
　前記受信したメッセージを表示するメッセージ表示領域を生成する、情報表示方法。
以下、本発明の第１の実施の形態による飛行体の制御方法、飛行体及び飛行プログラムについて、図面を参照しながら説明する。図１は、本発明による第１の実施の形態による、管理端末及び飛行体からなるシステム構成図である。
　図１に示すように、管理端末１は、インターネット等のネットワークを介して、複数の飛行体２Ａ、２Ｂ、２Ｇ等と接続する（以下、便宜上、これらのうち任意の飛行体を単に「飛行体２」という）。ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信等が挙げられる。ここで、飛行体２として、例えば、自律飛行する、または後述のユーザ端末により遠隔から操作、制御され得る無人の飛行体（例えば、ドローン等）が挙げられる。飛行体２から管理端末１に対して、所定の情報、例えば、飛行体２のカメラ等で撮影した静止画・動画データのほか、所定の制御データ、例えば、飛行位置情報（緯度、経度、高度等）、飛行経路、バッテリーの使用量／残量、飛行速度、飛行時間、加速度、傾き、その他機器の動作状況等の情報を、自動またはユーザからの要求に応じて送信する。
　なお、図示される例においては、管理端末１に接続されるものとして飛行体を例示したが、管理端末１に接続されるものとして、例えば、撮像装置であれば、どのようなものであってもよい。この場合、固定カメラ（屋内／屋外を問わず固定的に設置される撮像手段を備えた装置）や、移動カメラ（自動で移動するカメラ、移動手段（自動車や、鉄道などに限らず、人や動物等をも含む）に設置されたカメラなどが例示できる。この他にも、特殊なセンシング機能を備えた情報収集装置であれば、どのようなものであってもよい（赤外線カメラ(近赤外線／中赤外線／遠赤外線）、赤外線・Ｘ線・高感度カメラ）。これらは、用途や目的に応じて適宜採用することとすればよい。
図２は、本発明による第１の実施の形態による、管理端末及びユーザ端末からなるシステム構成図である。図２に示すように、管理端末１は、インターネット等のネットワークを介して、複数のユーザ端末３Ａ、３Ｂ、３Ｇ等と接続する（以下、便宜上、これらのうち任意のユーザ端末を単に「ユーザ端末３」という）。ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信等が挙げられる。ここで、ユーザ端末３として、例えば、ワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、スマートフォン、タブレット等の携帯機器端末としてもよい。ユーザ端末３は、ディスプレイパネル等の表示装置を備え、表示装置は、管理端末１から送信された画像、動画データを含む所定の情報を、内蔵されたブラウザ等の表示用ソフトウェアによって表示する。
　図３は、管理サーバ１のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
　図示されるように、管理サーバ１は、データベース（図示せず）と接続されシステムの一部を構成する。管理サーバ１は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
　管理サーバ１は、少なくとも、制御部１０、メモリ１１、ストレージ１２、送受信部１３、入出力部１４等を備え、これらはバス１５を通じて相互に電気的に接続される。
　制御部１０は、管理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ１０はＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）であり、ストレージ１２に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。
　メモリ１１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１１は、プロセッサ１０のワークエリア等として使用され、また、管理サーバ１の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ／Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
　ストレージ１２は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ１２に構築されていてもよい。
　送受信部１３は、管理サーバ１をネットワークおよびブロックチェーンネットワークに接続する。なお、送受信部１３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＢＬＥ（Ｂｌｕｅｔｏｏｔｈ　Ｌｏｗ　Ｅｎｅｒｇｙ）の近距離通信インタフェースを備えていてもよい。
　入出力部１４は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
　バス１５は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
図４は、本発明による第１の実施の形態による飛行体の機能ブロック図である。なお、以下の機能ブロック図は説明を簡単にするために、単一のデバイス（飛行体）に格納された概念として記載しているが、例えば、その一部機能を外部デバイスに発揮させたり、クラウドコンピューティング技術を利用することによって論理的に構成されていてもよい。
　フライトコントローラ２１は、プログラマブルプロセッサ（例えば、中央演算処理装置（ＣＰＵ））などの１つ以上のプロセッサを有することができる。
　フライトコントローラ２１は、メモリ２２を有しており、当該メモリにアクセス可能である。メモリ２２は、１つ以上のステップを行うためにフライトコントローラ２１が実行可能であるロジック、コード、および／またはプログラム命令を記憶している。
　メモリ２２は、例えば、ＳＤカードやランダムアクセスメモリ（ＲＡＭ）などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラやセンサ類２７から取得したデータは、メモリに直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。カメラは飛行体にジンバル２８を介して設置される。
　フライトコントローラ２１は、飛行体の状態を制御するように構成された制御モジュールを含んでいる。例えば、制御モジュールは、６自由度（並進運動ｘ、ｙ及びｚ、並びに回転運動θｘ、θｙ及びθｚ）を有する飛行体の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ２９を経由して飛行体の推進機構（モータ３０等）を制御する。モータによりプロペラ３１が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの１つ以上を制御することができる。
　フライトコントローラ２１は、１つ以上の外部のデバイス（例えば、送受信機２５（プロポ）、端末、表示装置、または他の遠隔の制御器）からのデータを送信および／または受け取るように構成された送受信部２６と通信可能である。送受信機２５は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
　例えば、送受信部２６は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などのうちの１つ以上を利用することができる。
　送受信部２６は、センサ類２７で取得したデータ、フライトコントローラ２１が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの１つ以上を送信および／または受け取ることができる。
　本実施の形態によるセンサ類２７は、慣性センサ（加速度センサ、ジャイロセンサ）、ＧＰＳセンサ、近接センサ（例えば、ライダー）、またはビジョン／イメージセンサ（例えば、カメラ）を含み得る。
図５は、本発明による第１の実施の形態による、管理端末のうち、制御部及び記憶部の機能ブロック図である。また、図６は、本発明による第１の実施の形態による、管理端末において実行される情報表示処理にかかるフローチャート図である。本情報処理は、記憶部に格納される情報表示用のプログラムを制御部において実行することで実現され得る。
図６に示すように、まず、制御部１０の情報受付部４１は、飛行体２より画像・動画データ及び／または所定の制御データ等の関連情報を受け付ける（Ｓ１０１）。制御部１０は、上記情報を、記憶部１１の画像格納部５１または情報格納部５２に格納する。
　続いて、制御部１０の表示制御部４４は、テンプレート格納部５３に格納されたＵＩテンプレートに従って、予め設定された表示領域のレイアウトや配置された共通要素に対し、飛行体２から受信した、画像・動画データやテキスト等の情報を配置することで、ユーザ端末３の表示装置に表示するためのユーザインターフェース（ＵＩ）画面用ファイルを生成する（Ｓ１０２）。
　図７に、本発明による第１の実施の形態による、ユーザ端末に表示されるユーザインターフェースの一例を示す。ユーザインターフェース画面６０は、各飛行体２から送信された画像・動画データを表示するための複数の表示領域６１及び６２Ａ－６２Ｅを有する。各表示領域は、対応する飛行体の画像・動画データを表示するために設けられる。例えば、表示領域６１は、ドローン１から送信された画像・動画データを表示し、表示領域６２Ａは、ドローン２から送信された画像・動画データを表示する。同様に、表示領域６２Ｂは、ドローン３から送信された画像・動画データを表示する。ここで、表示領域６１は、ユーザによって飛行体選択部６４又は地図表示領域６５から選択された飛行体を表示するための領域とすることを特徴とする。また、表示領域６１は、他の表示領域６２Ａ－６２Ｅに比べて表示面積が大きいことを特徴とする。例えば、図７において、表示領域６１は、飛行体選択部６４を介してユーザによって選択されたドローン１から受信された画像・動画データを表示している。これにより、ユーザは、選択された飛行体から受信した画像・動画データをより容易に確認することができる。飛行体選択部６４は、プルダウンにより他のドローン２－６を選択することができる。なお、稼働中の機体・装置（飛行中／着陸中／固定カメラ等、その形態や状態を問わない）をリスト形式で表示して選択させることとしてもよい。なお、飛行体の選択については、コマンド入力、音声入力、ラジオボタン等による選択等、種々の選択方法が採用し得る。飛行体操作用パネル６３は、表示領域６１にオーバレイするように配置されており、ユーザからの要求に応じて、飛行体の飛行制御（例えば、飛行体の飛行する方向の制御）及び飛行体に備えられるカメラの制御（例えば、静止画・動画撮影の切り替え、ズームイン・アウトの制御、カメラの撮影方向の制御等）を可能にする。飛行体の飛行制御は、記憶部１１の飛行体制御プログラム格納部５７に格納された飛行体制御プログラムを、制御部１０の飛行体制御部プログラム実行部４８において実行することで実現される。なお、飛行体操作用パネル６３は、表示領域６１の外にあってもよい。
　また、ユーザインタフェース画面６０は、現在選択中の飛行体のＧＰＳから送信された位置情報及び飛行経路を地図上に表示する、地図表示領域６５、飛行体から送信された各種制御データ（例えば、緯度、経度、高度、方向、速度、バッテリー残量等）に関する情報を表示する制御情報表示領域６６を有する。さらに、ユーザインターフェース画面６０は、選択中の飛行体から送信され、表示領域６１に表示される動画データを録画（スクリーンレコーディング）するための録画用ボタン６７を有することができる。本実施の形態による録画機能は、表示領域６１及び６２Ａ－６２Ｅ毎に録画することもできるがユーザインターフェース６０の全体を録画することとしてもよい。
　なお、録画用ボタン６７は、リアルタイムで流れる映像（又は記録された動画）をキャプチャする機能を備えていてもよい。これにより、映像の一部を残しておきたいときには録画用ボタン６７を操作することによって、その瞬間を静止画として残すことができる。なお、動画又は静止画に対してコメント、メモ、オブジェクト等を関連付けて記録することとしてもよい。更には図示されるように、動画の一部をキャプチャするボタンを録画用ボタン６７に加えてキャプチャ用ボタン６７ａとして設けることとしてもよい。
　また、ユーザインターフェース画面６０を他のユーザ端末に共有するためのチャットプログラムを起動するための共有ボタン６８を有することができる。各々のユーザは、共有されたユーザインターフェース画面６０を参照しながら、チャットインターフェースを通じて、コメント入力や、スタンプ・オブジェクトの投稿、ファイルや、データ等の情報の共有（アップロード）を行いつつ、他のユーザから受信したコメントを確認することができる。チャットプログラムは、記憶部１１のチャットプログラム格納部５５に格納されたチャットプログラムを、制御部１０のチャットプログラム実行部４７で実行することで実現される。また、各々のユーザは、共有されたユーザインターフェース画面において、表示領域６１に表示される飛行体の操作用パネル６３を制御することができる。このとき、ユーザインターフェイス画面を共有した元のユーザ（ホストユーザ）が、操作用パネル６３を操作するための権限を特定の他のユーザに指定するための選択ボタン（図示せず）を、ユーザインターフェース画面６０上に設けることもできる。
図６に戻り、制御部１０の判定部４３は、管理端末１が、ユーザ端末３から、複数の飛行体のうち所望の飛行体を選択する要求を受信したか否かを判定する（Ｓ１０３）。上記のとおり、例えば、ユーザ端末３は、ユーザインターフェース画面６０の飛行体選択部６４のプルダウン操作により、所望の飛行体を選択する。判定結果がＹＥＳである場合、表示制御部４５は、ユーザ端末３が選択した飛行体から送信された画像・動画データを表示領域６１に表示する（Ｓ１０４）。例えば、図８に示すように、ユーザ端末３が、ドローン２を選択する要求を行った場合、ドローン２から送信された画像・動画データが表示領域６１に表示される。これまで選択されていたドローン１は、これまでドローン２の画像・動画データが表示されていた表示領域６２Ａに表示される。本実施形態のようなユーザインターフェース画面を提供することで、複数の飛行体から提供される画像・動画データを俯瞰的に確認しつつ、フォーカスしたい飛行体の画像・動画データを大きく表示することで、より見やすい表示をユーザに対して提供することができる。また、飛行体の機体操作やカメラ操作を可能とする操作パネルを選択中の飛行体の画像・動画データを表示する表示領域に対して提供することで、より操作性の高いユーザインターフェースを提供することができる。
なお、図７及び図８を比較して理解されるように、地図表示領域６５には、現在表示領域６１に映し出されている映像に関するドローン１を中央に映し出し（ｄ１）、他のドローン（例えばドローン２：ｄ２）を同一画面内に映し出すこととしてもよい。この場合、各ドローンの進行方向を示すことができるアイコン（例えば、進行方向に対して非対称な図形等）や、飛行履歴（飛行経路）を併記することとしてもよい。更には、予定進路（図示せず）を表示することにより、衝突回避のための情報を提示することとしてもよい。
　なお、図７に示されるインターフェースは、飛行体選択部６４のプルダウン操作により、飛行体を選択することとしていたが、地図表示領域６５に映し出されているドローン（アイコン）を直接選択することとしてもよい。また、例えば、地図表示領域６５に映し出されるドローンの夫々に色を付し、対応する表示領域６１及び６２Ａ－６２Ｅの枠等を同一の色によって示すことにより、どの表示領域がどのドローンに対応するものなのかが視覚的に理解しやすくなる。
　一方、選択した他の表示領域６２Ａ－６２Ｅを表示領域６１に表示することとしてもよい。この場合、飛行体選択部６４と地図表示領域６５とは、選択したドローンが表示されるように連動する。
また、上述した説明においては、各ドローンは自律飛行（あらかじめ設定又は格納された飛行制御プログラム等に基づく飛行等）することを前提としていたが、このような形態も含め、飛行制御とカメラ操作を例えば、以下のような操作運用とすることもできる。
ｉ）飛行制御：現地オペレータ　／　カメラ操作：現地オペレータ
ｉｉ）飛行制御：現地オペレータ　／　カメラ操作：本システムの操作用パネル
ｉｉｉ）飛行制御：本システムの操作用パネル　／　カメラ操作：現地オペレータ
ｉｖ）飛行制御：本システムの操作用パネル　／　カメラ操作：本システムの操作用パネル
なお、上記のｉｉｉ）及びｉｖ）の場合において、飛行制御を本システムの操作用パネルで行っている際には、現地オペレータの操作プロポの操作を受け付けないようにしておくことが好ましい。ただし、緊急時等においては、所定のボタン等を操作することなどにより現地オペレータからの強制割込み操作を受け付けることとすれば更に好ましい。
（第２の実施の形態）
　図９は、本発明による第２の実施の形態による、ユーザ端末に表示されるユーザインターフェースの一例である。本実施の形態において、ユーザが、所望の飛行体を選択したときに、今回選択した飛行体から送信された画像・動画データが、これまで選択されていた別の飛行体の画像・動画データが表示されていた所定の表示領域（図７及び図８における表示領域６１）に表示されるのではなく、上記今回選択した飛行体の画像・動画データがこれまで表示されていた表示領域が拡大表示されることを特徴とする。例えば、図９において、ユーザ端末３が、飛行体選択部６４において、ドローン２を選択すると、これまでドローン２の画像・動画データが表示されていた表示領域６２Ａが拡大表示され、これに伴い、隣接するドローン１の画像・動画データの表示領域６１が縮小表示され、ドローン３の画像・動画データの表示領域６２Ｂの表示位置が変更される。
（第３の実施の形態）
　図１０は、本発明による第３の実施の形態による、管理端末のうち、制御部及び記憶部の機能ブロック図である。また、図１１は、本発明による第３の実施の形態による、情報表示にかかるフローチャート図である。
　図１０に示す、管理端末１の制御部１０及び記憶部１１の機能ブロック図は、基本的に図５に示す第１の実施形態における制御部１０及び記憶部１１の機能ブロック図と同等であるが、本実施の形態における特徴として、制御部１０は、記憶部１１の探索オブジェクト格納部５８に格納される所定のオブジェクトを検出する、オブジェクト検出部４９を有することが挙げられる。
　図１１に示すように、制御部１０の．情報受付部４１は、飛行体２より画像・動画データといった情報及び／または所定の制御データ等の関連情報を受け付ける（Ｓ２０１）。制御部１０は、上記情報を、記憶部１１の画像格納部５１または情報格納部５２に格納する。
　続いて、制御部１０の表示制御部４４は、テンプレート格納部５３に格納されたＵＩテンプレートに従って、予め設定された表示領域のレイアウトや配置された共通要素に対し、飛行体２から受信した、画像・動画データやテキスト等の情報を配置することで、ユーザ端末３の表示装置に表示するためのユーザインターフェース（ＵＩ）画面用ファイルを生成する（Ｓ２０２）。
次に、制御部１０の判定部４３は、管理端末１が、複数の飛行体のうちいずれかの飛行体２が、所定のオブジェクトを検出したか否かを判定する（Ｓ２０３）。例えば、複数の飛行体が、山岳地帯で遭難者を探索している場合に、各飛行体は、管理端末１に対し、画像・動画データを送信すると、管理端末１は、探索オブジェクト格納部５８に格納された探索対象者に関連する画像データを参照し、飛行体から受信された画像・動画データに探索対象者が含まれているか否かを判定する。判定結果がＹＥＳである場合、表示制御部４５は、探索対象者を検出した飛行体の画像・動画データを、図７における表示領域６１に表示するよう制御する（Ｓ２０４）。本実施形態のようなユーザインターフェース画面を提供することで、複数の飛行体から提供される画像・動画データを俯瞰的に確認しつつ、特定のオブジェクトを検出した行体の画像・動画データを大きく表示することで、ユーザに対して注意を促すことができる。
　上述した実施の形態に外に、例えば以下のようなケースが例示できる。
・工事現場で特定の工作機械や作業員を探索する
・倉庫内で特定の台車や貨物を探索する
・水中の物質（沈没船等）や魚群を探索する
・地中の物質（金属、原油、地下水、地雷等）や空洞を探索する
・群衆内で特定の条件に合致する個人を探索する
・撮影区域内で特定の条件に合致する建造物や車両を探索する
・撮影区域内で害獣を探索する
・撮影区域内で特定の条件に合致する状態を探索する（太陽光パネルの破損汚損、鉄塔のサビ、コンクリートのひび割れ等）
上述した実施の形態においては、表示領域には、複数の飛行体のカメラ映像等が映し出されるものとしていたが、例えば、固定カメラによる映像や、所謂電話会議のようなネットワークを介したコミュニケーションソフトウェアにより取得された映像、地上移動体や水中移動体のようなカメラ部を備えた移動体が取得した映像をも映し出すことができる。この場合、地図表示領域６５（図７参照）には、各カメラ（＝移動体、固定カメラ、電子会議用端末等）の位置を示すこととすればよい。また、操作パネルを利用して複数地点から遠隔操作を行う場合には、操作を行う主導権を有する端末が互いに認識可能になるような表示をすることとし、主導権の切り替えのための表示も合わせて表示することが好ましい。
　本発明の飛行体は、調査、測量、観察等における産業用の飛行体としての利用が期待できる。また、本発明の飛行体は、マルチコプター・ドローン等の飛行機関連産業において利用することができ、さらに、本発明を通じて、これらの飛行体及び飛行体の飛行に関連する安全性の向上に寄与することができる。
　本実施の形態において表示されるユーザインターフェース６０は、単一の表示部に表示（出力）することとしてもよいし、複数の表示部に表示することとしてもよい。例えば、図１３に示されるように、複数台のモニタ６０、６０Ｌ、６０Ｒに対して表示することとしてもよいし、有線／無線を問わず他のモニタ６０ｔｖ、６０ｔａｂに表示することとしてもよい。以下の説明においては、モニタ６０に本実施の形態によるユーザインターフェースが表示される例を説明する。
　なお、図示される例においては、複数の表示領域６１乃至表示領域６６までの各領域を図１３に示した他のモニタに個別に（又は組み合わせて）表示することとしてもよい。特に、表示領域６１については、単独で大型のモニタに映し出すこととしてもよい。即ち、例えば、図１４に示されるように、左側のモニタ６０Ｌには、ドローン２乃至ドローン５からの画像や映像が表示される。中央モニタ６０には、現在選択中のドローン（ドローン１）からの画像や映像が表示される。図示されるように、中央モニタ６０の表示領域６１には、飛行体操作用パネル６３も表示されている。右側のモニタ６０Ｒには、地図表示領域６５と、制御情報表示領域６６とが表示されている。
　上述したユーザインターフェース６０は、少なくともいずれかの表示領域が他の表示領域と大きさが異なるものであったが、例えば、図１５のように、ドローン１乃至４までの表示領域（６１）が全て略同一の大きさであってもよい。地図表示領域６５において特定のドローンを選択していないときにはすべての表示領域の大きさを均等にしておくことによって、ドローンからの映像を効率よく俯瞰できる。
　上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
　１　　　　管理端末
　２Ａ～２Ｇ　　　　飛行体
　３Ａ～３Ｇ　　　　ユーザ端末

 

Claims (10)

  1. 複数の飛行体から提供される画像を含む情報を表示する情報表示方法であって、
    前記複数の飛行体から送信される画像を受信し、
    　前記受信した画像を表示する画像表示領域であって、前記複数の飛行体の各々の飛行体に対応する画像表示領域を生成し、
    　前記画像表示領域のうち、所定の飛行体に対応する画像を表示する画像表示領域を、他の画像表示領域より大きくするよう制御する、情報表示方法。
  2. 　請求項１に記載の情報表示方法であって、
    　前記所定の飛行体は、ユーザによって選択された飛行体である、情報表示方法。
  3. 　請求項１に記載の情報表示方法であって、
    　前記所定の飛行体は、所定のオブジェクトを検出した飛行体である、情報表示方法。
  4. 　請求項１に記載の情報表示方法であって、
    　前記選択された飛行体とは別の飛行体の選択を受け付けたときに、前記別の飛行体から送信される画像を、前記所定の飛行体に対応する画像を表示する画像表示領域に差替えて表示するよう制御する、情報表示方法。
  5. 　請求項１に記載の情報表示方法であって、
    　前記所定の飛行体に関連する所定の情報を表示する第２の画像領域を生成する、画像表示方法。　
  6. 　請求項５に記載の画像表示方法であって、
    　前記所定の情報は、対応する飛行体の、飛行経路、位置情報、飛行位置情報、飛行高度、飛行速度及びバッテリー残量のいずれか一つを含む、情報表示方法。
  7. 　請求項１に記載の画像表示方法であって、
    　前記所定の飛行体を制御する制御パネル領域を提供する、情報表示方法。
  8. 　請求項１に記載の画像表示方法であって、
    　前記所定の飛行体から送信される画像を記録する、情報表示方法。
  9. 　請求項１に記載の情報表示方法であって、
    　前記表示された画像を複数のユーザに送信する、情報表示方法。
  10. 請求項９に記載の情報表示方法であって、
    　前記複数のユーザの各々のユーザからのメッセージ入力を受信し、
    　前記受信したメッセージを表示するメッセージ表示領域を生成する、情報表示方法。
     

     
PCT/JP2019/017822 2018-05-02 2019-04-25 飛行体の制御に関する情報表示方法 WO2019212035A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018088792A JP6481121B1 (ja) 2018-05-02 2018-05-02 飛行体の制御に関する情報表示方法
JP2018-088792 2018-05-02

Publications (1)

Publication Number Publication Date
WO2019212035A1 true WO2019212035A1 (ja) 2019-11-07

Family

ID=65718330

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017822 WO2019212035A1 (ja) 2018-05-02 2019-04-25 飛行体の制御に関する情報表示方法

Country Status (2)

Country Link
JP (1) JP6481121B1 (ja)
WO (1) WO2019212035A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131161A1 (ja) * 2019-12-25 2021-07-01 コベルコ建機株式会社 作業支援サーバ、撮像装置の選択方法
WO2022018790A1 (ja) * 2020-07-20 2022-01-27 株式会社ナイルワークス 無人航空機制御システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6661187B1 (ja) * 2019-07-11 2020-03-11 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP7406360B2 (ja) * 2019-12-06 2023-12-27 株式会社Subaru 画像表示システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06312700A (ja) * 1993-04-28 1994-11-08 Japan Aviation Electron Ind Ltd 操縦制御用ディスプレイシステム
JPH10145777A (ja) * 1996-11-05 1998-05-29 Hitachi Denshi Ltd 移動体におけるカメラ映像表示装置
WO2006098469A1 (ja) * 2005-03-18 2006-09-21 Yamaha Hatsudoki Kabushiki Kaisha 飛行制御システム
WO2006106730A1 (ja) * 2005-04-04 2006-10-12 Yamaha Hatsudoki Kabushiki Kaisha 機体情報表示パネル
JP2006282039A (ja) * 2005-04-01 2006-10-19 Yamaha Motor Co Ltd 無人ヘリコプタの画像送信装置
WO2015163012A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
US20160266579A1 (en) * 2015-03-12 2016-09-15 Nightingale Intelligent Systems Automated drone systems
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行情報を提供する方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015163012A (ja) * 2014-02-28 2015-09-07 日本電産サンキョー株式会社 モータユニット

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06312700A (ja) * 1993-04-28 1994-11-08 Japan Aviation Electron Ind Ltd 操縦制御用ディスプレイシステム
JPH10145777A (ja) * 1996-11-05 1998-05-29 Hitachi Denshi Ltd 移動体におけるカメラ映像表示装置
WO2006098469A1 (ja) * 2005-03-18 2006-09-21 Yamaha Hatsudoki Kabushiki Kaisha 飛行制御システム
JP2006282039A (ja) * 2005-04-01 2006-10-19 Yamaha Motor Co Ltd 無人ヘリコプタの画像送信装置
WO2006106730A1 (ja) * 2005-04-04 2006-10-12 Yamaha Hatsudoki Kabushiki Kaisha 機体情報表示パネル
WO2015163012A1 (ja) * 2014-04-25 2015-10-29 ソニー株式会社 情報処理装置、情報処理方法、プログラムおよび撮像システム
JP2017509520A (ja) * 2014-10-27 2017-04-06 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 飛行情報を提供する方法
US20160266579A1 (en) * 2015-03-12 2016-09-15 Nightingale Intelligent Systems Automated drone systems

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021131161A1 (ja) * 2019-12-25 2021-07-01 コベルコ建機株式会社 作業支援サーバ、撮像装置の選択方法
JP7409074B2 (ja) 2019-12-25 2024-01-09 コベルコ建機株式会社 作業支援サーバ、撮像装置の選択方法
WO2022018790A1 (ja) * 2020-07-20 2022-01-27 株式会社ナイルワークス 無人航空機制御システム
JP7412041B2 (ja) 2020-07-20 2024-01-12 株式会社ナイルワークス 無人航空機制御システム

Also Published As

Publication number Publication date
JP2019195144A (ja) 2019-11-07
JP6481121B1 (ja) 2019-03-13

Similar Documents

Publication Publication Date Title
WO2019212035A1 (ja) 飛行体の制御に関する情報表示方法
JP6758676B1 (ja) 無人飛行体の予約管理装置
JP2023057120A (ja) 飛行体の制御に関する情報表示方法
US20170269590A1 (en) Controlled device and communication system and method utilizing the same
JP6225147B2 (ja) コントローラ端末及び、無線航空機のコントロール方法
JP7023085B2 (ja) ドローンを操作するための端末、方法及びそのためのプログラム
CN116710943A (zh) 无人机调度方法、服务器、基站、系统及可读存储介质
JP6966810B2 (ja) 管理サーバ及び管理システム、表示情報生成方法、プログラム
JP6582270B1 (ja) 飛行体の制御に関する情報表示方法
WO2021079516A1 (ja) 飛行体の飛行経路作成方法及び管理サーバ
US20220019971A1 (en) Delivery port management system, delivery port management method, and program
JP6582269B1 (ja) 飛行体の制御に関する情報表示方法
JP6582265B1 (ja) 飛行体の制御に関する情報表示方法
JP6582264B1 (ja) 飛行体の制御に関する情報表示方法
JP6582266B1 (ja) 飛行体の制御に関する情報表示方法
JP6582268B1 (ja) 飛行体の制御に関する情報表示方法
JP6582258B1 (ja) 飛行体の制御に関する情報表示方法
JP6582267B1 (ja) 飛行体の制御に関する情報表示方法
EP3919374B1 (en) Image capturing method
JP6800505B1 (ja) 飛行体の管理サーバ及び管理システム
JP6730764B1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
CN116762354A (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
JP6786138B1 (ja) 飛行体の管理サーバ及び管理システム
US20240153390A1 (en) Flight management system, flight management method, and flight management program for multiple aerial vehicles
KR20170109759A (ko) 무인 비행체 운영 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19796880

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19796880

Country of ref document: EP

Kind code of ref document: A1