JP6684012B1 - Information processing apparatus and information processing method - Google Patents

Information processing apparatus and information processing method Download PDF

Info

Publication number
JP6684012B1
JP6684012B1 JP2019572703A JP2019572703A JP6684012B1 JP 6684012 B1 JP6684012 B1 JP 6684012B1 JP 2019572703 A JP2019572703 A JP 2019572703A JP 2019572703 A JP2019572703 A JP 2019572703A JP 6684012 B1 JP6684012 B1 JP 6684012B1
Authority
JP
Japan
Prior art keywords
information processing
visual field
field image
moving body
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019572703A
Other languages
Japanese (ja)
Other versions
JPWO2021064982A1 (en
Inventor
賢次 小関
賢次 小関
好司 岸田
好司 岸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TRAJECTORY, LTD.
Original Assignee
TRAJECTORY, LTD.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TRAJECTORY, LTD. filed Critical TRAJECTORY, LTD.
Application granted granted Critical
Publication of JP6684012B1 publication Critical patent/JP6684012B1/en
Publication of JPWO2021064982A1 publication Critical patent/JPWO2021064982A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]

Abstract

【課題】移動体の経路地点をより正確かつ容易に設定することができる情報処理装置を提供すること。【解決手段】本開示に係る情報処理装置は、移動体の経路地点を設定するための情報処理装置であって、移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる表示制御部と、表示される前記視野画像から一の選択視野画像を決定する決定部と、前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定する地点設定部と、を備える。【選択図】図1PROBLEM TO BE SOLVED: To provide an information processing device capable of more accurately and easily setting a route point of a moving body. An information processing apparatus according to the present disclosure is an information processing apparatus for setting a route point of a moving body, and is a display for displaying a visual field image in a virtual three-dimensional space corresponding to a movement target space on a display device. A control unit, a determination unit that determines one selected visual field image from the displayed visual field images, and a point that sets the route point of the moving body in the movement target space based on the viewpoint position of the selected visual field image. And a setting unit. [Selection diagram] Figure 1

Description

本開示は、移動体の経路地点を設定するための情報処理装置および情報処理方法に関する。   The present disclosure relates to an information processing device and an information processing method for setting a route point of a moving body.

近年、ドローン(Drone)または無人航空機などの無人飛行体を利用した様々なサービスが提供されている。   In recent years, various services using unmanned aerial vehicles such as drones or unmanned aerial vehicles have been provided.

これらの飛行体は、例えば、空撮、点検および測量等の用途で用いられ得る。かかる用途の目的で飛行体を自律飛行させ、所定の位置において所定の処理を行う場合、飛行体の経路地点を設定することが行われる。例えば、下記特許文献1においては、三次元の地理情報に対して飛行経路を設定するための技術が開示されている。   These air vehicles may be used in applications such as aerial photography, inspection and surveying, for example. When the flying body is caused to fly autonomously for the purpose of such an application and a predetermined process is performed at a predetermined position, a route point of the flying body is set. For example, Patent Document 1 below discloses a technique for setting a flight route for three-dimensional geographical information.

国際公開第2019/077682号International Publication No. 2019/077682

実際の構造物等に対して撮影や点検等を行う場合、飛行体等の移動体のより正確な経路地点の位置決めが要求される。上記特許文献1に開示された技術では、マクロな俯瞰的視点から経路地点を決めなければならない。そのため、正確性および操作性の観点から、経路地点の設定操作におけるユーザへの負担も大きい。   When photographing or inspecting an actual structure or the like, more accurate positioning of a route point of a moving body such as a flying body is required. In the technique disclosed in Patent Document 1 above, the route point must be determined from a macroscopic bird's-eye view. Therefore, from the viewpoint of accuracy and operability, the burden on the user in setting the route point is large.

そこで、本発明はこのような背景を鑑みてなされたものであり、移動体の経路地点をより正確かつ容易に設定することが可能な情報処理装置および情報処理方法を提供することを目的とする。   Therefore, the present invention has been made in view of such a background, and an object of the present invention is to provide an information processing apparatus and an information processing method capable of setting a route point of a moving body more accurately and easily. .

本開示によれば、移動体の経路地点を設定するための情報処理装置であって、移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる表示制御部と、表示される前記視野画像から一の選択視野画像を決定する決定部と、前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定する地点設定部と、を備える、情報処理装置が提供される。   According to the present disclosure, an information processing apparatus for setting a route point of a moving body, which includes a display control unit that causes a display device to display a visual field image in a virtual three-dimensional space corresponding to a movement target space, is displayed. A determination unit that determines one selected visual field image from the visual field image; and a point setting unit that sets the route point of the moving body in the movement target space based on the visual point position of the selected visual field image, An information processing device is provided.

また、本開示によれば、移動体の経路地点を設定するための情報処理方法であって、移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させることと、表示される前記視野画像から一の選択視野画像を決定することと、前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定することと、を含む、情報処理方法が提供される。   Further, according to the present disclosure, there is provided an information processing method for setting a route point of a moving body, which includes displaying a visual field image in a virtual three-dimensional space corresponding to a movement target space on a display device. An information processing method, comprising: determining one selected visual field image from the visual field image; and setting the route point of the moving body in the movement target space based on a visual point position of the selected visual field image. Will be provided.

本開示によれば、移動体の経路地点をより正確かつ容易に設定することができる。   According to the present disclosure, a route point of a moving body can be set more accurately and easily.

飛行体の経路設定システムの概要を説明するための図である。It is a figure for explaining an outline of a course setup system of a flying body. 本開示の一実施形態に係るシステムの概要を示す図である。FIG. 1 is a diagram showing an outline of a system according to an embodiment of the present disclosure. 同実施形態に係る情報処理装置のハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of the information processing apparatus which concerns on the same embodiment. 同実施形態に係る飛行体の機能ブロック図である。It is a functional block diagram of the flight object concerning the embodiment. 同実施形態に係る情報処理装置における制御部11の機能を示すブロック図であるIt is a block diagram which shows the function of the control part 11 in the information processing apparatus which concerns on the same embodiment. 仮想三次元空間における処理の一例を示す図である。It is a figure which shows an example of the process in a virtual three-dimensional space. 同実施形態に係る表示制御部による表示装置における表示態様の一例を示す図である。It is a figure which shows an example of the display aspect in the display apparatus by the display control part which concerns on the same embodiment. 同実施形態に係る地点設定部による経路地点の設定処理の一例を示す図である。It is a figure which shows an example of the setting process of the route point by the point setting part which concerns on the same embodiment. 同実施形態に係る情報処理装置の制御に係るフローチャート図である。It is a flowchart figure regarding the control of the information processing apparatus which concerns on the same embodiment.

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, constituent elements having substantially the same functional configuration are designated by the same reference numerals, and duplicate description will be omitted.

本開示の実施形態の内容を列記して説明する。本開示の実施の形態による技術は、以下のような構成を備える。
(項目1)
移動体の経路地点を設定するための情報処理装置であって、
移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる表示制御部と、
表示される前記視野画像から一の選択視野画像を決定する決定部と、
前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定する地点設定部と、
を備える、情報処理装置。
(項目2)
前記地点設定部は、前記選択視野画像の視点位置に対応する前記移動対象空間における位置を、前記移動体の前記経路地点として設定する、項目1に記載の情報処理装置。
(項目3)
前記地点設定部は、前記選択視野画像の視点位置における視線方向に基づいて、前記移動体の前記経路地点における前記移動体の向きを設定する、項目1または2に記載の情報処理装置。
(項目4)
前記移動体はカメラを備え、
前記地点設定部は、前記選択視野画像の視点位置における視線方向に基づいて、カメラの光軸の向きを設定する、項目1〜3のいずれか1項に記載の情報処理装置。
(項目5)
前記移動体はカメラを備え、
前記地点設定部は、前記選択視野画像に対応する撮像画像を前記カメラが生成可能となる前記移動対象空間における位置を前記経路地点として設定する、項目1〜4のいずれか1項に記載の情報処理装置。
(項目6)
前記表示制御部は、前記視野画像を立体視装置に表示する制御を行う、項目1〜5のいずれか1項に記載の情報処理装置。
(項目7)
前記表示制御部は、前記移動対象空間に対応する地図情報に係る画面上に、前記視野画像の視点位置に対応する位置を表示させる、項目1〜6のいずれか1項に記載の情報処理装置。
(項目8)
前記仮想三次元空間に係る情報は、外部サーバから提供される地理情報に基づいて生成される情報である、項目1〜7のいずれか1項に記載の情報処理装置。
(項目9)
移動体の経路地点を設定するための情報処理方法であって、
移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させることと、
表示される前記視野画像から一の選択視野画像を決定することと、
前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定することと、
を含む、情報処理方法。
The contents of the embodiments of the present disclosure will be listed and described. The technology according to the embodiments of the present disclosure has the following configurations.
(Item 1)
An information processing device for setting a route point of a moving body,
A display control unit for displaying a visual field image in a virtual three-dimensional space corresponding to the movement target space on a display device;
A determining unit that determines one selected visual field image from the displayed visual field images,
A point setting unit that sets the route point of the moving body in the movement target space based on the viewpoint position of the selected visual field image;
An information processing device comprising:
(Item 2)
The information processing apparatus according to item 1, wherein the point setting unit sets a position in the movement target space corresponding to a viewpoint position of the selected visual field image as the route point of the moving body.
(Item 3)
3. The information processing device according to item 1 or 2, wherein the point setting unit sets the direction of the moving body at the route point of the moving body based on the line-of-sight direction at the viewpoint position of the selected visual field image.
(Item 4)
The moving body includes a camera,
The information processing apparatus according to any one of Items 1 to 3, wherein the point setting unit sets the orientation of the optical axis of the camera based on the line-of-sight direction at the viewpoint position of the selected visual field image.
(Item 5)
The moving body includes a camera,
The information according to any one of Items 1 to 4, wherein the point setting unit sets a position in the movement target space where the camera can generate a captured image corresponding to the selected visual field image as the route point. Processing equipment.
(Item 6)
The information processing apparatus according to any one of Items 1 to 5, wherein the display control unit controls to display the view image on a stereoscopic device.
(Item 7)
7. The information processing device according to any one of Items 1 to 6, wherein the display control unit displays a position corresponding to a viewpoint position of the view image on a screen related to map information corresponding to the movement target space. .
(Item 8)
The information processing apparatus according to any one of Items 1 to 7, wherein the information related to the virtual three-dimensional space is information generated based on geographic information provided from an external server.
(Item 9)
An information processing method for setting a route point of a moving body,
Displaying a visual field image in a virtual three-dimensional space corresponding to the moving target space on a display device,
Determining a selected field-of-view image from the field-of-view images displayed;
Setting the route point of the moving body in the movement target space based on the viewpoint position of the selected visual field image;
An information processing method including:

以下、本開示の一実施形態に係る飛行体の経路設定システムについて、図面を参照しながら説明する。図1は、飛行体の経路設定システムの概要を説明するための図である。   Hereinafter, a route setting system for an aircraft according to an embodiment of the present disclosure will be described with reference to the drawings. FIG. 1 is a diagram for explaining an outline of a route setting system for an air vehicle.

図1に示す例においては、仮想三次元空間1000における飛行体の経路地点(ウェイポイント)1001および飛行経路1002を可視化した状態が示されている。仮想三次元空間1000は、実際の飛行対象空間(移動対象空間の一例)に対応する仮想の三次元空間データに基づいて生成される空間である。   In the example shown in FIG. 1, a state in which a route point (waypoint) 1001 and a flight route 1002 of a flying object in a virtual three-dimensional space 1000 are visualized is shown. The virtual three-dimensional space 1000 is a space generated based on virtual three-dimensional space data corresponding to an actual flight target space (an example of a moving target space).

仮想三次元空間1000は、例えば、Google Maps(登録商標)、Google Earth(登録商標)または国土地理院等が発行する空間データのような、外部サーバから提供される地理情報に基づくものであってもよい。このような三次元空間データは、建築オブジェクト1010のようなオブジェクト情報を含んでもよい。建築オブジェクト1010は、地理情報に追加的に設けられるものであってもよい。また、地理情報に含まれる建築オブジェクトの情報は、仮想三次元空間1000においては削除されていてもよい。これにより、例えば建築物の建築前後における飛行対象空間を表現することができる。   The virtual three-dimensional space 1000 is based on geographic information provided from an external server, such as spatial data issued by Google Maps (registered trademark), Google Earth (registered trademark), GSI, or the like. Good. Such three-dimensional space data may include object information such as the architectural object 1010. The architectural object 1010 may be provided in addition to the geographical information. Further, the information of the building object included in the geographical information may be deleted in the virtual three-dimensional space 1000. Thereby, for example, the flight target space before and after the construction of the building can be expressed.

図1に示すように、仮想三次元空間1000において、複数の経路地点1001が設定され、これらの経路地点1001を結ぶように飛行経路1002が設定されている。かかる経路地点1001においては、例えば、飛行体の向き(転換の前後を含む)および姿勢、並びに飛行体に搭載されるカメラの向き等が設定され得る。かかる設定により、例えば経路地点1001における飛行進路を適切に設定したり、経路地点1001における撮像方向を指定することができる。   As shown in FIG. 1, a plurality of route points 1001 are set in the virtual three-dimensional space 1000, and a flight route 1002 is set so as to connect these route points 1001. At the route point 1001, for example, the direction (including before and after the conversion) and the attitude of the flying body, the direction of the camera mounted on the flying body, and the like can be set. By such setting, for example, the flight course at the route point 1001 can be appropriately set, and the imaging direction at the route point 1001 can be designated.

本開示の一実施形態においては、上述した飛行体やカメラの向きおよび姿勢等を、仮想三次元空間1000における視野画像を用いて設定するものである。視野画像を確認しながら設定することで、飛行体の操縦者または管理者が所望する飛行体またはカメラの向きや姿勢を、より適切に決めることが可能となる。以下、本開示の一実施形態に係るシステムについて説明する。   In one embodiment of the present disclosure, the directions and postures of the above-described flying object and camera are set using a visual field image in the virtual three-dimensional space 1000. By setting while confirming the field-of-view image, it becomes possible to more appropriately determine the direction and posture of the flight vehicle or camera desired by the flight operator or the administrator. Hereinafter, a system according to an embodiment of the present disclosure will be described.

図2は、本実施形態に係るシステム1の概要を示す図である。図2に示すように、システム1は、情報処理装置10および表示装置20(21)を備える。かかるシステム1は、飛行体30に対して飛行経路に関する情報を送信可能である。また、かかるシステム1は、外部サーバ40から地理情報を受信可能である。   FIG. 2 is a diagram showing an outline of the system 1 according to the present embodiment. As shown in FIG. 2, the system 1 includes an information processing device 10 and a display device 20 (21). The system 1 can transmit information regarding the flight route to the flying body 30. Further, the system 1 can receive geographical information from the external server 40.

情報処理装置10は、インターネット等のネットワークを介して、表示装置20と接続可能に設けられる。ネットワークの例として、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信等が挙げられる。   The information processing device 10 is provided so as to be connectable to the display device 20 via a network such as the Internet. Examples of networks include local area networks (LAN), wide area networks (WAN), infrared, wireless, WiFi, point-to-point (P2P) networks, telecommunications networks, cloud communications and the like.

表示装置20は、ディスプレイ、テレビジョン、スクリーンまたはモニタ等の表示デバイスである。表示装置20は情報処理装置10から送信される情報を表示する機能を有する。また、表示装置20は、マウス、キーボード、スイッチ、ボタン、センサ、マイクまたはタッチパネル等の入力装置を備えてもよく、表示装置20はかかる入力装置への入力により得られる情報を情報処理装置10に送信してもよい。   The display device 20 is a display device such as a display, a television, a screen or a monitor. The display device 20 has a function of displaying information transmitted from the information processing device 10. The display device 20 may include an input device such as a mouse, a keyboard, a switch, a button, a sensor, a microphone, or a touch panel, and the display device 20 transfers information obtained by input to the input device to the information processing device 10. You may send it.

また、表示装置は、VRゴーグル21であってもよい。VRゴーグル21は、飛行対象空間に対応する仮想三次元空間を立体視により表現してユーザに表示させる表示装置の一例である。かかるVRゴーグル21を用いることにより、仮想三次元空間の臨場感を高め、飛行体の経路地点に関する情報をより精緻に設定することができる。なお、立体視可能であれば、表示装置はVRゴーグル21に限られず、任意の表示装置が用いられてもよい。   Further, the display device may be the VR goggles 21. The VR goggles 21 are an example of a display device that stereoscopically represents a virtual three-dimensional space corresponding to the flight target space and displays the virtual three-dimensional space for the user. By using such VR goggles 21, it is possible to enhance the sense of presence in the virtual three-dimensional space, and to set the information regarding the route points of the aircraft more precisely. Note that the display device is not limited to the VR goggles 21 as long as stereoscopic viewing is possible, and any display device may be used.

飛行体30は、移動体の一例である。図2では移動体の一例として無人飛行体を示しているが、移動体は、例えば、車両や船舶、潜水装置などでもよく、制御信号により自律的に動作する移動体であれば特に形態は限定されない。飛行体30として、例えば、情報処理装置10等の制御装置から事前に得た制御情報に基づき自律飛行する、無人飛行体(例えば、ドローン、マルチコプター等)が挙げられる。飛行体の種類は特に限定されない。飛行体30は、情報処理装置10から送信される飛行経路および経路地点に関する情報に基づいて自律飛行する。飛行体30は、情報処理装置10と、例えば、LTE、5G、赤外線、WiFi、Bluetooth(登録商標)、BLE(Bluetooth Low Energy)、有線等を介して互いに接続されていてもよい。   The flying body 30 is an example of a moving body. Although an unmanned air vehicle is shown as an example of the mobile object in FIG. 2, the mobile object may be, for example, a vehicle, a ship, a diving device, or the like, and the form is particularly limited as long as the mobile object operates autonomously by a control signal. Not done. Examples of the air vehicle 30 include an unmanned air vehicle (for example, a drone, a multicopter, etc.) that autonomously fly based on control information obtained in advance from a control device such as the information processing device 10. The type of flying body is not particularly limited. The flying body 30 flies autonomously based on the information about the flight route and the route point transmitted from the information processing device 10. The flying body 30 may be connected to the information processing apparatus 10 via, for example, LTE, 5G, infrared rays, WiFi, Bluetooth (registered trademark), BLE (Bluetooth Low Energy), or a wire.

外部サーバ40は、単数または複数のサーバ(例えば、クラウドサーバ)により構成され、地理情報を有する。かかる地理情報は、例えば、地図情報および地形情報、並びにこれらに付随する付加情報およびメタ情報を含みうる。付加情報とは、例えば、建造物に関する情報である。地理情報は、GIS(Geographic Information System)により提供されるものであってもよい。情報処理装置10は、外部サーバ40からAPI(Application Programming Interface)を通じて地理情報を取得してもよい。なお、例えば、情報処理装置10が予めストレージ13等に地理情報を記憶している場合、情報処理装置10は外部サーバ40から地理情報を取得しなくてもよい。   The external server 40 is configured by a single server or a plurality of servers (for example, cloud servers) and has geographical information. Such geographic information may include, for example, map information and topographical information, and additional information and meta information associated with these. The additional information is, for example, information about a building. The geographical information may be provided by GIS (Geographic Information System). The information processing device 10 may acquire the geographic information from the external server 40 through an API (Application Programming Interface). Note that, for example, when the information processing device 10 stores geographic information in the storage 13 or the like in advance, the information processing device 10 does not have to acquire the geographic information from the external server 40.

例えば、飛行体30の飛行経路を設定し、経路地点(飛行経路の途中であって、撮影や点検等の飛行体30による作業を実施する地点)において、飛行体30が所定の作業を行うとする。このとき、飛行体30による作業を適切に実施させるために、飛行体30が対象物や対象空間に対して所定の向きや姿勢を向くように設定することがある。しかしながら、飛行体30の向きや姿勢を数値により設定しようとすると、実際の飛行対象空間における飛行体30の向きが所望の向きとなるかは、実際に飛行するまで把握することは困難である。   For example, when the flight route of the flight vehicle 30 is set and the flight vehicle 30 performs a predetermined work at a route point (a point in the flight route where work by the flight vehicle 30 such as shooting and inspection is performed). To do. At this time, in order to appropriately perform the work by the flying object 30, the flying object 30 may be set to have a predetermined orientation or attitude with respect to the object or the object space. However, if an attempt is made to set the orientation and orientation of the flying body 30 by numerical values, it is difficult to know whether the actual orientation of the flying body 30 in the target flight space will be the desired orientation until the actual flight.

そこで、本実施形態に係るシステム1は、飛行対象空間に対応する仮想三次元空間1000を構築し、仮想三次元空間1000における仮想の飛行体(または飛行体に搭載されるカメラ)を視点とする視野画像を取得する。かかる視野画像のうち、所望の視野を反映する視野画像を選択して選択視野画像とし、かかる選択視野画像の視点位置に基づいて飛行体の経路地点を設定する。これにより、飛行体30を飛行させるユーザは、飛行体30の経路地点を、より直感的に把握することができる。すなわち、飛行体30の経路地点をより正確に設定することができる。   Therefore, the system 1 according to the present embodiment constructs a virtual three-dimensional space 1000 corresponding to the flight target space, and sets a virtual flying object (or a camera mounted on the flying object) in the virtual three-dimensional space 1000 as a viewpoint. Acquire a field-of-view image. A field-of-view image that reflects a desired field of view is selected from the field-of-view images as a selected field-of-view image, and a route point of the air vehicle is set based on the viewpoint position of the selected field-of-view image. Thus, the user flying the flying object 30 can more intuitively understand the route point of the flying object 30. That is, the route point of the flying object 30 can be set more accurately.

以下、本実施形態に係るシステム1の各構成について説明する。   Hereinafter, each component of the system 1 according to the present embodiment will be described.

図3は、本実施形態に係る情報処理装置10のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。   FIG. 3 is a diagram showing a hardware configuration of the information processing device 10 according to the present embodiment. The illustrated configuration is an example, and other configurations may be included.

図示されるように、情報処理装置10は、データベース(図示せず)と接続されシステムの一部を構成する。情報処理装置10は、例えばワークステーションまたはパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウドコンピューティングによって論理的に実現されてもよい。   As illustrated, the information processing device 10 is connected to a database (not shown) and constitutes a part of the system. The information processing device 10 may be a general-purpose computer such as a workstation or a personal computer, or may be logically realized by cloud computing.

情報処理装置10は、少なくとも、制御部11、メモリ12、ストレージ13、通信部14および入出力部15等を備え、これらはバス16を通じて相互に電気的に接続される。   The information processing device 10 includes at least a control unit 11, a memory 12, a storage 13, a communication unit 14, an input / output unit 15, and the like, which are electrically connected to each other via a bus 16.

制御部11は、情報処理装置10全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部11はCPU(Central Processing Unit)であり、ストレージ13に格納されメモリ12に展開されたプログラム等を実行して各情報処理を実施する。   The control unit 11 is an arithmetic device that controls the overall operation of the information processing device 10, controls the transmission and reception of data between each element, and executes information processing necessary for execution of an application and authentication processing. For example, the control unit 11 is a CPU (Central Processing Unit), and executes a program or the like stored in the storage 13 and expanded in the memory 12 to perform each information processing.

メモリ12は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリまたはHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ12は、制御部11のワークエリア等として使用され、また、情報処理装置10の起動時に実行されるBIOS(Basic Input/Output System)、及び各種設定情報等を格納する。   The memory 12 includes a main memory configured by a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary storage configured by a non-volatile storage device such as a flash memory or a HDD (Hard Disc Drive). . The memory 12 is used as a work area or the like of the control unit 11, and also stores a BIOS (Basic Input / Output System) executed when the information processing apparatus 10 is started up, various setting information, and the like.

ストレージ13は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ13に構築されていてもよい。   The storage 13 stores various programs such as application programs. A database that stores data used for each process may be built in the storage 13.

通信部14は、情報処理装置10をネットワークおよび/またはブロックチェーンネットワークに接続する。なお、通信部14は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インタフェースを備えていてもよい。   The communication unit 14 connects the information processing device 10 to a network and / or a block chain network. The communication unit 14 may include a short-range communication interface of Bluetooth (registered trademark) and BLE (Bluetooth Low Energy).

入出力部15は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。   The input / output unit 15 is an information input device such as a keyboard and a mouse, and an output device such as a display.

バス16は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。   The bus 16 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.

図4は、本実施形態に係る飛行体30の機能ブロック図である。なお、以下の機能ブロック図は説明を簡単にするために、単一のデバイス(図4では飛行体)に格納された概念として記載しているが、例えば、その一部機能を外部デバイス(例えば、情報処理装置10)に発揮させたり、クラウドコンピューティング技術を利用することによって論理的に構成されていてもよい。   FIG. 4 is a functional block diagram of the flying object 30 according to the present embodiment. Note that the following functional block diagram is described as a concept stored in a single device (aircraft in FIG. 4) for the sake of simplicity, but for example, a part of the functions is described in an external device (for example, , The information processing apparatus 10) or may be logically configured by using cloud computing technology.

フライトコントローラ31は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。   The flight controller 31 can have one or more processors, such as programmable processors (eg, central processing units (CPU)).

フライトコントローラ31は、メモリ311を有しており、当該メモリにアクセス可能である。メモリ311は、1つ以上のステップを行うためにフライトコントローラ31が実行可能であるロジック、コード、および/またはプログラム命令を記憶している。   The flight controller 31 has a memory 311 and can access the memory. Memory 311 stores logic, code, and / or program instructions executable by flight controller 31 to perform one or more steps.

メモリ311は、例えば、SDカードまたはランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ351またはセンサ352等の外部機器35から取得したデータは、メモリ311に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。外部機器35は飛行体にジンバル34を介して設置される。   The memory 311 may include a separable medium such as an SD card or a random access memory (RAM) or an external storage device. Data obtained from the external device 35 such as the camera 351 or the sensor 352 may be directly transmitted to and stored in the memory 311. For example, still image / moving image data captured by a camera or the like is recorded in an internal memory or an external memory. The external device 35 is installed on the flying body via the gimbal 34.

フライトコントローラ31は、飛行体の状態を制御するように構成された制御部312を含んでいる。例えば、制御部312は、6自由度(並進運動x、y及びz、並びに回転運動θ、θ及びθ)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC(Electric Speed Controller)36を経由して飛行体の推進機構(モータ37等)を制御する。モータ37によりプロペラ38が回転することで飛行体の揚力を生じさせる。制御部312は、搭載部、センサ類の状態のうちの1つ以上を制御することができる。The flight controller 31 includes a controller 312 that is configured to control the condition of the air vehicle. For example, the controller 312 may adjust the spatial arrangement, velocity, and / or acceleration of a vehicle having 6 degrees of freedom (translational motions x, y and z, and rotational motions θ x , θ y and θ z ). In addition, the propulsion mechanism (motor 37, etc.) of the flying body is controlled via an ESC (Electric Speed Controller) 36. Rotation of the propeller 38 by the motor 37 causes lift of the air vehicle. The control unit 312 can control one or more of the states of the mounting unit and the sensors.

フライトコントローラ31は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部33と通信可能である。送受信機は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。   The flight controller 31 is a transceiver configured to transmit and / or receive data from one or more external devices (eg, transceiver (propo), terminal, display, or other remote controller). 33 can be communicated with. The transceiver can use any suitable communication means, such as wired or wireless communication.

例えば、送受信部33は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、有線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。   For example, the transmission / reception unit 33 is one or more of a local area network (LAN), a wide area network (WAN), infrared, wireless, wired, WiFi, point-to-point (P2P) network, telecommunication network, cloud communication, and the like. Can be used.

送受信部33は、カメラまたは各種センサにより取得されたデータ、フライトコントローラ31が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。なお、本実施形態においては、情報処理装置10との通信は、この送受信部33を介して行われ得る。   The transmission / reception unit 33 transmits and / or receives at least one of data acquired by a camera or various sensors, processing results generated by the flight controller 31, predetermined control data, a user command from a terminal or a remote controller, and the like. Or you can receive. It should be noted that in the present embodiment, communication with the information processing device 10 can be performed via the transmitting / receiving unit 33.

本実施の形態に係るセンサ352(外部機器25に含まれる)は、慣性センサ(加速度センサ、ジャイロセンサ)、測位センサ(GPSセンサ)、測距センサ(例えば、レーザーセンサ、超音波センサ、LiDAR)、または地磁気センサを含みうる。また、センサとして、またはビジョン/イメージセンサ(例えば、カメラ351)が含まれる。   The sensor 352 (included in the external device 25) according to the present embodiment is an inertial sensor (acceleration sensor, gyro sensor), positioning sensor (GPS sensor), distance measuring sensor (for example, laser sensor, ultrasonic sensor, LiDAR). , Or may include a geomagnetic sensor. Also included is a sensor or a vision / image sensor (eg, camera 351).

図5は、本実施形態に係る情報処理装置10における制御部11の機能を示すブロック図である。なお、図5に図示される構成は一例であり、これに限らない。   FIG. 5 is a block diagram showing the functions of the control unit 11 in the information processing apparatus 10 according to this embodiment. The configuration illustrated in FIG. 5 is an example, and the configuration is not limited to this.

制御部11は、取得部111、表示制御部112、決定部113および地点設定部114を備える。   The control unit 11 includes an acquisition unit 111, a display control unit 112, a determination unit 113, and a spot setting unit 114.

取得部111は、各種情報を制御部11の内部または外部から取得する機能を有する。例えば、取得部111は、外部サーバ40またはストレージ13から、地理情報を取得する。かかる地理情報には、後述する仮想三次元空間に対応する現実の飛行対象空間に係る地理情報が含まれる。仮想三次元空間は、例えば表示制御部112により表示装置等に表示されるときに、制御部11によりレンダリングされ得る。   The acquisition unit 111 has a function of acquiring various information from inside or outside the control unit 11. For example, the acquisition unit 111 acquires geographical information from the external server 40 or the storage 13. The geographic information includes geographic information about an actual flight target space corresponding to a virtual three-dimensional space described later. The virtual three-dimensional space may be rendered by the control unit 11 when displayed on the display device or the like by the display control unit 112, for example.

表示制御部112は、飛行対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる機能を有する。かかる仮想三次元空間は、図1に示したように、飛行体30を飛行させる予定である飛行対象空間に対応させてモデリングされた空間である。   The display control unit 112 has a function of causing a display device to display a visual field image in a virtual three-dimensional space corresponding to the flight target space. As shown in FIG. 1, such a virtual three-dimensional space is a space that is modeled corresponding to the flight target space in which the flying body 30 is scheduled to fly.

図6は、仮想三次元空間における処理の一例を示す図である。図6に示す仮想三次元空間1000には、建築オブジェクト1010が含まれている。建築オブジェクト1010の周囲において、飛行体の飛行経路1001aおよび飛行体の経路地点1002a、1002bが予め設定されている。ここでは、次に新たな飛行経路1001bを、経路地点1002bを起点として設定すること、すなわち次の経路地点を設定することが想定されている。   FIG. 6 is a diagram illustrating an example of processing in the virtual three-dimensional space. A virtual three-dimensional space 1000 shown in FIG. 6 includes a building object 1010. Around the building object 1010, a flight path 1001a of the air vehicle and path points 1002a and 1002b of the air vehicle are preset. Here, it is assumed that the new flight route 1001b is set next with the route point 1002b as the starting point, that is, the next route point is set.

ここで、仮想三次元空間1000において、視点位置1003における視野画像が取得される。ここでは、視点位置1003における視線1004cに対応する視野画像が取得される。かかる視点位置1003および視線1004cは、例えば、入出力部15を介して適宜変更が可能である。かかる変更により、視野画像は複数取得される。視野画像は、静止画像であってもよいし、動画像であってもよい。   Here, in the virtual three-dimensional space 1000, the visual field image at the viewpoint position 1003 is acquired. Here, the visual field image corresponding to the line of sight 1004c at the viewpoint position 1003 is acquired. The viewpoint position 1003 and the line of sight 1004c can be appropriately changed, for example, via the input / output unit 15. With such a change, a plurality of visual field images are acquired. The visual field image may be a still image or a moving image.

表示制御部112は、取得した視野画像を表示装置20、21に出力する。   The display control unit 112 outputs the acquired visual field image to the display devices 20 and 21.

図7は、本実施形態に係る表示制御部112による表示装置20における表示態様の一例を示す図である。図7に示すように、表示装置20には視野画像Img1が表示されている。かかる視野画像Img1には、仮想三次元空間1000の一部が映し出されている。視野画像Img1は、図6における視点位置1003で取得されたものである。   FIG. 7 is a diagram showing an example of a display mode on the display device 20 by the display control unit 112 according to the present embodiment. As shown in FIG. 7, a visual field image Img1 is displayed on the display device 20. A part of the virtual three-dimensional space 1000 is shown in the visual field image Img1. The visual field image Img1 is acquired at the viewpoint position 1003 in FIG.

視野画像Img1には、建築オブジェクト1010、既に設定された飛行経路1001aおよび経路地点1002bが含まれている。視野画像Img1は、建築オブジェクト1010を斜め方向から俯瞰した画像となっている。   The visual field image Img1 includes the architectural object 1010, the flight route 1001a and the route point 1002b that have already been set. The visual field image Img1 is an image of the architectural object 1010 viewed from an oblique direction.

なお、表示制御部112は、飛行対象空間に対応する地図情報に係る画面1005上に、前記視野画像Img1の視点位置1003に対応する位置1006を表示させてもよい。かかる画面1005は、視野画像Img1に重畳されて表示されてもよい。かかる地図情報は、二次元地図に係る情報でもよく、視野画像Img1とは異なる視野により取得される三次元空間に対応する地図情報であってもよい。これにより、視点位置1003を俯瞰的に把握することが可能である。   The display control unit 112 may display the position 1006 corresponding to the viewpoint position 1003 of the visual field image Img1 on the screen 1005 related to the map information corresponding to the flight target space. The screen 1005 may be displayed so as to be superimposed on the visual field image Img1. Such map information may be information relating to a two-dimensional map or may be map information corresponding to a three-dimensional space acquired from a visual field different from the visual field image Img1. As a result, the viewpoint position 1003 can be grasped in a bird's-eye view.

また、表示制御部112は、視野画像Img1が取得される視点位置1003における情報を表示させてもよい。図7に示す例では、視野画像Img1に、視点位置情報1007が表示されている。視点位置情報1007は、緯度情報(Lat.)、軽度情報(Lon.)、水平方向角度情報(Dir.)および仰角情報(Ang.)が表示されている。これにより、視点位置に関してより正確な情報を把握することができる。   The display control unit 112 may also display information at the viewpoint position 1003 at which the visual field image Img1 is acquired. In the example shown in FIG. 7, viewpoint position information 1007 is displayed in the visual field image Img1. The viewpoint position information 1007 displays latitude information (Lat.), Lightness information (Lon.), Horizontal angle information (Dir.), And elevation angle information (Ang.). As a result, more accurate information regarding the viewpoint position can be grasped.

飛行体30の経路設定を行うユーザは、表示装置20に表示されている視野画像Img1を適宜変更し、所望の視野画像の決定を行うことができる。かかる操作は、表示装置20に付随するタッチパネル等の入力装置により行われてもよいし、情報処理装置10の入出力部15を介して行われてもよい。   The user who sets the route of the flying body 30 can appropriately change the visual field image Img1 displayed on the display device 20 to determine a desired visual field image. Such an operation may be performed by an input device such as a touch panel attached to the display device 20, or may be performed via the input / output unit 15 of the information processing device 10.

決定部113は、表示装置20に表示される視野画像から選択視野画像を決定する機能を有する。例えば、決定部113は、表示装置20に表示されているユーザの操作等により視野画像が適宜変更されているとする。そして、ユーザにより所望の視野が得られ、ユーザにより入出力部15等を介して決定に係る操作が行われたとき、決定部113は、その時点で表示装置20に表示されている視野画像を選択視野画像として決定する。また、決定部113は、複数の視野画像が得られた場合、そのうちの一の視野画像を選択視野画像として決定してもよい。また、視野画像が動画である場合は、決定部113は、一のフレームを抜き出して選択視野画像を決定してもよい。   The determination unit 113 has a function of determining a selected visual field image from the visual field images displayed on the display device 20. For example, it is assumed that the determination unit 113 appropriately changes the view image by the user's operation displayed on the display device 20. Then, when the user obtains a desired visual field and the user performs an operation related to the determination via the input / output unit 15 or the like, the determination unit 113 displays the visual field image currently displayed on the display device 20. Determined as the selected visual field image. Further, when a plurality of visual field images are obtained, the determination unit 113 may determine one of the visual field images as the selected visual field image. When the visual field image is a moving image, the determination unit 113 may extract one frame and determine the selected visual field image.

地点設定部114は、選択視野画像の視点位置に基づいて、飛行対象空間における飛行体30の経路地点を設定する機能を有する。例えば、地点設定部114は、かかる視点位置を飛行体30の経路地点として設定してもよい。   The point setting unit 114 has a function of setting a route point of the aircraft 30 in the flight target space based on the viewpoint position of the selected visual field image. For example, the point setting unit 114 may set the viewpoint position as the route point of the air vehicle 30.

図8は、本実施形態に係る地点設定部114による経路地点の設定処理の一例を示す図である。地点設定部114は、経路地点1002cを設定する。この経路地点1002cは、図6に示した視点位置1003に相当する位置である。すなわち、図7に表示した視野画像Img1を取得可能な位置をそのまま経路地点とすることができる。これにより、ユーザの所望する経路地点をより正確に設定することができる。また、地点設定部114は、視点位置に対して飛行体30やカメラ351の位置関係等を考慮したオフセットを与えて経路地点を設定してもよい。   FIG. 8 is a diagram showing an example of a route point setting process by the point setting unit 114 according to the present embodiment. The point setting unit 114 sets the route point 1002c. This route point 1002c is a position corresponding to the viewpoint position 1003 shown in FIG. That is, the position where the visual field image Img1 displayed in FIG. 7 can be acquired can be set as the route point as it is. Thereby, the route point desired by the user can be set more accurately. In addition, the point setting unit 114 may set the route point by giving an offset in consideration of the positional relationship between the aircraft 30 and the camera 351 to the viewpoint position.

また、地点設定部114は、経路地点における飛行体30の向き、または飛行体30に積載されるカメラ351の光軸の向きを、選択視野画像の視点位置における視線方向に基づいて設定してもよい。ここでいう向きは、水平方向の向きおよび仰角を含む。図8に示すように、経路地点1002a、1002bおよび1002cにおける飛行体30の向きまたはカメラ351の光軸の向き1004a、1004bおよび1004cは、各経路地点に対応する視点位置における視線方向に対応する方向であってもよい。このように、飛行体30の向きやカメラ351の光軸の向きを視点位置における視線方向に基づいて設定することで、仮想三次元空間1000において表現される飛行対象空間での作業における飛行体30の向きまたはカメラ351の光軸の向きを、より正確に適切な方向へ設定することができる。   The point setting unit 114 may also set the orientation of the flying body 30 at the route point or the orientation of the optical axis of the camera 351 mounted on the flying body 30 based on the line-of-sight direction at the viewpoint position of the selected visual field image. Good. The orientation mentioned here includes a horizontal orientation and an elevation angle. As shown in FIG. 8, the directions of the air vehicle 30 or the optical axis directions 1004a, 1004b, and 1004c of the camera 351 at the route points 1002a, 1002b, and 1002c are the directions corresponding to the line-of-sight directions at the viewpoint positions corresponding to the route points. May be In this way, by setting the orientation of the flying body 30 and the orientation of the optical axis of the camera 351 based on the line-of-sight direction at the viewpoint position, the flying body 30 in the work in the flight target space represented in the virtual three-dimensional space 1000. Or the direction of the optical axis of the camera 351 can be more accurately set to an appropriate direction.

なお、地点設定部114が該視線方向に基づいて飛行体30の向きを設定する場合とは、例えば、飛行体30にセンサ352やアクチュエータ等の外部機器35が積載され、視野画像に含まれるオブジェクトに対応する建造物等に対して、外部機器35により作業を行う場合等が考えられる。また、地点設定部114が該視線方向に基づいてカメラ351の光軸の向きを設定する場合とは、視野画像に含まれるオブジェクトに対応する建造物等をカメラ351により撮影する場合等が考えられる。   In addition, when the point setting unit 114 sets the orientation of the flying object 30 based on the line-of-sight direction, for example, an external device 35 such as a sensor 352 or an actuator is loaded on the flying object 30 and an object included in the visual field image is included. There may be a case where work is performed by the external device 35 on a building or the like corresponding to. Further, the case where the spot setting unit 114 sets the direction of the optical axis of the camera 351 based on the line-of-sight direction may be a case where the camera 351 photographs a building or the like corresponding to the object included in the view image. .

また、地点設定部114は、選択視野画像に対応する撮像画像をカメラ351が生成可能となる飛行対象空間における位置を経路地点として設定してもよい。すなわち、地点設定部114は、選択視野画像に対応する撮像画像をカメラ351が生成できる地点および向きとなるよう経路地点を設定してもよい。かかる地点および向きは、飛行体30とカメラ351との相対的な位置および姿勢の関係と、仮想三次元空間の位置情報と実際の飛行対象空間の位置情報との関係から得ることができる。これにより、例えば、カメラ351により得られる撮像画像を、選択視野画像により近い状況の画像として得ることができる。   In addition, the spot setting unit 114 may set a position in the flight target space where the camera 351 can generate a captured image corresponding to the selected visual field image as a route spot. That is, the spot setting unit 114 may set the route spot so that the camera 351 can generate the captured image corresponding to the selected visual field image. The point and the direction can be obtained from the relationship between the relative position and orientation of the flying object 30 and the camera 351, and the relationship between the position information of the virtual three-dimensional space and the position information of the actual flight target space. Thereby, for example, the captured image obtained by the camera 351 can be obtained as an image in a situation closer to the selected visual field image.

地点設定部114により設定された経路地点に関する情報は、例えば飛行体30に出力される。飛行体30は、取得した経路地点に関する情報に基づいて、経路地点での飛行態様や作業に関する処理を行う。また、経路地点に関する情報は、適宜ストレージ13に記憶されてもよい。また、制御部11の他のプログラム等により、かかる経路地点に基づいて飛行経路が設定されてもよい。   The information regarding the route point set by the point setting unit 114 is output to the air vehicle 30, for example. The flying body 30 performs processing related to the flight mode and work at the route point based on the acquired information about the route point. Further, the information regarding the route point may be stored in the storage 13 as appropriate. Further, the flight route may be set based on the route point by another program of the control unit 11 or the like.

図9は、本実施形態に係る情報処理装置10の制御に係るフローチャート図である。まず、取得部111は、地理情報を外部サーバ40等から取得する(ステップSQ101)。次に、表示制御部112は、取得した地理情報をもとに得られる仮想三次元空間における視野画像を表示装置20に表示させる(ステップSQ103)。   FIG. 9 is a flowchart of the control of the information processing device 10 according to this embodiment. First, the acquisition unit 111 acquires geographical information from the external server 40 or the like (step SQ101). Next, the display control unit 112 causes the display device 20 to display the visual field image in the virtual three-dimensional space obtained based on the acquired geographical information (step SQ103).

次に、決定部113は、視野画像から一の選択視野画像をユーザの操作等に基づいて決定する(ステップSQ105)。そして、地点設定部114は、選択視野画像に基づいて飛行体30の経路地点を設定する(ステップSQ107)。制御部11は、設定された経路地点に係る情報を、飛行体30および/またはストレージ13等に出力する(ステップSQ109)。経路地点に係る情報の出力処理は一の経路地点の設定ごとに行われてもよいし、また、制御部11において複数の経路地点の設定処理が行われた後に、一括して複数の経路地点に係る情報が出力されてもよい。   Next, the determination unit 113 determines one selected visual field image from the visual field images based on the user's operation or the like (step SQ105). Then, the spot setting unit 114 sets the route spot of the flying object 30 based on the selected visual field image (step SQ107). The control unit 11 outputs the information related to the set route point to the flying object 30 and / or the storage 13 or the like (step SQ109). The output processing of the information related to the route points may be performed for each setting of one route point, or after the control unit 11 performs the setting process of the plurality of route points, the plurality of route points are collectively processed. May be output.

以上説明したように、本実施形態に係るシステム1は、飛行対象空間に対応する仮想三次元空間における視野画像を取得し、所望する視野画像に基づいて飛行体の経路地点を設定する。これにより、実際の飛行対象空間に近い環境を模擬した空間で、直感的にかつより正確に経路地点(および飛行体またはカメラの向き)を設定することが可能となる。よって、飛行体の経路地点を従来よりもより正確かつ容易に設定することが可能となり、ユーザの負担も少なくなる。   As described above, the system 1 according to the present embodiment acquires a visual field image in the virtual three-dimensional space corresponding to the flight target space, and sets the route point of the aircraft based on the desired visual field image. This makes it possible to intuitively and more accurately set the route point (and the orientation of the flying object or the camera) in a space simulating an environment close to the actual flight target space. Therefore, it becomes possible to set the route point of the air vehicle more accurately and easily than before, and the burden on the user is reduced.

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。   Although the preferred embodiments of the present disclosure have been described above in detail with reference to the accompanying drawings, the technical scope of the present disclosure is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field of the present disclosure can conceive various changes or modifications within the scope of the technical idea described in the claims. It is understood that the above also naturally belongs to the technical scope of the present disclosure.

本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置(例えばクラウドサーバ)等により実現されてもよい。例えば、情報処理装置10の制御部11およびストレージ13は、互いにネットワークで接続された異なるサーバにより実現されてもよい。   The device described in the present specification may be realized as a single device, or may be realized by a plurality of devices (for example, cloud servers) or the like, which are partially or wholly connected by a network. For example, the control unit 11 and the storage 13 of the information processing device 10 may be realized by different servers connected to each other via a network.

本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報処理装置10の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。   The series of processes performed by the apparatus described in the present specification may be realized using any of software, hardware, and a combination of software and hardware. It is possible to create a computer program for realizing each function of the information processing apparatus 10 according to the present embodiment, and mount the computer program on a PC or the like. It is also possible to provide a computer-readable recording medium in which such a computer program is stored. The recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory, or the like. Further, the above computer program may be distributed, for example, via a network without using a recording medium.

また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。   Further, the processes described using the flowcharts in this specification do not necessarily have to be executed in the illustrated order. Some processing steps may be performed in parallel. In addition, additional processing steps may be adopted, and some processing steps may be omitted.

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。   Further, the effects described in the present specification are merely illustrative or exemplary, and are not limitative. That is, the technique according to the present disclosure may have other effects that are apparent to those skilled in the art from the description of the present specification, in addition to or instead of the above effects.

本開示の飛行体は、調査、測量、観察等における産業用の飛行体としての利用が期待できる。また、本開示の飛行体は、マルチコプター・ドローン等の飛行機関連産業において利用することができる。   The air vehicle of the present disclosure can be expected to be used as an industrial air vehicle in surveys, surveys, observations, and the like. Further, the aircraft of the present disclosure can be used in airplane-related industries such as multicopter drones.

1 システム
10 情報処理装置
20 表示装置
21 VRゴーグル
30 飛行体(移動体の一例)
40 外部サーバ
111 取得部
112 表示制御部
113 決定部
114 地点設定部

1 System 10 Information Processing Device 20 Display Device 21 VR Goggles 30 Flying Object (Example of Moving Object)
40 external server 111 acquisition unit 112 display control unit 113 determination unit 114 point setting unit

Claims (9)

移動体の経路地点を設定するための情報処理装置であって、
移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる表示制御部と、
表示される前記視野画像から一の視点位置における選択視野画像を決定する決定部と、
前記選択視野画像の前記視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定する地点設定部と、
を備える、情報処理装置。
An information processing device for setting a route point of a moving body,
A display control unit for displaying a visual field image in a virtual three-dimensional space corresponding to the movement target space on a display device;
A determining unit that determines a selected field-of-view image at one viewpoint position from the displayed field-of-view image,
Based on the viewpoint position of the selected field image, and the point setting portion that sets the path points of the moving body in the moving object space,
An information processing device comprising:
前記地点設定部は、前記選択視野画像の視点位置に対応する前記移動対象空間における位置を、前記移動体の前記経路地点として設定する、請求項1に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the point setting unit sets a position in the movement target space corresponding to a viewpoint position of the selected visual field image as the route point of the moving body. 前記地点設定部は、前記選択視野画像の視点位置における視線方向に基づいて、前記移動体の前記経路地点における前記移動体の向きを設定する、請求項1または2に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the point setting unit sets the direction of the moving body at the route point of the moving body based on the line-of-sight direction at the viewpoint position of the selected visual field image. 前記移動体はカメラを備え、
前記地点設定部は、前記選択視野画像の視点位置における視線方向に基づいて、カメラの光軸の向きを設定する、請求項1〜3のいずれか1項に記載の情報処理装置。
The moving body includes a camera,
The information processing apparatus according to claim 1, wherein the point setting unit sets the direction of the optical axis of the camera based on the line-of-sight direction at the viewpoint position of the selected visual field image.
前記移動体はカメラを備え、
前記地点設定部は、前記選択視野画像に対応する撮像画像を前記カメラが生成可能となる前記移動対象空間における位置を前記経路地点として設定する、請求項1〜4のいずれか1項に記載の情報処理装置。
The moving body includes a camera,
The said point setting part sets the position in the said movement object space which the said camera can produce | generate the captured image corresponding to the said selected visual field image as the said route point, The any one of Claims 1-4. Information processing equipment.
前記表示制御部は、前記視野画像を立体視装置に表示する制御を行う、請求項1〜5のいずれか1項に記載の情報処理装置。   The information processing device according to claim 1, wherein the display control unit performs control to display the visual field image on a stereoscopic device. 前記表示制御部は、前記移動対象空間に対応する地図情報に係る画面上に、前記視野画像の視点位置に対応する位置を表示させる、請求項1〜6のいずれか1項に記載の情報処理装置。   The information processing according to any one of claims 1 to 6, wherein the display control unit displays a position corresponding to a viewpoint position of the visual field image on a screen related to map information corresponding to the movement target space. apparatus. 前記仮想三次元空間に係る情報は、外部サーバから提供される地理情報に基づいて生成される情報である、請求項1〜7のいずれか1項に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the information related to the virtual three-dimensional space is information generated based on geographic information provided from an external server. 移動体の経路地点を設定するための情報処理方法であって、
移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させることと、
表示される前記視野画像から一の視点位置における選択視野画像を決定することと、
前記選択視野画像の前記視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定することと、
を含む、情報処理方法。
An information processing method for setting a route point of a moving body,
Displaying a visual field image in a virtual three-dimensional space corresponding to the moving target space on a display device,
Determining a selected field of view image at one viewpoint position from the displayed field of view image;
And that on the basis of the viewpoint position of the selected field image, sets the path points of the moving body in the moving object space,
An information processing method including:
JP2019572703A 2019-10-04 2019-10-04 Information processing apparatus and information processing method Active JP6684012B1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/039281 WO2021064982A1 (en) 2019-10-04 2019-10-04 Information processing device and information processing method

Publications (2)

Publication Number Publication Date
JP6684012B1 true JP6684012B1 (en) 2020-04-22
JPWO2021064982A1 JPWO2021064982A1 (en) 2021-11-04

Family

ID=70286826

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019572703A Active JP6684012B1 (en) 2019-10-04 2019-10-04 Information processing apparatus and information processing method

Country Status (2)

Country Link
JP (1) JP6684012B1 (en)
WO (1) WO2021064982A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113238571A (en) * 2021-05-27 2021-08-10 北京三快在线科技有限公司 Unmanned aerial vehicle monitoring system, method, device and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053896A (en) * 2009-05-18 2012-03-15 Kodaira Associates Kk Image information output method
JP2017076302A (en) * 2015-10-16 2017-04-20 株式会社プロドローン Method for controlling small sized unmanned airplane

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053896A (en) * 2009-05-18 2012-03-15 Kodaira Associates Kk Image information output method
JP2017076302A (en) * 2015-10-16 2017-04-20 株式会社プロドローン Method for controlling small sized unmanned airplane

Also Published As

Publication number Publication date
JPWO2021064982A1 (en) 2021-11-04
WO2021064982A1 (en) 2021-04-08

Similar Documents

Publication Publication Date Title
CN109219785B (en) Multi-sensor calibration method and system
JP6765512B2 (en) Flight path generation method, information processing device, flight path generation system, program and recording medium
WO2020143677A1 (en) Flight control method and flight control system
JP6829513B1 (en) Position calculation method and information processing system
WO2018146803A1 (en) Position processing device, flight vehicle, position processing system, flight system, position processing method, flight control method, program, and recording medium
WO2019230604A1 (en) Inspection system
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
WO2021251441A1 (en) Method, system, and program
JP6684012B1 (en) Information processing apparatus and information processing method
JP6966810B2 (en) Management server and management system, display information generation method, program
WO2021079516A1 (en) Flight route creation method for flying body and management server
JP6940459B2 (en) Information processing device, imaging control method, program and recording medium
WO2022264413A1 (en) Mobile body movement path generation method and program, management server, and management system
JP6730764B1 (en) Flight route display method and information processing apparatus
JP6800505B1 (en) Aircraft management server and management system
JP6818379B1 (en) Flight route creation method and management server for aircraft
JP2019082837A (en) Information processing apparatus, flight control instruction method, program, and recording medium
JP7072311B1 (en) Movement route generation method and program of moving object, management server, management system
WO2022113482A1 (en) Information processing device, method, and program
JP2023083072A (en) Method, system and program
JP6810498B1 (en) Flight route creation method and management server for aircraft
JP2024021143A (en) 3D data generation system and 3D data generation method
JP2021015602A (en) Management server and management system for flying objects
JP2021015601A (en) Management server and management system for flying objects

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191226

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191226

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200319

R150 Certificate of patent or registration of utility model

Ref document number: 6684012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250