JP6684012B1 - Information processing apparatus and information processing method - Google Patents
Information processing apparatus and information processing method Download PDFInfo
- Publication number
- JP6684012B1 JP6684012B1 JP2019572703A JP2019572703A JP6684012B1 JP 6684012 B1 JP6684012 B1 JP 6684012B1 JP 2019572703 A JP2019572703 A JP 2019572703A JP 2019572703 A JP2019572703 A JP 2019572703A JP 6684012 B1 JP6684012 B1 JP 6684012B1
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- visual field
- field image
- moving body
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 64
- 238000003672 processing method Methods 0.000 title claims description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 75
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 abstract description 13
- 238000000034 method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009189 diving Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
Abstract
【課題】移動体の経路地点をより正確かつ容易に設定することができる情報処理装置を提供すること。【解決手段】本開示に係る情報処理装置は、移動体の経路地点を設定するための情報処理装置であって、移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる表示制御部と、表示される前記視野画像から一の選択視野画像を決定する決定部と、前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定する地点設定部と、を備える。【選択図】図1PROBLEM TO BE SOLVED: To provide an information processing device capable of more accurately and easily setting a route point of a moving body. An information processing apparatus according to the present disclosure is an information processing apparatus for setting a route point of a moving body, and is a display for displaying a visual field image in a virtual three-dimensional space corresponding to a movement target space on a display device. A control unit, a determination unit that determines one selected visual field image from the displayed visual field images, and a point that sets the route point of the moving body in the movement target space based on the viewpoint position of the selected visual field image. And a setting unit. [Selection diagram] Figure 1
Description
本開示は、移動体の経路地点を設定するための情報処理装置および情報処理方法に関する。 The present disclosure relates to an information processing device and an information processing method for setting a route point of a moving body.
近年、ドローン(Drone)または無人航空機などの無人飛行体を利用した様々なサービスが提供されている。 In recent years, various services using unmanned aerial vehicles such as drones or unmanned aerial vehicles have been provided.
これらの飛行体は、例えば、空撮、点検および測量等の用途で用いられ得る。かかる用途の目的で飛行体を自律飛行させ、所定の位置において所定の処理を行う場合、飛行体の経路地点を設定することが行われる。例えば、下記特許文献1においては、三次元の地理情報に対して飛行経路を設定するための技術が開示されている。
These air vehicles may be used in applications such as aerial photography, inspection and surveying, for example. When the flying body is caused to fly autonomously for the purpose of such an application and a predetermined process is performed at a predetermined position, a route point of the flying body is set. For example,
実際の構造物等に対して撮影や点検等を行う場合、飛行体等の移動体のより正確な経路地点の位置決めが要求される。上記特許文献1に開示された技術では、マクロな俯瞰的視点から経路地点を決めなければならない。そのため、正確性および操作性の観点から、経路地点の設定操作におけるユーザへの負担も大きい。
When photographing or inspecting an actual structure or the like, more accurate positioning of a route point of a moving body such as a flying body is required. In the technique disclosed in
そこで、本発明はこのような背景を鑑みてなされたものであり、移動体の経路地点をより正確かつ容易に設定することが可能な情報処理装置および情報処理方法を提供することを目的とする。 Therefore, the present invention has been made in view of such a background, and an object of the present invention is to provide an information processing apparatus and an information processing method capable of setting a route point of a moving body more accurately and easily. .
本開示によれば、移動体の経路地点を設定するための情報処理装置であって、移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる表示制御部と、表示される前記視野画像から一の選択視野画像を決定する決定部と、前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定する地点設定部と、を備える、情報処理装置が提供される。 According to the present disclosure, an information processing apparatus for setting a route point of a moving body, which includes a display control unit that causes a display device to display a visual field image in a virtual three-dimensional space corresponding to a movement target space, is displayed. A determination unit that determines one selected visual field image from the visual field image; and a point setting unit that sets the route point of the moving body in the movement target space based on the visual point position of the selected visual field image, An information processing device is provided.
また、本開示によれば、移動体の経路地点を設定するための情報処理方法であって、移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させることと、表示される前記視野画像から一の選択視野画像を決定することと、前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定することと、を含む、情報処理方法が提供される。 Further, according to the present disclosure, there is provided an information processing method for setting a route point of a moving body, which includes displaying a visual field image in a virtual three-dimensional space corresponding to a movement target space on a display device. An information processing method, comprising: determining one selected visual field image from the visual field image; and setting the route point of the moving body in the movement target space based on a visual point position of the selected visual field image. Will be provided.
本開示によれば、移動体の経路地点をより正確かつ容易に設定することができる。 According to the present disclosure, a route point of a moving body can be set more accurately and easily.
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, constituent elements having substantially the same functional configuration are designated by the same reference numerals, and duplicate description will be omitted.
本開示の実施形態の内容を列記して説明する。本開示の実施の形態による技術は、以下のような構成を備える。
(項目1)
移動体の経路地点を設定するための情報処理装置であって、
移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる表示制御部と、
表示される前記視野画像から一の選択視野画像を決定する決定部と、
前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定する地点設定部と、
を備える、情報処理装置。
(項目2)
前記地点設定部は、前記選択視野画像の視点位置に対応する前記移動対象空間における位置を、前記移動体の前記経路地点として設定する、項目1に記載の情報処理装置。
(項目3)
前記地点設定部は、前記選択視野画像の視点位置における視線方向に基づいて、前記移動体の前記経路地点における前記移動体の向きを設定する、項目1または2に記載の情報処理装置。
(項目4)
前記移動体はカメラを備え、
前記地点設定部は、前記選択視野画像の視点位置における視線方向に基づいて、カメラの光軸の向きを設定する、項目1〜3のいずれか1項に記載の情報処理装置。
(項目5)
前記移動体はカメラを備え、
前記地点設定部は、前記選択視野画像に対応する撮像画像を前記カメラが生成可能となる前記移動対象空間における位置を前記経路地点として設定する、項目1〜4のいずれか1項に記載の情報処理装置。
(項目6)
前記表示制御部は、前記視野画像を立体視装置に表示する制御を行う、項目1〜5のいずれか1項に記載の情報処理装置。
(項目7)
前記表示制御部は、前記移動対象空間に対応する地図情報に係る画面上に、前記視野画像の視点位置に対応する位置を表示させる、項目1〜6のいずれか1項に記載の情報処理装置。
(項目8)
前記仮想三次元空間に係る情報は、外部サーバから提供される地理情報に基づいて生成される情報である、項目1〜7のいずれか1項に記載の情報処理装置。
(項目9)
移動体の経路地点を設定するための情報処理方法であって、
移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させることと、
表示される前記視野画像から一の選択視野画像を決定することと、
前記選択視野画像の視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定することと、
を含む、情報処理方法。The contents of the embodiments of the present disclosure will be listed and described. The technology according to the embodiments of the present disclosure has the following configurations.
(Item 1)
An information processing device for setting a route point of a moving body,
A display control unit for displaying a visual field image in a virtual three-dimensional space corresponding to the movement target space on a display device;
A determining unit that determines one selected visual field image from the displayed visual field images,
A point setting unit that sets the route point of the moving body in the movement target space based on the viewpoint position of the selected visual field image;
An information processing device comprising:
(Item 2)
The information processing apparatus according to
(Item 3)
3. The information processing device according to
(Item 4)
The moving body includes a camera,
The information processing apparatus according to any one of
(Item 5)
The moving body includes a camera,
The information according to any one of
(Item 6)
The information processing apparatus according to any one of
(Item 7)
7. The information processing device according to any one of
(Item 8)
The information processing apparatus according to any one of
(Item 9)
An information processing method for setting a route point of a moving body,
Displaying a visual field image in a virtual three-dimensional space corresponding to the moving target space on a display device,
Determining a selected field-of-view image from the field-of-view images displayed;
Setting the route point of the moving body in the movement target space based on the viewpoint position of the selected visual field image;
An information processing method including:
以下、本開示の一実施形態に係る飛行体の経路設定システムについて、図面を参照しながら説明する。図1は、飛行体の経路設定システムの概要を説明するための図である。 Hereinafter, a route setting system for an aircraft according to an embodiment of the present disclosure will be described with reference to the drawings. FIG. 1 is a diagram for explaining an outline of a route setting system for an air vehicle.
図1に示す例においては、仮想三次元空間1000における飛行体の経路地点(ウェイポイント)1001および飛行経路1002を可視化した状態が示されている。仮想三次元空間1000は、実際の飛行対象空間(移動対象空間の一例)に対応する仮想の三次元空間データに基づいて生成される空間である。
In the example shown in FIG. 1, a state in which a route point (waypoint) 1001 and a
仮想三次元空間1000は、例えば、Google Maps(登録商標)、Google Earth(登録商標)または国土地理院等が発行する空間データのような、外部サーバから提供される地理情報に基づくものであってもよい。このような三次元空間データは、建築オブジェクト1010のようなオブジェクト情報を含んでもよい。建築オブジェクト1010は、地理情報に追加的に設けられるものであってもよい。また、地理情報に含まれる建築オブジェクトの情報は、仮想三次元空間1000においては削除されていてもよい。これにより、例えば建築物の建築前後における飛行対象空間を表現することができる。
The virtual three-
図1に示すように、仮想三次元空間1000において、複数の経路地点1001が設定され、これらの経路地点1001を結ぶように飛行経路1002が設定されている。かかる経路地点1001においては、例えば、飛行体の向き(転換の前後を含む)および姿勢、並びに飛行体に搭載されるカメラの向き等が設定され得る。かかる設定により、例えば経路地点1001における飛行進路を適切に設定したり、経路地点1001における撮像方向を指定することができる。
As shown in FIG. 1, a plurality of
本開示の一実施形態においては、上述した飛行体やカメラの向きおよび姿勢等を、仮想三次元空間1000における視野画像を用いて設定するものである。視野画像を確認しながら設定することで、飛行体の操縦者または管理者が所望する飛行体またはカメラの向きや姿勢を、より適切に決めることが可能となる。以下、本開示の一実施形態に係るシステムについて説明する。
In one embodiment of the present disclosure, the directions and postures of the above-described flying object and camera are set using a visual field image in the virtual three-
図2は、本実施形態に係るシステム1の概要を示す図である。図2に示すように、システム1は、情報処理装置10および表示装置20(21)を備える。かかるシステム1は、飛行体30に対して飛行経路に関する情報を送信可能である。また、かかるシステム1は、外部サーバ40から地理情報を受信可能である。
FIG. 2 is a diagram showing an outline of the
情報処理装置10は、インターネット等のネットワークを介して、表示装置20と接続可能に設けられる。ネットワークの例として、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信等が挙げられる。
The
表示装置20は、ディスプレイ、テレビジョン、スクリーンまたはモニタ等の表示デバイスである。表示装置20は情報処理装置10から送信される情報を表示する機能を有する。また、表示装置20は、マウス、キーボード、スイッチ、ボタン、センサ、マイクまたはタッチパネル等の入力装置を備えてもよく、表示装置20はかかる入力装置への入力により得られる情報を情報処理装置10に送信してもよい。
The
また、表示装置は、VRゴーグル21であってもよい。VRゴーグル21は、飛行対象空間に対応する仮想三次元空間を立体視により表現してユーザに表示させる表示装置の一例である。かかるVRゴーグル21を用いることにより、仮想三次元空間の臨場感を高め、飛行体の経路地点に関する情報をより精緻に設定することができる。なお、立体視可能であれば、表示装置はVRゴーグル21に限られず、任意の表示装置が用いられてもよい。
Further, the display device may be the
飛行体30は、移動体の一例である。図2では移動体の一例として無人飛行体を示しているが、移動体は、例えば、車両や船舶、潜水装置などでもよく、制御信号により自律的に動作する移動体であれば特に形態は限定されない。飛行体30として、例えば、情報処理装置10等の制御装置から事前に得た制御情報に基づき自律飛行する、無人飛行体(例えば、ドローン、マルチコプター等)が挙げられる。飛行体の種類は特に限定されない。飛行体30は、情報処理装置10から送信される飛行経路および経路地点に関する情報に基づいて自律飛行する。飛行体30は、情報処理装置10と、例えば、LTE、5G、赤外線、WiFi、Bluetooth(登録商標)、BLE(Bluetooth Low Energy)、有線等を介して互いに接続されていてもよい。
The flying
外部サーバ40は、単数または複数のサーバ(例えば、クラウドサーバ)により構成され、地理情報を有する。かかる地理情報は、例えば、地図情報および地形情報、並びにこれらに付随する付加情報およびメタ情報を含みうる。付加情報とは、例えば、建造物に関する情報である。地理情報は、GIS(Geographic Information System)により提供されるものであってもよい。情報処理装置10は、外部サーバ40からAPI(Application Programming Interface)を通じて地理情報を取得してもよい。なお、例えば、情報処理装置10が予めストレージ13等に地理情報を記憶している場合、情報処理装置10は外部サーバ40から地理情報を取得しなくてもよい。
The
例えば、飛行体30の飛行経路を設定し、経路地点(飛行経路の途中であって、撮影や点検等の飛行体30による作業を実施する地点)において、飛行体30が所定の作業を行うとする。このとき、飛行体30による作業を適切に実施させるために、飛行体30が対象物や対象空間に対して所定の向きや姿勢を向くように設定することがある。しかしながら、飛行体30の向きや姿勢を数値により設定しようとすると、実際の飛行対象空間における飛行体30の向きが所望の向きとなるかは、実際に飛行するまで把握することは困難である。
For example, when the flight route of the
そこで、本実施形態に係るシステム1は、飛行対象空間に対応する仮想三次元空間1000を構築し、仮想三次元空間1000における仮想の飛行体(または飛行体に搭載されるカメラ)を視点とする視野画像を取得する。かかる視野画像のうち、所望の視野を反映する視野画像を選択して選択視野画像とし、かかる選択視野画像の視点位置に基づいて飛行体の経路地点を設定する。これにより、飛行体30を飛行させるユーザは、飛行体30の経路地点を、より直感的に把握することができる。すなわち、飛行体30の経路地点をより正確に設定することができる。
Therefore, the
以下、本実施形態に係るシステム1の各構成について説明する。
Hereinafter, each component of the
図3は、本実施形態に係る情報処理装置10のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
FIG. 3 is a diagram showing a hardware configuration of the
図示されるように、情報処理装置10は、データベース(図示せず)と接続されシステムの一部を構成する。情報処理装置10は、例えばワークステーションまたはパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウドコンピューティングによって論理的に実現されてもよい。
As illustrated, the
情報処理装置10は、少なくとも、制御部11、メモリ12、ストレージ13、通信部14および入出力部15等を備え、これらはバス16を通じて相互に電気的に接続される。
The
制御部11は、情報処理装置10全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えば制御部11はCPU(Central Processing Unit)であり、ストレージ13に格納されメモリ12に展開されたプログラム等を実行して各情報処理を実施する。
The
メモリ12は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリまたはHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ12は、制御部11のワークエリア等として使用され、また、情報処理装置10の起動時に実行されるBIOS(Basic Input/Output System)、及び各種設定情報等を格納する。
The
ストレージ13は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ13に構築されていてもよい。
The
通信部14は、情報処理装置10をネットワークおよび/またはブロックチェーンネットワークに接続する。なお、通信部14は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インタフェースを備えていてもよい。
The
入出力部15は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
The input /
バス16は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
The
図4は、本実施形態に係る飛行体30の機能ブロック図である。なお、以下の機能ブロック図は説明を簡単にするために、単一のデバイス(図4では飛行体)に格納された概念として記載しているが、例えば、その一部機能を外部デバイス(例えば、情報処理装置10)に発揮させたり、クラウドコンピューティング技術を利用することによって論理的に構成されていてもよい。
FIG. 4 is a functional block diagram of the flying
フライトコントローラ31は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
The
フライトコントローラ31は、メモリ311を有しており、当該メモリにアクセス可能である。メモリ311は、1つ以上のステップを行うためにフライトコントローラ31が実行可能であるロジック、コード、および/またはプログラム命令を記憶している。
The
メモリ311は、例えば、SDカードまたはランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。カメラ351またはセンサ352等の外部機器35から取得したデータは、メモリ311に直接に伝達されかつ記憶されてもよい。例えば、カメラ等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録される。外部機器35は飛行体にジンバル34を介して設置される。
The
フライトコントローラ31は、飛行体の状態を制御するように構成された制御部312を含んでいる。例えば、制御部312は、6自由度(並進運動x、y及びz、並びに回転運動θx、θy及びθz)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC(Electric Speed Controller)36を経由して飛行体の推進機構(モータ37等)を制御する。モータ37によりプロペラ38が回転することで飛行体の揚力を生じさせる。制御部312は、搭載部、センサ類の状態のうちの1つ以上を制御することができる。The
フライトコントローラ31は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部33と通信可能である。送受信機は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
The
例えば、送受信部33は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、有線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。 For example, the transmission / reception unit 33 is one or more of a local area network (LAN), a wide area network (WAN), infrared, wireless, wired, WiFi, point-to-point (P2P) network, telecommunication network, cloud communication, and the like. Can be used.
送受信部33は、カメラまたは各種センサにより取得されたデータ、フライトコントローラ31が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。なお、本実施形態においては、情報処理装置10との通信は、この送受信部33を介して行われ得る。
The transmission / reception unit 33 transmits and / or receives at least one of data acquired by a camera or various sensors, processing results generated by the
本実施の形態に係るセンサ352(外部機器25に含まれる)は、慣性センサ(加速度センサ、ジャイロセンサ)、測位センサ(GPSセンサ)、測距センサ(例えば、レーザーセンサ、超音波センサ、LiDAR)、または地磁気センサを含みうる。また、センサとして、またはビジョン/イメージセンサ(例えば、カメラ351)が含まれる。 The sensor 352 (included in the external device 25) according to the present embodiment is an inertial sensor (acceleration sensor, gyro sensor), positioning sensor (GPS sensor), distance measuring sensor (for example, laser sensor, ultrasonic sensor, LiDAR). , Or may include a geomagnetic sensor. Also included is a sensor or a vision / image sensor (eg, camera 351).
図5は、本実施形態に係る情報処理装置10における制御部11の機能を示すブロック図である。なお、図5に図示される構成は一例であり、これに限らない。
FIG. 5 is a block diagram showing the functions of the
制御部11は、取得部111、表示制御部112、決定部113および地点設定部114を備える。
The
取得部111は、各種情報を制御部11の内部または外部から取得する機能を有する。例えば、取得部111は、外部サーバ40またはストレージ13から、地理情報を取得する。かかる地理情報には、後述する仮想三次元空間に対応する現実の飛行対象空間に係る地理情報が含まれる。仮想三次元空間は、例えば表示制御部112により表示装置等に表示されるときに、制御部11によりレンダリングされ得る。
The
表示制御部112は、飛行対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる機能を有する。かかる仮想三次元空間は、図1に示したように、飛行体30を飛行させる予定である飛行対象空間に対応させてモデリングされた空間である。
The
図6は、仮想三次元空間における処理の一例を示す図である。図6に示す仮想三次元空間1000には、建築オブジェクト1010が含まれている。建築オブジェクト1010の周囲において、飛行体の飛行経路1001aおよび飛行体の経路地点1002a、1002bが予め設定されている。ここでは、次に新たな飛行経路1001bを、経路地点1002bを起点として設定すること、すなわち次の経路地点を設定することが想定されている。
FIG. 6 is a diagram illustrating an example of processing in the virtual three-dimensional space. A virtual three-
ここで、仮想三次元空間1000において、視点位置1003における視野画像が取得される。ここでは、視点位置1003における視線1004cに対応する視野画像が取得される。かかる視点位置1003および視線1004cは、例えば、入出力部15を介して適宜変更が可能である。かかる変更により、視野画像は複数取得される。視野画像は、静止画像であってもよいし、動画像であってもよい。
Here, in the virtual three-
表示制御部112は、取得した視野画像を表示装置20、21に出力する。
The
図7は、本実施形態に係る表示制御部112による表示装置20における表示態様の一例を示す図である。図7に示すように、表示装置20には視野画像Img1が表示されている。かかる視野画像Img1には、仮想三次元空間1000の一部が映し出されている。視野画像Img1は、図6における視点位置1003で取得されたものである。
FIG. 7 is a diagram showing an example of a display mode on the
視野画像Img1には、建築オブジェクト1010、既に設定された飛行経路1001aおよび経路地点1002bが含まれている。視野画像Img1は、建築オブジェクト1010を斜め方向から俯瞰した画像となっている。
The visual field image Img1 includes the
なお、表示制御部112は、飛行対象空間に対応する地図情報に係る画面1005上に、前記視野画像Img1の視点位置1003に対応する位置1006を表示させてもよい。かかる画面1005は、視野画像Img1に重畳されて表示されてもよい。かかる地図情報は、二次元地図に係る情報でもよく、視野画像Img1とは異なる視野により取得される三次元空間に対応する地図情報であってもよい。これにより、視点位置1003を俯瞰的に把握することが可能である。
The
また、表示制御部112は、視野画像Img1が取得される視点位置1003における情報を表示させてもよい。図7に示す例では、視野画像Img1に、視点位置情報1007が表示されている。視点位置情報1007は、緯度情報(Lat.)、軽度情報(Lon.)、水平方向角度情報(Dir.)および仰角情報(Ang.)が表示されている。これにより、視点位置に関してより正確な情報を把握することができる。
The
飛行体30の経路設定を行うユーザは、表示装置20に表示されている視野画像Img1を適宜変更し、所望の視野画像の決定を行うことができる。かかる操作は、表示装置20に付随するタッチパネル等の入力装置により行われてもよいし、情報処理装置10の入出力部15を介して行われてもよい。
The user who sets the route of the flying
決定部113は、表示装置20に表示される視野画像から選択視野画像を決定する機能を有する。例えば、決定部113は、表示装置20に表示されているユーザの操作等により視野画像が適宜変更されているとする。そして、ユーザにより所望の視野が得られ、ユーザにより入出力部15等を介して決定に係る操作が行われたとき、決定部113は、その時点で表示装置20に表示されている視野画像を選択視野画像として決定する。また、決定部113は、複数の視野画像が得られた場合、そのうちの一の視野画像を選択視野画像として決定してもよい。また、視野画像が動画である場合は、決定部113は、一のフレームを抜き出して選択視野画像を決定してもよい。
The
地点設定部114は、選択視野画像の視点位置に基づいて、飛行対象空間における飛行体30の経路地点を設定する機能を有する。例えば、地点設定部114は、かかる視点位置を飛行体30の経路地点として設定してもよい。
The
図8は、本実施形態に係る地点設定部114による経路地点の設定処理の一例を示す図である。地点設定部114は、経路地点1002cを設定する。この経路地点1002cは、図6に示した視点位置1003に相当する位置である。すなわち、図7に表示した視野画像Img1を取得可能な位置をそのまま経路地点とすることができる。これにより、ユーザの所望する経路地点をより正確に設定することができる。また、地点設定部114は、視点位置に対して飛行体30やカメラ351の位置関係等を考慮したオフセットを与えて経路地点を設定してもよい。
FIG. 8 is a diagram showing an example of a route point setting process by the
また、地点設定部114は、経路地点における飛行体30の向き、または飛行体30に積載されるカメラ351の光軸の向きを、選択視野画像の視点位置における視線方向に基づいて設定してもよい。ここでいう向きは、水平方向の向きおよび仰角を含む。図8に示すように、経路地点1002a、1002bおよび1002cにおける飛行体30の向きまたはカメラ351の光軸の向き1004a、1004bおよび1004cは、各経路地点に対応する視点位置における視線方向に対応する方向であってもよい。このように、飛行体30の向きやカメラ351の光軸の向きを視点位置における視線方向に基づいて設定することで、仮想三次元空間1000において表現される飛行対象空間での作業における飛行体30の向きまたはカメラ351の光軸の向きを、より正確に適切な方向へ設定することができる。
The
なお、地点設定部114が該視線方向に基づいて飛行体30の向きを設定する場合とは、例えば、飛行体30にセンサ352やアクチュエータ等の外部機器35が積載され、視野画像に含まれるオブジェクトに対応する建造物等に対して、外部機器35により作業を行う場合等が考えられる。また、地点設定部114が該視線方向に基づいてカメラ351の光軸の向きを設定する場合とは、視野画像に含まれるオブジェクトに対応する建造物等をカメラ351により撮影する場合等が考えられる。
In addition, when the
また、地点設定部114は、選択視野画像に対応する撮像画像をカメラ351が生成可能となる飛行対象空間における位置を経路地点として設定してもよい。すなわち、地点設定部114は、選択視野画像に対応する撮像画像をカメラ351が生成できる地点および向きとなるよう経路地点を設定してもよい。かかる地点および向きは、飛行体30とカメラ351との相対的な位置および姿勢の関係と、仮想三次元空間の位置情報と実際の飛行対象空間の位置情報との関係から得ることができる。これにより、例えば、カメラ351により得られる撮像画像を、選択視野画像により近い状況の画像として得ることができる。
In addition, the
地点設定部114により設定された経路地点に関する情報は、例えば飛行体30に出力される。飛行体30は、取得した経路地点に関する情報に基づいて、経路地点での飛行態様や作業に関する処理を行う。また、経路地点に関する情報は、適宜ストレージ13に記憶されてもよい。また、制御部11の他のプログラム等により、かかる経路地点に基づいて飛行経路が設定されてもよい。
The information regarding the route point set by the
図9は、本実施形態に係る情報処理装置10の制御に係るフローチャート図である。まず、取得部111は、地理情報を外部サーバ40等から取得する(ステップSQ101)。次に、表示制御部112は、取得した地理情報をもとに得られる仮想三次元空間における視野画像を表示装置20に表示させる(ステップSQ103)。
FIG. 9 is a flowchart of the control of the
次に、決定部113は、視野画像から一の選択視野画像をユーザの操作等に基づいて決定する(ステップSQ105)。そして、地点設定部114は、選択視野画像に基づいて飛行体30の経路地点を設定する(ステップSQ107)。制御部11は、設定された経路地点に係る情報を、飛行体30および/またはストレージ13等に出力する(ステップSQ109)。経路地点に係る情報の出力処理は一の経路地点の設定ごとに行われてもよいし、また、制御部11において複数の経路地点の設定処理が行われた後に、一括して複数の経路地点に係る情報が出力されてもよい。
Next, the
以上説明したように、本実施形態に係るシステム1は、飛行対象空間に対応する仮想三次元空間における視野画像を取得し、所望する視野画像に基づいて飛行体の経路地点を設定する。これにより、実際の飛行対象空間に近い環境を模擬した空間で、直感的にかつより正確に経路地点(および飛行体またはカメラの向き)を設定することが可能となる。よって、飛行体の経路地点を従来よりもより正確かつ容易に設定することが可能となり、ユーザの負担も少なくなる。
As described above, the
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。 Although the preferred embodiments of the present disclosure have been described above in detail with reference to the accompanying drawings, the technical scope of the present disclosure is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field of the present disclosure can conceive various changes or modifications within the scope of the technical idea described in the claims. It is understood that the above also naturally belongs to the technical scope of the present disclosure.
本明細書において説明した装置は、単独の装置として実現されてもよく、一部または全部がネットワークで接続された複数の装置(例えばクラウドサーバ)等により実現されてもよい。例えば、情報処理装置10の制御部11およびストレージ13は、互いにネットワークで接続された異なるサーバにより実現されてもよい。
The device described in the present specification may be realized as a single device, or may be realized by a plurality of devices (for example, cloud servers) or the like, which are partially or wholly connected by a network. For example, the
本明細書において説明した装置による一連の処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。本実施形態に係る情報処理装置10の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
The series of processes performed by the apparatus described in the present specification may be realized using any of software, hardware, and a combination of software and hardware. It is possible to create a computer program for realizing each function of the
また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。 Further, the processes described using the flowcharts in this specification do not necessarily have to be executed in the illustrated order. Some processing steps may be performed in parallel. In addition, additional processing steps may be adopted, and some processing steps may be omitted.
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。 Further, the effects described in the present specification are merely illustrative or exemplary, and are not limitative. That is, the technique according to the present disclosure may have other effects that are apparent to those skilled in the art from the description of the present specification, in addition to or instead of the above effects.
本開示の飛行体は、調査、測量、観察等における産業用の飛行体としての利用が期待できる。また、本開示の飛行体は、マルチコプター・ドローン等の飛行機関連産業において利用することができる。 The air vehicle of the present disclosure can be expected to be used as an industrial air vehicle in surveys, surveys, observations, and the like. Further, the aircraft of the present disclosure can be used in airplane-related industries such as multicopter drones.
1 システム
10 情報処理装置
20 表示装置
21 VRゴーグル
30 飛行体(移動体の一例)
40 外部サーバ
111 取得部
112 表示制御部
113 決定部
114 地点設定部
1
40
Claims (9)
移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させる表示制御部と、
表示される前記視野画像から一の視点位置における選択視野画像を決定する決定部と、
前記選択視野画像の前記視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定する地点設定部と、
を備える、情報処理装置。 An information processing device for setting a route point of a moving body,
A display control unit for displaying a visual field image in a virtual three-dimensional space corresponding to the movement target space on a display device;
A determining unit that determines a selected field-of-view image at one viewpoint position from the displayed field-of-view image,
Based on the viewpoint position of the selected field image, and the point setting portion that sets the path points of the moving body in the moving object space,
An information processing device comprising:
前記地点設定部は、前記選択視野画像の視点位置における視線方向に基づいて、カメラの光軸の向きを設定する、請求項1〜3のいずれか1項に記載の情報処理装置。 The moving body includes a camera,
The information processing apparatus according to claim 1, wherein the point setting unit sets the direction of the optical axis of the camera based on the line-of-sight direction at the viewpoint position of the selected visual field image.
前記地点設定部は、前記選択視野画像に対応する撮像画像を前記カメラが生成可能となる前記移動対象空間における位置を前記経路地点として設定する、請求項1〜4のいずれか1項に記載の情報処理装置。 The moving body includes a camera,
The said point setting part sets the position in the said movement object space which the said camera can produce | generate the captured image corresponding to the said selected visual field image as the said route point, The any one of Claims 1-4. Information processing equipment.
移動対象空間に対応する仮想三次元空間における視野画像を表示装置に表示させることと、
表示される前記視野画像から一の視点位置における選択視野画像を決定することと、
前記選択視野画像の前記視点位置に基づいて、前記移動対象空間における前記移動体の前記経路地点を設定することと、
を含む、情報処理方法。 An information processing method for setting a route point of a moving body,
Displaying a visual field image in a virtual three-dimensional space corresponding to the moving target space on a display device,
Determining a selected field of view image at one viewpoint position from the displayed field of view image;
And that on the basis of the viewpoint position of the selected field image, sets the path points of the moving body in the moving object space,
An information processing method including:
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/039281 WO2021064982A1 (en) | 2019-10-04 | 2019-10-04 | Information processing device and information processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6684012B1 true JP6684012B1 (en) | 2020-04-22 |
JPWO2021064982A1 JPWO2021064982A1 (en) | 2021-11-04 |
Family
ID=70286826
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019572703A Active JP6684012B1 (en) | 2019-10-04 | 2019-10-04 | Information processing apparatus and information processing method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6684012B1 (en) |
WO (1) | WO2021064982A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113238571A (en) * | 2021-05-27 | 2021-08-10 | 北京三快在线科技有限公司 | Unmanned aerial vehicle monitoring system, method, device and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012053896A (en) * | 2009-05-18 | 2012-03-15 | Kodaira Associates Kk | Image information output method |
JP2017076302A (en) * | 2015-10-16 | 2017-04-20 | 株式会社プロドローン | Method for controlling small sized unmanned airplane |
-
2019
- 2019-10-04 WO PCT/JP2019/039281 patent/WO2021064982A1/en active Application Filing
- 2019-10-04 JP JP2019572703A patent/JP6684012B1/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012053896A (en) * | 2009-05-18 | 2012-03-15 | Kodaira Associates Kk | Image information output method |
JP2017076302A (en) * | 2015-10-16 | 2017-04-20 | 株式会社プロドローン | Method for controlling small sized unmanned airplane |
Also Published As
Publication number | Publication date |
---|---|
JPWO2021064982A1 (en) | 2021-11-04 |
WO2021064982A1 (en) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109219785B (en) | Multi-sensor calibration method and system | |
JP6765512B2 (en) | Flight path generation method, information processing device, flight path generation system, program and recording medium | |
WO2020143677A1 (en) | Flight control method and flight control system | |
JP6829513B1 (en) | Position calculation method and information processing system | |
WO2018146803A1 (en) | Position processing device, flight vehicle, position processing system, flight system, position processing method, flight control method, program, and recording medium | |
WO2019230604A1 (en) | Inspection system | |
US20210208608A1 (en) | Control method, control apparatus, control terminal for unmanned aerial vehicle | |
US20210034052A1 (en) | Information processing device, instruction method for prompting information, program, and recording medium | |
WO2021251441A1 (en) | Method, system, and program | |
JP6684012B1 (en) | Information processing apparatus and information processing method | |
JP6966810B2 (en) | Management server and management system, display information generation method, program | |
WO2021079516A1 (en) | Flight route creation method for flying body and management server | |
JP6940459B2 (en) | Information processing device, imaging control method, program and recording medium | |
WO2022264413A1 (en) | Mobile body movement path generation method and program, management server, and management system | |
JP6730764B1 (en) | Flight route display method and information processing apparatus | |
JP6800505B1 (en) | Aircraft management server and management system | |
JP6818379B1 (en) | Flight route creation method and management server for aircraft | |
JP2019082837A (en) | Information processing apparatus, flight control instruction method, program, and recording medium | |
JP7072311B1 (en) | Movement route generation method and program of moving object, management server, management system | |
WO2022113482A1 (en) | Information processing device, method, and program | |
JP2023083072A (en) | Method, system and program | |
JP6810498B1 (en) | Flight route creation method and management server for aircraft | |
JP2024021143A (en) | 3D data generation system and 3D data generation method | |
JP2021015602A (en) | Management server and management system for flying objects | |
JP2021015601A (en) | Management server and management system for flying objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191226 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191226 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6684012 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |