JP2024516480A - リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置、方法およびソフトウェア - Google Patents
リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置、方法およびソフトウェア Download PDFInfo
- Publication number
- JP2024516480A JP2024516480A JP2023550305A JP2023550305A JP2024516480A JP 2024516480 A JP2024516480 A JP 2024516480A JP 2023550305 A JP2023550305 A JP 2023550305A JP 2023550305 A JP2023550305 A JP 2023550305A JP 2024516480 A JP2024516480 A JP 2024516480A
- Authority
- JP
- Japan
- Prior art keywords
- drone
- human operator
- augmented reality
- reality display
- air
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 19
- 230000003190 augmentative effect Effects 0.000 claims abstract description 118
- 238000004590 computer program Methods 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 17
- 230000015654 memory Effects 0.000 claims abstract description 14
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000012800 visualization Methods 0.000 claims description 13
- 230000002829 reductive effect Effects 0.000 claims description 4
- 238000009877 rendering Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 description 9
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical group OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 235000019994 cava Nutrition 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
Abstract
リモートコントローラ(150)を使用してドローン(160)を飛行させる人間のオペレータ(120)を支援する装置(100)、方法、およびソフトウェア。装置(100)は、リモートコントローラ(150)からデータを受信する内部データ通信インタフェース(108)、データを表示する拡張現実ディスプレイ(112)、コンピュータプログラムコード(106)を含む1つ以上のメモリ(104)、装置(100)に、人間のオペレータ(120)がドローン(160)の方を見ている間、ドローン(160)の位置を示すターゲットシンボル(200)を拡張現実ディスプレイ(112)上に重畳させ、人間のオペレータ(120)がドローン(160)の方を見ている(204)間、ドローン(160)の方向を示す方位シンボル(202)を拡張現実ディスプレイ(112)上に重畳させる1つ以上のプロセッサ(102)を含む。【選択図】図1A
Description
様々な実施形態は、リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置、リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する方法、および、前記方法を実行する、コンピュータプログラムコードを含むコンピュータ可読媒体に関し、それらは1つ以上のプロセッサによって実行されると方法のパフォーマンスが低下する。
(地上の)人間のオペレータは、リモートコントローラを使用してドローン(または無人航空機(UVA))を飛行させる(場合によっては、少なくとも部分的に自動操縦によって支援される)。
人間のオペレータは、同時に空中のドローンの方向を向き、手持ちのリモートコントローラを操作し、時にはリモートコントローラのディスプレイの方も向く必要がある。これは状況認識の低下につながり、潜在的に危険な状況を引き起こす可能性がある。
法的要件として、人間のオペレータは、空中でドローンとの視覚的接触(視線による)を維持する必要がある。長距離、周囲光が低い、物理的な障害物などによりドローンが見えない可能性があるため、これは非常に困難である。
これらの問題は、別の人、いわゆる補助者(スポッター(spotter))が双眼鏡を使用する場合でもドローンとの視覚的接触を維持することで軽減され得るが、人間のオペレータはリモートコントローラの操作に集中しできる(ただし、それでも時にはリモートコントローラのディスプレイの表示を確認する必要がある場合がある)。当然、このようなセットアップでは、人間のオペレータとスポッターに優れたコミュニケーションスキルが必要である。さらに、手作業が倍増するため、ドローンの運用コストが増加する。
米国特許出願2018/0196425号明細書、米国特許出願2019/0077504号明細書、および米国特許出願2019/0049949号明細書は、ドローンの飛行におけるヘッドマウントディスプレイの使用に関するさまざまな態様を開示する。
一態様によれば、独立請求項の主題が提供される。従属請求項はいくつかの実施形態を定義する。
実装の1つ以上の例が、添付の図面および実施形態の説明においてより詳細に記載される。
次に、添付図面を参照していくつかの実施形態を説明する。
以下の実施形態は一例である。明細書では複数の箇所で“1つ”の実施形態に言及する場合があるが、これは必ずしも、そのような各言及が同じ実施形態に対すること、またはその特徴が個々の実施形態にのみ適用されることを意味するものではない。異なる実施形態の個々の特徴を組み合わせて、他の実施形態を提供してもよい。さらに、「comprising(備える、有する、含む)」および「including(備える、有する、含む)」の用語は、記載された実施形態が言及された特徴のみからなるように限定するものではないと理解されるべきであり、そのような実施形態は、特に言及されていない特徴/構造も含み得る。
実施形態の説明および特許請求の範囲の両方における参照符号は、図面を参照して実施形態を説明するものであり、これらの例のみに限定されない。
以下の説明に開示される実施形態および特徴であって、独立請求項の範囲に入らないものは、本発明のさまざまな実施形態を理解するのに役立つ例として解釈されるべきである。
図1Aは、リモートコントローラ150を用いてドローン160を飛行させる人間のオペレータ(またはパイロット)120を支援する装置100の、簡略化されたブロック図を示す。ドローン160は、無人航空機(UAV:unmanned aerial vehicle)としても知られている。無人航空機システム(UAS:unmanned aircraft system)は、ドローン(またはUAV)160、(地上の)リモートコントローラ150、およびリモートコントローラ150とドローン160との間の無線通信システム152を含むとして定義され得る。
同時に、図30は、リモートコントローラ150を用いてドローン160を飛行させる人間のオペレータ120を支援する方法の実施形態のフローチャートを示す。
方法は、3000で開始し、3010で終了する。方法は、工程3002にループバックすることによって、必要な限り(装置100の起動後、スイッチがオフになるまで)実行することができることに留意されたい。
図30では、工程は厳密には時系列順ではない。一部の工程は同時に実行されてもよいし、所定の工程は異なる順序で実行されてもよい。他の機能も、工程間または工程内で実行され、工程間で交換される他のデータも実行され得る。一部の工程または工程の一部が省略されたり、対応する工程または工程の一部によって置き換えられ得る。処理順序の論理要件により必要な場合を除き、工程の特別な順序は必要ないことに留意されたい。
装置100は、リモートコントローラ150から飛行に関するデータを受信3002する内部データ通信インタフェース108を備える。飛行に関するデータは、ドローン160のテレメトリデータを含み得る。飛行に関連したデータは、限定されないが、ジャイロスコープや磁力計などのセンサの値、角速度、速度、高度や地球位置などの融合データ、バッテリ、ジンバル、飛行ステータスなどの航空機情報等を含み得る。ドローンの環境によっては、データはまた、装置100によってドローン160から直接受信され得る。
内部データ通信インタフェース108は、リモートコントローラ150の無線トランシーバと通信する無線トランシーバを使用して実装され得る。内部データ通信インタフェース108の技術には、限定されないが、IEEE 802.11ac標準またはWi-Fiプロトコルスイートを用いて実装されたワイヤレスローカルエリアネットワーク(WLAN)、BluetoothまたはBluetooth LE(Low Energy)などの短距離無線ネットワーク、加入者識別モジュール(SIM)またはeSIM(組み込みSIM)を使用するセルラ無線ネットワーク、または他の標準または独自の無線接続手段、1つ以上を含む。いくつかの使用例では、内部データ通信インタフェース108は、追加または代替として、例えば適用可能なバスなどの標準または独自の有線接続を利用できることに留意されたい。実施形態では、USB(ユニバーサルシリアルバス)規格に従った有線接続を利用する。
装置100はまた、飛行に関するデータを人間のオペレータ120に表示3004する拡張現実(AR)ディスプレイ112を備える。図2から図29は、特定の実施形態を示すが、これらに加えて、飛行に関する様々な通知およびステータスも拡張現実ディスプレイ112上に表示され得る。
図面では、拡張現実ディスプレイ112は、ヘッドバンドが取り付けられた(またはヘルメットに取り付けられた)ヘッドマウントディスプレイとして実装され、人間のオペレータ120によって目の前にバイザー(visor)として着用される。図面では、拡張現実ディスプレイ112は、ホログラフィック画像が表示されるシースルーディスプレイとして実装される。代替実施形態では、拡張現実ディスプレイ112は、カメラを使用して現実世界のビューを取得(intercept)し、現実世界の拡張ビューを投影として表示することができる。
実施形態では、装置100は、拡張現実ディスプレイ112としてシースルーホログラフィックレンズを採用するMicrosoft(登録商標)HoloLens(登録商標)2(またはそれ以降のバージョン)複合現実スマートグラスを使用して実装され、完全な開発環境を提供する。ヘッドマウント装置100は、必要なプロセッサ(システムオンチップ、カスタムメイドのホログラフィック処理ユニット、およびコプロセッサを含む)102、メモリ104およびソフトウェア106、深度カメラ、ビデオカメラ、投影レンズ、慣性測定装置(加速度計、ジャイロスコープ、および磁力計を含む)、無線接続装置108、110、および充電式バッテリを含む。これらの部品の一部は図1には示されていないことに留意されたい。このような既製の環境は、例えば、現実世界と拡張現実を融合し、人間のオペレータ120の頭と目の動きを追跡することに関する基本的な操作を提供する拡張現実エンジン144を提供する。
しかしながら、限定されないが、眼鏡、ヘッドアップディスプレイ、拡張現実イメージングを備えたコンタクトレンズなどを含む拡張現実ディスプレイ112の他の適用可能な実装も使用され得る。本実施形態の目的のために、拡張現実ディスプレイ112は、コンピュータ生成の知覚情報によって強化された、現実世界の飛行環境210およびドローン160の対話型リアルタイム体験を提供する。自然環境210およびドローン160に加えて、飛行に関するデータが重畳(またはオーバーレイ)される。
装置100はまた、コンピュータプログラムコード106を含む1つ以上のメモリ104と、コンピュータプログラムコード106を実行して装置100に必要なデータ処理を実行させる1つ以上のプロセッサ102とを備える。装置100によって実行されるデータ処理は、方法またはアルゴリズム130として解釈され得る。
「プロセッサ」102の用語は、データを処理できるデバイスを指す。実施形態では、プロセッサ102は、集積回路上に中央処理装置(CPU)の機能を実装するマイクロプロセッサとして実装される。CPUは、コンピュータプログラムコード106を実行する論理マシンである。CPUは、レジスタのセット、算術論理演算ユニット(ALU)、および制御ユニット(CU)を含み得る。制御ユニットは、(作業)メモリ104からCPUに転送されるコンピュータプログラムコード106のシーケンスによって制御される。制御ユニットは、基本作業のための多数のマイクロ命令を含むことができる。マイクロ命令の実装は、CPU設計に応じて異なり得る。1つ以上のプロセッサ102は、個々のプロセッサのコアとして、および/または別個のプロセッサとして実装され得る。
「メモリ」104という用語は、データを実行時に(=作業メモリ)または永続的に(=不揮発性メモリ)格納できるデバイスを指す。作業メモリと不揮発性メモリは、ランダムアクセスメモリ(RAM)、ダイナミックRAM(DRAM)、スタティックRAM(SRAM)、フラッシュメモリ、ソリッドステートディスク(SSD)、PROM(プログラマブルリード)、適切な半導体、または電気コンピュータメモリを実装するその他の手段によって実装され得る。
コンピュータプログラムコード106はソフトウェアによって実装される。実施形態では、ソフトウェアは適切なプログラミング言語によって書かれてもよく、その結果得られる実行可能コードはメモリ104に格納され、1つ以上のプロセッサ102によって実行されてもよい。
コンピュータプログラムコード106は、方法/アルゴリズム130を実装する。コンピュータプログラムコード102は、C、C++、またはRustなどの高級プログラミング言語であり得るプログラミング言語を使用してコンピュータプログラム(またはソフトウェア)としてコード化され得る。コンピュータプログラムコード106は、ソースコード形式、オブジェクトコード形式、実行可能ファイル、または何らかの中間形式であってもよいが、1つ以上のプロセッサ102で使用するためには、アプリケーション140として実行可能形式である。コンピュータプログラムコード106を構造化する多くの方法がある。ソフトウェア設計方法論および使用されるプログラミング言語に応じて、工程は、モジュール、サブルーチン、メソッド、クラス、オブジェクト、アプレット、マクロなどに分割され得る。最新のプログラミング環境では、ソフトウェアライブラリ、すなわち、既製の機能の編集物が存在し、これらは、多種多様な標準作業を実行するためにコンピュータプログラムコード106によって利用され得る。さらに、オペレーティングシステム(汎用オペレーティングシステムなど)は、コンピュータプログラムコード106にシステムサービスを提供することができる。
図30に示すように、実施形態は、コンピュータプログラムコード106を記憶するコンピュータ可読媒体170を提供し、このコンピュータプログラムコード106は、1つ以上のプロセッサ102にロードされ、1つ以上のプロセッサ102によって実行されると、1つ以上のプロセッサ102に方法/アルゴリズム130を実行させる。コンピュータ可読媒体170は、少なくとも、コンピュータプログラムコード106を1つ以上のプロセッサ102に運ぶことができる任意の実体またはデバイス、記録媒体、コンピュータメモリ、読み取り専用メモリ、電気搬送信号、電気通信信号、およびソフトウェア配布媒体を含んでもよい。一部の管轄区域では、法律および特許実務に応じて、コンピュータ可読媒体170が電気通信信号でない場合がある。実施形態では、コンピュータ可読媒体170は、コンピュータ可読媒体であってもよい。実施形態では、コンピュータ可読媒体170は、非一時的なコンピュータ可読媒体であってもよい。
図1Aおよび図1Bに示すように、コンピュータ可読媒体170は、装置100の実行可能アプリケーション140として、また飛行に関するデータを装置100に送信するためのリモートコントローラ150の実行可能アプリケーション142として、コンピュータプログラムコード160を担持することができる。DJI(登録商標)などの典型的なドローン環境では、アプリケーション142がリモートコントローラ150とインタフェースするためにソフトウェア開発キットを使用することができる。
図1Aは、拡張現実ディスプレイ112、コンピュータプログラムコード106を含む1つ以上のメモリ104、および1つ以上のプロセッサ102を備える統合ユニットとして装置100を示す。
しかしながら、図1Bに示すように、装置100は、人間のオペレータ120に拡張現実ディスプレイ112が提供されるが、別個の処理部180が提供されるように、分散型装置100として実装されてもよい。装置100は、拡張現実ディスプレイ112およびリモートコントローラ150と通信可能に結合される。また、装置100は、コンピュータプログラムコード106を含む1つまたは複数のメモリ104と、1つまたは複数のプロセッサ102とを備える。これは、処理部180がスマートフォン、タブレットコンピュータ、またはポータブルコンピュータなどの人間のオペレータ120が携帯するユーザ装置であるように実装されてもよく、通信接続は有線でも無線でもよい。他の実施形態は、処理部180が、クライアントサーバアーキテクチャ、クラウドコンピューティングアーキテクチャ、ピアツーピアシステム、または他の適用可能な分散コンピューティングアーキテクチャ、に従って、拡張現実ディスプレイ112と相互運用する、ネットワーク化されたコンピュータサーバ等であり得る。
図2および図3は、装置100の拡張現実ディスプレイ112によって提供されるビューの実施形態を示す。図2から図29は、各使用例を2つの異なる視角の組み合わせとして示す。
図2および図3を詳しく検討する。第1の視角は飛行を示す。人間のオペレータ120は、リモートコントローラ150を操作し、装置100を通じて、またはより正確に表現すると、装置100の拡張現実ディスプレイ112を介して、空中210のドローン160を観察する(またはドローン160の方を見る)204。図示のように、第2の視角は、拡張現実ディスプレイ112上に示される要素200、202を示す。
この規則は、図2から29のすべての図面で使用される。点線の矢印線204は、人間のオペレータ120が見ている方向、通常は空中のドローン160の方向、を示す。しかしながら、いくつかの使用例では、人間のオペレータ120は地面の方など別の方向を見て、参照符号600、1404、1706、1804、2602等の点線の矢印線で示される。しかしながら、前述の代替実施形態では、カメラを使用して現実世界のビューを遮断し、投影として、現実世界の拡張ビューを表示する。拡張現実ディスプレイ112に向かう視線の方向は、カメラの捕捉方向と異なる場合がある。例えば、飛行姿勢を楽にするために、人間のオペレータ120は空を見つめるために頭を傾ける必要はないが、カメラは上向きに傾けられる。
記載されたすべての実施形態において、人間のオペレータ120は地上500に立っていて、ドローン160は空中210を飛行していることに留意されたい。しかしながら、実施形態は、ドローン160を、地下の洞窟内、人工構造物(建物やトンネルなど)内で飛行させる場合、またはドローン160が人間のオペレータ120の下を飛行している、すなわち、人間のオペレータ120は、ドローン160の方を見ており240、上ではなく下を見ているような他の種類の環境にも適用可能である。このような使用例では、人間のオペレータ120は高いプラットフォーム(高層ビルや山など)に立っていて、ドローン160はその下(道路の上や谷など)を飛行していてもよい。実施形態は、ドローン160を水中に沈めて飛行させることにも適用することができ、すなわち、ドローン160は無人水中飛行体(UUV)となり、ドローンが、川、湖、海、水で満たされた鉱山やトンネルなどの水中にあるとき、人間のオペレータ120は、例えば陸上または船舶からドローン160を操作してもよい。
ある意味、図2から29のすべての図面は、現実世界の上に拡張現実を表現したハイブリッドを示す。現実世界は、外部の視点(現実世界の外側からユースケースを観察している別の人の視点のような)から示されているのに対し、拡張現実ディスプレイ112は、人間のオペレータ120の第1の人の視点から示されている。
ここで、図2および図3に戻る。実施形態では、装置100は、人間のオペレータ120が(UAVの場合は空中210の)ドローン160の方向を見ている204間、(UAVの場合は空中210の)ドローン160の位置を示すターゲットシンボル200を、拡張現実ディスプレイ112上に重畳させる3006。実施形態では、装置はまた、人間のオペレータ120が(UAVの場合は空中210の)ドローン160の方向を見ている204間、(UAVの場合は空中210の)ドローン160の方向を示す方位シンボル202を拡張現実ディスプレイ112上に重畳させる3008。
拡張現実ディスプレイ112の使用により、人間のオペレータ120は、飛行中に空中210のドローン160の方を見る204ことが可能になる。これにより、スポッターを必要とせずに、オペレータ120の飛行に関する状況認識が向上する。人間のオペレータは、空中210のドローン160との視覚的接触(視線による)を維持するが、後述するように、実際の正しい世界位置における航空データも同時に示される。
ターゲットシンボル200は、空中210のドローン160の位置を示し、これにより人間のオペレータ120が飛行中にドローン160を追跡することが容易になる。実施形態では、ターゲットシンボル200は、図示されるようなレチクルである。レチクル200は、銃器の望遠照準器で一般的に使用される。レチクル200は、図3に示すように、円300と部分的な十字線302の組み合わせを含むことができる。しかし、ドット、ポスト、シェブロンなどの他のパターンをしてもよい。
方位シンボル202は、空中210のドローン160の方位を示し、これにより、オペレータ120は、飛行中にリモートコントローラ150によってドローン160に与えられる操縦コマンドの効果を理解しやすくなる。実施形態では、方位シンボル202は、図示されているように矢印である。図3に示すように、矢印202は、人間のオペレータ120の周りの360度の円の一部を示す円弧304によって増大され得る。矢印202は、後で説明されるように、ドローン160の進行方向を指し得る。
拡張現実ディスプレイ112において、デジタル世界からのターゲットシンボル200および方位シンボル202は、飛行環境210の自然な部分として知覚される没入感の統合を通じて、人間のオペレータ120の現実世界の認識に溶け込む。
ドローン160の向きの実施形態を示す図4、図5、図6、図7、図8および図9を検討する。
実施形態は、方位シンボル202は、空中210のドローン160の方向に関して固定された所定の方向を指す。人間のオペレータ120は所定の方向を認識しているため、人間のオペレータ12にとって、リモートコントローラ150によって与えられるステアリングコマンドが飛行にどのように影響するかを理解することができる。図13に示すように、リモートコントローラ150は、例えば、ステアリングコマンドを与えるために2つのジョイスティック310、312を含むことができる。当然のことながら、他の種類のステアリング装置も、説明した実施形態と互換性がある。しかしながら、リモートコントローラ150は、ドローン160を様々な自由度、すなわちドローン160を左右に傾けるロール、ドローン160を前方または後方に傾けるピッチ、およびドローン160を時計回りまたは反時計回りに回転させるヨーで制御することができる。さらに、高度制御装置は、ドローン160をより高くまたはより低く飛行するように制御する。リモートコントローラ150のいくつかのユーザインタフェース要素は、装置100のユーザインタフェース操作が拡張現実環境で実行されることに加えて、(物理)リモートコントローラ150のユーザインタフェース要素でも実行できるように、装置100と対話するようにプログラムされ得ることに留意されたい。
図4に示す実施形態では、所定の方向は、ドローン160の進行方向400に対して固定される。航法において、ドローン160の進行方向400は、ドローン160の機首が向いているコンパスの方位である。例えば、クアッドコプター(=4つのローターを備えたヘリコプター)であるドローン160は、「自然な」機首を有していない可能性があり、その場合、ドローン160の一方向が単に機首として定義されることに留意されたい。
図5は、実施形態を可能にするために相互に関する必要がある様々な座標系502、504、506を示す。世界座標系502は、装置100の座標系504およびドローン160の座標系506にマッピングされる3次元世界モデル視覚化を定義する。次いで、装置100は、それ自体の座標系504を使用して拡張現実を示すが、世界座標系502におけるドローン160の位置と人間のオペレータ120の位置も示す。
図5および図6に示す実施形態では、装置100は以下を実行する。
・世界座標系502における地上500上のドローン160の位置の取得。
・装置100の拡張現実座標系504における地上500上のドローン160の位置の取得。
・拡張現実座標系504におけるドローン160の位置と世界座標系502におけるドローン160の位置とのロック。
・地上500のドローン160の進行方向400の取得。
・進行方向400を、装置100の拡張現実座標系504における校正方位シンボルの方向とする設定。
・世界座標系502における地上500上のドローン160の位置の取得。
・装置100の拡張現実座標系504における地上500上のドローン160の位置の取得。
・拡張現実座標系504におけるドローン160の位置と世界座標系502におけるドローン160の位置とのロック。
・地上500のドローン160の進行方向400の取得。
・進行方向400を、装置100の拡張現実座標系504における校正方位シンボルの方向とする設定。
このようにして、人間のオペレータ120の頭の動きを常に追跡する拡張現実座標系504は、世界座標502にしっかりと基づいており、実際のコンパス方位602にも従う。このようにして、世界の緯度および経度(世界座標系502のxおよびz)と、拡張現実プレゼンテーションへのコンパス方位情報602の結合が達成される。
より具体的な実施形態では、装置100は以下を実行する。
・世界座標系502における地上500上のドローン160の位置の(リモートコントローラ150またはドローン160からの)取得。
・拡張現実ディスプレイ112上への、校正位置シンボルの重畳。
・校正位置シンボルがドローン160上に(ドローン160の中心またはドローン160上の別の所定の点などに)配置された後、第1のユーザ確認の受信。
・装置100の拡張現実座標系504における地上500上のドローン160の位置の(拡張現実エンジン144からの)取得。
・拡張現実座標系504におけるドローン160の位置と世界座標系502におけるドローン160の位置とのロック。
・地上500上のドローン160の進行方向400を(リモートコントローラ150またはドローン160から)取得。
・拡張現実ディスプレイ112上への、校正方位シンボルの重畳。
・校正方位シンボルがドローン160と(例えば、ドローン160の尾翼と機首の線またはドローン160の別の所定の方向と)位置合わせされた後、第2のユーザの確認の受信。
・進行方向400を、装置100の拡張現実座標系504における校正方位シンボルの方向として設定。
・世界座標系502における地上500上のドローン160の位置の(リモートコントローラ150またはドローン160からの)取得。
・拡張現実ディスプレイ112上への、校正位置シンボルの重畳。
・校正位置シンボルがドローン160上に(ドローン160の中心またはドローン160上の別の所定の点などに)配置された後、第1のユーザ確認の受信。
・装置100の拡張現実座標系504における地上500上のドローン160の位置の(拡張現実エンジン144からの)取得。
・拡張現実座標系504におけるドローン160の位置と世界座標系502におけるドローン160の位置とのロック。
・地上500上のドローン160の進行方向400を(リモートコントローラ150またはドローン160から)取得。
・拡張現実ディスプレイ112上への、校正方位シンボルの重畳。
・校正方位シンボルがドローン160と(例えば、ドローン160の尾翼と機首の線またはドローン160の別の所定の方向と)位置合わせされた後、第2のユーザの確認の受信。
・進行方向400を、装置100の拡張現実座標系504における校正方位シンボルの方向として設定。
第1に、拡張現実システムには、世界座標系502におけるドローン160の位置、および拡張現実座標系504に対するドローン160の位置が示される。拡張現実指標を用いて、ドローン160の中心が拡張現実のビュー112内の正確なスポットに位置していることを示すことによって、そのスポットは、現実世界座標系502と拡張現実座標系504の両方で知られる。この組み合わせにより、世界緯度および経度情報とともに、固定共通位置が得られる。この緯度と経度は、現時点では正確な座標(GPSまたは別の全地球航法衛星システム、またはセルラ無線ベースの測位などの別の測位技術によって提供される)を知っているため、ドローン160から取得される。拡張現実ポインタスティック、または別の種類の校正位置シンボルは、人間のオペレータ120に対して拡張現実ディスプレイ112内の位置を示すことができる。ドローン160の位置を示すとき、人間のオペレータ160の前方で一定の距離を移動して下を向く、このスティックは、ドローン160の中心の上に来るように誘導される。位置を確認するために安定して保持され、その後、座標系502、504が一緒にロックされる。あるいは、これは、マシンビジョンを使用して行うこともでき、ドローン160を見て、拡張現実座標系504におけるその位置を解読し、次にドローン160の緯度、経度をロックし、さらにはその形状に向かうことさえも行うことができる。ドローン160の位置を示すことは多くの方法で行うことができるが、世界と拡張現実座標系502、504を確実にロックするためには確実に行う必要がある。
第2に、ドローン160は、その機首がどこを向いているかを知っており、すなわち、ドローン160は、そのコンパスの方位を度(degree)で伝えるので、これを使用して、座標系502、504の結合を最終的に決定することができる。拡張現実システムは、表示された線、またはドローン160の尾翼線を備えた別の種類の校正方位シンボルと、位置合わせするために使用され、これが達成されると、世界座標系502における表示された線のこのコンパス方位が分かる。したがって、任意の方向、たとえば北の世界コンパスの方位をそこから計算できる。
オプションのステップとして、世界位置(緯度、経度)がドローン160から取得されるときに、正確な世界座標に基づいてマップシステムから正確な高度(世界座標系502におけるy)を問い合わせることもできる。したがって、(正確な精度が必要な場合、地面500からドローン160の上面のドローン固有のオフセットを使用して)空間内のこの点の高度を校正することもでき、そのため、今後は他のワールドポイントの地形高度を正確に決定するためにマップデータを使用する。要約すると、ワールドロックを実現するには、緯度、経度、場合によっては高度、およびコンパスの方位が必要になる場合がある。
この結合の後、システム全体の他のすべては、ドローン160が世界座標502において実際にどこにあるか、そして世界の正確にその周囲に何があるのかという知識に基づいて構築される。カップリングに関する説明された実施形態は、他のすべての実施形態、また独立請求項および他の従属請求項に関連して説明された実施形態とは無関係に、独立した実施形態として動作し得ることに留意されたい。
飛行に関するデータは世界座標502にマッピングされ、その結果、拡張された現実座標系504にロックされている世界座標系502で表現されるその3次元位置を知ることを利用してその視覚化が行われるように表示される3004、3006、3008。
図7に示す実施形態では、状況認識は、数値情報によってさらに強化され得る。装置100は、人間のオペレータ120が空中210のドローン160の方を見ている204間、ターゲットシンボル200と視覚的に結合された数値およびスケール700を使用して、拡張現実ディスプレイ112上にドローン160の巡航高度704を重畳させる。図7に示すように、スケール700は、それぞれが特定の高度を示す水平線を含むことができる。この装置はまた、人間のオペレータ120が空中210のドローン160の方を見ている204間、方位シンボル202と視覚的に結合された度702でのドローン160の進行方向706を拡張現実ディスプレイ112上に重畳させる。これは、熟練した人間のオペレータ120にとって有用であり得る。
図8に示す実施形態では、装置100は、人間のオペレータ120が空中210のドローン160の方を見ている204間、拡張現実ディスプレイ112上に、地上500上のドローン160の地理的位置まで水平に延び、そこから間接視線ガイドライン802が空中210のドローン160の巡航高度においてターゲットシンボル200に垂直に延びる、間接視線ガイドライン800を重畳させる。これは、人間のオペレータ120が、まず、水平ガイドライン800を観察して、地表500上のドローン160の地理的位置を確認し、次に、垂直ガイドライン802を観察して、ドローン160が空中210内のどこにあるかを把握することができるため、状況認識をさらに強化することができる。
図9に示す実施形態では、装置100は、人間のオペレータ120が空中210のドローン160の方を見ている204間、空中210のドローン160の航跡902および速度を示す航跡シンボル900を拡張現実ディスプレイ112上に重畳させる。ナビゲーションにおいて、航跡902は、ドローン160が実際に移動する経路である。進行方向400と航跡902との間の差は、空中(Air)210の動き(気流など)によって引き起こされる。航跡902および速度を示すことによって、人間のオペレータ120は、必要に応じて調整できる現在の制御の効果を予測する。
次に、図10、図11、図12に示す、ドローン160に関連して障害物を視覚化する実施形態を検討する。
図10に示す実施形態では、装置100は、人間のオペレータ120がドローン160の方向を見ている204間、ドローン160から現実の物体1004までの距離1002を描く障害指標シンボル1000を拡張現実ディスプレイ112上に重畳させる。距離1002は、ドローン160と現実の物体1004との間の最短距離であり得る。図10に示すように、障害指標シンボル1000は、矢印を使用して距離をマークすることができ、場合によっては距離1002を示す数値によって拡張される。現実の物体1004は、建物、橋などの人工物であってもよいし、丘や森などの自然物であってもよい。
図11は、追加の実施形態を示しており、障害指標シンボル1000は、現実の物体1004上に少なくとも部分的に重ね合わされた視覚指標1100を含む。図11に示すように、視覚指標1100は、現実の物体1004に重ねられたシェーディングまたは同様の視覚効果であってもよい。このようにして、人間のオペレータ120は、ドローン160が物体1004に近づくと、衝突の危険を即座に認識する。
図12は、図10の実施形態または図11の実施形態のいずれかに適用可能なさらなる実施形態を示す。障害指標シンボル1200は、ドローン160から現実の物体1206までの最短の水平距離1202および垂直距離1204を表す要素を含む。このようにして、現実の物体1206との衝突を回避するために、ドローン160の垂直方向および水平方向の両方の動きの影響を認識することができる。
次にドローン160に関して中間地点を視覚化する実施形態を示す図13を検討する。装置100は、人間のオペレータ120の地理的位置1302、人間のオペレータ120の地理的位置1304を示すマップ1300を、拡張現実ディスプレイ112上に重ね合わされる。このようにして、人間のオペレータ120は、飛行に関する周囲の状況を直観的によりよく理解することができる。図13に示すように、マップ1300およびドローン160は人間のオペレータ120の視野内に同時に存在することができ、視線はドローンに向けられる204またはマップ1300に向けられる1310が交互に起こり得る。人間のオペレータ120がドローン160の方向204を見ている間、装置100は、地上500上の中間地点1306の地理的位置から始まり中間地点1306の所定の高度に向かって延びる垂直中間地点シンボル1308を拡張現実ディスプレイ112上に重畳する。中間地点シンボル1308の狭い部分は、地球500上の地理的位置を正確に示すことができるが、中間地点シンボル1308のより広い部分は、空中210における中間地点の設定高度を示すことができる。中間地点シンボル1308は、現実世界の正しい位置に示されている。
次に、図14および図15は、ドローン160によって捕捉されたデータを視覚化する実施形態を示す。装置100は、人間のオペレータ120が空中210のドローン160の方を見ている204間、ターゲットシンボル200の近くの、ドローン160に搭載された1つ以上のセンサ1402を使用してリアルタイムで捕捉された1つ以上の視覚要素1400を、拡張現実ディスプレイ112上に重畳させ、人間のオペレータ120が、空中210のドローン160の方を見ている204間、拡張現実ディスプレイ112上で、視線が遮られないように1つ以上の視覚要素1400を配置する。視覚要素1400は、図示のようにターゲットシンボル200のどちらかの側に配置することができるが、ターゲットシンボル200の周囲のどこにでも配置することができる。人間のオペレータ120は、視覚要素1400を素早く一瞥1404することができるが、主にドローン160の方を見て204、同時にドローン170を操縦する。図示の実施形態では、画像センサ1402は画像またはビデオフィードをデータとして捕捉する。このようにして、人間のオペレータ120は、画像センサ1402が所望のビューを撮影するようにドローン120を操縦することができる。画像センサは、写真カメラやビデオカメラなどの(通常の)可視光カメラとして動作できることに留意されたい。これに加えて、画像センサは、例えば、熱(または赤外線)カメラ、マルチスペクトルカメラ、ハイパースペクトルカメラ、またはコロナ放電カメラとして動作することができる。ドローン160に搭載された1つ以上のセンサ1402は、限定されないが、ライダー(光検出および測距、またはレーザー画像化、検出および測距、または3Dレーザー走査)センサ、ソナー(音声ナビゲーションおよび測距)センサ、レーダー(無線探知および測距)センサ、化学センサ、生物学的センサ、放射線センサ、粒子センサ、磁気センサ、ネットワーク信号強度センサなどのうちの1つ以上を含むことができる。ドローン160は、これらのセンサ1402の任意の組み合わせをペイロードとして搭載することができ、そのデータは、動的に配置された1つ以上の視覚要素1400を用いて説明したように視覚化される。
図16および図17は、ドローン160の飛行に関するマップを視覚化する実施形態を示す。人間のオペレータ120がマップ1600、1700のレイアウトを選択してもよいし、装置100が飛行状況に応じてどのレイアウトを使用するかを自動的に決定してもよい。装置100は、人間のオペレータ120が空中210のドローン160の方を見ている204間、拡張現実ディスプレイ112上に、ターゲットシンボル200の近傍における人間のオペレータ120の地理的位置1602とドローン160の地理的位置1604を示す垂直レイアウトのマップ1600を重畳させる。あるいは、人間のオペレータ120が地面500の方向を見ている1706間、装置100は、拡張現実ディスプレイ112上に、人間のオペレータ112の地理的位置1702とドローン160の地理的位置1704とを示す、水平レイアウトのマップ1700を重畳させる。垂直レイアウトマップ1600を使用することにより、人間のオペレータがドローン160の方を注視204し、横にあるマップ1600を見るとき、状況認識を常に保持され得る。水平レイアウトマップ1700を使用することにより、人間のオペレータ120は地面500の方を見る1706必要があるが、図示するように、マップ1700の表面が地表面500と平行であるため、マップ1700はより大きく、より直観的に示され得る。
図17は、使用されるマップ1700が、三次元の建物1708によって示される高度データも示す三次元地形図であり得ることも示す。
図18および図19は、装置100のメニュー構造を視覚化する実施形態を示す。装置100は、人間のオペレータ120が地面500の方を見ている1804間、拡張現実ディスプレイ112上に、人間のオペレータ120の周囲にメニュー構造1800を重畳させる。装置100は、オペレータ120からのジェスチャ1802をメニュー構造1800に関するコマンドとして検出し、そのコマンドに基づいて拡張現実ディスプレイ112における飛行に関するデータの表示1900を制御する。このようにして、人間のオペレータ120は装置100を素早く操作することができる。図示するように、図18は、ターゲットシンボル200と方位シンボル202の基本的な表示を示し、図19において、人間のオペレータ120は、図7を参照して前述したように、ターゲットシンボル200と視覚的に結合された数値およびスケール700を使用してドローン160の巡航高度を表示することをメニュー構造1800から選択した。
図20、図21、図22は、ドローン160の物理環境に関する外部データを視覚化する実施形態を示す。
図1Aおよび図1Bに示すように、装置100は、ドローン160の物理環境に関する外部データ114を受信する外部データ通信インタフェース110を備える。外部データ通信インタフェース110は、実施形態では、内部データ通信インタフェース108を使用して実装され得ることに留意されたい。装置100は、外部データ114の1つ以上の視覚化2000を拡張現実ディスプレイ112上に重畳させる。このようにして、装置100は、外部データソースを拡張現実ディスプレイ112に組み込むことによって、人間のオペレータ120の状況認識を高めることができる。上述したように、外部データ114は、世界座標502にマッピングされ、その結果、拡張現実座標系504にロックされる、世界座標系502で表現されるその三次元位置を知ることを利用して視覚化されるように表示される。様々なソースから外部データを取得することに加えて、外部データ通信インタフェース110は、飛行に関するデータを外部受信機116に通信するためにも使用され得る。データは、限定されないが、ドローン160の位置、人間のオペレータ120からの音声、ドローン160からの1つ以上のビデオフィードなどを含む。
図20に示すように、外部データ114は気象データと、気象データを示す1つ以上の視覚化2000とを含むことができる。実施形態では、気象データは、風速および風向に関する情報を含む。方向は矢印で示され、図示するような速度は矢印の目盛または数値で示される。さらに、または代わりに、気象データは、乱気流(予測または既知)、湿度、雲の視覚化、雨警報、ひょう警報、雪警報、暴風雨警報、雷に関する警報、照明条件(時刻、太陽および/または月の位置)、霧、気温と気圧、視程、露点(航空パイロットにとって重要)、“体感”温度(“feels like” temperature)の1つ以上を含むことができる。そして、これらすべては時間に関連付けてもよい、すなわち、到来する雲前線や風の変化などの天気予報を視覚化してもよい。
図21に示すように、外部データは、空域の分類を含む114の航空交通制御データおよび、空中210のドローン160の位置と一致する空域の分類を示す1つ以上の視覚化2100、2102を含むことができる。図示するように、自由空域2100は「I」でマークされてもよく、制限空域2102は「II」でマークされてもよく、図示するような影付きの長方形、あるいは別の三次元形状(ポリゴンメッシュなど)、あるいは二次元形状(ポリゴンなど)であり得る。一般に、空域の分類は、限定されないが、ドローン飛行禁止区域(エリア、容積)、ドローンおよび/またはその他の航空運用のための空域の予約と通知、飛行場管制区域、空域管制区域、送電線およびその他の障害物、国境地帯、さまざまな高度の前述のすべて、警告/危険/制限区域、UVA予約エリア、UAS予約エリア、模型飛行機予約エリアを含むことができる。航空マップは、さまざまな壁、屋根、飛行レベルなどを備えた三次元ポリゴンメッシュを使用して視覚化することができ、それらはすべて、拡張現実ディスプレイ112に見られるように正しい場所にある。
図22に示すように、外部データは、空中210の航空機2200の位置を含む114の航空交通制御データを含むことができ、1つ以上の視覚化2202、2204は、空中210の航空機2200の位置を示す。実施形態は、空中210のドローン160の位置から所定の距離内(例えば、半径3、5、または10キロメートル以内など)を飛行する航空機2200のさらなる視覚化2202、2204を示す。視覚化は航空機2200の位置を示す矢印2202、2204により実装されてもよく、追加的にまたは代替的に、航空機2200のシミュレーションが示されてもよい。
図23、図24、図25、図26および図27は、異なる視認性の間のドローン160への視線を視覚化する実施形態を示す。
図23の実施形態では、装置100は、視界が良好なとき、人間のオペレータ120が空中210のドローン160の方を見ている204間、のドローン160の飛行に関するデータを、視覚の視線で(with a visual line of sight)拡張現実ディスプレイ112上に重畳させる。これは、理想的な飛行状況である。
図24に示す実施形態では、装置100は、視界が低下したとき、人間のオペレータ120が空中210のドローン160を見ている204間、ドローン160の飛行に関するデータを拡張された視線で、拡張現実ディスプレイ112上に重畳させる。拡張された視線は、人間のオペレータ120がターゲットシンボル200の正しい方向を見るように誘導することによって達成され得る。任意選択で、シミュレートされたドローン160が正しい位置に示され得る。視界の低下は、低照度条件、雲、霧、スモッグ、雨、降雪、またはその他の物理現象によって生じ得る。
図25の実施形態では、装置100は、視界が遮られたときに、人間のオペレータ120が空中210のドローン160を見ている204間、ドローン160へ拡張され、かつ、シミュレートされた視線で、飛行に関するデータを、拡張現実ディスプレイ112上に重畳させる。視界の遮蔽は、障害物2502によって引き起こされる可能性があり、すなわち、ドローン160が障害物2502の陰にある場合である。障害物2502は、図10および図11の現実の物体1004であり得、すなわち、障害物2502は、建物、橋などの人工物であってもよく、または丘、森林などの自然物であってもよい。拡張は、人間のオペレータ120をターゲットシンボル200で正しい方向を見るように誘導することによって達成され、シミュレートされたドローン160を正しい位置に示すことによって達成される。
実施形態では、装置100は、人間のオペレータ120が、長距離視界であるときに、人間のオペレータ120が空中210のドローン160の方を見ている204間、ドローンへの拡張された視線で、飛行に関するデータを拡張現実ディスプレイ112上に重畳させる。これはいかなる図面にも示されていないが、基本的に、ドローン160は、例えば空の上、または地平線近くにあり、人間のオペレータ120は、ターゲットシンボル200で正しい方向を見るように誘導され、それによって、人間のオペレータ120は、ドローン160を遠くにある小さな物体としてしか見ることができない。
図26および図27に示す実施形態では、装置100は、人間のオペレータ120が空中210のドローン160の方を見ている204間、視線2602が遮られないように、拡張現実ディスプレイ112上で飛行に関するデータの表示2600を調整する2700。図26に示すように、人間のオペレータ120は、自由な視線2602でドローン160の方を見る204。しかしながら、ドローンが降下しているとき2604、マップ2600は最終的に視線2602を遮るであろう。図27に示すように、ドローン160は現在比較的低空飛行しているが、マップ2600の左への移動2700により視線2602は自由なままである。
最後に、2つの装置100、2800を備えるシステムの実施形態を示す図28および図29を検討する。
第1の装置100は、第1の人間のオペレータ120がリモートコントローラ150を用いて210、ドローン160を空中で飛行させる支援に使用される。
空中210のドローン160の位置に関する第1の人間のオペレータ120の第1の地理的位置2814は、第1のターゲットシンボル200および第1の方位シンボル202を含む飛行に関するデータを、第1の装置100の第1の拡張現実ディスプレイ112に重畳してレンダリングするため、第1の視点の調整に使用される。
図28に示すように、第2の装置2800は、空中210のドローン160の飛行に関して第2の人間のオペレータ2802に情報を与えるために使用される。
空中210のドローン160の位置に関する第2の人間のオペレータ2802の第2の地理的位置2804は、第2のターゲットシンボル2806および第2の方位シンボル2808を含む飛行に関するデータを、第2の装置2800の第2の拡張現実ディスプレイ2810に重畳してレンダリングするため、第2の視点の調整に使用される。
このようにして、第2の人間のオペレータ2802は、少なくとも、空中210のドローン160の飛行を観察2812することができる。これは、例えば、単に楽しみのために、教育目的のために、飛行免許の試験に合格するために、監視のために、行方不明者の追跡のために、あるいは第1の人間のオペレータ120を支援するために、有用であり得る。上述したように、オペレータ120、2802の一方または両方には、ドローン160に搭載された1つ以上のセンサ1402を使用してリアルタイムで捕捉されたデータに基づいて、1つ以上の視覚要素が提供されてもよい。
図29に示す実施形態では、第2の装置2800は、ドローン160に搭載された1つ以上のセンサ1402の制御2902に関して第2の人間のオペレータ2802の支援に使用され、一方、第1の人間のオペレータ120は、ドローン160の飛行方向2908および速度を制御する。
例えば、センサ1402が前述した画像センサである場合、第2の人間のオペレータ2802の第2の地理的位置2804は、第2の装置2800の第2の拡張現実ディスプレイ2810に重畳される、飛行に関するデータをレンダリングする第2の視点を調整するために使用される。飛行に関するデータは、ドローン160に搭載された1つ以上のビデオカメラ2900からリアルタイムで捕捉された1つ以上のビデオフィードも含む。図29に示すように、1つ以上のビデオフィード2904が第2の拡張現実ディスプレイ2810上に重畳される。
図29の使用例は、両方のオペレータ120、2802が拡張現実ディスプレイ112、2810上で同じ情報を示され得、また、両方ともリモートコントローラ150、2906を有するため、飛行に対する責任は、オペレータ120、2802の間で飛行中にシームレスに転嫁し得ることに留意されたい。これは、訓練セッション中または長い任務中に特に役立つ可能性がある。特に危険なまたは制限された空域では、認可されたパイロット2802がドローン160を安全に操縦し、その後、(元の)オペレータ120がドローン160の制御を取り戻すことも想定される。
図28および図29に示す、第2の人間のオペレータ2802が、ドローン160および第1の人間のオペレータ120の近くに物理的に存在するシナリオは限定されないことに留意されたい。前述したように、外部データ通信インタフェース110は、飛行に関するデータを外部受信機116に通信することができる。受信機116は、クライアントサーバアーキテクチャ、クラウドコンピューティングアーキテクチャ、ピアツーピアシステム、または別の適用可能な分散コンピューティングアーキテクチャに従って、第1の装置100および第2の装置2800と相互運用する、ネットワーク化されたコンピュータサーバであってもよい。このようにして、第2の人間のオペレータ120は、たとえ別の都市、国、または大陸にいても遠く離れていても、依然として上述したように観察したり支援したりすることができる。当然のことながら、特に、例えば遠隔の第2の人間のオペレータ2802が1つ以上のセンサ1402を制御2902している場合、データ送信遅延を最小限に抑えて考慮する必要がある。
本発明を添付図面に従って1つ以上の実施形態を参照して説明したが、本発明がそれに限定されず、添付の特許請求の範囲内でいくつかの方法で修正できることは明らかである。すべての単語および表現は広く解釈されるべきであり、実施形態を限定するものではなく、例示することを意図している。技術の進歩に伴い、本発明の概念が様々な方法で実現できることが当業者には明らかであろう。
Claims (23)
- リモートコントローラ(150)を用いてドローン(160)を飛行させる人間のオペレータ(120)を支援する装置(100)であって、
前記リモートコントローラ(150)から飛行に関するデータを受信する内部データ通信インタフェース(108)と、
前記人間のオペレータ(120)に、前記飛行に関するデータを表示する拡張現実ディスプレイ(112)と、
コンピュータプログラムコード(106)を含む1つ以上のメモリ(104)と、
前記コンピュータプログラムコード(106)を実行し、前記装置(100)に、少なくとも、前記人間のオペレータ(120)が前記ドローン(160)の方を見ている(204)間、前記ドローン(160)の位置を示すターゲットシンボル(200)を前記拡張現実ディスプレイ(112)上に重畳させ、前記人間のオペレータ(120)が前記ドローン(160)の方を見ている(204)間、前記ドローン(160)の方向を示す方位シンボル(202)を前記拡張現実ディスプレイ(112)上に重畳させる、1つ以上のプロセッサ(102)と、
を備える装置。 - 前記方位シンボル(202)は、空中(210)の前記ドローン(160)の方向に関連して固定された所定の方向を示す、
請求項1に記載の装置。 - 前記所定の方向は、前記ドローン(160)の進行方向(400)に関連して固定される
請求項2に記載の装置。 - 世界座標系(502)における地上(500)の前記ドローン(160)の位置を取得し、
前記装置(100)の拡張現実座標系(504)における前記地上(500)の前記ドローン(160)の位置を取得し、
前記拡張現実座標系(504)における前記ドローン(160)の位置と世界座標系(502)におけるドローン(160)の位置をロックし、
前記地上(500)のドローン(160)の進行方向(400)を取得し、
前記進行方向(400)を、前記装置(100)の前記拡張現実座標系(504)における校正方位シンボルの方向と設定する、
請求項1から3のいずれか1に記載の装置。 - 前記人間のオペレータ(120)が空中(210)の前記ドローン(160)の方を見ている(204)間、前記ターゲットシンボル(200)と視覚的に結合された数値およびスケール(700)を用いて、前記ドローン(106)の巡航高度(704)を、前記拡張現実ディスプレイ(112)上に重畳し、
前記人間のオペレータ(120)が前記空中(210)の前記ドローン(160)の方を見ている(204)間、前記方位シンボル(202)と視覚的に結合された角(degree)(702)で表された前記ドローン(106)の進行方向(400)を、前記拡張現実ディスプレイ(112)上に重畳する、
請求項1から4のいずれか1に記載の装置。 - 前記人間のオペレータ(120)が空中(210)の前記ドローン(160)の方を見ている(204)間、地上(500)上のドローン(160)の地理的位置まで水平に伸び、空中(210)の前記ドローンの巡航高度の前記ターゲットシンボル(200)まで垂直に延長する間接的な視線ガイドライン(800)を、前記拡張現実ディスプレイ(112)上に重畳する、
請求項1から5のいずれか1に記載の装置。 - 前記人間のオペレータ(120)が空中(210)の前記ドローン(160)の方を見ている(204)間、航跡(902)を示す航跡シンボル(900)および前記空中(210)の前記ドローン(160)のスピードを、前記拡張現実ディスプレイ(112)上に重畳する、
請求項1から6のいずれか1に記載の装置。 - 前記人間のオペレータ(120)が空中(210)の前記ドローン(160)の方を見ている(204)間、前記ドローン(160)から現実の物体(1004)までの距離(1002)を表す障害指標シンボル(1000)を、前記拡張現実ディスプレイ(112)上に重畳する、
請求項1から7のいずれか1に記載の装置。 - 前記障害指標シンボル(1000)は、少なくとも前記現実の物体(1004)上に重畳される視覚指標(1100)を含む
請求項8に記載の装置。 - 前記人間のオペレータ(120)の地理的位置(1302)、前記ドローン(160)の地理的位置(1304)、および、中間地点(waypoint)(1306)を示すマップ(1300)を、前記拡張現実ディスプレイ(112)上に重畳し
前記人間のオペレータ(120)が空中(210)の前記ドローン(160)の方を見ている(204)間、地上(500)の前記中間地点(1306)の地理的位置から開始し、前記中間地点(1306)の所定高度に延長する垂直中間地点シンボル(1308)を、前記拡張現実ディスプレイ(112)上に重畳する、
請求項1から9のいずれか1に記載の装置。 - 前記人間のオペレータ(120)が空中(210)の前記ドローン(160)の方を見ている(204)間、前記ターゲットシンボル(200)の近傍で前記ドローン(160)に搭載された1つ以上のセンサ(1402)を使用してリアルタイムで捕捉されたデータに基づく1つ以上の視覚要素(1400)を、前記拡張現実ディスプレイ(112)上に重畳し、
前記人間のオペレータ(120)が前記空中(210)の前記ドローン(160)の方を見ている(204)間、視線が遮られないように、前記1つ以上の視覚要素(1400)を、前記拡張現実ディスプレイ(112)に配置する、
請求項1から10のいずれか1に記載の装置。 - 前記人間のオペレータ(120)が空中(210)の前記ドローン(160)の方を見ている(204)間、前記人間のオペレータ(120)の地理的位置(1602)および前記ターゲットシンボル(200)の近傍の前記ドローン(160)の地理的位置(1604)を示す垂直レイアウトのマップ(1600)を、前記拡張現実ディスプレイ(112)上に重畳し、
または、
前記人間のオペレータ(120)が前記空中(210)の前記ドローン(160)の方を見ている(204)間、前記人間のオペレータ(112)の地理的位置(1702)と前記ドローン(1706)の地理的位置(1704)を示す水平レイアウトのマップ(1700)を、前記拡張現実ディスプレイ(112)上に重畳する、
請求項1から11のいずれか1に記載の装置。 - 前記人間のオペレータ(120)が空中(210)の前記ドローン(160)の方を見ている(1804)間、前記人間のオペレータ(120)の周囲のメニュー構造(1800)を、前記拡張現実ディスプレイ(112)上に重畳し、
前記人間のオペレータ(120)から、前記メニュー構造(1800)に関するコマンドとして、ジェスチャ(1802)を検出し、
前記拡張現実ディスプレイ(112)上で、前記コマンドに基づいて、飛行に関するデータの表示(1900)を制御する、
請求項1から12のいずれか1に記載の装置。 - 前記ドローン(160)の物理環境に関する外部データ(114)を受信する外部データ通信インタフェース(110)を備え、
前記外部データ(114)の1つ以上の視覚化(visualizations)(2000)を、前記拡張現実ディスプレイ(112)上に重畳する、
請求項1から13のいずれか1に記載の装置。 - 前記外部データ(114)は、気象データを含み、前記気象データを示す1つ以上の視覚化(2000)を含む、
請求項14に記載の装置。 - 前記外部データ(114)は、空域の分類を有する航空交通制御データを含み、前記1つ以上の視覚化(2100,2102)は、空中(210)の前記ドローン(160)の位置と一致する前記空域の分類を示す
請求項14または15に記載の装置。 - 前記外部データ(114)は、空中(210)の航空機(2200)の位置を有する航空交通制御データを含み、前記1つ以上の視覚化(2202,2204)は、前記空中(210)の前記航空機(2200)を示す
請求項14、15または16のいずれかに記載の装置。 - 人間のオペレータ(120)が空中(210)のドローン(160)の方を見ている(204)間、
視界が良好なとき、前記ドローン(160)への視界の視線(2300)で、
視界が低下したとき、前記ドローン(160)への拡張された視線(2400)で、
視界が遮られているとき、前記ドローン(160)への拡張およびシミュレートされた視線で、または、
長距離の視認性が確保されているとき、前記ドローン(160)への拡張された視線で、
飛行に関するデータを、拡張現実ディスプレイ(112)上に重畳させる、
請求項1から16のいずれか1に記載の装置。 - 前記人間のオペレータ(120)が空中(210)の前記ドローン(160)の方を見ている間、視線(2602)が遮られないように、前記飛行に関するデータの前記表示(2600)を、前記拡張現実ディスプレイ(112)上で、調整(2700)する
請求項1から18のいずれか1に記載の装置。 - 請求項1から19のいずれかに記載の2つの装置を有するシステムであって、
第1の装置(100)は、第1の人間のオペレータ(120)がリモートコントローラ(150)を用いて(210)、ドローン(160)を空中で飛行させる支援に使用され、前記空中(210)の前記ドローン(160)の位置に関する前記第1の人間のオペレータ(120)の地理的位置(2814)は、第1の装置(100)の第1の拡張現実ディスプレイ(112)上に重畳される第1のターゲットシンボル(200)および第1の方位シンボル(202)を含む飛行に関するデータをレンダリングする第1の視点の調整に利用され、
第2の装置(2800)は、前記空中(210)の前記ドローン(160)の飛行に関する第2の人間のオペレータ(2802)への通知に用いられ、前記第2の装置(2800)の第2の拡張現実ディスプレイ(2810)上に重ねられる第2のターゲットシンボル(2806)および第2の方位シンボル(2808)を含む、前記空中(210)の前記ドローン(160)の位置に対する第2の人間のオペレータ(2802)の第2の地理的位置(2804)は、飛行に関するデータをレンダリングする第2の視点の調整に利用される、
システム。 - 前記第2の装置(2800)は、前記ドローン(160)に搭載される1つ以上のセンサ(1402)の制御に関する、前記第2の人間のオペレータ(2802)の支援に利用される、
請求項20に記載のシステム。 - リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する方法であって、
前記リモートコントローラから、前記飛行に関するデータを受信し(3002)、
前記人間のオペレータへの前記飛行に関する前記データを、拡張現実ディスプレイ上に表示し(3004)、
前記人間のオペレータが前記ドローンの方を見ている間、前記ドローンの位置を示すターゲットシンボルを前記拡張現実ディスプレイ上で重畳し(3006)、
前記人間のオペレータが前記ドローンの方を見ている間、前記ドローンの方向を示す方位シンボルを前記拡張現実ディスプレイ上に重畳する(3008)、
方法。 - 1つ以上のプロセッサ(102)に実行させることで、リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する方法を実現する、コンピュータプログラムコード(106)を含むコンピュータ可読媒体(170)であって、
前記方法は、
前記リモートコントローラから、前記飛行に関するデータの受信(3002)と、
前記人間のオペレータへの前記飛行に関する前記データの、拡張現実ディスプレイ上への表示(3004)と、
前記人間のオペレータが前記ドローンの方を見ている間、前記ドローンの位置を示すターゲットシンボルの前記拡張現実ディスプレイ上での重畳(3006)と、
前記人間のオペレータが前記ドローンの方を見ている間、前記ドローンの方向を示す方位シンボルの前記拡張現実ディスプレイ上での重畳(3008)とを含む、
コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21158161.6 | 2021-02-19 | ||
EP21158161.6A EP4047434B1 (en) | 2021-02-19 | 2021-02-19 | Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses |
PCT/EP2022/053921 WO2022175379A1 (en) | 2021-02-19 | 2022-02-17 | Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024516480A true JP2024516480A (ja) | 2024-04-16 |
Family
ID=74672174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023550305A Pending JP2024516480A (ja) | 2021-02-19 | 2022-02-17 | リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置、方法およびソフトウェア |
Country Status (8)
Country | Link |
---|---|
US (2) | US11409280B1 (ja) |
EP (2) | EP4273656A3 (ja) |
JP (1) | JP2024516480A (ja) |
KR (1) | KR20230158498A (ja) |
CN (1) | CN117222955A (ja) |
ES (1) | ES2970543T3 (ja) |
PL (1) | PL4047434T3 (ja) |
WO (1) | WO2022175379A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4273656A3 (en) * | 2021-02-19 | 2023-12-20 | Anarky Labs Oy | Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10488860B1 (en) * | 2006-02-21 | 2019-11-26 | Automodality, Inc. | Geocoding data for an automated vehicle |
US20150309316A1 (en) * | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US9097890B2 (en) * | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
US9134534B2 (en) * | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
FR2957266B1 (fr) * | 2010-03-11 | 2012-04-20 | Parrot | Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante. |
TWI649675B (zh) * | 2013-03-28 | 2019-02-01 | 新力股份有限公司 | Display device |
US8903568B1 (en) * | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
JP2015119373A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
US9595138B2 (en) * | 2014-05-29 | 2017-03-14 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Augmented reality display device |
WO2016015251A1 (en) * | 2014-07-30 | 2016-02-04 | SZ DJI Technology Co., Ltd. | Systems and methods for target tracking |
CN107847289A (zh) * | 2015-03-01 | 2018-03-27 | 阿里斯医疗诊断公司 | 现实增强的形态学手术 |
FR3035523B1 (fr) * | 2015-04-23 | 2017-04-21 | Parrot | Systeme de pilotage de drone en immersion |
JP6572618B2 (ja) * | 2015-05-08 | 2019-09-11 | 富士通株式会社 | 情報処理装置、情報処理プログラム、情報処理方法、端末装置、設定方法、設定プログラム |
FR3046225B1 (fr) * | 2015-12-29 | 2019-06-28 | Thales | Affichage de donnees meteorologiques dans un aeronef |
FR3046226B1 (fr) * | 2015-12-29 | 2020-02-14 | Thales | Affichage de donnees meteorologiques dans un aeronef |
US10317989B2 (en) * | 2016-03-13 | 2019-06-11 | Logitech Europe S.A. | Transition between virtual and augmented reality |
CN107223223B (zh) * | 2016-04-29 | 2021-08-13 | 深圳市大疆创新科技有限公司 | 一种无人机第一视角飞行的控制方法及系统、智能眼镜 |
US10474144B2 (en) * | 2016-08-01 | 2019-11-12 | The United States Of America, As Represented By The Secretary Of The Navy | Remote information collection, situational awareness, and adaptive response system for improving advance threat awareness and hazardous risk avoidance |
CN107278262B (zh) * | 2016-11-14 | 2021-03-30 | 深圳市大疆创新科技有限公司 | 飞行轨迹的生成方法、控制装置及无人飞行器 |
CN106500716A (zh) * | 2016-12-13 | 2017-03-15 | 英业达科技有限公司 | 车辆导航投影系统及其方法 |
CN106643781A (zh) * | 2016-12-14 | 2017-05-10 | 英业达科技有限公司 | 车辆导航显示系统及其方法 |
JP2018112809A (ja) * | 2017-01-10 | 2018-07-19 | セイコーエプソン株式会社 | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム |
US10532814B2 (en) * | 2017-09-11 | 2020-01-14 | Disney Enterprises, Inc. | Augmented reality travel route planning |
US20190088025A1 (en) * | 2017-09-15 | 2019-03-21 | DroneBase, Inc. | System and method for authoring and viewing augmented reality content with a drone |
US10678238B2 (en) * | 2017-12-20 | 2020-06-09 | Intel IP Corporation | Modified-reality device and method for operating a modified-reality device |
US11153503B1 (en) * | 2018-04-26 | 2021-10-19 | AI Incorporated | Method and apparatus for overexposing images captured by drones |
JP2019211249A (ja) * | 2018-05-31 | 2019-12-12 | パナソニック株式会社 | 飛行物体検知システムおよび飛行物体検知方法 |
US12019441B2 (en) * | 2018-11-30 | 2024-06-25 | Rakuten Group, Inc. | Display control system, display control device and display control method |
CN110244760A (zh) * | 2019-06-06 | 2019-09-17 | 深圳市道通智能航空技术有限公司 | 一种避障方法、装置和电子设备 |
KR20210078164A (ko) * | 2019-12-18 | 2021-06-28 | 엘지전자 주식회사 | 드론을 제어하기 위한 사용자 단말, 시스템 및 제어 방법 |
US11043038B1 (en) * | 2020-03-16 | 2021-06-22 | Hong Kong Applied Science and Technology Research Institute Company Limited | Apparatus and method of three-dimensional interaction for augmented reality remote assistance |
US11804052B2 (en) * | 2020-03-26 | 2023-10-31 | Seiko Epson Corporation | Method for setting target flight path of aircraft, target flight path setting system, and program for setting target flight path |
EP4273656A3 (en) * | 2021-02-19 | 2023-12-20 | Anarky Labs Oy | Apparatus, method and software for assisting an operator in flying a drone using a remote controller and ar glasses |
-
2021
- 2021-02-19 EP EP23198555.7A patent/EP4273656A3/en active Pending
- 2021-02-19 EP EP21158161.6A patent/EP4047434B1/en active Active
- 2021-02-19 PL PL21158161.6T patent/PL4047434T3/pl unknown
- 2021-02-19 ES ES21158161T patent/ES2970543T3/es active Active
- 2021-11-29 US US17/536,500 patent/US11409280B1/en active Active
-
2022
- 2022-02-17 JP JP2023550305A patent/JP2024516480A/ja active Pending
- 2022-02-17 WO PCT/EP2022/053921 patent/WO2022175379A1/en active Application Filing
- 2022-02-17 CN CN202280029353.7A patent/CN117222955A/zh active Pending
- 2022-02-17 KR KR1020237031900A patent/KR20230158498A/ko active Search and Examination
- 2022-02-18 US US17/675,028 patent/US11669088B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20220269266A1 (en) | 2022-08-25 |
US11669088B2 (en) | 2023-06-06 |
WO2022175379A1 (en) | 2022-08-25 |
EP4047434A1 (en) | 2022-08-24 |
KR20230158498A (ko) | 2023-11-20 |
CN117222955A (zh) | 2023-12-12 |
ES2970543T3 (es) | 2024-05-29 |
US11409280B1 (en) | 2022-08-09 |
EP4273656A3 (en) | 2023-12-20 |
EP4047434C0 (en) | 2023-11-08 |
PL4047434T3 (pl) | 2024-04-15 |
US20220269267A1 (en) | 2022-08-25 |
EP4273656A2 (en) | 2023-11-08 |
EP4047434B1 (en) | 2023-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11410571B2 (en) | Augmented reality for vehicle operations | |
EP2413101B1 (en) | Method and system for attitude differentiation in enhanced vision images of an aircraft cockpit display | |
US10678238B2 (en) | Modified-reality device and method for operating a modified-reality device | |
JP2728919B2 (ja) | ヘルメット搭載型表示装置及びその表示方法 | |
EP2782086A1 (en) | Methods and systems for colorizing an enhanced image during alert | |
US11398078B2 (en) | Gradual transitioning between two-dimensional and three-dimensional augmented reality images | |
CN109436348B (zh) | 用于调节所显示的传感器图像视场的航空器系统和方法 | |
ES2892489T3 (es) | Interfaz de control gráfica para UxV | |
US11669088B2 (en) | Apparatus, method and software for assisting human operator in flying drone using remote controller | |
US20210191392A1 (en) | Vehicle control system | |
JP2024516481A (ja) | リモートコントローラを用いてドローンを飛行させる人間のオペレータを支援する装置、方法およびソフトウェア | |
CN117203596A (zh) | 辅助操作人员使用遥控器驾驶无人机的设备、方法和软件 | |
CN111183639A (zh) | 将合成图像与真实图像组合以进行运载工具操作 | |
US11967035B1 (en) | Visualizing area covered by drone camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240910 |