JP7482923B2

JP7482923B2 - 無人航空機の制御装置およびその制御方法

Info

Publication number: JP7482923B2
Application number: JP2022046506A
Authority: JP
Inventors: 允求秦; 岱芸蔡
Original assignee: 仁寶電腦工業股▲ふん▼有限公司
Priority date: 2021-11-30
Filing date: 2022-03-23
Publication date: 2024-05-14
Anticipated expiration: 2042-03-23
Also published as: TW202324015A; TWI802115B; US11921523B2; US20230168694A1; JP2023081259A

Description

本発明は、ヒューマン・マシン・インタラクション（human-machine interaction）技術に関するものであり、特に、無人航空機（unmanned aerial vehicle, UAV）の制御装置およびその制御方法に関するものである。

現在の無人航空機（ＵＡＶ）は、主に、無線遠隔操作装置および関連するプログラムを利用して、対応するＵＡＶを制御または操作する。低高度の視線距離内のＵＡＶは、レジャーや娯楽、空中写真のために使用される。また、撮像装置（例えば、カメラやビデオカメラ）およびヘッドマウント型表示装置（通称、ゴーグル（goggle））をＵＡＶに配置すると、撮像装置で取り込んだ画像を無線伝送によりヘッドマウント型表示装置に表示することができるため、ユーザーは、一人称視点（first-person view, FPV）によりＵＡＶを制御することができる。この種のシステムは、ＦＰＶトラバースマシン（traversing machine）とも称される。

しかしながら、ＦＰＶトラバースマシンは、ＦＰＶを介して操作を制御するため、初心者にとって難しい。また、ＦＰＶトラバースマシンをスムーズに操作するには、無線遠隔制御の操作（例えば、スロットル（throttle）、ロール（rolling）、方向、およびピッチの制御を含む４つの動作）に精通していなければならない。そのため、他の手段によりＦＰＶトラバースマシンの操作をより簡単にできるかどうかが、研究すべき課題の１つとなっている。

本発明は、より直感的な方法を提供して、ＵＡＶの状況を監視してからＵＡＶを制御することにより、制御の難度を下げることのできるＵＡＶの制御装置およびその制御方法を提供する。

本発明は、無人航空機（ＵＡＶ）の制御装置を提供する。制御装置は、感知装置と、画像受信機と、制御送信機と、ディスプレイと、プロセッサとを含む。感知装置は、ユーザーの動作を感知するために使用される。画像受信機は、無人航空機の第１撮像装置から無人航空機内の本体の少なくとも一部または全てを含む画像を受信するために使用される。制御送信機は、制御信号を無人航空機に送信するために使用される。プロセッサは、感知装置、画像受信機、制御送信機、およびディスプレイに接続される。プロセッサは、ディスプレイを使用して、画像受信機で受信した画像を継続的に表示する。プロセッサは、感知装置により動作を取得して、その動作を無人航空機に対応する制御信号に変換し、制御送信機により制御信号を無人航空機に送信する。無人航空機は、制御装置が送信した制御信号によって制御される。

本発明は、制御装置に適用する無人航空機の制御方法を提供する。この制御方法は、無人航空機の第１撮像装置から無人航空機内の本体の少なくとも一部または全てを含む画像を受信するステップと、制御装置のディスプレイに画像を継続的に表示するステップと、ユーザーの動作を感知して、その動作を無人航空機に対応する制御信号に変換するステップと、制御信号を無人航空機に送信して、制御信号により無人航空機を制御するステップとを含む。

以上のように、本発明が提供する無人航空機の制御装置およびその制御方法は、三人称視点を有する撮像装置を無人航空機に設置するため、ユーザーは、三人称視点から画面／画像を介して無人航空機の本体を直感的に見て、ユーザーの動作（例えば、ジェスチャー、唇の動き、または対応する操作手段）を検出し、それに応じて無人航空機を制御することができる。このようにして、本発明の無人航空機システムは、ユーザーの体感操作を組み合わせた三人称視点を提供することにより、より直感的な方法を提供して無人航空機を制御するため、制御の難度を下げることができる。

添付図面は、本発明の原理がさらに理解されるために含まれており、本明細書に組み込まれ、且つその一部を構成するものである。図面は、本発明の実施形態を例示しており、説明とともに、本発明の原理を説明する役割を果たしている。

本発明の第１実施形態に係るＵＡＶシステムの概略図である。本発明の第１実施形態に係るＵＡＶシステムのブロック図である。第１実施形態において、ヘッドマウント型表示装置を制御装置のディスプレイとして使用した時のインターフェースの概略図である。複数種類のプリセットジェスチャーに対応するＵＡＶ制御信号の概略図である。複数種類のプリセットジェスチャーに対応するＵＡＶ制御信号の概略図である。複数種類のプリセットジェスチャーに対応するＵＡＶ制御信号の概略図である。第２実施形態において、ＵＡＶに取り込んだ画像を制御装置に無線基地局を介して無線送信した時のＵＡＶシステムの概略図である。本発明の第３実施形態に係るＵＡＶシステムの概略図である。本発明の第４実施形態に係るＵＡＶシステムの概略図である。本発明の第４実施形態において、唇の動きを識別して音声テキスト情報を取得した時の唇活動識別モジュールの概略図である。本発明の第４実施形態において、音声テキスト情報を使用してＵＡＶの飛行方向を制御した時の概略図である。本発明の第５実施形態に係るＵＡＶシステムの概略図である。本発明の様々な実施形態に係るＵＡＶの制御方法のフローチャートである。

図１は、本発明の第１実施形態に係るＵＡＶシステム１００の概略図である。図２は、本発明の第１実施形態に係るＵＡＶシステム１００のブロック図である。図１および図２を同時に参照されたい。ＵＡＶシステム１００は、ＵＡＶ１２０および制御装置１１０を含む。

制御装置１１０は、主に、感知装置１１２と、画像受信機１１４と、制御送信機１１６と、ディスプレイ１１８と、プロセッサ１１９とを含む。プロセッサ１１９は、感知装置１１２、画像受信機１１４、制御送信機１１６、およびディスプレイ１１８に接続される。図１における第１実施形態の制御装置１１０は、例えば、ヘッドマウント型表示装置である。ＵＡＶシステム１００に応用されるヘッドマウント型表示装置は、ゴーグルとも称される。

ＵＡＶ１２０は、主に、第１撮像装置１２２を含む。第１撮像装置１２２は、主に、ＵＡＶ１２０内の本体の少なくとも一部または全てを含む画像を取り込むために使用される。図１の矢印１４０は、第１撮像装置１２２が画像を取り込んだ時の視野方向を示すために使用され、画像からＵＡＶ１２０内の本体のより多くの部分を取得することができる。ＵＡＶ１２０は、さらに、画像送信機１２３、制御受信機１２４、モーターモジュール１２５、電源モジュール１２６、電源制御モジュール１２７、飛行制御システム１２８、ＧＰＳ位置決めモジュール１２９、および他の構成要素を含む。

第１撮像装置１２２が取り込んだ画像は、「三人称視点」画像と称することができる。いわゆる三人称視点とは、ユーザーが傍観者の目線から主役（本実施形態では、ＵＡＶ１２０）の動作と周囲の環境を同時に観察することであり、ＵＡＶ１２０自身の状況と周囲の環境を容易に知ることができる。ＵＡＶ１２０の飛行制御システム１２８は、図２の矢印２１０で示すように、無線通信技術を用いて画像送信機１２３により第１撮像装置１２２が取り込んだ画像を制御装置１１０の画像受信機１１４に送信する。

ＵＡＶ１２０の飛行制御システム１２８は、モーターモジュール１２５、電源モジュール１２６、および電源制御モジュール１２７を介してＵＡＶ１２０の離陸、着陸、加速、および減速などの制御を行う。本実施形態において、ＵＡＶ１２０は、電源が不足した時に、リターン操作を実行することができる。ＵＡＶ１２０の飛行制御システム１２８は、ＧＰＳ位置決めモジュール１２９および対応する感知装置１１２を利用して、それ自身の位置及び制御装置１１０からの距離を判断することにより、リターン操作をいつ実行するかを決定し、リターン経路を自動的に計画する。ＵＡＶ１２０上に発光ダイオード（light-emitting diode, LED）を設置して、ＵＡＶ１２０の現在の状態を示すことにより、ユーザーは、視覚的に知らせを受けることができる。

制御装置１１０の制御送信機１１６は、図２の矢印２２０に示すように、ＵＡＶ１２０を制御するための制御信号をＵＡＶ１２０の制御受信機１２４に送信する。ＵＡＶ１２０は、制御装置１１０が送信した制御信号によって制御される。

制御装置１１０の画像受信機１１４は、ＵＡＶ１２０の第１撮像装置１２２からＵＡＶ１２０内の本体の少なくとも一部または全てを含む画像を受信する。制御装置１１０のプロセッサ１１９は、ディスプレイ１１８を使用して、画像受信機１１４で受信した画像を継続的に表示する。

本発明の本実施形態のＵＡＶシステム１００は、ヘッドマウント型表示装置のディスプレイ１１８を介してユーザー１０５に三人称視点を提供するだけでなく、ユーザー１０５の体感操作に合わせてＵＡＶ１２０の制御も行う。例えば、制御装置１１０の感知装置１１２を設置して、ユーザー１０５の動きを感知する。第１実施形態における「動作」は、例えば、ユーザー１０５の手指動作であり、本実施形態を応用することにより、ユーザーの左手または右手でＵＡＶ１２０を操縦することができる。プロセッサ１１９は、感知装置１１２によりユーザーの動作（例えば、ユーザーが行う手指動作、唇の動き、または体感動作）を取得して、その動作をＵＡＶ１２０に対応する制御信号に変換し、制御送信機１１６により制御信号をＵＡＶ１２０の制御受信機１２４に送信することによって（矢印２２０で示す）、体感動作によりＵＡＶ１２０を制御する。

図１の感知装置１１２は、主に、ヘッドマウント型表示装置の前面に配置され、感知装置１１２は、ユーザー１０５の手を含む第２画像を取り込んで、第２画像内の手領域１０７を取り込むための第２撮像装置を含む。感知装置１１２として第２撮像装置を適用する他に、本実施形態は、赤外線撮像装置、投光イルミネーター（flood illuminator）、ドットマトリックスプロジェクター（dot-matrix projector）、および、他の画像および光取り込み技術のうちの１つ、またはその組み合わせを包括的に統合して、ユーザー１０５の手領域１０７を決定することにより、手領域１０７の感知精度をさらに向上させることができる。

図３は、第１実施形態において、ヘッドマウント型表示装置を制御装置１１０のディスプレイ１１８として使用した時のインターフェースの概略図である。図３を参照すると、第１実施形態は、制御装置１１０としてヘッドマウント型表示装置を使用する。プロセッサ１１９は、手領域１０７における手指動作に基づいて仮想手画像３１０を生成し、仮想手画像３１０をディスプレイ１１８に表示された画像に重ねるため、ユーザーは、ＵＡＶ１２０の本体の一部および環境、並びにユーザー自身の仮想手画像３１０を含む画像をディスプレイ１１８でより直感的に見ることができる。

手を含む第２画像の過剰処理を防ぐため、本実施形態は、画像を取り込んでその画像をディスプレイ１１８に表示する時に、第２撮像装置（感知装置１１２）のジェスチャー範囲（図３の破線ボックス３２０に示す）を設定することができる。このようにして、ユーザーは、仮想手画像３１０および手指感知の有効範囲を直感的に知ることができる。詳しく説明すると、ジェスチャー範囲は、主に、ユーザーが手指動作の領域を容易に認識できるようにするために使用される。本実施形態において、ジェスチャー範囲内の手指動作は、主に、ユーザーのジェスチャーを判断するために使用され、その後、識別に対応する制御信号として使用される。しかしながら、ユーザーのジェスチャーが大き過ぎてジェスチャー範囲の外に出た場合でも、本実施形態は、ジェスチャー範囲の外の画像を使用して、ジェスチャーを認識および判断するが、手指ジェスチャーの認識成功率は、多くの要因（例えば、手指動作が感知装置１１２から離れていることや、レンズの問題により画像が歪むこと等）によって低下する可能性がある。つまり、図３の破線ボックス３２０に示したジェスチャー範囲は、主に、手指ジェスチャーをより良く識別できる領域をユーザーに知らせるために使用される。手指ジェスチャーが誤って破線ボックス３２０を超えてしまった場合でも、図２のプロセッサ１１９は、ジェスチャー範囲外の画像を識別できる可能性がある。

図１～図３を同時に参照されたい。ユーザー１０５の操作に関し、制御装置１１０は、その本体に物理ボタンを設置してもよく、あるいはディスプレイ１１８に表示されたユーザーインターフェースに仮想ロック解除ボタンを表示してもよい。ユーザー１０５が物理ボタン／仮想ロック解除ボタンを押した時、プロセッサ１１９は、第２撮像装置（感知装置１１２）により手領域１０７内の手指動作の認識を開始し、手領域１０７内の手指動作を仮想手画像３１０に変更して、ディスプレイ１１８に表示された画面に重ねる。例えば、プロセッサ１１９は、物理ボタン／仮想ロック解除ボタンが押された後にジェスチャーペアリングモードに入り、ユーザーの手のひらを下向きにして、画面の有効範囲に手のひらを置くようユーザー１０５に要求する。この状況で、仮想手画像３１０は、手のひらを下向きにして、図３の破線ボックス３２０内に位置する。その後、プロセッサ１１９は、ユーザー１０５が左手を使用したか、右手を使用したかを判断し、仮想手画像３１０に基づいてＵＡＶ１２０を制御する。ジェスチャーペアリングモードが完了した（つまり、ＵＡＶ１２０を制御するため、ユーザー１０５が左手または右手を使用することを判断した）後、プロセッサ１１９は、第２撮像装置（感知装置１１２）により手領域１０７を取得して、ユーザー１０５の手指動作を感知する。この手指動作は、複数種類のプリセットジェスチャーのうちの１つとして認識され、認識されたジェスチャータイプは、対応する制御信号に変換される。

詳しく説明すると、プロセッサ１１９は、ジェスチャー活動認識モジュール（gesture activity recognition module）を有し、ジェスチャー活動認識モジュールにより手領域１０７に対応する手指動作をこれらのプリセットジェスチャータイプのうちの１つとして認識する。図４、図５、および図６は、複数種類のプリセットジェスチャーに対応するＵＡＶ１２０の制御信号の概略図である。

図４（Ａ）～図４（Ｃ）は、プリセットジェスチャータイプ１０７－Ａが垂直に立てた状態の手の甲である場合を示したものであり、制御信号は、「ＵＡＶ１２０が後方に傾斜し、後方に飛行する」であり、この手指ジェスチャーに続くＵＡＶ１２０の連続動作は、以下の通りである：図４（Ａ）のＵＡＶ１２０が制御信号を受信した後、ＵＡＶ１２０は、その前進方向の角度を引き上げて、図４（Ｂ）のＵＡＶ１２０になる。そして、図４（Ｃ）のＵＡＶ１２０は、ユーザーに向かって徐々に飛んできて、視覚上わずかに拡大する。図４（Ｄ）～図４（Ｆ）は、プリセットジェスチャータイプ１０７－Ｂが垂れ下がった状態の手の甲である場合を示したものであり、制御信号は、「ＵＡＶ１２０が前方に傾斜し、前方に飛行する」であり、この手指ジェスチャーに続くＵＡＶ１２０の連続動作は、以下の通りである：制御信号を受信した後、図４（Ｄ）のＵＡＶ１２０は、その前進方向の角度を下向きに調整して、図４（Ｅ）のＵＡＶ１２０になる。そして、図４（Ｆ）のＵＡＶ１２０は、ユーザーから徐々に離れて、視覚上わずかに縮小する。

図５（Ａ）は、プリセットジェスチャータイプ１０７－Ｃが手のひらを下にして手を左に向けた場合を示したものであり、制御信号は、「ＵＡＶ１２０が左に飛行する」である。図５（Ｂ）は、プリセットジェスチャータイプ１０７－Ｄが手のひらを下にして手を右に向けた場合を示したものであり、制御信号は、「ＵＡＶ１２０が右に飛行する」である。図５（Ｃ）は、プリセットジェスチャータイプ１０７－Ｅが手のひらを右に向けた場合を示したものであり、制御信号は、「ＵＡＶ１２０が右に回転する」である。図５（Ｄ）は、プリセットジェスチャータイプ１０７－Ｆが手のひらを左に向けた場合を示したものであり、制御信号は、「ＵＡＶ１２０が左に回転する」である。

図６は、プロセッサ１１９がプリセットジェスチャータイプ１０７－Ｇおよび１０７－Ｈにおける親指の指示方向と人指し指の指示方向の間の開き角度を判断して、ＵＡＶ１２０のスロットルの範囲を決定する時の図である。図６（Ａ）は、プリセットジェスチャータイプ１０７－Ｇにおける親指の指示方向と人指し指の指示方向の間の角度がほぼ９０度である場合を示したものであり、ＵＡＶ１２０のスロットルは、完全に閉じている。つまり、ＵＡＶ１２０のモーターモジュールは、飛行用の電源を提供しない。プリセットジェスチャータイプにおける親指の指示方向と人指し指の指示方向の間の角度が９０度～４５度の間の時、ＵＡＶ１２０のスロットルは、半開き状態である。つまり、ＵＡＶ１２０のモーターモジュールは、飛行用の電源を半分提供する。図６（Ｂ）は、プリセットジェスチャータイプ１０７－Ｈにおける親指の指示方向と人指し指の指示方向の間の角度が４５度～０度の間である場合を示したものであり、ＵＡＶ１２０のスロットルは、完全に開いている。つまり、ＵＡＶ１２０のモーターモジュールは、飛行用の電源を全て提供する。ジェスチャー活動認識モジュールは、図５および図６のプリセットジェスチャータイプを用いて、入力された手領域に対応する第１ジェスチャータイプを分析することにより、第１ジェスチャータイプを対応する制御信号に変換することができる。本実施形態を応用することにより、プリセットジェスチャータイプとＵＡＶ制御の間の関係を必要に応じて調整することができる。例えば、左手操作をプリセットジェスチャータイプとして使用する、異なる手指ジェスチャーを使用してスロットルの範囲を制御する等のことができる。

図１～図３を参照すると、プロセッサ１１９が第１ジェスチャータイプを対応する制御信号に変換した時、制御信号がＵＡＶ１２０に送信されるため（矢印２２０を参照）、ＵＡＶ１２０は、モーターモジュール１２５を制御して、対応する動作を実行する。また、ユーザー１０５は、再度物理ボタン／仮想ロック解除ボタンに触れて、本実施形態の手指ジェスチャーでＵＡＶ１２０を制御する対応機能をオフにすることができる。

図７は、第２実施形態において、ＵＡＶ１２０に取り込んだ画像を制御装置１１０に無線基地局６１０を介して無線送信した時のＵＡＶシステム６００の概略図である。第１実施形態の制御装置１１０およびＵＡＶ１２０は、図２の画像受信機１１４および画像送信機１２３を使用して、画像を直接送信する。これと比較して、第２実施形態のＵＡＶ１２０およびＵＡＶシステム６００は、５Ｇ無線ネットワークプロトコルに適合する撮像装置を第１撮像装置１２２として使用し、まず、取り込んだ画像を５Ｇ無線ネットワークプロトコルに適合するコアネットワークおよび中間局である無線基地局６１０（図７の矢印６１１）に送信してから、無線基地局６１０からの画像を制御装置１１０に送信する。

図８は、本発明の第３実施形態に係るＵＡＶシステム７００の概略図である。第３実施形態と第１実施形態の間の主な相違点は、制御装置７１０をヘッドマウント型表示装置から携帯用電子機器（例えば、タブレットＰＣ、スマートフォン、またはフロントレンズを有する電子機器）に変えて実施したことである。つまり、制御装置７１０内の感知装置７１２は、携帯用電子機器においてユーザー１０５の方向に面して配置され、感知装置７１２は、第２撮像装置を含む。第２撮像装置（感知装置７１２）は、ユーザー１０５の手を含む第２画像を取り込んで、第２画像内の手領域１０７を取り込むために使用される。制御装置７１０内のプロセッサは、第２撮像装置（感知装置７１２）により手領域１０７を取得して、ユーザーの手指動作を感知し、ジェスチャー活動認識モジュールにより手指動作を複数のプリセットジェスチャータイプのうちの第１ジェスチャータイプとして認識するとともに、第１ジェスチャータイプを対応する制御信号に変換して、ＵＡＶ１２０を制御する。

図９は、本発明の第４実施形態に係るＵＡＶシステム８００の概略図である。第４実施形態および第３実施形態の制御装置８１０は、いずれも携帯用電子機器（例えば、タブレットＰＣ、スマートフォン、またはフロントレンズを有する電子機器）として実施される。つまり、制御装置８１０の感知装置８１２は、携帯用電子機器においてユーザー１０５の方向に面して配置され、感知装置８１２は、第２撮像装置を含む。第４実施形態が第３実施形態と異なるのは、制御装置８１０のプロセッサが、第２撮像装置（感知装置８１２）によりユーザー１０５の唇を含む第２画像を取り込んで、この第２画像内の唇領域１０８を取り込むという点である。

制御装置８１０のプロセッサは、第２撮像装置（感知装置８１２）により唇領域１０８を取得して、ユーザーの唇の動きを感知し、唇活動認識モジュール（lip activity recognition module）を使用して唇の動きを認識して、ユーザー１０５の音声テキスト情報を取得するとともに、音声テキスト情報を対応する制御信号に変換する。

図１０は、第４実施形態において、唇の動きを識別して音声テキスト情報を取得した時の唇活動識別モジュールの概略図である。第４実施形態において使用する唇活動識別モジュールは、第２撮像装置（感知装置８１２）が取り込んだ唇領域１０８により、図１０（Ａ）の唇形状ドット分布９１０、図１０（Ｂ）の上唇形状９２０および下唇形状９３０、図１０（Ｃ）の上歯範囲９４０、下歯範囲９５０、および上下の歯の間の隙間９６０を決定し、それにより、ユーザーが唇で伝えた音声を取得して、その音声をテキスト情報に変換することができる。

図１１は、本発明の第４実施形態において、音声テキスト情報を使用してＵＡＶ１２０の飛行方向を制御した時の概略図である。図１１の第４実施形態は、マップモードでＵＡＶ１２０の飛行方向を制御する。例えば、図１１の制御装置のディスプレイの右半分は、ＵＡＶ１２０の三人称視点からの画面／画像を表示し、図１１の制御装置のディスプレイの左半分１０１０は、地図を表示し、複数の直線（例えば、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」）および水平線（例えば、「１」、「２」…「６」）で地図をグリッドパターンに分割し、ＵＡＶ１２０の位置１００５を地図に標記する。ユーザーが唇を開いて音声情報「Ａ」および「５」を順番に言った時、図１１の第４実施形態のプロセッサは、制御信号をＵＡＶ１２０に送信して、現在位置１００５から直線「Ａ」と水平線「５」が交差する点で示される位置「Ａ－５」にＵＡＶ１２０を移動させる。

図１２は、本発明の第５実施形態に係るＵＡＶシステム１２００の概略図である。第５実施形態と第１実施形態の間の主な相違点は、制御装置１２１０をヘッドマウント型表示装置からネックマウント型ウェアラブルデバイスに変えて実施することである。つまり、制御装置１２１０内の感知装置１２１２は、ネックマウント型ウェアラブルデバイスの前面に配置され、感知装置１２１２は、ユーザー１０５の手に面する方向に配置された第２撮像装置を含む。第２撮像装置（感知装置１２１２）は、ユーザー１０５の手を含む第２画像を取り込んで、第２画像内の手領域１０７を取り込むために構成される。制御装置１２１０内のプロセッサは、第２撮像装置（感知装置１２１２）により手領域１０７を取得し、ユーザーの手指動作を感知して、ジェスチャー活動認識モジュールにより手指動作を複数のプリセットジェスチャータイプのうちの第１ジェスチャータイプとして認識するとともに、第１ジェスチャータイプを対応する制御信号に変換して、ＵＡＶ１２０を制御する。

一方、ネックマウント型ウェアラブルデバイスとして実施される制御装置１２１０には、ディスプレイがない。制御装置１２１０は外部ディスプレイ１２１８と通信するよう制御することにより、ＵＡＶ１２０の第１撮像装置１２２が取り込んだ画像を画像送信機１２３により送信し、外部ディスプレイ１２１８に表示することができる。ユーザー１０５が外部ディスプレイ１２１８で画像を見ることができるだけでなく、制御装置１２１０のプロセッサが手領域１０７の手指動作に基づいて外部ディスプレイ１２１８に仮想手画像を生成することもできるため、ユーザーは、外部ディスプレイ１２１８で操作のためのジェスチャーを確認することができる。

図１３は、本発明の様々な実施形態に係るＵＡＶの制御方法のフローチャートである。このＵＡＶの制御方法は、ＵＡＶの制御装置（例えば、ヘッドマウント型表示装置、携帯用電子機器等）の制御に適用することができる。ステップＳ１１１０において、制御装置は、ＵＡＶの第１撮像装置からＵＡＶ内の本体の少なくとも一部または全てを含む画像を受信する。ステップＳ１１２０において、制御装置のディスプレイに画像を継続的に表示する。ステップＳ１１３０において、制御装置は、制御装置の感知装置によりユーザーの動きを感知する。ステップＳ１１４０において、制御装置は、ステップＳ１１３０において感知した動作をＵＡＶに対応する制御信号に変換する。ステップＳ１１５０において、制御装置は、制御信号をＵＡＶに送信し、制御信号によってＵＡＶを制御する。図１３の制御方法の詳しい実施方式は、上述した実施形態を参照されたい。

以上のように、本発明が提供するＵＡＶの制御装置およびその制御方法は、三人称視点を有する撮像装置をＵＡＶに設置するため、ユーザーは、三人称視点から画面／画像を介してＵＡＶ機を直感的に見て、ユーザーの動作（例えば、ジェスチャー、唇の動き、または対応する操作手段）を検出し、それに応じてＵＡＶを制御することができる。このようにして、本発明のＵＡＶシステムは、ユーザーの体感操作を組み合わせた三人称視点を提供することにより、より直感的な方法を提供してＵＡＶを制御するため、制御の難度を下げることができる。

本発明の無人航空機（ＵＡＶ）の制御装置およびその制御方法は、ヒューマン・マシン・インタラクション製品に応用することができる。

１００、７００、８００、１２００ＵＡＶシステム
１０５ユーザー
１０７手領域
１０７－Ａ～１０７－Ｈプリセットジェスチャータイプ
１０８唇領域
１１０、７１０、８１０、１２１０控制装置
１１２、７１２、８１２、１２１２感知装置
１１４画像受信機
１１６制御送信機
１１８、１２１８ディスプレイ
１１９プロセッサ
１２０無人航空機（ＵＡＶ）
１２２第１撮像装置
１２３画像送信機
１２４制御受信機
１２５モーターモジュール
１２６電源モジュール
１２７電源制御モジュール
１２８飛行制御モジュール
１２９ＧＰＳ位置決めモジュール
１４０矢印（第１撮像装置の視角方向）
２１０、２２０、６１１、６１２矢印
３１０仮想手画像
３２０破線ボックス
６１０無線基地局
９１０唇形状ドット分布
９２０上唇形状
９３０下唇形状
９４０上歯範囲
９５０下歯範囲
９６０上下の歯の間の隙間
１００５ＵＡＶの位置
１０１０のディスプレイの左半分
Ａ－５位置
Ｓ１１１０～Ｓ１１５０ＵＡＶの制御方法の各ステップ

Claims

無人航空機（ＵＡＶ）の本体の少なくとも一部または全て及び周囲の環境を含む画像を取り込む第１撮像装置を備えた無人航空機の制御装置であって、
ユーザーの動作を感知する感知装置と、
前記無人航空機の第１撮像装置から前記無人航空機の本体の少なくとも一部または全て及び周囲の環境を含む画像を受信する画像受信機と、
前記画像受信機で受信した画像を表示するディスプレイと、
制御信号を前記無人航空機に送信する制御送信機と、
前記感知装置、前記画像受信機、前記ディスプレイ、および前記制御送信機に接続されたプロセッサと、
を含み、
前記プロセッサが、前記感知装置により前記動作を取得して、前記動作を前記無人航空機に対応する前記制御信号に変換し、前記制御送信機により前記制御信号を前記無人航空機に送信し、
前記無人航空機が、前記制御装置が送信した前記制御信号によって制御され、
前記ディスプレイには、前記制御信号によって制御された前記無人航空機の動作及び周囲の環境を含む画像が、三人称視点の画像として表示される
無人航空機の制御装置。
前記制御装置が、ヘッドマウント型表示装置であり、
前記感知装置が、前記ヘッドマウント型表示装置の前面に配置され、第２撮像装置を含み、
前記第２撮像装置が、前記ユーザーの手を含む第２画像を取り込んで、前記第２画像内の手領域を取り込むよう構成され、
前記プロセッサが、前記第２撮像装置により前記手領域を取得して、前記ユーザーの手指動作を感知し、前記手指動作を複数種類のプリセットジェスチャーのうちの第１ジェスチャータイプとして認識するとともに、前記第１ジェスチャータイプを対応する前記制御信号に変換する請求項１に記載の無人航空機の制御装置。
前記プロセッサが、さらに、前記手指動作に基づいて仮想手画像を生成し、前記仮想手画像をディスプレイに表示された前記画像に重ねる請求項２に記載の無人航空機の制御装置。
前記プロセッサが、さらに、前記ディスプレイにジェスチャー範囲を表示し、前記ジェスチャー範囲内の前記手指動作が、識別に対応する前記制御信号として使用される請求項３に記載の無人航空機の制御装置。
前記制御装置が、携帯用電子機器であり、
前記感知装置が、前記携帯用電子機器において前記ユーザーの方向に面して配置され、第２撮像装置を含み、
前記第２撮像装置が、前記ユーザーの手を含む第２画像を取り込んで、前記第２画像内の手領域を取り込むよう構成され、
前記プロセッサが、前記第２撮像装置により前記手領域を取得して、前記ユーザーの手指動作を感知し、前記手指動作を複数種類のプリセットジェスチャーのうちの第１ジェスチャータイプとして認識するとともに、前記第１ジェスチャータイプを対応する前記制御信号に変換する請求項１に記載の無人航空機の制御装置。
前記制御装置が、携帯用電子機器であり、
前記感知装置が、前記携帯用電子機器において前記ユーザーの方向に面して配置され、第２撮像装置を含み、
前記第２撮像装置が、前記ユーザーの唇を含む第２画像を取り込んで、前記第２画像内の唇領域を取り込むよう構成され、
前記プロセッサが、前記第２撮像装置により前記唇領域を取得して、前記ユーザーの唇の動きを感知し、前記唇の動きを認識して、前記ユーザーの音声テキスト情報を取得するとともに、前記音声テキスト情報を対応する前記制御信号に変換する請求項１に記載の無人航空機の制御装置。
前記制御装置が、ネックマウント型ウェアラブルデバイスであり、
前記感知装置が、前記ネックマウント型ウェアラブルデバイスの前面に配置され、第２撮像装置を含み、
前記第２撮像装置が、前記ユーザーの手を含む第２画像を取り込んで、前記第２画像内の手領域を取り込むよう構成され、
前記プロセッサが、前記第２撮像装置により前記手領域を取得して、前記ユーザーの手指動作を感知し、前記手指動作を複数種類のプリセットジェスチャーのうちの第１ジェスチャータイプとして認識するとともに、前記第１ジェスチャータイプを対応する前記制御信号に変換する請求項１に記載の無人航空機の制御装置。
前記プロセッサがディスプレイと通信し、前記ディスプレイに前記画像を表示させるように、さらに制御して、前記手指動作に基づいて仮想手画像を生成し、前記仮想手画像を前記ディスプレイに表示された前記画像に重ねる請求項７に記載の無人航空機の制御装置。
前記感知装置が、さらに、赤外線撮像装置、投光イルミネーター、およびドットマトリックスプロジェクターのうちの１つ、またはその組み合わせを含む請求項１に記載の無人航空機の制御装置。
無人航空機の本体の少なくとも一部または全て及び周囲の環境を含む画像を取り込む第１撮像装置を備えた無人航空機の制御方法であり、制御装置およびディスプレイに適用する無人航空機の制御方法であって、
前記無人航空機の第１撮像装置から前記無人航空機の本体の少なくとも一部または全て及び周囲の環境を含む画像を受信するステップと、
前記画像を継続的に表示するよう前記ディスプレイを制御するステップと、
ユーザーの動作を感知して、前記動作を前記無人航空機に対応する制御信号に変換するステップと、
前記制御信号を前記無人航空機に送信して、前記制御信号により前記無人航空機を制御するステップと、
前記制御信号によって制御された前記無人航空機の動作及び周囲の環境を含む画像が、三人称視点の画像として前記ディスプレイに表示するステップと、
を含む無人航空機の制御方法。
前記制御装置が、ヘッドマウント型表示装置であり、
感知装置が、前記ヘッドマウント型表示装置の前面に配置され、第２撮像装置を含み、
前記第２撮像装置が、前記ユーザーの手を含む第２画像を取り込んで、前記第２画像内の手領域を取り込むよう構成され、
前記ユーザーの前記動作を感知して、前記動作を前記無人航空機に対応する前記制御信号に変換する前記ステップが、
前記第２撮像装置により前記手領域を取得して、前記ユーザーの手指動作を感知するステップと、
ジェスチャー活動認識モジュールにより前記手指動作を複数種類のプリセットジェスチャーのうちの第１ジェスチャータイプとして認識するステップと、
前記第１ジェスチャータイプを対応する前記制御信号に変換するステップと、
を含む請求項１０に記載無人航空機の制御方法。
前記手指動作に基づいて仮想手画像を生成するステップと、
前記仮想手画像を表示された前記画像に重ねるステップと、
をさらに含む請求項１１に記載無人航空機の制御方法。
前記制御装置が、携帯用電子機器であり、
前記携帯用電子機器が、前記ユーザーに面する方向に配置された第２撮像装置を含み、
前記第２撮像装置が、前記ユーザーの手を含む第２画像を取り込んで、前記第２画像内の手領域を取り込むよう構成され、
前記ユーザーの前記動作を感知して、前記動作を前記無人航空機に対応する前記制御信号に変換する前記ステップが、
前記第２撮像装置により前記手領域を取得して、前記ユーザーの手指動作を感知するステップと、
ジェスチャー活動認識モジュールにより前記手指動作を複数種類のプリセットジェスチャーのうちの第１ジェスチャータイプとして認識するステップと、
前記第１ジェスチャータイプを対応する前記制御信号に変換するステップと、
を含む請求項１０に記載無人航空機の制御方法。
前記制御装置が、携帯用電子機器であり、
前記携帯用電子機器が、前記ユーザーに面する方向に配置された第２撮像装置を含み、
前記第２撮像装置が、前記ユーザーの唇を含む第２画像を取り込んで、前記第２画像内の唇領域を取り込むよう構成され、
前記ユーザーの前記動作を感知して、前記動作を前記無人航空機に対応する前記制御信号に変換する前記ステップが、
前記第２撮像装置により前記唇領域を取得して、前記ユーザーの唇の動きを感知するステップと、
唇活動認識モジュールにより前記唇の動きを認識して、前記ユーザーの音声テキスト情報を取得するステップと、
前記音声テキスト情報を対応する前記制御信号に変換するステップと、
を含む請求項１０に記載の無人航空機の制御方法。
前記制御装置が、ネックマウント型ウェアラブルデバイスであり、
前記ネックマウント型ウェアラブルデバイスが、前記ユーザーの手に面する方向に配置された第２撮像装置を含み、
前記第２撮像装置が、前記ユーザーの前記手を含む第２画像を取り込んで、前記第２画像内の手領域を取り込むよう構成され、
前記ユーザーの前記動作を感知して、前記動作を前記無人航空機に対応する前記制御信号に変換する前記ステップが、
前記第２撮像装置により前記手領域を取得して、前記ユーザーの手指動作を感知するステップと、
ジェスチャー活動認識モジュールにより前記手指動作を複数種類のプリセットジェスチャーのうちの第１ジェスチャータイプとして認識するステップと、
前記第１ジェスチャータイプを対応する前記制御信号に変換するステップと、
を含む請求項１０に記載の無人航空機の制御方法。