JP6037600B2 - 無人機、特に回転翼無人機を遠隔制御するための方法および機器 - Google Patents

Description

本発明は、ヘリコプター、クアッドリコプター（４翼ヘリコプター）などのような無人機、特に回転翼無人機を遠隔に制御することに関する。

そのような無人機の標準的な例は、フランス、パリのＰａｒｒｏｔ ＳＡ社製のＡＲ．Ｄｒｏｎｅであるが、これは国際公開第２００９／１０９７１１号パンフレット（Ｐａｒｒｏｔ）に記述される原理に基づいて、ホバリング飛行中の無人機を安定させるためのさまざまなセンサー（３軸加速度計およびジャイロ、高度計、垂直入射カメラ）および自動システムを内蔵するクアッドリコプターである。無人機にはまた、無人機の進行方向の景色の画像を捕捉する正面カメラが設置されている。

自動安定システムは、特に、無人機が自動的に平衡点に到達できるようにし、平衡点に到達すると、微調整することにより、すなわち空気の移動およびセンサーのドリフトのような外部効果に起因する転換の動きを伴う微少な変動を訂正することにより、固定点を保持するために必要とされる補正を行うことができるようにする役割を果たす。

無人機は、本明細書において「機器」と呼ばれる遠隔制御デバイスを使用するユーザによって操縦され、機器はＷｉＦｉ（ＩＥＥＥ８０２．１１）またはブルートゥース（登録商標）タイプの無線ローカルエリア・ネットワークのような無線接続によって無人機に接続される。

特に有利な方法で、無人機は、タッチスクリーン、無線トランシーバー手段、および地球基準座標系に関連付けられている基準垂直方向に対して機器の筐体の姿勢を検知するためのセンサーを備える２軸傾斜センサーを有する遠隔制御機器を用いて操縦されてもよい。機器のスクリーンは、指をタッチスクリーンに接触させるユーザによってコマンドがアクティブ化されるように画像に重畳されるコマンドシンボルを介して伝送される搭載の正面カメラの画像を再生する。

ユーザは、操縦の２つの異なる可能なモードを有し、そのいずれのモードも自由自在にアクティブ化されてもよい。

「自動操縦（ａｕｔｏｐｉｌｏｔ）モード」と後段において呼ばれる第１の操縦モードは、デフォルトの操縦モードであり、無人機の独立した自動安定システムを実施する。無人機の移動は、ある安定状態から別の安定状態への移動として定義され、固定点の対応する変化は独立したコマンドによって得られる（最も単純な自動操縦モードは単に固定点における無人機のサーボ制御から成る）。

後段において「反応（ｒｅａｃｔｉｖｅ）モード」と呼ばれる第２の操縦モードは、無人機が、以下の組み合わせを用いて、ユーザによってさらに直接的に操縦されるモードである。
− 第１に、機器の傾斜検出器によって送出される信号、たとえば、無人機を前進させるために、ユーザが対応するピッチ軸に関して機器を傾ける、および無人機を右または左に移動させるために、ユーザがロール軸に対して同機器を傾ける、
− 第２に、タッチスクリーンで使用可能なコマンド、特に（スロットル・コマンドに対応する）「上／下（ｕｐ／ｄｏｗｎ）」コマンドおよび（無人機をヨー軸中心に旋回させる）「左折／右折（ｔｕｒｎ ｌｅｆｔ／ｒｉｇｈｔ）」コマンド。

自動操縦モードから反応モードへの切り替えは、タッチスクリーンに表示される特定のシンボルを指で押すことによって行われる。このシンボルを指で押すことで反応モードは即座にアクティブ化され、反応モードは、指の接触がこの位置で保持されている限りアクティブ化された状態を保つ。次いで、操縦は、機器を傾けること、および／またはタッチスクリーンに表示される「上／下」および「左折／右折」シンボルを操作することによって行われる。

自動操縦モード（たとえば、前述の国際公開第２００９／１０９７１１号パンフレットに記述される方法で実施される）は、ユーザが対応するシンボルから指を離すと即座にアクティブ化される。

前述の方法により、操縦は完全に有効かつ直観的となりうるが、これはいくつかの欠点をもたらす。

第１の欠点は、自動操縦モードを非アクティブ化して反応モード操縦に切り替えるために、ユーザは、アクティブ化されるべきコマンド（自動操縦モードをアクティブ化／非アクティブ化、上／下、ヨー軸に対して左折／右折）に対応するシンボルが位置する場所を正確に指で押すことができるように機器のスクリーンを見る必要があるという点にある。

ユーザは一般に、反応モードで無人機を操縦するために制御を引き継ぐその瞬間に無人機を見ることをやめなければならならないので、この義務を制約であると認識するが、無人機は目視で操縦され、ユーザが無人機から視線をそらすことは好ましくないので不便である。（閉ざされた空間の天井など）カメラの視界の外にある特定の障害物を示すことのない搭載カメラによって返されるビデオを見るのではなく、じかに無人機を見ながらその動きを制御するほうが、はるかに容易である。

いずれにしても、反応モードが（２軸に関して機器を傾けることによって操縦する）直観的なコマンドを含んでいても、それでもスクリーンで（タッチスクリーンに表示されるシンボルを押すことによって操縦する）上／下およびヨー軸方向転換コマンドを引き続き監視する必要がある。

第２の欠点は、２軸に関して機器を何らかの方法で傾けることによって直観的な操縦コマンドを実行するために、機器の水準を保持する必要があるということに起因する。日光の反射により機器のスクリーンを適正に見ることができなくなる可能性もあるので、そのような方法で進めることは、特に屋外では不適当であり、そのような反射を防ぐためにユーザは機器を傾けるが、そうすれば機器は水平ではなくなってしまうので反応モードに切り替えることは不可能になる。

第３の欠点は、反応モードの操縦には、左手の１本の指を右／左回転コマンドをアクティブ化するために使用し、右手の１本の指を上／下コマンドをアクティブ化するために使用して（またはその逆）、２本の指を同時に使用する必要があるということに起因する。ユーザが、たとえばタッチスクリーンに表示される「発射（ｆｉｒｅ）」シンボルを押すことによる（仮想的な）射撃命令など、何らかの他の機能を作動させようとする場合、対応する指を使用してそのシンボルを押すためにコマンドのうちの１つを解放する必要がある。

第４の欠点は、５つのタッチゾーンが操縦のためだけに定義されており、２本の指を同時に使用することでユーザにとって重要かもしれないメッセージまたは情報が覆い隠されてしまうことも多いということに起因する。

第５の欠点は、コマンドが左右対称ではないので、左利きユーザおよび右利きユーザが異なる処遇を受けるということに起因する。

第６の欠点は、無人機が多くの場合、無人機をプレイヤーが操縦するテレビゲーム内の要素であって、たとえば仮想または現実のターゲットを撃つなどのゲームアクションを同時に実行する必要があるということに起因する。次いで、たとえユーザの注意が操縦することに奪われて、ユーザの手がふさがっており、ユーザが無人機を見ていても、ユーザは射撃コマンドを極めて迅速に、しかもほぼ反射的にアクティブ化する必要がある。

その他のコマンドまたは操縦インターフェイスは、たとえば欧州特許出願公開第１ ６２１ ２３８ Ａ１号明細書（タッチスクリーンのスタイラスまたは指の接触点におけるジョイスティック・タイプのポインタ・デバイスのエミュレート）または米国特許出願公開第２００７／０７７５４１ Ａ１号明細書（タッチスクリーンに表示されるハンドルへのスタイラスまたは指の作用による操縦）において説明されている。しかし、それらの提案のいずれも、前述の欠点を緩和することはできない。

国際公開第２００９／１０９７１１号 欧州特許出願公開第１ ６２１ ２３８ Ａ１号 米国特許出願公開第２００７／０７７５４１ Ａ１号

本発明の目的は、前述の国際公開第２００９／１０９７１１号パンフレットにおいて説明されている無人機のような無人機を遠隔操作するためのタッチスクリーン機器であって、以下の特徴を備えるタッチスクリーン機器を提案することにより、それらのさまざまな欠点を改善することである。
− ｉ）自動操縦モードから反応モードに切り替えるため、およびその逆であろうと、またはｉｉ）反応モードにおいてシンボルを用いて操縦コマンドをアクティブ化するためであろうと、スクリーンが注視されている必要がなく、
− 反応モードで操縦の段階全体を通じてユーザが自由に機器の傾斜を保持できるようにし、
− 反応モードでの操縦に片方の手の指１本しか必要としないように、タッチスクリーンを介してアクティブ化されるすべての操縦コマンド（上／下、右折／左折）を組み合わせることで、もう一方の手は、特に仮想の発射のような特殊機能を自在にアクティブ化できるように自由になり、
− ユーザが、適正な操縦に何ら問題を生じることなく、より直観的かつ自発的な方法で、特に発射のような特殊コマンドをアクティブ化できるようにし、最後に
− 「ヘッドアップ・ディスプレイ」タイプの操縦を可能にするように、ビデオグラス・タイプの遠隔表示周辺機器の使用に適合する。

この目的を達成するため、本発明は、遠隔制御機器を実施する方法を提供し、機器は、タッチスクリーンと、スクリーンの表面へのユーザの指の少なくとも１つの接触を検出するため、およびスクリーンに表示される対応するシンボルに関して前記少なくとも１つの指の接触点の位置を決定するのに適した手段と、無人機にコマンドを出すのに適した無線データ伝送手段とを備えるポータブル機器により既知の方法で構成される。操縦コマンドは、スクリーンに表示される対応する操縦シンボルの位置で指をスクリーンと接触させることおよび／またはスクリーン上で指を移動することによってアクティブ化可能である。

本発明の特徴的な形において、方法は、ａ） スクリーンの少なくとも１つの事前定義されたゾーン内の任意の接触点における指の接触を検出するステップと、ｂ） 初期位置からオフセット位置までのスクリーン上の指接触点のいずれかの移動を追跡する位置においてスクリーンに表示される可動アイコンを備える操縦アイコンを、スクリーンの接触点において表示するステップと、ｃ） 可動アイコンの移動を検出するステップと、ｄ） 移動を検出すると、初期位置に対する移動の方向および／または振幅および／または速度を分析するステップと、ｇ） 操縦コマンドを分析の結果に応じてアクティブ化するステップとを備える。

有利なことに、方法はさらに、初期位置に対する指の移動の方向および／または振幅および／または速度を分析するステップの後に、ｅ） ステップｇ）でアクティブ化されるべき操縦コマンドを、移動の方向に応じて、複数の異なる操縦コマンドと区別するステップを備える。ステップｇ）においてアクティブ化するための操縦コマンドは、特に、タッチスクリーンに表示される画像の方向に対して、移動の方向がそれぞれ主に上方または下方に方向付けられるとき、無人機を上または下に移動させるコマンドであってもよく、および／またはタッチスクリーンに表示される画像の方向に対して、移動の方向がそれぞれ主に左または右に方向付けられているとき、無人機のヨー軸に関して左または右に旋回させる操縦コマンドであってもよい。

方法はまた、初期位置に対する移動の方向および／または振幅を分析するステップの後に、ステップｇ）においてアクティブ化されるべき操縦コマンドを、移動の振幅に応じて定量化するステップｆ）を提供することもできる。

機器によって伝送されたコマンドがない場合のホバリング飛行において無人機を独立して安定させるための選択的にアクティブ化可能なシステムが備えられた回転翼無人機を遠隔制御するとき、独立安定システムは有利なことに、ステップａ）において指を検出したことに応答して非アクティブ化され、指の接触が検出される期間中にわたりステップａ）の後非アクティブ化された状態を維持し、接触が失われたことを検出したことに応答してアクティブ化される。

有利な変形において、ステップａ）において検出された接触点の周囲の中立ゾーンを定義することが提供され、中立ゾーンは、現在の指接触点が中立ゾーン内に留まっている限り独立安定システムがアクティブ化された状態を維持するような方法で定義される。

好ましくは、ステップｂ）において表示される操縦アイコンは、可動アイコンに加えて、接触点がその後移動した場合であっても、初期の指接触点の位置において引き続きスクリーンに表示される固定の基準アイコンを備える。

最も有利なことに、地球基準座標系の中立基準軸に対して２軸に関する機器の傾斜角を検出する手段を備える機器の場合、ステップａ）において指接触を検出するステップは、接触が検出された瞬間において機器の基準座標系に対して鉛直の方向を記録するステップと、この鉛直を新しい基準軸として指定するステップとをアクティブ化する。ピッチ軸および／またはロール軸中心に旋回させる操縦コマンドは、特に、基準軸に対して前記２軸のそれぞれ一方および／またはもう一方に関して検出された機器の傾斜角に応じてアクティブ化されてもよい。

有利な変形において、ピッチおよびロール・コマンドが中立角度範囲外の機器の傾斜角についてのみアクティブ化されるように、基準軸に関して前記中立角度範囲を定義することが提供される。さらに、前記中立角度範囲外の機器の傾斜角についてのみ無人機の独立安定システムが非アクティブ化されるように提供されることが可能である。

本発明のもう１つの態様において、機器が加速度計センサーを含む場合、このセンサーは、ユーザによって機器に伝えられた加速度ピークを検出するため、および特に前記機器において実施されたゲーム・ソフトウェアへの入力として適用された射撃コマンドでもあるピークを検出したことに応答してコマンドを生成するために使用されてもよい。

検出は、特に、加速度計センサーによってもたらされた加速信号のハイパス・フィルタリングに提供されてもよく、しかもさらに加速度ピークの検出時に操縦コマンドの状態を記録して、ピーク期間中にわたり前記状態を保持することができる。

本発明のさらにもう１つの態様において、機器は、遠隔表示周辺機器、特にビデオグラスに結合されてもよく、遠隔周辺機器はヘッドアップ・タイプのディスプレイを提供するようにスクリーンに表示される操縦アイコンを複製するようになっている。

概して、方法は、ステップａ）において検出された接触点とスクリーンの事前定義されたゾーンの縁との間の最小距離が所定の距離よりも小さいときに、アラート信号を送出するように提供されてもよい。

またステップａ）において検出された接触点の周囲の中立ゾーンを定義することが提供されてもよく、中立ゾーンは、オフセット位置が前記中立ゾーンの外に位置していない限り、ステップｃ）およびｄ）の操縦アイコンの移動が考慮に入れられないようになっている。

変形において、中立ゾーンは、初期位置に対してスクリーン上の指接触点の移動の速度が所定の最小しきい値を超えない限り、ステップｃ）およびｄ）の操縦アイコンの移動が考慮に入れられないようになっていてもよい。接触点が別の所定の最小しきい値を超える移動速度で逆方向に移動している場合には、初期位置をリセットするステップが提供され、新しい初期位置は逆の移動が終了する点によって再定義される。

本発明はまた、無人機を遠隔制御するための機器も提供し、機器は、前述の方法を実施する手段、およびそのような機器にダウンロード可能な、方法を実施するのに適した命令を含むソフトウェアを含む。

これ以降、本発明の実施態様の説明が、同じ番号参照が図ごとに同一または機能的に類似する要素を指定するように使用される添付の図面を参照して示される。

無人機および無人機を操縦するための関連する遠隔制御機器を示す概略図である。 最新技術における、遠隔制御機器のスクリーンに表示されるさまざまな画像およびシンボルを示す例示の図である。 図２に対応するが、本発明におけるスクリーンを示す図である。 機器のタッチスクリーンで１本の指を動かすことによってさまざまな操縦機能をどのように制御することができるかを示す図である。 機器のタッチスクリーンで１本の指を動かすことによってさまざまな操縦機能をどのように制御することができるかを示す図である。 図３に対応するが、簡略化された変形で示す図である。 「ヘッドアップ」タイプのディスプレイを形成するために、遠隔制御機器に接続された１対のビデオグラスを示す図である。

図１において、参照１０は、たとえばフランス、パリのＰａｒｒｏｔ ＳＡ社製のＡＲ．Ｄｒｏｎｅモデルのようなクアッドリコプターなど、無人機を全体を通じて参照する。この無人機は、組み込みのナビゲーションおよび高度制御システムによって独立して制御されるモーターを備える４つの同一平面回転翼１２を有する。無人機１０はまた、無人機の進行方向の景色の画像を捕捉するように機能する正面カメラ１４を有する。

無人機には、ユーザによって適用される外部コマンドがない場合にホバリングするための内蔵の安定システムが設けられている。たとえば前述の国際公開第２００９／１０９７１１号パンフレットにおいて説明されているように、システムは特に、適切な微調整コマンド、つまり空気の動きおよびセンサーのドリフトによる外部効果に起因する転換の動きを修正するコマンドにより、固定点での平衡点を保持するために必要な補正を行うことを可能にする。

無人機１０は、無人機に搭載のカメラ１４によって捕捉された画像を、ユーザの指２０が単にタッチスクリーン１８に触れることによってコマンドがアクティブ化されるように重畳されたさまざまなシンボルと共に表示するタッチスクリーン１８を有する機器である遠隔制御機器１６から操縦される。

機器１６にはまた、無人機と通信するための無線接続手段も設けられており、特にカメラ１４によって捕捉された画像を伝送するための無人機１０から機器１６、および操縦コマンドを送信するための機器１６から無人機１０への双方向データ交換を使用可能にする。一例として、この無線接続は、ＷｉＦｉ（ＩＥＥＥ８０２．１１）またはブルートゥース（登録商標）タイプのローカルエリア・ネットワークであってもよい。

特に、機器１６は、マルチメディア機器または携帯情報端末であってもよく、たとえば、操縦コマンドを検出するためおよびＷｉＦｉタイプの無線接続を介して無人機とデータを交換するために必要なさまざまな制御メンバを組み入れる機器であるｉＰｈｏｎｅタイプの携帯電話またはｉＰｏｄ Ｔｏｕｃｈタイプのマルチメディア・プレイヤー（米国Ａｐｐｌｅ Ｉｎｃ．社の登録商標）であってもよい。

無人機１０を操縦することは、以下の移動を実行させることから成る。
ａ） 前方または後方に移動するためのピッチ軸２２中心の旋回、および／または
ｂ） 右または左に移動するためのロール軸２４中心の旋回、および／または
ｃ） 無人機の主軸を右または左に回転させて、正面カメラが指し示す方向および無人機が進む方向に方向転換させるためのヨー軸２６中心の旋回、および／または
ｄ） 無人機の高度を増加または減少させるようにスロットル設定をそれぞれ変更することによる下方２８または上方３０への転換の動き

（いわゆる「反応」モードで操縦中の）遠隔制御機器１６からユーザによってこれらの操縦コマンドが直接適用されるとき、ピッチ軸２２およびロール軸２４中心に旋回するためのコマンドａ）およびｂ）は、機器１６をそれぞれ縦軸３２および横軸３４に関して傾けることによって直観的に得られ、たとえば、無人機を前進させるためには、機器を軸３２に関して前方に傾ければ十分であり、右に方向転換するためには、機器を軸３４に関して右に傾ければ十分である。

コマンドｃ）およびｄ）は、タッチスクリーン１８で固有の対応するゾーンと接触するユーザの指２０によって適用されたアクションの結果である。

図２は、最新技術において行われる、遠隔制御機器のスクリーン１８に表示されるさまざまな画像およびシンボルを示す。

スクリーン１８は、無人機の正面カメラ１４によって捕捉された景色３６を再生し、さまざまなシンボル３８〜６６はこの画像に重畳され、それらのシンボルは無人機の操作に関する情報を搬送するため、および対応する操縦コマンドがトリガーされてタッチ・アクティブ化によって送信されるようにするために表示される。

このようにして、機器は、３８においてバッテリの状態に関連する情報、４０において機器と無人機との間の接続を確立する信号のレベルに関連する情報、および４２において設定のメニューにアクセスする情報を表示する。

スクリーンはまた、反応モードをアクティブ化するためのシンボル４４も表示する。このシンボル４４を１回押すことで、無人機を反応モードに瞬時に切り替えることができる。シンボルを解放することで、無人機を、コマンドがない場合に到達された固定の点で安定を保つ自動操縦モードに切り替え、次いで固定の点は無人機に組み込まれた安定システムによって静止状態を維持される。

反応モードで操縦する場合、操縦者は、機器を傾けることによって生成されるコマンドだけではなく、特にヨーで旋回するための上矢印４６および下矢印４８、ならびに左矢印５０および右矢印５２を含む、タッチ・コマンドも使用可能である。

ユーザはまた、高度データ５６および傾斜角データ５８の表示を、搭載カメラが指し示す方向、ひいては無人機の主軸の方向を指図する照準６０と共に有する。

６２における離陸および着陸の自動制御、６４における緊急時手順のトリガー、および仮想射撃のための６６における十字形のような、さまざまな追加のシンボルもまた提供される。

本発明の特徴的な形において、これらの操縦コマンドは、図３に示されるように変更される。

図２と比較すると、特に、反応モードをアクティブ化／非アクティブ化するためのシンボル４４、および上／下シンボル４６および４８、ならびにヨー旋回シンボル５０および５２が省略されて、単一の固有のアイコン７０の表示に置き換えられていることが分かる。

機器が自動操縦モードにあるとき、この特定のアイコン７０は表示されない。

このアイコン７０は、ユーザが、たとえば、すでに確保されているタッチ・コマンドに対応するシンボル（特に、シンボル６２および６４）を除くスクリーン１８の右側半分で構成される広い範囲など、スクリーンのゾーン６８内の任意の点に指を置くと直ちに表示される。アイコン７０は、たとえばユーザが右手の親指などの指をゾーン６８の任意の点に置くと、ユーザの指の下に表示される。

機器が自動操縦モードにある間にゾーン６８の任意の点に指を接触させると、さらに正確に以下のアクションを生じさせる。
− 指が接触した時点における機器の傾斜角（地球基準座標系の絶対鉛直に対するピッチ軸３２およびロール軸３４の位置）を決定するために、機器の傾斜センサーからデータを測定すること、次いでこの位置は傾けることによってコマンドのその後の適用のための新しい中立位置として定義される、
− （以下で説明されるように「中立ゾーン」が接触点の周囲に定義されることを条件として）自動操縦を非アクティブ化して反応モードをアクティブ化すること、
− ユーザの指の下にアイコン７０を表示し、それにより上記のアクションが適正に実行されたことを確認すること、
− 後段でさらに詳細に説明される方法で、上／下コマンドおよび左／右旋回コマンドをユーザの指の下で使用可能にすること。

この状態は、静止または移動のいずれの状態にあっても、指がゾーン６８を押した状態にある限り継続する。

指の接触が解放されると直ちに、上記のアクションと逆のアクションが実行され、自動操縦は再アクティブ化されてアイコン７０は表示されなくなる。

アイコン７０は実際に、当初重畳されている２つのアイコン、すなわち可動アイコン７２および固定アイコン７４またはマーカーで構成される。固定アイコン７４は、スクリーン上で指が最初に接触した点に表示されたままであるが、可動アイコン７２は当初の接触点の付近で同スクリーン上の指の動きを追う（指はタッチスクリーン上をスライドする間、タッチスクリーンの表面に接触し続ける）。

変形において、横軸をアイコンの設計に追加することが可能であり、この軸は伝えられたピッチ傾斜角に応じて上または下に移動し、さらに伝えられたロール傾斜角と一致するように傾く。このように、このアイコンは、ユーザが伝えられる傾斜コマンドに関する視覚的なフィードバックを得るように、横方向の表現と類似している。この変形は特に、図７を参照して以下で説明されるような「ヘッドアップ」表示システムにおいて有利である。

図４および図５は、可動アイコン７２および固定アイコン７４のさまざまな相対的位置を示す。

機器は、固定アイコン７４に対して可動アイコン７２の現在位置を検出し、スクリーンの表面上の固定アイコン７４の中心に対して可動アイコン７２の中心が位置する四分円を、北、南、東、または西と決定する（したがって「北」四分円という用語は、スクリーンに対して垂直方向に＋＿４５°の方向に対応し、その他の四分円についても必要な変更を加えて同様のことが言える）。機器はまた、可動アイコンと固定アイコン７４の中心との間の距離を評価する。

可動アイコン７２が、
− 図４（ａ）に示されるように、南四分円にある場合、これは（図２に示されるようにシンボル４８を押すことと等価である）「下」の命令として解釈され、対応するコマンドが無人機に送信され、
− 図４（ｂ）に示されるように、北四分円にある場合、これは（図２に示されるようにシンボル４６を押すことと等価である）「上」の命令として解釈され、対応するコマンドが無人機に送信され、
− 図５（ａ）に示されるように、西四分円にある場合、これは（図２のシンボル５０を押すことと等価である）「ヨーで左に方向転換」の命令として解釈され、対応するコマンドが無人機に送信され、
− 図５（ｂ）に示されるように、東四分円にある場合、これは（図２のシンボル５２を押すことと等価である）「ヨーで右に方向転換」の命令として解釈され、対応するコマンドが無人機に送信される。

有利なことに、コマンドはオン／オフ・コマンドではなく、可動アイコンと固定アイコンとの間で測定された距離に応じて変調される振幅のコマンドであり、次いでコマンドは、距離に比例するか、またはたとえば対数関係など、実際に何らかの他の関係を使用して変調されてもよい。

すべてのコマンドは同時にアクセス可能であり、相互に組み合わされてもよいことに注目されるべきである。たとえば、ユーザが指をのせて機器を左に傾けると、無人機は左に進む．．．ユーザが指を左に移動すると、無人機はヨーで傾いて旋回し、同時に左に方向転換する．．．ユーザが指を上向に移動すると、無人機は同心円内を上昇する、などである。

比例コマンド（すなわち、単にオン／オフ・コマンドとして機能するのではない）を有することはまた、非常に容易であり、機器の前傾の角度がさらに大きくなれば、それに応じて無人機の前進速度がより高まる．．．指が上方にさらに大きく移動されれば、それに応じて上昇率も大きくなる．．．指がさらに左に移動されれば、それに応じてヨー・コマンドが倍加されるものなどがある。

したがって、１本の指を使用して３軸に対して無人機を操縦し、しかも同時に上／下コマンドを用いてモーターの速度を制御することが可能である。これらの簡単なコマンドは、無人機の自動操縦によって、操縦セットポイントに応答するだけではなく、無人機をそのあらゆる高度において確実に安定させる複雑なコマンドに変換される。

さまざまな特定の実施態様の特徴が想定される。

特に、指が当初、タッチゾーン６８の縁に近すぎる位置でスクリーンに接触する場合、特定のコマンドを実施することが不可能であってもよいか、または極めて小さい規模でしか実施されなくてもよい。そのような状況が検出される場合、機器は、たとえばバイブレータなどのアラームを一時的にアクティブ化させて、指が不適切な位置にあることをユーザに知らせる。しかし、指の位置が原因で生じる制限があるにもかかわらずコマンドに適切に応答するために、操縦ソフトウェアがアクティブ化される。

さらに、コマンドが可動アイコンと固定アイコンとの間の最小間隔を超えるときに限り生成されるように、操縦コマンドのトリガーしきい値が提供されてもよく、この間隔は固定アイコン７４周囲の中立ゾーンを定義することになる。

または実際に、および好ましくは、たとえば操縦命令に関連するコマンドのトリガーしきい値は、スクリーン上の指の移動の速度が所定の最小速度を超えない限り考慮されない。このことは、前述の状況において、コマンドを生成する前に指が中立ゾーンを離れるのを待つ必要があり、それにより無人機の制御中に遅延がさらに加わることに起因する待ち時間が生じるのを防ぐ。

このような手順の結果は、指が当初の接触点に必ずしも厳密には戻らなくてもよいということである。したがって、指がもとに戻る移動の終わりに（コマンドをアクティブ化することの終わりに）停止する位置において再定義される流動的な中立点を提供することが必要である。言い換えれば、（所定の最小しきい値を超える移動速度で）接触点の逆方向への移動中に、初期位置がリセットされる必要があり、新しい初期位置はこの逆の移動が終了する点として再定義される。

たとえば、ユーザが特定の速度で指を上方に移動させると直ちに、これは上への命令であると解釈される。また指が下方に移動されると直ちに、これはユーザが上方への移動をやめたいと考えていることを意味する（指を初期中立点まで移動させる必要はなく、コマンドを中断するために特定の速度で指を下方にスライドさせるだけで十分である）。しかし、指が、上方に移動した距離よりも短く下方に移動することも生じる可能性があり、デバイスは指が停止する位置において中立点を再確立するために、このことを考慮に入れておく必要がある。

もう１つの変形において、反応モードのアクティブ化は、機器を一部の事前定義された最小傾斜しきい値を超えて任意の軸に関して傾けることによって達成されてもよい。

さらにもう１つの変形において、無人機を初心者ユーザがより簡単に操縦できるようにするため、コマンドを分離させることが有利となりうる。

この変形は、図３に対応する図６において簡略化された変形で示される。

コマンドには右手用に提供されるものも、また左手用に提供されるものもある。この例において、右手の１本の指はヨー制御および上／下制御に使用されるが、左手はピッチおよびロールにおける回転コマンドに使用される。この目的のために、スクリーンは、各々コマンドを受信するために２つのゾーン７６および７８に分割され、それらの各ゾーン内には、ユーザがゾーン上に指をのせると表示されるそれぞれのアイコン８０、８２がある。アイコン８２は、図３から図５の実施態様における操縦アイコンと同じであるが、アイコン８０は単に指がスクリーン上にあることを指示している。

上記で概括的に説明された新しい操縦モードは、複数の利点をもたらす。

第１に、「制御すること」には単に指がスクリーンの点に置かれることが要求されるだけで、固定点に留まることは「制御を解除すること」によってのみ命じられる（自動操縦モードへの切り替え）という基本理念が保持さる。これにより、経験の乏しいユーザが無人機を極めて容易に制御できるようになる。

しかし、本発明において、「制御する」すなわち反応モードに切り替えるために正確な固定ゾーンを押す必要はなくなり、スクリーンのかなり広範なゾーン、具体的には示される例の右半分の任意の点に指を置けば十分である。これは、スクリーンを見ることなく直観的に行われてもよい。

第２に、指が前記ゾーンに置かれると（しかもそこに留まると）、接触点は制御の中心となり、以下のように、１本の指で無人機を操縦することが可能である。
− 指を右に移動することによって、ユーザは右へのヨー方向転換コマンドを出して、無人機にその自軸中心に右回りに旋回させ、指を左に移動させることによって、左へのヨー方向転換コマンドが無人機を逆方向に方向転換させる
− 指を上方に移動することによって、無人機を上昇させ、指を下方に移動することによって、無人機を下降させる

機器の２つの主軸に対して無人機を傾けることにより、以下のように、その他のコマンドが与えられる。
− 機器を前方に傾けることによって、無人機は前方に傾いて前進し、機器を後方に傾けることによって、無人機は後方に傾いて逆戻りする
− 機器を左に傾けることによって、無人機は左に傾いて左に移動し、機器を右に傾けることによって、無人機は右に傾いて右に移動する

これらの４つのコマンドには、場合によっては、たとえばロール・コマンドまたはピッチ・コマンドを実行するために機器を傾けるときに最小角度を機器にもたらすようにすることにより、または実際にヨー・コマンドおよび高度コマンドに対して接触点から特定の最小距離だけ指を遠ざけて移動することによって、中立ゾーンが付随して生じてもよい。

１本の指を使用することで、ユーザにとって重要なメッセージおよび情報が覆われる状況が軽減されることが注目されるべきである。

また、左利きおよび右利きのユーザに同様に対応することも可能であり、接触点のタッチゾーンがスクリーンの左側をカバーする面積は、右側をカバーする面積とほぼ同じである。

さらに、射撃は、スクリーンの反対側部分の定義されたゾーンに触れることにより、操縦コマンドに使用されている手と反対の手の指でアクティブ化されてもよい。

最後に、図６を参照して上記で説明されている簡略化された変形において、コマンドは同じ指に対してまとめられてはいないので、初心者ユーザがコマンドを調整することもより簡単になっている。

第３に、もう１つの大きな進歩は、もはや機器の水準を維持する必要がなくなることにある。

従来は、機器を傾けることによって２軸に関して無人機の傾斜角を制御するために、反応操縦モードにおいて、機器の水準を保持しながらスクリーンの正確な点に指を置くことが必要であった。

本発明において、反応モードに切り替えるためにユーザが指をスクリーン上に置くとき、（地球絶対基準座標系で測定される）鉛直の方向が記録され、この方向は新しい基準方向として、すなわちコマンドの中立点として使用される。

したがって、傾けられている機器であっても反応モードをアクティブ化することが可能であり、それによりさらに一層使いやすくなり、特に無人機が屋外へ飛行するときにスクリーンの表面からの日光の反射を防ぐ役割も果たす。

第４に、図７に示されるように、前述の操縦モードは、機器１６に関連してビデオグラス８４を備えるタイプのヘッドアップ・ディスプレイと共に使用することに特に適している。これらのグラスは、メガネフレームにアセンブルされ、機器１６のビデオ出力に接続された２つのＬＣＤディスプレイを備える。これらのグラスにより、ゲームの拡張現実感の世界にさらに深く没頭できるようになる。

反応モードをアクティブ化して操縦コマンドを適用するために機器のボードゾーンに指を置けるようにする本発明の改良点は、ユーザが手または機器のスクリーンの指が置かれている場所を見ることを防ぐ、そのようなグラスとの併用に特に適している。どちらの手も見えないユーザを安心させるため、制御面に対する指の位置はグラスのスクリーンに表示され、それにより機器からのフィードバックを改良して、ユーザは命令される内容を正確に認識し（可動アイコンおよび固定アイコンが図４および図５に示されるものと同様に表示される）、それにより「ヘッドアップ・ディスプレイ」タイプの操縦をしている印象をもたらす。

本発明のもう１つの態様は、補助コマンドが前述の操縦モードのコンテキストにおいて送出される方法にある。

無人機はビデオゲームの要素であり、そこで無人機を操縦するプレイヤーは、たとえば仮想のターゲット（拡張現実ゲームのスクリーンに表示される対戦相手または敵目標）または検出器ゾーンが設けられた現実のターゲット（追撃ゲームにおける固定ターゲットまたは別の無人機）を撃つなどの、ゲームアクションを同時に実行する必要がある。

対象ターゲットに命中させるチャンスがある場合、射撃コマンドは、プレイヤーによって極めて迅速に、ほとんど反射的にアクティブ化される必要がある。

「反応モード」がアクティブ化されている間、プレイヤーは無人機を操縦している。したがって、プレイヤーは操縦することに専念しており、プレイヤーの手はふさがっており、プレイヤーの視覚は無人機を見ることに集中している。

このことは特に、コマンドが遠隔制御機器のスクリーンの右部分と左部分に分割され、一部のコマンドが右側で使用可能にあり、他の一部のコマンドが左側で使用可能になるような（たとえば、右手の指はスロットル・コマンドおよびヨー・コマンド用、左の指はピッチ・コマンドおよびロール旋回コマンド用など）前述の変形で適用される。

欠点を緩和するため、本発明は、操作の「支援射撃」モードを有するが、ここでプレイヤーは最初に、無人機のカメラの１つの形状認識ソフトウェアが機器に実施されたゲーム・ソフトウェアにより定義されているターゲットを識別すると、遠隔制御機器によって出されるサウンドイベントにより通報を受ける。

次いで、プレイヤーは、操縦を中断することもなく、手を移動させることもなく、無人機から目を離すこともなく、遠隔制御機器を振ることによって射撃命令をトリガーすることができる。遠隔制御機器に組み込まれた加速度計は、振られたことに応答して、ゲーム・ソフトウェアに射撃命令を送出し、仮想銃器が発砲する。

振動は、加速度信号ピークの形で遠隔制御機器の加速度計によって検知されるが、このピークは、動きが引き続き加速度計の少なくとも１つの軸に関してしきい値（ユーザによって伝えられる衝撃）を超えるかどうかを決定するハイパス・フィルターを用いて加速度計を介して操作されるその他のコマンドと容易に区別される。

加速度計によって検出された加速度ピークが継続する短期間中、同加速度計によって制御される他の飛行コマンドは、振動が操縦コマンドとして解釈されることなく、無人機の移動の制御、ひいては無人機の空中での振る舞いの制御に影響を与えることのないように、それらのコマンドの以前の状態に保存される。

Claims (23)

1. 機器（１６）を用いて無人機を遠隔制御する方法であって、前記機器（１６）は、タッチスクリーン（１８）と、前記スクリーンの表面へのユーザの指（２０）の少なくとも１つの接触を検出するため、および前記スクリーンに表示される対応する複数のシンボルの１つに関して前記少なくとも１つの指の接触点の位置を決定するのに適した手段と、前記無人機に複数のコマンドを出すのに適した無線データ伝送手段とを備えるポータブル機器であり、
   前記方法は、前記スクリーンに表示される対応する前記複数のシンボルとしての複数の操縦シンボルの位置で前記指を前記スクリーンと接触させることおよび／または前記スクリーン上で指を移動することによって前記複数のコマンドとしての複数の操縦コマンドを生成することを備え、
   ａ） 前記スクリーンの少なくとも１つの予め定められたゾーン（６８）内の任意の接触点における指の接触を検出するステップと、
   ｂ） 初期位置からオフセット位置までの前記スクリーン上の前記指接触点のいずれかの移動を追跡する位置において前記スクリーンに表示される可動アイコン（７２）を備える操縦アイコン（７０）を、前記スクリーンの前記接触点において表示するステップと、
   ｃ） 前記可動アイコンの前記移動を検出するステップと、
   ｄ） 前記可動アイコンの前記移動を検出した際に、前記初期位置に対する前記可動アイコンの前記移動の方向および／または振幅および／または速度を分析するステップと、
   ｇ） 前記分析の結果に応じて前記複数の操縦コマンドの１つを生成するステップとによって特徴付けられ、
   前記機器によって伝送されたコマンドがない場合のホバリング飛行において前記無人機を独立して安定させるための選択的にアクティブ化可能なシステムが備えられた回転翼無人機を遠隔制御するために、前記システムは、ステップａ）において前記指を検出したことに応答して非アクティブ化される、方法。
2. 前記初期位置に対する前記可動アイコンの前記移動の方向および／または振幅および／または速度を分析するステップの後に、
   ｅ） ステップｇ）で生成されるべき前記複数の操縦コマンドの１つを、前記可動アイコンの前記移動の方向に応じて、複数の異なる操縦コマンドと区別するステップをさらに備える請求項１に記載の方法。
3. ステップｇ）において生成するための前記複数の操縦コマンドの１つは、前記タッチスクリーンに表示される画像の方向に対して、前記可動アイコンの前記移動の方向がそれぞれ主に上方または下方に方向付けられるとき、前記無人機を上または下に移動させるコマンドである請求項２に記載の方法。
4. ステップｇ）において生成するための前記複数の操縦コマンドの１つは、前記タッチスクリーンに表示される画像の方向に対して、前記可動アイコンの前記移動の方向がそれぞれ主に左または右に方向付けられているとき、前記無人機のヨー軸（２６）に関して左または右に旋回させる画面である請求項２に記載の方法。
5. 前記初期位置に対する前記可動アイコンの前記移動の方向および／または振幅を分析するステップの後に、
   ｆ） ステップｇ）で生成されるべき前記複数の操縦コマンドの１つを、前記可動アイコンの前記移動の振幅に応じて定量化するステップをさらに備える請求項１に記載の方法。
6. 前記システムは、前記指の接触が検出される期間中にわたりステップａ）の後非アクティブ化された状態を維持し、接触が失われたことを検出したことに応答してアクティブ化される請求項１に記載の方法。
7. ステップａ）において検出された前記接触点の周囲の中立ゾーンを定義するステップを含み、前記中立ゾーンは、現在の指接触点が前記中立ゾーン内に留まっている限り前記システムがアクティブ化された状態を維持するような方法で定義される請求項１に記載の方法。
8. ステップｂ）において表示される前記操縦アイコン（７０）は、前記可動アイコン（７２）に加えて、前記接触点がその後移動した場合であっても、前記初期の指接触点の位置において引き続きスクリーンに表示される固定の基準アイコン（７４）を備える請求項１に記載の方法。
9. 地球基準座標系の中立基準軸に対して２軸（３２、３４）に関する前記機器の傾斜角を検出する手段を含む機器（１６）を実施するための、ステップａ）において前記指接触を検出するステップが、
   − 接触が検出された瞬間において前記機器の前記基準座標系に対して鉛直の方向を記録するステップと、
   − この鉛直を新しい基準軸として指定するステップとをアクティブ化する請求項１に記載の方法。
10. ピッチ軸（２２）および／またはロール軸（２４）中心に旋回させる操縦コマンドを、前記基準軸に対して前記２軸（３２、３４）のそれぞれ一方および／またはもう一方に関して検出された前記機器の傾斜角に応じて生成するステップとをさらに備える請求項９に記載の方法。
11. 前記ピッチ軸（２２）および／またはロール軸（２４）中心に旋回させる操縦コマンドが中立角度範囲外の前記機器の傾斜角についてのみ生成されるように、前記基準軸に関して前記中立角度範囲を定義することを含む請求項１０に記載の方法。
12. 前記機器によって伝送されたコマンドがない場合のホバリング飛行において前記無人機を独立して安定させるための選択的にアクティブ化可能なシステムが備えられた回転翼無人機を遠隔制御するためであって、前記中立角度範囲外の前記機器の傾斜角についてのみ前記システムが非アクティブ化される請求項１１に記載の方法。
13. 前記機器（１６）は加速度計センサーを含み、前記方法は、
    − 前記ユーザによって前記機器に伝えられた加速度ピークを検出するステップと、
    − ピークの前記検出に応答してコマンドを生成するステップとを含む請求項１に記載の方法。
14. 前記加速度ピークの検出に応答したコマンドは前記機器（１６）において実施されたゲーム・ソフトウェアへの入力として適用される射撃コマンドである請求項１３に記載の方法。
15. 前記加速度ピークの検出ステップは、前記機器（１６）の前記加速度計センサーによってもたらされた加速度信号のハイパス・フィルタリングを含む請求項１３に記載の方法。
16. − 加速度ピークの検出時に前記複数の操縦コマンドの状態を記録するステップと、
    − 前記加速度ピークの期間中にわたり前記状態を保持するステップをさらに備える請求項１３に記載の方法。
17. ビデオグラス（８４）に結合され、ヘッドアップ・タイプのディスプレイを提供するように前記タッチスクリーン（１８）に表示される前記操縦アイコン（７０）を複製する前記ビデオグラスを含む機器（１６）を実施するための請求項１に記載の方法。
18. ステップａ）において検出された前記接触点と前記スクリーンの前記予め定められたゾーンの縁との間の最小距離が所定の距離よりも小さいときに、アラート信号を送出するステップとをさらに備える請求項１に記載の方法。
19. ステップａ）において検出された前記接触点の周囲の中立ゾーンを定義するステップとを含み、前記中立ゾーンは、前記オフセット位置が前記中立ゾーンの外に位置していない限り、ステップｃ）およびｄ）の前記操縦アイコンの前記移動が考慮に入れられないようになっている請求項１に記載の方法。
20. ステップａ）において検出された前記接触点の周囲の中立ゾーンを定義するステップとを含み、前記中立ゾーンは、前記初期位置に対して前記スクリーン上の前記指接触点の前記移動の速度が所定の最小しきい値を超えない限り、ステップｃ）およびｄ）の前記操縦アイコンの前記移動が考慮に入れられないようになっている請求項１に記載の方法。
21. 前記接触点が別の所定の最小しきい値を超える移動速度で逆方向に移動している場合には、前記初期位置をリセットするステップをさらに含み、新しい初期位置は前記逆の移動が終了する点によって再定義される請求項２０に記載の方法。
22. 無人機を遠隔に制御するための前記機器（１６）であって、前記機器は、
    − タッチスクリーン（１８）と、
    − 前記スクリーンの表面へのユーザの指（２０）の接触を検出するため、および前記スクリーンに表示される対応するシンボルに関して前記指の接触点の位置を決定するのに適した手段と、
    − 前記無人機にコマンドを伝送するのに適した無線データ伝送手段と、
    − 請求項１乃至２１のいずれか１項に記載の方法を実施するための手段とを備えるポータブル機器であることを特徴とする機器。
23. − タッチスクリーン（１８）と、
    − 前記スクリーンの前記表面へのユーザの指（２０）の接触を検出するため、および前記スクリーンに表示される対応するシンボルに関して前記指の前記接触点の位置を決定するのに適した手段と、
    − 前記無人機にコマンドを伝送するのに適した無線データ伝送手段とを備える前記ポータブル機器（１６）にダウンロード可能なソフトウェアであって、
    無人機を遠隔に制御するための請求項１乃至２１のいずれか１項に記載の方法を実施するのに適した命令を含むソフトウェア。

Images