JP2023532000A - ユーザインターフェース方法及びシステム - Google Patents

Abstract

命令を記憶するように構成されているメモリと、少なくとも１つのハードウェアプロセッサであって、命令を実行して、少なくとも１つのセンサから、ユーザジェスチャに対応するセンサデータを取得することと、センサデータに一致するユーザインターフェースジェスチャを判定することと、判定されたインターフェースジェスチャに対するパラメータを取得することと、判定されたインターフェースジェスチャに対するパラメータを取得すると、センサデータ及び判定されたインターフェースジェスチャに対するパラメータを使用して、ユーザインターフェースにおけるユーザジェスチャを推定することと、を行うように構成されている、少なくとも１つのハードウェアプロセッサと、を含む、ユーザインターフェースデバイス。方法も提供される。【選択図】図３

Description

本開示概して、ユーザインターフェースに関し、特に、ユーザインターフェースにおけるユーザジェスチャの検出に関する。

この節は、以下に説明及び／又は特許請求される本開示の様々な態様に関連し得る様々な技術の態様を読者を紹介することを意図している。この考察は、本開示の様々な態様のより良好な理解を容易にするための背景情報を読者に提供する上で有用であると考えられる。したがって、これらの記述は、この観点から読まれるべきであり、先行技術の承認として読まれるべきではないことを理解されたい。

グラフィカルユーザインターフェース（Graphical User Interface、ＧＵＩ）は、ユーザがデジタルディスプレイ、例えば、テレビ、モニタ、スマートフォン、タブレット、及びヘッドマウントディスプレイ（Head-Mounted Display、ＨＭＤ）と対話するための周知の方法である。

ユーザが、例えば、マウス、ジョイスティックを使用して、又は物理的接触によって、直接アクションを通してＧＵＩと対話することが一般的であるが、ＧＵＩシステムが、ユーザのジェスチャを検出し、これらを、いくつか名前を挙げると、「起動」、「選択」、及び「移動」などのＧＵＩアクションとして解釈することも可能である。

後者の場合、システムは、片手又は両手などのユーザの身体部分を検出する１つ以上のセンサを必要とする。典型的には、位置及び姿勢の両方が検出され、例えば、手がどこに位置するか、及び手がどのように形作られているか（指が伸ばされているかどうかなど）が検出される。次いで、システムは、身体部分の仮想構造を構築することができ、この仮想構造の座標が、ＧＵＩ環境との対話を計算するために使用され得る。

現在、手の姿勢及び位置のための最も周知のセンサは、ＬｅａｐＭｏｔｉｏｎデバイスであり、これは、デスクトップ上に設置されるか、人間の胸部に取り付けられるか、又はＨＭＤなどのデバイスに組み込まれ得る。

ディスプレイ及びセンサを伴うそのようなＧＵＩシステムを使用して、ユーザは、次いで、身体部分を移動させることができ、それは、センサによって検出され、ディスプレイ上にレンダリングされる仮想オブジェクトと対話するように解釈される。

しかしながら、特定の場合、例えば、身体部分がセンサから遠いときに、又は身体部分を完全に検出することができないときに、計算された仮想構造（例えば、骨格）の座標にノイズが導入される。身体部分の振動の結果でもあり得るノイズは、身体部分の誤った解釈を引き起こす可能性があり、例えば、誤った又は物理的に不可能な身体部分座標（例えば、「折れた」指）又は座標の欠如を引き起こす可能性がある。

ユーザが仮想オブジェクト（例えば、ボタン）と対話したい場合、不正確な座標は、対話を妨げることがある。

したがって、身体部分を検出するセンサを有するＧＵＩの欠点のうちの少なくともいくつかに対処する解決策に対する要望が存在することが理解されよう。本原理は、係る解決策を提供する。

第１の態様では、本原理は、プロセッサによって実行可能な命令を記憶するように、かつパラメータを記憶するように構成されているメモリと、少なくとも１つのハードウェアプロセッサであって、命令を実行して、少なくとも１つのセンサから、ユーザジェスチャに対応するセンサデータを取得することと、センサデータに一致するユーザインターフェースジェスチャを判定することと、判定されたインターフェースジェスチャに対するパラメータを取得することと、判定されたインターフェースジェスチャに対するパラメータを取得すると、センサデータ及び判定されたインターフェースジェスチャに対するパラメータを使用して、ユーザインターフェースにおけるユーザジェスチャを推定することと、を行うように構成されている、少なくとも１つのハードウェアプロセッサと、を含む、デバイスを対象とする。

第２の態様では、本原理は、デバイスの少なくとも１つのハードウェアプロセッサにおいて、少なくとも１つのセンサから、ユーザジェスチャに対応するセンサデータを取得することと、センサデータに一致するユーザインターフェースジェスチャを判定することと、判定されたインターフェースジェスチャに対するパラメータを取得することと、判定されたインターフェースジェスチャに対するパラメータを取得すると、センサデータ及び判定されたインターフェースジェスチャに対するパラメータを使用して、ユーザインターフェースにおけるユーザジェスチャを推定することと、を含む、方法を対象とする。

第３の態様では、本原理は、非一時的コンピュータ可読媒体に記憶され、第２の態様のいずれかの実施形態による方法のステップを実装するためにプロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム製品を対象としている。

ここで、本原理の特徴を、添付の図面を参照して、非限定的な例として説明する。
本原理の実施形態によるＧＵＩシステムを例示する。 本原理の実施形態によるモデル姿勢を学習するための方法を例示する。 本原理の実施形態による仮想オブジェクト対話のための方法を例示する。 検出されたノードを使用した例示的なユーザジェスチャの推定を例示する。 検出されたノードを使用した例示的なユーザジェスチャの推定を例示する。 検出されたノードを使用した例示的なユーザジェスチャの推定を例示する。 検出されたノードを使用した例示的なユーザジェスチャの推定を例示する。 検出されたノードを使用した例示的なユーザジェスチャの推定を例示する。 検出されたノードを使用した例示的なユーザジェスチャの推定を例示する。

以下の説明では、以下の表現が使用される。
・ユーザジェスチャ：ユーザの身体又は身体部分の位置、運動を含む可能性があり、例えば、胴体及び脚を垂直にした状態で水平に保持された腕、「サムズアップ」、人差し指を伸ばした状態で閉じた拳である。
・センサデータ：典型的にはユーザジェスチャを表す、少なくとも１つのセンサによって出力されるデータ（例えば、ノード座標）である。
・ＧＵＩジェスチャ：ＧＵＩとの（可能な）対話としてＧＵＩによって解釈することができる全ての可能なユーザジェスチャのサブセットである。例えば、サムズアップは、ＧＵＩジェスチャではない場合があるが、人差し指を延ばした状態で閉じた拳はそうである。
・デフォルトパラメータ：ユーザジェスチャを解釈するために使用されるＧＵＩジェスチャの「標準」パラメータである。
・学習済みパラメータ：検出されたユーザジェスチャから測定されたＧＵＩジェスチャパラメータ。

図１は、本原理の実施形態によるグラフィカルユーザインターフェース（Graphical User Interface、ＧＵＩ）１００を例示している。ＧＵＩシステム１００は、処理デバイス１１０と、ディスプレイ１２０と、少なくとも１つのセンサ１３０と、を含む。

処理デバイス１１０、ディスプレイ１２０、及び少なくとも１つのセンサ１３０は、別個の機能的に接続されたデバイスであり得る。例えば、処理デバイス１１０は、１つ以上のスタンドアロンセンサ１３０から入力を受信し、ディスプレイ１２０、例えば、テレビ受像機に出力を提供する、コンピュータ、デコーダ、又はセットトップボックスであり得る。

実施形態では、例えば、別個の処理デバイス１１０並びに組み合わされたディスプレイ１２０及び少なくとも１つのセンサ１３０、又は少なくとも１つの別個のセンサ１３０に接続された組み合わされた処理デバイス１１０及びディスプレイ１２０（例えば、テレビジョンセット内の）など、様々な組み合わせも企図されている。特定の実施形態では、処理デバイス１１０、ディスプレイ１２０、及び少なくとも１つのセンサ１３０は、テレビジョンセット又はヘッドマウントデバイス（ＨＭＤ）などの単一のデバイスに組み込まれる。少なくとも１つのセンサ１３０が少なくとも１つの他の部品と同じ場所に位置するときに、システムは、追加の別個のセンサを更に含み得ることを理解されたい。

処理デバイス１１０は、典型的には、少なくとも１つのユーザインターフェース１１１と、少なくとも１つのハードウェアプロセッサ（「プロセッサ」）１１２と、メモリ１１３と、通信インターフェース１１４と、を含む。

ユーザインターフェース１１１は、ユーザからの入力を受信するように構成されている。ユーザインターフェース１１１は、（物理的又は仮想的な）１つ以上のボタン、又は従来の遠隔制御などのユーザインターフェースユニットからの信号の受信機を含むことができる。

プロセッサ１１２は、本原理による方法を実施するためのプログラムコード命令を実行するように構成されている。

少なくとも部分的に非一時的であり得るメモリ１１３は、プロセッサ１１２によって実行されるべきプログラムコード命令、パラメータ、画像データ、中間結果などを記憶するように構成されている。

通信インターフェース１１４は、例えば、ディスプレイ１２０上に表示するためのコンテンツ及び他の情報を受信するために、外部デバイスと通信するように構成されている。通信インターフェースは、任意の好適な技術、有線若しくは無線、又はその２つの組み合わせを実装することができる。

ディスプレイ１２０は、当該技術分野で既知であるように、処理デバイスによって提供される画像をそのスクリーン上に表示するように構成されている。

少なくとも１つのセンサ１３０は、ユーザジェスチャを検出し、センサデータを処理デバイス１１０に提供するように構成されている。言及されたように、少なくとも１つのセンサは、ディスプレイ１２０から分離することができるが、例えば、そのスタンド、そのフレーム、又は更にはそのスクリーンの内部など、その１つ以上の部品に一体化され得る。

少なくとも１つのセンサ１３０は、例えば、リープモーション（Leap Motion）技術に基づき得る。一実施形態では、少なくとも１つのセンサ１３０は、ディスプレイ１２０の前のユーザジェスチャを検出するように構成されている。複数のセンサが必要とされ得ることに留意されたい。

非一時的記憶媒体１４０は、少なくとも１つのプロセッサによって実行されるときに、図２及び図３を参照して説明された方法などの本原理の少なくとも１つの方法を実行するコンピュータ可読命令を記憶する。

この説明の大部分で使用される非限定的な例では、身体部分は、手であるが、説明されるように、本原理は、他の身体部分に容易に拡張される。

理解されるように、身体部分の仮想構造は、概して、例えば関節又は端点に対応するノードから構成される。ノードは、座標安定性及び／又は信頼性に関してランク付けされ得る。例えば、手のひらの位置は、典型的には、指先の位置よりも安定かつ正確である。これにより、指先の座標がノイズの影響を受けて信頼できない場合に、手のひらの位置に基づいて指先の位置を推定することが可能になる。推定の精度は、システムが、現在のユーザジェスチャに対応する学習済みパラメータを以前に、好ましくはノイズの影響が少ないか、又はノイズなしで学習した場合に増加され得る。

一例として、ＧＵＩ環境は、ユーザが、典型的には人差し指の先端を使用して対話することができるボタンを提案することができる。手がセンサの近くにあるときに、姿勢、特に、例えば、手のひら又は人差し指の近位指節間関節のノードに対する指先のノードの位置が学習され得る。後の時点で、手が（仮想）ボタンに近づくと、システムは、指先のノードの座標が信頼できるかどうかを検証することができる。信頼性検証は、例えば、センサからの事前定義された距離閾値に基づくか、又はハンドノード座標上のノイズ分析に基づくことができる。座標（したがって、指先の位置）が信頼できないとみなされる場合、システムは、検出された指先位置を、対応するＧＵＩジェスチャに対する学習済みパラメータから外挿された指先位置、及び一般に、より正確に検出された（例えば、手のひら又は人差し指の近位指節間関節に対応する）ノードの検出された位置によって置き換えることができる。

先の例では、多数の任意の選択がなされたことに留意されたい。例えば、手のひら又は近位指節間座標は、安定していると考えられ、ユーザは、伸ばした人差し指の先端と、固有の向きを有する手のひらとのみ対話する。しかしながら、これらの仮定に基づく既存のＵＩシステムが存在すると理解されたい。

また、本原理は、例えば、以下のうちの１つ以上を有するより複雑なモデルをカバーするように容易に拡張されることに留意されたい。
－ＧＵＩを制御することができる複数の身体部分、
－身体部分の自由な向き、
－例えば、オブジェクトが向きに応じて異なって対話され得ることを意味する、仮想オブジェクトの自由な向き、
－仮想オブジェクトとの相互作用のための、単一の身体部分であっても複数の姿勢、
－安定していると考えられるノードがコンテキストに依存し得ることを意味する、安定しているノードの動的管理。

本原理は、２つの主要な部分、すなわち、学習済みパラメータを取得するために検出されたユーザジェスチャからパラメータを取得するための部分と、信頼できない検出センサデータが置き換え又は訂正されるＧＵＩオブジェクト操作のための部分と、に依拠することができる。

ＧＵＩシステムは、いくつかのＧＵＩジェスチャ、例えば、開いた手、閉じた手、及び人差し指だけ伸ばした状態での閉じた手を使用することができる。更に、対話型ＧＵＩオブジェクトは、異なるユーザジェスチャを使用して対話され得る。ボタンは、例えば、人差し指又は開いた手の手のひらを使用して作動させることができる。

学習パラメータ
最初に、少なくとも大抵の場合に正しく検出される傾向がある、ユーザジェスチャに対するパラメータは、学習される必要がない場合があることに留意されたい。そのようなジェスチャの一例は、指を合わせた開いた手である。

透過的学習が好ましい可能性があるが、ＧＵＩシステムは、ユーザが学習されるジェスチャを行うように要求される較正手順を提案することもできることにも留意されたい。

透過的学習を使用して、パラメータは、以下の状況のいずれか又は両方を通して学習され得る。

ＧＵＩシステムは、システムがキャプチャされたセンサデータの精度において高い信頼性を有する位置におけるユーザ姿勢を検出する。例：ユーザの手が、その手がセンサに比較的近いときにボタンと対話する。次いで、ＧＵＩシステムは、ユーザがボタンと対話するために選択したユーザジェスチャのパラメータを学習することができる。次いで、ＧＵＩシステムは、センサから比較的より遠く離れたボタン（又は同様のオブジェクト）と対話するときに、ユーザが同じユーザジェスチャを使用すると推定することができる。ある意味では、ＧＵＩシステムは、このようにして新しいＧＵＩジェスチャを学習する。

ＧＵＩシステムはまた、ＧＵＩシステム、特にオブジェクト（例えばボタン）との対話のための既存のＧＵＩジェスチャに対する特定のパラメータを学習することができる。学習は、更に説明されるように、ユーザ固有のセンサデータを取得することと、これらのデータを使用して、ＧＵＩジェスチャに対する学習済みパラメータを取得することと、を含む。例：ＧＵＩシステムは、伸ばされた人差し指によるタッチボタンとの対話のみを可能にし、その場合、学習は、新しいＧＵＩジェスチャパラメータを提供するために、又は既存の学習済みパラメータを精緻化するために、特定の手ノード間の距離及び角度を測定することを含むことができる。

図２は、本原理の実施形態によるパラメータを学習するための方法２００を例示する。方法は、センサ（図１の１３０）からの入力を使用して処理デバイス（図１の１１０）のプロセッサ（図１の１１２）によって実行され得るが、入力は複数のセンサによって提供され得ることが理解されるであろう。

説明された方法では、方法は、肯定的な判定の場合に、次のステップに進む。そうでない場合、方法は、第１のステップに戻る。

ステップＳ２１０では、少なくとも１つのユーザジェスチャがセンサによって検出されたかどうかが判定される。

ステップＳ２２０では、例えば、ユーザジェスチャがＧＵＩジェスチャに対応するかどうかを判定することによって（例えば、類似性スコアを使用して）、ユーザジェスチャがＧＵＩを制御するために使用され得るかどうかが判定される。既に説明されたように、ユーザがＧＵＩオブジェクトと対話することを判定することも可能である。

ステップＳ２３０では、ユーザジェスチャの取得されたセンサデータ（例えば、ノード座標）が正確であると評価されるかどうかが判定される。これは、例えば、センサからの距離（例えば、ジェスチャが、近すぎず、遠すぎないなど、検出が典型的には正確である体積内で検出されるかどうか）と、例えば、既知のような座標ノイズレベルに基づく身体部分座標安定性検出との一方又は両方に基づいて行われ得る。

ステップＳ２４０では、ユーザジェスチャがＧＵＩジェスチャに対応するかどうか、並びにユーザジェスチャが測定されるように正しく向いている、及び／又は位置決めされているかどうかが判定される。

ステップＳ２５０では、センサデータは、当該技術分野において周知であるように、ＧＵＩジェスチャに対するパラメータ（例えば、相対ノード座標）に変換される。

ステップＳ２６０では、取得されたパラメータがＧＵＩジェスチャのために考慮されるべきかどうかが判定される。これは、例えば、ＧＵＩジェスチャが関連付けられたデフォルトパラメータ又は学習済みパラメータを有さない場合、取得されたパラメータがＧＵＩジェスチャに対する現在学習済みパラメータよりも良好である（すなわち、より信頼性があり、例えば、センサがより正確である場所でユーザジェスチャが検出された場合であり得る）場合、又は判定された姿勢パターンパラメータが現在学習済みパラメータを強化する（すなわち、改善する）ために使用され得る場合になされ得るが、これを判定する１つ又は複数の条件は、実装態様に依存する可能性がある。

ステップＳ２７０では、取得されたパラメータが、（場合に応じて、デフォルト又は学習済みパラメータとして）記憶されるか、又は学習済みパラメータを強化するために使用される。

ＧＵＩシステムは、複数のユーザを有し得ることに留意されたい。この場合、どのユーザが現在システムと対話しているかを判定する必要があり得る。これは、例えば、現在のユーザの身体の特定の態様、例えば手のひらノードと肘ノードとの間の距離を測定することによって行われ得る。少なくとも大体同じサイズの２人のユーザを区別する必要はない場合があることに留意されたい。更に、ＧＵＩシステムは、特定の場合、例えば、ＧＵＩジェスチャが人差し指を伸ばした状態で閉じた拳であり、ユーザが何らかの理由で（例えば、人差し指を有していない）代わりに中指を使用する場合、別個の学習済みパラメータを提供することができる。

ＧＵＩシステムは、例えば左手及び右手の使用に対応するミラーリングされたＧＵＩジェスチャを含むことができることにも留意されたい。

学習済みパラメータは、例えば、以下を含むことができる。
－既に説明されたように、ユーザ識別子、例えば、１つ以上の身体測定値、
－姿勢パターン類似性スコア、すなわちどのＧＵＩジェスチャが最も似ているか？
－（調整された）ＧＵＩジェスチャがアタッチされる１つ以上のノード、例えば、手のノードが手首のノードにアタッチされ得る、
－ＧＵＩジェスチャの向き。

仮想オブジェクト対話
本原理によれば、対話型オブジェクトは、身体部分がオブジェクトに接近するときを検出するために（例えば、ユーザジェスチャを検出するために）周囲体積に関連付けられ得る。接近する身体部分の検出は、（場合によっては現実世界における）ＧＵＩにおける対話型オブジェクトに接近する身体部分の検出、又はＧＵＩ仮想環境における対話型オブジェクトに接近する対応する仮想構造の検出によるものとすることができる。

更に、対話型オブジェクトは、１つ以上の互換性のあるＧＵＩジェスチャ、すなわち、ユーザが対話型オブジェクトと対話するために使用することができるジェスチャに関連付けられ得る。

図３は、本原理の実施形態による仮想オブジェクト対話のための方法３００を例示する。図２に例示される方法に関して、この方法は、センサ（図１の１３０）からの入力を使用して処理デバイス（図１の１１０）のプロセッサ（図１の１１２）によって実行され得るが、入力は複数のセンサによって提供され得ることが理解されるであろう。

図２を参照して説明されたように、例示されていないが、図３に例示される方法は、現在のユーザの検出を含み得る。そのような検出は、例えば、ステップＳ３０２において若しくはその後に、又はステップＳ３０８の後に、方法の実行中の実用的に任意の時間に発生し得る。

ステップＳ３０２では、身体部分がＧＵＩ対話型オブジェクトに接近しているかどうかが判定される。これは、身体部分がオブジェクトに関連付けられたボリューム内に位置しているかどうかを検出することによって行われ得る。ステップＳ３０２は、身体部分がオブジェクトに近づくまで繰り返され、接近すると、方法はステップＳ３０４に進む。言い換えれば、ステップＳ３０２では、ユーザジェスチャが検出され得る。

ステップＳ３０４では、（身体部分によって接近される）オブジェクトとの対話に適合するユーザジェスチャが判定される。

ステップＳ３０６では、ユーザジェスチャに対応するセンサデータが取得される。

ステップＳ３０８では、既に説明されたように、センサデータが信頼できるかどうか、すなわち正確であるかどうかが判定される。

センサデータは、ノイズの影響が少ない場合に信頼性が高いと言える。これは、例えば、センサが、その読み取り値が信頼できる（近すぎず、遠すぎないなど）と判定された場所でジェスチャを検出するかどうかを判定することによって、又は、既知であるように、ノイズ分析アルゴリズムを使用することによって判定され得る。

センサデータが信頼できると判定される場合、方法は、ステップＳ３１０に進み、センサデータがＧＵＩシステムによって使用される。使用は、例えば、オブジェクトとの対話及びディスプレイ上のユーザジェスチャのレンダリングを判定することであり得る。次いで、本方法は終了するか、又はステップＳ３０２に戻ることができる。

センサデータが信頼できないと判定される場合、方法は、ステップＳ３１２に続き、（場合によっては、対応するパラメータを取得するために処理された）センサデータがＧＵＩジェスチャと比較されて、センサデータに最良に一致するものが見つけられる。これは、例えば、ノード距離及び角度を比較する方法などの任意の好適な従来の方法を使用して取得された類似性スコアを使用して行われ得る。

比較は、以前に取得されたパラメータも使用して、時間的側面を含むことができる。例えば、特定のジェスチャが所与の時間から現在（センサデータがもはや信頼できない）まで確実に検出された場合、これは、以前に検出されたジェスチャが現在のジェスチャに対応するという指示として使用され得る。一例として、ボタンを押すこと、又は別のオブジェクトと対話することを望むユーザは、ボタンに向かって移動する前（又は移動するとき）に適切なユーザジェスチャを採用し、ボタンがクリックされるまでジェスチャを維持し得る。

ステップＳ３１４では、「一致する」ＧＵＩジェスチャについて（場合によっては、現在のユーザについて）学習済みパラメータがあるかどうかが判定される。

そのような学習済みパラメータが存在する場合、ステップＳ３１６では、これらの学習済みパラメータが（例えば、メモリから）取得され、ステップＳ３２２では、センサデータの信頼できる部分と共に使用されて、ユーザジェスチャを推定し、ＧＵＩシステムとのその対話を判定する。そのような対話は、ＧＵＩオブジェクトとの対話、ＧＵＩシステムにおけるユーザジェスチャの表現、又はその両方とすることができる。

既に説明されたように、センサデータの一部は信頼できるが、他の部分は信頼できない。例えば、手のひらノードの座標は信頼できるモノであり得るが、人差し指の先端の座標は信頼できない。これは、例えば、既に言及されたように、ノイズ分析を使用してセンサデータから判定され得るが、事前判定され得る（例えば、手のひら座標が信頼できると仮定される）。次いで、ＧＵＩシステムは、センサデータ及び学習済みパラメータからの手のひら座標を使用して、人差し指の先端の座標を外挿することができる。

しかしながら、そのような学習済みパラメータが存在しない場合、ステップＳ３１８では、「一致する」ＧＵＩジェスチャについてデフォルトパラメータが存在するかどうかが判定される。実際に、ＧＵＩシステムが学習済みパラメータのみを使用することが可能である。

デフォルトパラメータが存在しない場合、ステップ３１８において、センサデータは、既に説明されたように、ＧＵＩシステムによって使用される。

しかしながら、デフォルトパラメータが存在する場合、ステップＳ３２０では、デフォルトパラメータが（例えば、メモリから）取得され、既に説明されたように、ステップＳ３２２において使用される。

一実施形態では、ＧＵＩシステムは、学習済みパラメータが使用されるときに、ＧＵＩフィードバック（例えば、視覚又は音声フィードバック）を提供する。一例として、学習済みパラメータがユーザの手のジェスチャを解釈するために使用されるときに、ＧＵＩは、手を特定の色でレンダリングすることができる。

信頼性及び類似性スコア
ＧＵＩシステムは、ハンドジェスチャの信頼性及び類似性スコアを使用することができるが、より大きいジェスチャを使用してより容易に例示される。

図４Ａは、検出されたノードでオーバーレイされた例示的なユーザジェスチャを例示する。図では、塗りつぶされたノード（斜線でハッチングされている）は、ジェスチャによって定義されるノードであるが、白いノードは、ジェスチャの一部ではなく検出される。図４Ｂは、ジェスチャのノード図、すなわち、ノードの相対座標を例示する。

図４Ｃは、検出されたユーザジェスチャのセンサデータを例示する。見て分かるように、検出されたノードは、図４Ｂに例示されるジェスチャのノードと正確に一致しない。

図４Ｄは、検出されたノード及びそれらの信頼性スコアを例示する。スコアは、以下のうちの１つ以上をパラメータとしてとり得る関数を使用して判定され得る。すなわち、ユーザまでの距離、座標ノイズ、周囲照明レベル、ジェスチャ速度、ユーザからのオブジェクトの掩蔽度など。

図４Ｄでは、ノードは、信頼性スコアに対応する異なるマーキングに関連付けられており、正方形パターンは信頼性が高い（例えば、＞８５％）ことを示し、斜線ハッチングは信頼性が低い（例えば、４５～８５％）ことを示し、小円は信頼できない（＜４５％）ことを示す。個々のスコアは、必ずしもそれらの全てではないが、全体スコアを得るために処理され得る。一実施形態では、個々のスコアのうちの１つ以上は、全体スコアの計算において重み付けされ得る。この例では、例えば、総合スコアが、照明条件、ジェスチャ速度などのコンテキストに依存し得る所与の値を下回る場合、全体スコアは、センサデータが信頼できないことを示すと仮定される。

図４Ｅは、検出されたノードと記憶されたジェスチャノードとの間の比較を示す。この例では、図４Ｂのノードが、対応する検出されたノード（すなわち、全ての検出されたノードのサブセット）と比較され、例えば従来の方法を使用して、類似性スコアが判定される。類似性スコアを判定するために使用される関数は、記憶されたジェスチャ間で異なり得る。次いで、類似性スコアを使用して、一致するＧＵＩジェスチャを判定することができる。

一実施形態では、センサデータのノードとパラメータのノードとの間の角度及び距離の差が同じ（マージン内）である場合、これは一致として解釈することができる。いくつかの一致の場合、最良の一致を選択することができる。

別の実施形態では、時間的ジェスチャ分析が類似性スコアに寄与することができる。この例では、ユーザの腕が下から上へまっすぐに上げられる場合、これは類似性スコアを増加させることができる。

図４Ｆは、推定されたジェスチャを取得するために、測定されたノードが記憶されたパラメータとどのように組み合わされたかを例示する。

例示的な実験的ＧＵＩシステムは、ユーザがスクリーンからある距離で作動される「タッチ」によって対話することができる大型スクリーンと、例えばスクリーンスタンド内に位置するＬｅａｐＭｏｔｉｏｎセンサと、を含む。言い換えれば、ユーザの手のジェスチャは、それらがスクリーンに接近するときに解釈される。

実験は、手がセンサよりも高い位置にあるときに行われる手のジェスチャを補正する必要があることを示した。なぜなら、これは指座標にあまりに多くのノイズをもたらすからである。

実験的システムの第１の実装態様では、人差し指の先端のみがＧＵＩを制御することを可能にする。手の向きは、指先の下に位置する最も近いピクセル又はピクセルのグループとの対話が行われるので無視される。

これに関連して、人差し指中手骨の頂部のキャプチャされた座標は、人差し指末節骨の先端（すなわち指先）の座標よりもはるかに安定していることが示されている。

これらの２つの空間ノードは、人差し指末節骨ノードの投影座標である（ｘ_ｄ，ｙ_ｄ）、及び人差し指中手骨ノードの投影座標である（ｘ_ｍ，ｙ_ｍ）を提供するために、スクリーンの平面上に投影することができる。

次に、パラメータを学習することは、（ｘ_ｄ，ｙ_ｄ）＝ｆ（ｘ_ｍ，ｙ_ｍ）を満たす関数ｆを計算することによって行うことができる。これを行う方法は、周知である。

パラメータが学習されると、指標中手骨ノードの座標及びパラメータは、指標末節骨ノードの座標を推定するために使用されることができる。なぜなら、これらの座標は、実際には常に、指先の座標よりも安定しているからである。

実験的ＧＵＩシステムは、クリック、ドラッグ、スクロールなどのために、スクリーンから人差し指の先端までの距離を管理することもできる。これは、（ｚ_ｄ）＝ｇ（ｚ_ｍ）を満足する関数ｇを見つけることによって、ｚ次元においてほぼ同じ方法で行うことができる。

ｆ及びｇが既知になると（すなわち、学習済みパラメータが取得されると）、ＧＵＩシステムは、常に（ｘ_ｄ，ｙ_ｄ，ｚ_ｄ）の代わりに（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）を使用することができ、実験的システムにおけるスクリーンの表面全体にわたってより良好な座標精度を与えることが示されている。

本原理は、従来の遠隔制御、ジェスチャ検出システム、又はその両方と並行して使用され得ることが理解されるであろう。例えば、ＧＵＩシステムは、ユーザがディスプレイから特定の距離内にいるときに本原理を使用し、ユーザが更に離れているときにジェスチャ検出を使用するように構成され得る。距離は、製造中に又はユーザによって構成され得る。

したがって、本原理を使用して、検出されたユーザジェスチャに対してより高い精度を提供することができるＧＵＩシステムを提供することができることが理解されよう。

図に示される要素は、様々な形態のハードウェア、ソフトウェア、又はそれらの組み合わせで実装され得ることを理解されたい。好ましくは、これらの要素は、１つ以上の適切にプログラムされた汎用デバイス上のハードウェア及びソフトウェアの組み合わせで実装され、プロセッサ、メモリ、及び入力／出力インターフェースを含み得る。

本説明は、本開示の原理を例示している。したがって、当業者は、本明細書に明示的に説明又は示されていないが、本開示の原理を具現化し、その範囲内に含まれる様々な構成を考案することができることが理解されよう。

本明細書に列挙される全ての例及び条件付き言語は、本開示の原理及び当該技術分野を促進するために発明者によって寄与される概念を読者が理解するのを助ける教育目的を意図しており、係る具体的に列挙された例及び条件に限定されるものではないものとして解釈されるべきである。

更に、本開示の原理、態様、及び実施形態を列挙する本明細書における全ての記述、並びにその特定の例は、その構造的等価物及び機能的等価物の両方を包含することが意図される。加えて、係る等価物は、現在既知である等価物、並びに将来開発される等価物、すなわち、構造を問わず、同じ機能を実施する、開発される任意の要素の両方を含むことが意図される。

したがって、例えば、本明細書に提示されるブロック図は、本開示の原理を具現化する例示的な回路の概念図を表すことが当業者には理解されよう。同様に、任意のフローチャート、フロー図などは、コンピュータ可読媒体で実質的に表され、係るコンピュータ又はプロセッサが明示的に示されているかどうかにかかわらず、コンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことが理解されよう。

図に示される様々な要素の機能は、専用のハードウェア、並びに適切なソフトウェアと関連してソフトウェアを実行することができるハードウェアの使用を通じて提供され得る。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は複数の個々のプロセッサによって提供され得、そのいくつかは、共有され得る。更に、「プロセッサ」又は「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すと解釈されるべきではなく、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（random access memory、ＲＡＭ）、及び不揮発性記憶装置を暗黙的に含み得るが、これらに限定されない。

従来の及び／又はカスタムの他のハードウェアも含まれ得る。同様に、図に示されるいずれのスイッチも、概念的なものに過ぎない。それらの機能は、プログラム論理の動作を通じて、専用論理の動作を通じて、プログラム制御及び専用論理との対話を通じて、又は手動でさえ実行され得、特定の技術は、その文脈からより具体的に理解されるように、実装者によって選択可能である。

本明細書の特許請求の範囲において、特定の機能を実施するための手段として表される任意の要素は、例えば、ａ）その機能を実施する回路要素の組み合わせ、又はｂ）その機能を実施するためにそのソフトウェアを実行するための適切な回路と組み合わされた、ファームウェア、マイクロコードなどを含む任意の形態のソフトウェアを含む、その機能を実施する任意の方法を包含することが意図される。係る特許請求の範囲によって定義される本開示は、様々な列挙される手段によって提供される機能性が、特許請求の範囲が要求する様式で組み合わされ、まとめられるという事実に存する。したがって、それらの機能性を提供することができるいずれの手段も、本明細書に示されるものと同等であるとみなされる。

Claims (15)

1. デバイスであって、
   プロセッサによって実行可能な命令を記憶するように、かつパラメータを記憶するように構成されているメモリと、
   少なくとも１つのハードウェアプロセッサであって、前記命令を実行して、
   少なくとも１つのセンサから、ユーザジェスチャに対応するセンサデータを取得することと、
   前記センサデータに一致するユーザインターフェースジェスチャを判定することと、
   前記判定されたインターフェースジェスチャに対するパラメータを取得することと、
   前記判定されたインターフェースジェスチャに対する前記パラメータを取得すると、前記センサデータ及び前記判定されたインターフェースジェスチャに対する前記パラメータを使用して、ユーザインターフェースにおける前記ユーザジェスチャを推定することと、を行うように構成されている、少なくとも１つのハードウェアプロセッサと、を備える、デバイス。
2. 前記センサデータに一致するユーザインターフェースジェスチャを判定することが、前記センサデータに対して最も高い類似性スコアを有する前記ユーザインターフェースジェスチャを判定することを含む、請求項１に記載のデバイス。
3. 前記判定されたインターフェースジェスチャに対するパラメータを取得することが、
   現在のユーザから学習された前記判定されたインターフェースジェスチャに対するパラメータを取得することを含む、請求項１に記載のデバイス。
4. 前記判定されたインターフェースジェスチャに対するパラメータを取得することが、前記現在のユーザから学習された前記判定されたインターフェースジェスチャに対するパラメータが取得されない場合、
   前記判定されたインターフェースジェスチャに対するデフォルトパラメータを取得することを更に含む、請求項３に記載のデバイス。
5. 前記判定されたインターフェースジェスチャに対するデフォルトパラメータが取得されない場合、前記ユーザインターフェースにおいて前記センサデータを使用することを更に含む、請求項４に記載のデバイス。
6. 前記ユーザインターフェースにおける前記ユーザジェスチャを推定することが、信頼できないセンサデータを、前記パラメータに基づくデータで置き換えることを含む、請求項１に記載のデバイス。
7. 前記パラメータに基づく前記データが、信頼できるセンサデータから更に取得される、請求項６に記載のデバイス。
8. 前記センサデータが、前記インターフェースジェスチャのノード座標及びパラメータ相対ノード座標を含み、前記信頼できるセンサデータが、少なくとも１つのノードに対する信頼できる座標を含み、前記パラメータに基づく前記データが、相対ノード座標を、前記少なくとも１つのノードに対する前記信頼できる座標に加算することによって取得される、請求項７に記載のデバイス。
9. 前記推定されたユーザジェスチャが、前記ユーザインターフェースにおいて使用されて、前記ユーザインターフェースにおけるオブジェクトとの対話を判定すること、及び前記ユーザインターフェースにおける前記ユーザジェスチャのレンダリングのうちの少なくとも１つを行う、請求項１に記載のデバイス。
10. 前記少なくとも１つのハードウェアプロセッサは、全ての前記センサデータが信頼できるかどうかを判定し、全ての前記センサデータが信頼できるわけではないと判定すると、前記センサデータに一致するユーザインターフェースジェスチャを判定するように構成されている、請求項１に記載のデバイス。
11. デバイスの少なくとも１つのハードウェアプロセッサにおいて、
    少なくとも１つのセンサから、ユーザジェスチャに対応するセンサデータを取得することと、
    前記センサデータに一致するユーザインターフェースジェスチャを判定することと、
    前記判定されたインターフェースジェスチャに対するパラメータを取得することと、
    前記判定されたインターフェースジェスチャに対する前記パラメータを取得すると、前記センサデータ及び前記判定されたインターフェースジェスチャに対する前記パラメータを使用して、ユーザインターフェースにおける前記ユーザジェスチャを推定することと、を含む、方法。
12. 前記センサデータに一致するユーザインターフェースジェスチャを判定することが、前記センサデータに対して最も高い類似性スコアを有する前記ユーザインターフェースジェスチャを判定することを含む、請求項１１に記載の方法。
13. 前記判定されたインターフェースジェスチャに対するパラメータを取得することが、現在のユーザから学習された前記判定されたインターフェースジェスチャに対するパラメータを取得することを含む、請求項１１に記載の方法。
14. 前記ユーザインターフェースにおける前記ユーザジェスチャを推定することが、信頼できないセンサデータを、前記パラメータに基づくデータで置き換えることを含む、請求項１１に記載の方法。
15. 命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、実行されるときに、少なくとも１つのハードウェアプロセッサに、請求項１１～１４のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。