JP7191714B2 - デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法 - Google Patents

Description

（関連出願）
本願は、２０１３年６月２７日に出願された、米国仮出願第６１／８４０，４４７号に対する優先権を主張するものであり、該米国仮出願の全体は、参照により本明細書中に援用される。

本開示は、タッチフリージェスチャ検出の分野に関し、より具体的には、タッチフリージェスチャを検出するセンサを使用するためのデバイスおよびコンピュータ可読媒体に関する。

ユーザが、デバイスまたはデバイス上で実行中のアプリケーションと対話できるようにすることは、多くの異なる状況で有用である。例えば、キーボード、マウス、ジョイスティックは、多くの場合、ユーザが、データを入力する、データを操作する、およびシステムのプロセッサに様々な他の行動を実行させることを可能にするため、電子システムに含まれる。しかしながら、キーボード、マウス、ジョイスティック等、タッチベースの入力デバイスは、ますます、タッチフリーのユーザ対話を可能にするデバイスにより置き換えまたは補充されつつある。例えば、システムは、イメージセンサを含み得、例えば、ユーザの手および／または指を含むユーザの画像を捕捉し得る。プロセッサは、そのような画像を受信し、ユーザによって実行されるタッチフリージェスチャに基づいて行動を開始するように構成され得る。タッチフリージェスチャを検出し、入力するための技法を改善することが望ましい。

開示されたある実施形態では、タッチフリージェスチャ認識システムが開示される。タッチフリージェスチャ認識システムは、少なくとも１つのプロセッサを含み得る。少なくとも１つのプロセッサは、ディスプレイ上の少なくとも第１の位置で第１のタッチフリージェスチャを促す第１のディスプレイ情報のユーザへの提示を可能にすることと、ユーザによる第１のタッチフリージェスチャに相関付けられたディスプレイ上の第１のジェスチャリング位置に対応する少なくとも１つのイメージセンサからの第１のジェスチャ情報を受信することであって、第１のジェスチャリング位置は、ユーザの一方の眼がユーザの他方の眼に対して優位であることの結果として、第１のディスプレイ情報の位置と少なくとも部分的に異なっている、ことと、第１のディスプレイ情報の位置および第１のジェスチャリング位置に関連付けられる第１のオフセットを決定することと、ディスプレイ上の少なくとも第２の位置で、その後のタッチフリージェスチャを行うようユーザに促す第２の情報の提示を可能にすることと、ユーザによる後続のタッチフリージェスチャに対応する少なくとも１つのイメージセンサからの後続のジェスチャ情報を受信することと、後続のタッチフリージェスチャの影響を受けるディスプレイ上の位置を決定するために第１のオフセットを使用することとを行うように構成され得る。

実施形態に関連する追加的側面は、以下の記述に一部説明され、一部は、説明から理解されるか、または開示された実施形態の実施によって習得され得る。

前述の概略的な記述および以下の詳細な記述はいずれも例示および説明のみのためであり、特許請求の範囲を限定するものではないと理解されるべきである。
例えば、本願は以下の項目を提供する。
（項目１）
ディスプレイ上の少なくとも第１の位置で、第１のタッチフリージェスチャを促す第１のディスプレイ情報のユーザへの提示を可能にすることと、
前記ユーザによる第１のタッチフリージェスチャに相関付けられた、前記ディスプレイ上の第１のジェスチャリング位置に対応する少なくとも１つのイメージセンサからの第１のジェスチャ情報を受信することであって、前記第１のジェスチャリング位置は、ユーザの一方の眼がユーザの他方の眼に対して優位であることの結果として、前記第１のディスプレイ情報の位置と少なくとも部分的に異なっている、ことと、
前記第１のディスプレイ情報の前記位置および前記第１のジェスチャリング位置に関連付けられる第１のオフセットを決定することと、
前記ディスプレイ上の少なくとも第２の位置で、その後のタッチフリージェスチャを行うよう、前記ユーザに促す第２の情報の提示を可能にすることと、
前記ユーザによる後続のタッチフリージェスチャに対応する、前記少なくとも１つのイメージセンサからの後続のジェスチャ情報を受信することと、
前記後続のタッチフリージェスチャによって影響される前記ディスプレイ上の位置を決定するために、前記第１のオフセットを使用することと
を行うように構成された少なくとも１つのプロセッサを備える、タッチフリージェスチャ認識システム。
（項目２）
前記第１のタッチフリージェスチャおよび前記後続のタッチフリージェスチャは、指さしを含み、前記少なくとも１つのプロセッサはさらに、前記ディスプレイ上のポインティング位置を決定するために、前記少なくとも１つのイメージセンサからの前記第１のジェスチャ情報および前記後続のジェスチャ情報を使用するように構成される、項目１に記載のシステム。
（項目３）
前記少なくとも１つのプロセッサはさらに、前記後続のタッチフリージェスチャに関連付けられる、認識されたジェスチャを反映する送り先への出力を送信するように構成される、項目１に記載のシステム。
（項目４）
前記後続のジェスチャリング位置は、前記ユーザの一方の眼が前記ユーザの他方の眼に対して優位である結果として、前記ディスプレイ上の前記第２の情報の位置と少なくとも部分的に異なる、項目１に記載のシステム。
（項目５）
前記少なくとも１つのプロセッサはさらに、前記ユーザの第１の眼に関連付けられる少なくとも１つの第１の目線を用いて生成される第１の候補ポインティング領域と、前記ユーザの第２の眼に関連付けられる第２の目線を用いて生成される第２の候補ポインティング領域との少なくとも１つを特定することによって前記第１のオフセットを決定するように構成される、項目１に記載のシステム。
（項目６）
前記第１のオフセットに関連付けられる情報は、視線の計算の出発点として作用する瞳孔を除く顔上の位置に対応し、前記少なくとも１つのプロセッサはさらに、前記後続のタッチフリージェスチャの意図する位置を決定するために、前記顔上の前記瞳孔を除く位置を用いるように構成される、項目１に記載のシステム。
（項目７）
前記少なくとも１つのプロセッサは、前記ディスプレイ上における前記後続のタッチフリージェスチャの意図する位置を決定するために、前記第１のオフセットに関連付けられる情報を用いるように構成される、項目１に記載のシステム。
（項目８）
前記少なくとも１つのプロセッサはさらに、
前記第１の眼に関連付けられる位置から指先を通して前記ディスプレイ上まで通る第１の視線に関連付けられる、前記ディスプレイ上の第１の領域内の第１の点と、
前記第２の眼に関連付けられる第２の位置から前記指先を通して前記ディスプレイ上まで通る第２の視線に関連付けられる、前記ディスプレイ上の第２の領域内の第２の点と
の少なくとも１つを選択することにより、前記第１のジェスチャリング位置を決定するように構成される、項目１に記載のシステム。
（項目９）
前記少なくとも１つのプロセッサはさらに、前記第１の点および前記第２の点の略近傍における少なくとも第３の点を決定することにより、前記第１のジェスチャリング位置を決定するように構成される、項目８に記載のシステム。
（項目１０）
前記少なくとも１つのプロセッサはさらに、前記ディスプレイの異なる領域について、眼球優位性に関連付けられる異なるオフセットを決定するように構成される、項目１に記載のシステム。
（項目１１）
前記少なくとも１つのプロセッサはさらに、複数の異なる時間間隔で多数の候補ポインティング域領域を用いることにより、ポインティングの位置を決定するように構成される、項目１に記載のシステム。
（項目１２）
前記少なくとも１つのプロセッサはさらに、複数のユーザのそれぞれについて、前記第１のオフセットに関連付けられる固有情報を格納するように構成される、項目１に記載のシステム。
（項目１３）
前記少なくとも１つのプロセッサはさらに、前記複数のユーザのそれぞれについての識別に関連付けられる、前記少なくとも１つのイメージセンサから受信される情報を、前記格納される固有情報として格納するように構成される、項目１２に記載のシステム。
（項目１４）
前記少なくとも１つのプロセッサはさらに、前記複数のユーザのそれぞれについて瞳孔を除く顔上の位置に関する情報を、前記格納される固有情報として格納するように構成される、項目１２に記載のシステム。
（項目１５）
前記第１のオフセットに関連付けられる情報は、前記ユーザの一方の眼が、前記ユーザの他方の眼に対して優位であるという標示を含む、項目１に記載のシステム。
（項目１６）
前記第１のオフセットに関連付けられる情報は、前記ユーザの前記一方の眼が、前記ユーザの前記他方の眼に対して優位である度合いの標示を含む、項目１に記載のシステム。
（項目１７）
少なくとも１つのプロセッサによって実行されるとき、
ディスプレイ上の少なくとも第１の位置における第１のタッチフリージェスチャを促す第１のディスプレイ情報のユーザへの提示を可能にすることと、
前記ユーザによる第１のタッチフリージェスチャに相関付けられた前記ディスプレイ上の第１のジェスチャリング位置に対応する少なくとも１つのイメージセンサからの第１のジェスチャ情報を受信することであって、前記第１のジェスチャリング位置は、少なくとも部分的に、ユーザの一方の眼がユーザの他方の眼に対して優位的であることの結果として、第１のディスプレイ情報の位置とは異なる、ことと、
前記第１のディスプレイ情報の位置および前記第１のジェスチャリング位置に関連付けられる第１のオフセットを決定することと、
前記ディスプレイ上の少なくとも第２の位置における後続のタッチフリージェスチャを行うことを前記ユーザに促す第２の情報の提示を可能にすることと、
前記ユーザによる後続のタッチフリージェスチャに対応する少なくとも１つのイメージセンサからの後続のジェスチャ情報を受信することと、
前記後続のタッチフリージェスチャによって影響される、前記ディスプレイ上の位置を決定するために前記第１のオフセットを用いることと
を含む動作を前記少なくとも１つのプロセッサが行うようにする指示を含む、非一過性コンピュータ可読媒体。
（項目１８）
前記後続のジェスチャリング位置は、前記ユーザの一方の眼が、前記ユーザの他方の眼に対して優位であることを示す情報の結果、前記ディスプレイ上の前記第２の情報の位置と少なくとも部分的に異なる、項目１７に記載の非一過性コンピュータ可読媒体。
（項目１９）
前記指示は、前記少なくとも１つのプロセッサによって実行されるときさらに、前記ユーザの第１の眼に関連付けられる少なくとも１つの第１の目線を用いて生成される第１の候補ポインティング領域と、前記ユーザの第２の眼に関連付けられる第２の目線を用いて生成される第２の候補ポインティング領域との少なくとも１つを特定することにより、前記第１のオフセットを決定することを含む追加的動作を前記少なくとも１つのプロセッサに行わせる、項目１７に記載の非一過性コンピュータ可読媒体。
（項目２０）
前記第１のオフセットに関連付けられる前記情報は、瞳孔を除く顔上の位置に対応して視線計算の出発点として作用し、前記指示は、前記少なくとも１つのプロセッサによって実行されるとき、前記後続のタッチフリージェスチャの意図する位置を決定するために、前記顔上の瞳孔を除く位置を用いることを含む追加的動作を前記少なくとも１つのプロセッサに行わせるようにする、項目１７に記載の非一過性コンピュータ可読媒体。

本明細書に組み込まれ本明細書の一部を構成する付随の図面は、本発明のいくつかの例示的実施形態を図示し、記述とともに、本発明の原理を説明するために役立つ。

図１は、開示される実施形態のいくつかによる、タッチフリーユーザインタフェースシステムの例示的な描写表現を図示する。

図２Ａは、開示された実施形態のいくつかによる、タッチフリーユーザインタフェースの例示的な処理ユニットを図示する。

図２Ｂは、開示された実施形態のいくつかによる、システムの例示的なブロック図を図示する。

図３Ａは、本発明の実施形態に関する方法、システム、およびコンピュータ可読媒体により使用され得る、例示的なオフセット決定ステップを図示する。

図３Ｂは、本発明の実施形態に関する方法、システム、およびコンピュータ可読媒体により使用され得る、例示的なジェスチャ検出および特定ステップを図示する。

図４は、開示された実施形態のいくつかによる、タッチフリーユーザインタフェースシステムの例示的な描写表現を図示する。

図５は、本発明の実施形態に関する方法、システム、およびコンピュータ可読媒体により使用され得る、ポインティング位置を特定するための例示的なステップを図示する。

図６Ａは、開示された実施形態のいくつかによる、タッチフリーユーザインタフェースシステムの例示的な描写表現を図示する。

図６Ｂは、開示された実施形態のいくつかによる、タッチフリーユーザインタフェースシステムの例示的な描写表現を図示する。

図７は、本発明の実施形態に関する方法、システム、およびコンピュータ可読媒体により使用され得る、例示的な較正ステップを図示する。

図８は、開示された実施形態のいくつかによる、タッチフリーユーザインタフェースシステムの例示的な描写表現を図示する。

図９は、本発明の実施形態に関する方法、システム、およびコンピュータ可読媒体により使用され得る、候補面または候補領域を特定するための例示的なステップを図示する。

図１０は、開示された実施形態のいくつかによる、例示的な候補面のベン図を図示する。

図１１は、本発明の実施形態に関連する方法、システム、およびコンピュータ可読媒体により使用され得る、例示的なジェスチャ追跡ステップを図示する。

図１２は、本発明の実施形態に関する方法、システム、およびコンピュータ可読媒体により使用され得る、眼球優位性を決定するための例示的なステップを図示する。

図１３は、開示された実施形態のいくつかによる、タッチフリーユーザインタフェースシステムの例示的な描写表現を図示する。

図１４は、開示された実施形態のいくつかによる、ユーザの顔の例示的な描写表現を図示する。

図１５は、開示された実施形態のいくつかによる、ユーザの手の例示的な描写表現を図示する。

図１６Ａは、開示された実施形態のいくつかによる、ポインティング視覚効果の例示的な描写表現を図示する。

図１６Ｂは、開示された実施形態のいくつかによる、ポインティング視覚効果の例示的な描写表現を図示する。

図１７は、開示された実施形態のいくつかによる、タッチフリーユーザインタフェースシステムの例示的な描写表現を図示する。

ここで、付随の図面に図示される例示的実施形態を詳細に参照する。可能な限り、同じ参照番号は、図面全体を通して同じまたは同等部分を指すために使用されるであろう。

図１は、ディスプレイ６を有するデバイス４のタッチフリー動作のためのシステム２の実施形態を描写する。デバイス４は、例えば、携帯電話、スマート眼鏡、パーソナルコンピュータ（ＰＣ）、娯楽デバイス、セットトップボックス、テレビ、携帯ゲーム機、タブレットコンピュータ、電子リーダー、携帯型ゲーム機、ラップトップまたはウルトラブック等の携帯型コンピュータ、台所用品等の家電製品、通信デバイス、空調サーモスタット、ドッキングステーション、携帯ビデオゲームデバイス等のゲーム機、デジタルカメラ、時計、エンターテイメントデバイス、スピーカー、スマートホームデバイス、メディアプレーヤまたはメディアシステム、位置ベースのデバイス、ピコプロジェクタまたは埋め込み型プロジェクタ、医療ディスプレイデバイス等の医療デバイス、車両、車載／空中インフォテイメントシステム、ナビゲーションシステム、ウェアラブルデバイス、拡張現実対応のデバイス、ウェアラブルゴーグル、ロボット、対話型デジタル看板、デジタルキオスク、自動販売機、現金自動預け払い機（ＡＴＭ）、またはユーザからデータを受信するもしくはユーザへデータを出力する任意の他の装置もしくはシステムを含み得る。

ディスプレイ６は、画像または他の視覚情報の表示を引き起こし得る任意の平面、表面、または他の手段を含んでもよい。さらに、ディスプレイ６は、平面または表面上に画像または可視情報を投影する任意のタイプのプロジェクタを含んでもよい。例えば、ディスプレイ６は、テレビ受像機、コンピュータモニタ、ヘッドマウントディスプレイ、放送用参照モニタ、液晶ディスプレイ（ＬＣＤ）スクリーン、発光ダイオード（ＬＥＤ）ベースのディスプレイ、ＬＥＤバックライトＬＣＤディスプレイ、陰極線管（ＣＲＴ）ディスプレイ、エレクトロルミネッセンス（ＥＬＤ）ディスプレイ、電子ペーパー／インクディスプレイ、プラズマディスプレイパネル、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、薄膜トランジスタ（ＴＦＴ）ディスプレイ、ハイパフォーマンスアドレッシング（ＨＰＡ）ディスプレイ、表面伝導型電子放出素子ディスプレイ、量子ドットディスプレイ、干渉変調器ディスプレイ、掃引容積ディスプレイ、カーボンナノチューブディスプレイ、可変焦点ミラーディスプレイ、発光体積型ディスプレイ、レーザディスプレイ、ホログラフィックディスプレイ、光照射野ディスプレイ、壁、三次元ディスプレイ、電子インクディスプレイ、および視覚情報を出力するための任意の他の電子デバイスの１つまたはそれを上回るものを含み得る。ディスプレイ６は、タッチスクリーンを含むまたはその一部であってもよい。図１は、デバイス４の一部としてのディスプレイ６を描写する。しかしながら、代替的実施形態では、ディスプレイ６は、デバイス４の外部にあってもよい。

システム２はまた、デバイス４に隣接して配置され、破線１０で囲まれた３次元（３－Ｄ）視空間の画像を取得するように構成された、イメージセンサ８も含み得る（またはこれから情報を受信し得る）。イメージセンサ８は、例えば、カメラ、光センサ、赤外線（ＩＲ）センサ、超音波センサ、近接センサ、ＣＭＯＳイメージセンサ、短波赤外線（ＳＷＩＲ）イメージセンサ、または反射率センサ、ＣＣＤイメージセンサ、反射率センサ、３次元イメージセンサまたは２つもしくはそれを上回る２次元（２－Ｄ）立体イメージセンサを含む奥行きビデオシステム、および環境の視覚特性を検知することが可能な任意の他のデバイスのうちの１つまたはそれを上回るものを含む、任意の画像取得デバイスを含み得る。一例として、図１は、デバイス４に隣接するイメージセンサ８を描写するが、代替的実施形態では、イメージセンサ８は、デバイス４に組み込まれる、またはデバイス４から離れても配置され得る。

破線１０で示される視空間に位置するユーザ１６は、イメージセンサ８により得られた画像に現れ得る。イメージセンサ８は、２－Ｄまたは３－Ｄモノクロ、カラー、またはＩＲのビデオを、イメージセンサ８と一体のまたは有線もしくは無線の通信チャネルによってメージセンサ８に接続された処理ユニット１２に出力し得る。

本発明の実施形態は、少なくとも１つのプロセッサを含んでもよい。本明細書で使用されるように、用語「プロセッサ」は、単数または複数の入力に対して論理演算を実行する電気回路を含み得る。例えば、そのようなプロセッサは、１つまたはそれを上回る集積回路、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央演算処理装置（ＣＰＵ）の全部または一部、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、または指示を実行するもしくは論理演算を実行するために好適な任意の他の回路を含み得る。少なくとも１つのプロセッサは、例えば、図２Ａに描写される処理ユニット１２等の処理装置と一致するまたはその一部を構成し得る。図２Ａの処理ユニット１２は、とりわけ、プロセッサ１５と、イメージセンサ８によって得られた画像を格納するために用いられ得るメモリ１３とを含み得る。処理ユニット１２および／またはプロセッサ１５は、プロセッサ１５および／またはメモリ１３内にある１つまたはそれを上回る指示を実行するように構成され得る。

メモリ１３は、例えば、持続性メモリ、ＲＯＭ、ＥＥＰＲＯＭ、ＥＡＲＯＭ、フラッシュメモリデバイス、磁気ディスク、光磁気ディスク、ＣＤ―ＲＯＭ、ＤＶＤ―ＲＯＭ、およびブルーレイメディアのうちの１つまたはそれを上回るものを含み得、指示（すなわち、ソフトウェアまたはファームウェア）および／または他のデータを含み得る。図２Ａは、処理ユニット１２の一部としてメモリ１３を描写するが、他の実施形態では、メモリ１３は、処理ユニット１２の外部にあってもよい。

処理ユニット１２は、イメージセンサ８により得られた画像を解析し、ディスプレイ６と対話するためにユーザ１６によって利用され得る１つまたはそれを上回る所定のポインティング要素を追跡するように構成され得る。ポインティング要素は、例えば、イメージセンサ８の視空間に配置されたユーザ１６の指先１４を含み得る。いくつかの実施形態では、ポインティング要素は、例えば、ユーザ１６の１つまたはそれを上回る手、手の一部、１つまたはそれを上回る指、１つまたはそれを上回る指の一部、および１つまたはそれを上回る指先１４、または手持ち式スタイラスを含み得る。図１は、ポインティング要素として指先１４を示すが、他のポインティング要素は、同様に使用され得、同じ目的を果たし得る。このように、指先１４が本明細書で言及される場合、それは例としてのみ考慮されるべきであって、他のポインティング要素をも含むものとして広く解釈されるべきである。

処理ユニット１２は、ユーザ１６が指先１４を向けて指し得るディスプレイ６上のアイコン２０等のディスプレイ情報を提示するように構成され得る。処理ユニット１２は、ユーザ１６が指す位置に対応する出力１８（インジケータ１８）をディスプレイ６上に示すように構成され得る。例えば、図１７に示すように、ユーザ１６は、ディスプレイ６のディスプレイ情報（アイコン２０）を指す意図があるとする。この実施例では、処理ユニット１２は、ユーザ１６がジェスチャリング位置１９を実際に指していると判定し得る。しかしながら、処理ユニット１２は、ディスプレイ情報とジェスチャリング位置１９との間の差に関連するオフセットＯを決定し得る。オフセットＯに関する情報を部分的に使用して、処理ユニット１２は、ユーザの意図を反映するディスプレイ６の送り先に出力（例えば、インジケータ１８）を送信し得る。図１７に示される実施例では、インジケータ１８は、ユーザ１６が実際にはジェスチャリング位置１９を指しているにもかかわらず、アイコン２０と同じ位置に表示される。

ジェスチャリング位置１９は、ユーザが指す位置としてシステム２により何らかの地点に画定されるディスプレイ６上の位置に関連付けられた任意の数学的表現であってもよい。ジェスチャリング位置１９は、ディスプレイ上の特定の座標（ｘ、ｙ）または（３－Ｄディスプレイの場合にはｘ、ｙ、ｚ）を含み得る。ジェスチャリング位置１９は、ディスプレイ６上の領域または位置（例えば、候補面）を含み得る。加えて、ジェスチャリング位置１９は、ディスプレイ上の位置に関連する確率関数（例えば、３次元ガウス関数等）として定義され得る。ジェスチャリング位置１９は、ジェスチャリング位置１９のディスプレイ６上の位置の推定がどの程度正確かを示す確率指標等、検出の品質を記述する追加の数字のセットに関連付けられ得る。

例えば、ユーザ１６にデジタル情報を提示する能力を含む着用可能な眼鏡等のスマート眼鏡の場合には、ジェスチャリング位置は、スマート眼鏡ディスプレイによって提示されるデジタル情報をユーザが見るように知覚する面である仮想平面の位置として画定され得る。

ディスプレイ情報は、静止画像、動画像、（アイコン等の）対話型オブジェクト、ビデオ、および／または情報の視覚的な表現を含み得る。ディスプレイ情報は、上記のような任意のディスプレイ方法により表示され得、フラットディスプレイ、湾曲したディスプレイ、プロジェクタ、着用可能な眼鏡で使用されるような透明ディスプレイおよび／またはユーザの眼もしくは瞳孔に直接的または間接的に投影するディスプレイを含み得る。

指されたアイコンの標示またはフィードバックは、例えば、視覚的標示、オーディオ標示、触覚標示、超音波標示、および触覚標示のうちの１つまたはそれを上回るものによって提供され得る。視覚的標示を表示することは、例えば、ディスプレイ６上にアイコンを表示すること、ディスプレイ６上のアイコンを変えること、ディスプレイ６上のアイコンの色を変えること、標示灯を表示すること、ハイライト、シャドーイング、または他の効果を表示すること、ディスプレイ６上のインジケータを動かすこと、方向の振動標示を提供すること、および／または空気の触覚標示を提供することを含み得る。視覚的インジケータは、ディスプレイ６上に現れる全ての他の画像または映像の上方（または前）に現れ得る。ユーザ１６により選択されるディスプレイ６上のアイコン等の視覚的インジケータは、共通の目線２４（または視線）上にあるユーザの眼２２および指先１４と同一線上にあり得る。本明細書で使用されるように、また、より詳細に後述される理由のため、用語「ユーザの眼」は、視線に関するユーザの顔の位置や面積を規定する略語である。したがって、本明細書で使用されるように、用語「ユーザの眼」は、いずれかの眼の瞳孔または眼の他の特徴、ユーザの眼の間の顔の位置、またはユーザの少なくとも１つの眼に関連するユーザの顔上の位置、または視線に相関付けられ得る顔のある他の解剖学的特徴を包含する。この概念は、時として「仮想の眼」と称される。

アイコンは、ディスプレイ６に表示され、ユーザ１６により選択され得る例示的なグラフィカル要素である。アイコンに加えて、グラフィカル要素はまた、例えば、表示された画像および／または動画中に表示されたオブジェクト、ディスプレイ６上または表示されたファイル内に表示されたテキスト、および対話型ゲーム内に表示されたオブジェクトを含み得る。本記述全体を通して、用語「アイコン」および「グラフィカル要素」は、任意の表示された情報を含むように広く使用される。

図３Ａのステップ３１３に描写されるように、本発明の実施形態は、ディスプレイ６上の少なくとも第１の位置で、第１のタッチフリージェスチャを促す情報の第１のディスプレイの、ユーザ１６への提示を可能にし得る。提示を可能にすることは、例えば、情報またはその表現がディスプレイ６を介してユーザ１６に提示されるように、プロセッサ１５からディスプレイデバイスにデータを送信することによって生じ得る。表現は、図１に例としてのみ図示されるように、ディスプレイ６に向かってタッチフリージェスチャを行うことをユーザ１６に呼び起こす、または促すように設計され得る。特に、図１は、指差しタッチフリージェスチャを行うユーザ１６を描写する。ディスプレイ６上の第１の位置は、概して、ディスプレイ情報の位置に対応する。対応は、さらに詳細に後述するように、ユーザの知覚（すなわち、表示される情報）と表示された情報の実際の位置（すなわち、ジェスチャリング位置）との間に違いがあり得るため正確でないことがあり得る。第１の情報は、以下に詳述されるように、例えば、グラフィカル要素、アイコン、または他の情報を含み得る。

例えば、処理ユニット１２はまた、１つまたはそれを上回る選択可能なグラフィカル要素またはアイコンをディスプレイ６上に表示するように構成され得る。図１は、例示的な４つのアイコン２０ａ、２０ｂ、２０ｃ、および２０ｄを図示する。しかしながら、いくつかの実施形態では、任意数のアイコンが、任意の時間にディスプレイ６に表示されてもよい。アイコン２０ａ－２０ｄはいずれも、ユーザ１６が選択しようとする特定のアイコンを指先１４で指すことによりユーザ１６により選択され得る。

図３Ａのステップ３１５に描写されるように、本発明の実施形態は、ユーザ１６による第１のタッチフリージェスチャに相関付けられ、これを反映するディスプレイ６上の第１のジェスチャリング位置に対応する第１のジェスチャ情報を受信し得る。第１のジェスチャ情報は、より詳細に後述するように、任意の動きまたはポーズに対応し得る。ジェスチャ情報は、例えば、検出されたハンドジェスチャまたはポインティング要素に対応する数値またはグラフィックデータを含み得る。数値またはグラフィックデータは、少なくとも１つのプロセッサ１５によって受信され得、プロセッサ１５は、それを既知のディスプレイ位置に相関付け得る。

処理ユニット１２は、所定の基準に基づいてユーザ１６によるアイコンの選択を特定するように構成され得る。例えば、ユーザ１６がアイコンを所定の時間（すなわち、所定の秒数）にわたり指したとき、処理ユニット１２は、このアイコンを選択し得る。加えて、処理ユニット１２は、ユーザ１６が選択されるアイコンに向かって所定の動作を行うとき、ユーザ１６によるアイコンの選択を特定するように構成され得る。例えば、所定の動作は、選択されたアイコンに向かう指先１４の動きの後に選択されたアイコンから離れる指先１４の動きが続くタッピング動作を含み得る。システム２は、ユーザ１６がアイコンを指して選択したときに、視覚および／または音声フィードバックを生成するように構成され得る。例えば、１つのアイコンがディスプレイ６上に配置され、ユーザのジェスチャが検出された場合、システム２は、ユーザ１６が表示されたアイコンだけに向かってジェスチャすると仮定するように構成され得る。多数のアイコンが表示される場合、システム２は、ユーザのジェスチャに関連付けられるジェスチャリング位置１９に最も近いアイコンに向かってユーザ１６がジェスチャすると仮定するように構成され得る。

さらに詳細に後述するように、一方よりも優位な１つの眼をユーザ１６が有し得るため、ディスプレイ６上の実際のジェスチャリング位置（検出されるポインティング位置）は、ユーザ１６が自身が指していると考えるアイコンの実際の表示位置と異なり得る。したがって、タッチフリージェスチャシステムの精度を高めるために、システムは、図１７および図３Ａのステップ３１７に概して描写され、より詳細に後述されるように、第１の表示情報（例えば、アイコン２０）の位置および第１のジェスチャリング位置１９に関連付けられるオフセットＯを決定することを可能にされ得る。オフセットＯは、多くの異なる方法で決定され、適用され得る。例えば、オフセットＯは、ユーザの両眼間の中心点からのオフセット位置で「仮想の眼」を選択することにより達成され得、仮想の眼は、視線の出発点として使用され得る。代わりに、オフセットＯは、ユーザ１６がジェスチャするアイコン（例えば、アイコン２０）とジェスチャリングの検出された位置、すなわち、ジェスチャリング位置１９との間のディスプレイ上で検出された差に基づいて決定され得る。実施例およびさらなる詳細は、図１２、１３、および１７に関連して、後に提供される。

記述は、時として単一オフセットＯの決定について述べるが、これは省略であり、システムは、高いレベルの精度を潜在的に達成するために（連続的または定期的な間隔で）多数のオフセットを決定することが可能であるとともに、ディスプレイ６上の異なる位置に関連し、アイコンの異なるサイズに関連し、アイコンの異なるクラスタに関連し、またはジェスチャの位置が検出されるディスプレイ上の領域または位置内でのアイコン間の距離に関連する、多数のオフセットを決定することも可能であることを理解すべきである。さらに、オフセットは、１つの座標、２つの座標、または３－Ｄの場合には３つの座標で表される任意の方向に存在し得る。さらに、オフセットＯは、ユーザが指していると知覚するディスプレイ上の位置とシステム２の指示によるジェスチャリング位置１９との差異に関連付けられる任意の数学的表現であり得る。オフセットＯは、ディスプレイ６自体上のこれら２つの位置間の距離（例えば、右に２４ピクセル、上に８ピクセル）、２つの位置間の差を示すベクトル（２Ｄまたは３Ｄベクトル）、これら２つの位置の間の距離に関連する数字の組、および／またはこれらの２位置間の距離を表す式に関係し得る。オフセットＯは、（ユーザの眼２２等）ユーザの顔の他の解剖学的部位に対する「仮想の眼」の位置に関係し得る。オフセットＯは、ユーザのポインティング要素（例えば、指先１４）の位置に関係し得、ポインティング要素の検出位置を補正するために使用され得る。オフセットＯはまた、「仮想の眼」の前を出発し、ポインティング要素を通してディスプレイ６と交差する、計算された目線２４の任意の特徴に関係し得る。第２の情報が、図３Ａのステップ３１９に示されるようにその後に表示され、ユーザ１６が第２の情報に対してジェスチャするとき、図３Ａのステップ３２１に示されるように、第２のジェスチャに関連付けられるグラフィカルまたは数値データは、イメージセンサ（例えば、図１中のイメージセンサ８）を介して受信され得、プロセッサ（例えば、図２Ａのプロセッサ１５）に転送され得る。他方に対して優位である一方の眼をユーザが有するという事実により、第２のまたは後続のジェスチャ位置は、第２の情報、すなわち、ユーザが指すことを意図する位置と正確に整合しない場合がある。しかしながら、ステップ３２３に示されるように、プロセッサ１５は、前にステップ３１７で決定された第１のオフセット（または複数のオフセット）を用いて位置ずれを補正するように構成され得る。補正の結果、ユーザの意図は決定され得、対応する行動が開始され得る。１つのそのような行動は、ユーザの意図の表示表現を提供するように出力をディスプレイ６に送る（例えば、システムが、ユーザの指す位置がアイコンの左に３インチ外れていることを検出したとしても、オフセット補正は、カーソルがアイコン上またはその近傍に表示されるようにする）ことを含み得る。オフセットの例示的な動作は、図１２および１３に関連し、さらに詳細に述べられる。

いくつかの実施形態では、指先１４は、ポインティングする際またはタッピング動作中に、ディスプレイ６に接触しない。図１に図示される実施例では、指先１４は、アイコン２０ｂに向けて指している。処理ユニット１２は、イメージセンサ８により得られた画像ストリーム（例えば、ビデオストリーム）の画像を解析することにより、指先１４を所定の時間にわたりアイコン２０ｂに向かって指すユーザ１６を検出するか、アイコン２０ｂに向かってタッピング動作（またはクリック動作）を行うユーザ１６を検出し得る。処理ユニット１２が特定のアイコンが選択されたことを判断するとき、対応するコマンドおよび／または選択されたアイコンに関連付けられるメッセージは、それぞれ実行または生成され得る。メッセージの生成またはコマンドの実行は、対応する結果を、任意の１つまたはそれを上回るオペレーティングシステム、１つまたはそれを上回るローカルサービス、１つまたはそれを上回るアプリケーション、１つまたはそれを上回るデバイス、１つまたはそれを上回るリモートアプリケーション、１つまたはそれを上回るリモートサービス、または１つまたはそれを上回るリモートデバイスにアドレスし得る。

いくつかの実施形態では、デバイス４は、通信を伴うグラフィカル要素の選択に応答して、外部デバイスまたはウェブサイトと通信し得る。通信は、外部デバイスまたはウェブサイト上で実行中の１つまたはそれを上回るアプリケーション、外部デバイスまたはウェブサイト上で実行中のサービス、外部デバイスまたはウェブサイト上で実行中のオペレーティングシステム、外部デバイスまたはウェブサイト上で実行中のプロセス、外部デバイスまたはウェブサイトのプロセッサ上で実行中の１つまたはそれを上回るアプリケーション、外部デバイスまたはウェブサイトのバックグラウンドで実行中のソフトウェアプログラム、または外部デバイスまたはウェブサイト上で実行中の１つまたはそれを上回るサービスにメッセージを送信することを含み得る。さらに、通信は、デバイス４上で実行中のアプリケーション、デバイス４上で実行中のサービス、デバイス４上で実行中のオペレーティングシステム、デバイス４上で実行中のプロセス、デバイス４のプロセッサ１５上で実行中の１つまたはそれを上回るアプリケーション、デバイス４のバックグラウンドで実行中のソフトウェアプログラム、またはデバイス４上で実行中の１つまたはそれを上回るサービスにメッセージを送信することを含み得る。外部デバイスまたはウェブサイトとの通信は、通信ネットワーク上で生じ得る。

グラフィカル要素の選択に応答して、メッセージは、外部デバイスまたはウェブサイト上で実行中のアプリケーション、外部デバイスまたはウェブサイト上で実行中のサービス、外部デバイスまたはウェブサイト上で実行中のオペレーティングシステム、外部デバイスまたはウェブサイトで実行中のプロセス、外部デバイスまたはウェブサイトのプロセッサ上で実行中の１つまたはそれを上回るアプリケーション、外部デバイスまたはウェブサイトのバックグラウンドで実行されるソフトウェアプログラム、または外部デバイスもしくはウェブサイト上で実行中の１つまたはそれを上回るサービスから画像内で特定されたグラフィカル要素に関連するデータを要求する外部デバイスまたはウェブサイトに送信され得る。メッセージはまた、デバイス４上で実行中のアプリケーション、デバイス４上で実行中のサービス、デバイス４上で実行中のオペレーティングシステム、デバイス４上で実行中のプロセス、デバイス４のプロセッサ１５上で実行中の１つまたはそれを上回るアプリケーション、デバイス４のバックグラウンドで実行中のソフトウェアプログラム、またはデバイス４上で実行中の１つもしくはそれを上回るサービスから画像内で特定されるグラフィカル要素に関連するデータを要求するデバイス４に送信され得る。

外部デバイスまたはウェブサイトに送られるメッセージは、コマンドを含み得る。このコマンドは、例えば、外部デバイスまたはウェブサイト上でアプリケーションを実行させるコマンド、外部デバイスまたはウェブサイト上で実行中のアプリケーションを停止させるコマンド、外部デバイスまたはウェブサイトで実行されるサービスを起動するコマンド、外部デバイスまたはウェブサイトで実行中のサービスを停止させるコマンド、または画像中で特定されたグラフィカル要素に関連するデータを送信するコマンドを含み得る。デバイス４へのメッセージはコマンドを含み得る。このコマンドは、例えば、デバイス４上でアプリケーションを実行させるコマンド、デバイス４上で実行中のアプリケーションを停止させるコマンド、デバイス４で実行されるサービスを起動するコマンド、デバイス４で実行中のサービスを停止させるコマンド、または画像中で特定されたグラフィカル要素に関連するデータを送信するコマンドを含み得る。

グラフィカル要素の選択に応答して、デバイス４は、画像内で特定されたグラフィカル要素に関連するデータを外部デバイスまたはウェブサイトから受信し得、デバイス４は、受信されたデータをユーザ１６に提示し得る。

実行されたコマンドおよび／または２つの手等の２つのポインティング要素で指すことによって生成されたメッセージは、例えば、領域を選択する、指先を互いに向かってまたは離れて動かすことにより選択された領域を拡大または縮小する、および指先を回転させることにより選択した領域を回転させることを含むことができる。実行されたコマンドおよび／または２本の指で指すことによって生成されたメッセージは、音楽トラックをビデオトラックと組み合わせる等、２つのオブジェクト間の対話を形成することを含み得る。加えて、ユーザ１６は、ディスプレイ６に１つの指をさし、ディスプレイ６上の別の場所に向けて別の指を指し、動かすことで、ゲーム対話を形成するようにコマンドを実行し得および／またはメッセージを生成し得る。加えて、ユーザ１６は、画面を横切ってアイコンをスライドさせる（この動作は、デバイスのロックを解除するために使用され得る）、ページまたはフォルダをスクロールさせる、およびボリュームを増加もしくは減少させるようにコマンドを実行し得および／またはメッセージを生成し得る。コマンドは、１つまたはそれを上回るアイコンの上の「スワイプコマンド」であってもよい。

ユーザ１６が指していたディスプレイ６上の位置を特定した後、ユーザ１６によって行われる所定のジェスチャに応答して、コマンドが実行され得、および／またはメッセージが生成され得る。システム２は、ジェスチャを検出し、関連するコマンドを実行し、および／または関連するメッセージを生成するように構成され得る。検出されるジェスチャは、例えば、スワイプ動作、２本の指のピンチ動作、ポインティング、左から右へのジェスチャ、右から左へのジェスチャ、上向きのジェスチャ、下向きのジェスチャ、押し込みジェスチャ、握りこぶしを開くこと、握りこぶしを開きイメージセンサ８に向かって動くこと、タッピングジェスチャ、手を振るジェスチャ、指または手で行う円を描くジェスチャ、時計回りおよび／または反時計回りのジェスチャ、拍手するジェスチャ、逆拍手ジェスチャ、手を拳に閉じること、挟み込みジェスチャ、逆挟み込みジェスチャ、手の指を扇形に開くこと、手の指を一緒に閉じること、グラフィカル要素を指すこと、起動中のオブジェクトを所定の時間だけ保持すること、グラフィカル要素上をクリックすること、グラフィカル要素上をダブルクリックすること、グラフィカル要素の右側をクリックすること、グラフィカル要素の左側をクリックすること、グラフィカル要素の底部をクリックすること、グラフィカル要素の上部をクリックすること、オブジェクトを掴むこと、右からグラフィカル要素に向かうジェスチャリング、左からグラフィカル要素に向かうジェスチャリング、左からグラフィカル要素を通して通過すること、オブジェクトを押すこと、手を叩くこと、グラフィカル要素に向かって手を振ること、ブラストジェスチャ、グラフィカル要素上での時計回りまたは反時計回りジェスチャ、２本の指でグラフィカル要素を掴むこと、クリック－ドラッグ－リリース動作、アイコンをスライドさせること、および／またはセンサによって検知可能な任意の他の動作またはポーズのうちの１つまたはそれを上回るものを含み得る。

図２Ｂは、システム２の例示的な模式的表現を描写する。特に、処理ユニット１２は、例えば、イメージセンサ８によって捕捉された画像を格納するように構成された画像データリポジトリ２０２と、ディスプレイ６上にアイコンを生成し、表示するように構成されたグラフィカル要素生成器（すなわち、アイコン生成器）２０４と、ディスプレイ６上に表示されたそれぞれのアイコンに関連付けられるコマンドの実行を可能にするように構成されたコマンド実行モジュール２０６と、較正プロセスを行うように構成された較正モジュール２０８と、マシンビジョンユニット２１０とを備え得る。マシンビジョンユニット２１０は、例えば、捕捉された画像から、ユーザ１６によって行われたジェスチャを特定するように構成されたジェスチャ認識モジュール２１２と、ユーザ１６が向かって指すディスプレイ６上の点または位置を特定するように構成された目線特定モジュール２１４とを備え得る。

図３Ｂは、システム２によって実行され得る例示的な方法を示すフローチャートを描写する。本方法は、ディスプレイ６の前方にある視空間の少なくとも１つの画像を捕捉するステップ３０１を含み得る。例えば、イメージセンサ８は、ディスプレイ６の前方にある視空間の連続した画像を捕捉し得る。画像は、捕捉され得、画像データリポジトリ２０２等のデータリポジトリ内に格納され得る。捕捉された画像は、後に処理され得る、またはそれらが捕捉された際に即時処理され得る。捕捉された画像は、例えば、ディスプレイ６の前方に位置し、ディスプレイ６上に表示される１つまたはそれを上回るグラフィカル要素との対話を試みるユーザ１６（すなわち、ディスプレイ６上に表示されたアイコンまたはテキストに向かって指先１４等のポインティング要素を指そうとするユーザ１６）を含み得る。

捕捉された画像はまた、１つまたはそれを上回るユーザの眼２２等のユーザ１６の顔の１つまたはそれを上回る所定部分および指先１４等の１つまたはそれを上回るポインティング要素をも含み得る。本方法は、少なくとも１つの画像内のポインティングジェスチャを検出するステップ３０３を含み得る。特に、ユーザ１６およびポインティング要素の特定は、例えば、ジェスチャ認識モジュール２１２を含む、マシンビジョンユニット２１０の助けを借りて、達成され得る。

本方法は、１つまたはそれを上回るポインティング要素が向かって指すディスプレイ６上の点または位置を特定するステップ３０５を含み得る。この点は、例えば、目線特定モジュール２１４の助けを借りて、特定され得る。ユーザの眼２２、指先１４、および選択されたアイコンが位置するディスプレイ６上の点は、同一直線上にあり、共通の目線２４上に配置されるため、処理ユニット１２は、目線２４を特定するように構成され得る。ステップ３０５は、ユーザ１６が向かって指すディスプレイ６上の点の特定を向上させるために指定された１つまたはそれを上回るプロセスを含み得る。図１は、目線２４を特定するために用いられ得るユーザ１６の顔の一部としてユーザの眼２２を示すが、顔の他の部分も同様に特定され、その目的のために使用され得る。したがって、１つまたはそれを上回るユーザの眼２２が本明細書に述べられるときは常に、例としてのみ考慮されるべきであり、顔の他の部分も同様に含むものとして広く解釈されるべきである。

本方法は、ディスプレイ６上の特定された点に関して所定の基準を満たす、ディスプレイ６上に表示されたビジュアルオブジェクトを特定するステップ３０７を含み得る。例えば、ビジュアルオブジェクト（またはグラフィカル要素）は、ユーザ１６によって選択されたディスプレイ６上の特定された点に最も近いビジュアルオブジェクトであってもよい。

本方法は、ポインティング要素がビジュアルオブジェクトに向けて指す間に、いつ所定の条件が満たされたかを決定するステップ３０９を含み得る。ステップ３０９は、選択されたビジュアルオブジェクト（グラフィカル要素）が決定された後に行われ得る。上記のように、条件は、例えば、決定された点に向かってポインティング要素が指すおよび／または所定のジェスチャ（例えば、ディスプレイ６に向かうタッピング運動）を行う所定の期間または任意の他の好適な条件を含み得る。

本方法は、ビジュアルオブジェクトに関連付けられた所定の動作コマンドを実行するステップ３１１を含み得る。ステップ３１１は、所定の条件が満たされた後に行われ得る。例えば、コマンド実行モジュール２０６は、選択されたグラフィカル要素に関連付けられるデバイス４内の他の機能的要素と対話する等、コマンドを実行するように構成され得る。

対話するユーザ１６によりどのグラフィカル要素が選択されたかを決定するためには、まず、ユーザ１６が向かって指すディスプレイ６上の点を特定することが望ましい。

いくつかの実施形態では、イメージセンサ８は、３－Ｄイメージセンサまたは１対の２次元立体イメージセンサを含み得る。これらの実施形態では、処理ユニット１２は、３－Ｄの視空間におけるユーザの眼２２および／または指１４のｘ座標、ｙ座標、およびｚ座標の位置を特定するように構成され得る。処理ユニット１２はその後、眼２２に頂点を有し、指先１４を通過する目線２４を決定し得る。図１に図示されるように、ドットまたはマーカー１８は、目線２４がディスプレイ６と交差するディスプレイ６上の位置に配置され得る。いくつかの実施形態では、システム２は、２－Ｄおよび３－Ｄイメージセンサの組み合わせを含み得、２－Ｄイメージセンサによって捕捉された画像からユーザの眼２２および指先１４のｘ座標およびｙ座標を取得し、３－Ｄイメージセンサによって捕捉された画像からユーザの眼２２および指１４のｚ座標を取得するように構成され得る。いくつかの実施形態では、３－Ｄイメージセンサは、低解像度の画像を取得するように構成され得る。２－Ｄおよび３－Ｄイメージセンサからの複合情報は、３－Ｄ目線２４を決定するために使用され得る。

他の実施形態では、イメージセンサ８は、２－Ｄ位置センサを含んでもよい。ディスプレイ６の前方に立つユーザ１６は、ディスプレイ６上のどこを指してもよく、ユーザのポインティングに関連する特定の目線２４は、イメージセンサ８によって捕捉されるユーザの眼２２（または他の解剖学的位置）の２－Ｄ位置（すなわち、ｘ座標およびｙ座標）およびポインティング要素（すなわち、指先１４）の２－Ｄ位置、ならびに解剖学的位置とディスプレイ６との間の距離およびポインティング要素とディスプレイ６またはユーザ１６またはユーザの眼２２との間の距離に基づいて決定され得る。

いくつかの実施形態では、処理ユニット１２は、ユーザ１６が向かって指すディスプレイ６上の点を決定するように構成され得る。例えば、ユーザの眼２２のｘ座標およびｙ座標は、イメージセンサ８によって捕捉される画像から決定され得る。例えば、図６に図示されるように、ユーザ１６とディスプレイ６との間の距離Ｒ１が推定され得る。推定された距離Ｒ１に基づいて、視空間におけるユーザの眼２２のｚ座標が得られ得る。

距離Ｒ１は、例えば、イメージセンサ８によって得られる画像内で特定されるユーザの両眼２２の間隔に基づいて決定され得る。同様の距離は、異なる個人の両眼（例えば、瞳孔）の間に存在する。類似性の度合いは、同じ民族グループに属する個人についてより高い。したがって、ユーザ１６の両眼の間隔は、ユーザの眼２２とディスプレイ６との間の距離Ｒ１を示し得る。

ポインティング要素のｘ座標およびｙ座標は、イメージセンサ８によって捕捉される画像から決定され得る。ポインティング要素とユーザ１６との間の推定距離Ｒ１を用いて、ポインティング要素の視空間でのｚ座標が得られ得る。

ユーザの眼２２（または仮想の眼もしくは他の解剖学的特徴）のｘ座標、ｙ座標、およびｚ座標ならびにポインティング要素のｘ座標、ｙ座標、およびｚ座標がいったん得られると、これら２つの点を通って延在する直線（目線２４）が、決定され得、この線がディスプレイ６と交差する点が特定され得る。この線とディスプレイ６との特定された交点は、ユーザ１６が向かって指すディスプレイ６上の点、例えば、ジェスチャ位置として決定され得る。

いくつかの実施形態では、ディスプレイ６は、３－Ｄディスプレイであり得、表示されるグラフィカル要素は、ディスプレイ６の前方またはデバイス４の後方の視空間内に位置するものとしてユーザ１６に認識される３－Ｄグラフィカル要素であり得る。したがって、ユーザ１６が向かって指す点の位置を決定することは、３－Ｄディスプレイで実行され得、ここで、特定された目線２４は、ユーザの眼２２からポインティング要素を通して、ディスプレイ６の前方の空間にあるものとユーザ１６に認識される、それぞれのグラフィカル要素を表す視覚的要素まで延在する。

いくつかの実施形態では、ディスプレイ６は、２－Ｄディスプレイであり、表示されるグラフィカル要素は、２－Ｄグラフィカル要素であり得る。したがって、ユーザ１６が向かって指す点の位置を決定することは、２－Ｄディスプレイ６で行われ、特定された目線２４は、ユーザの眼２２からポインティング要素を通して、目線２４とディスプレイ６との交点まで延在する。

図４は、ディスプレイ６に向かって指差しするユーザ１６の例示的描写表現を描写する。ユーザ１６が向かって指すディスプレイ６上の点をより良く決定するには、指す間に視空間内のポインティング要素の位置を特定することが有利であり得る。したがって、ポインティング要素がディスプレイ６に最も近くなるポインティングジェスチャ時のポインティング要素の位置である点Ｐ’を特定することが有利である。ポインティングジェスチャ時のユーザ１６の手の動きは、ディスプレイ６に最も近く位置する点Ｐ’によって特徴付けられる運動ベクトルとして図示される。

システム２は、ポインティングジェスチャの間に点Ｐ’を特定するように構成され得る。イメージセンサ８が３－Ｄイメージセンサまたは立体イメージセンサを含む、いくつかの実施形態では、処理ユニット１２は、点Ｐ’のｚ座標が、ポインティング要素がディスプレイ６に最も近く配置されたときのポインティング要素の位置を示し得るよう、捕捉された画像から点Ｐ’を抽出するように構成され得る。

イメージセンサ８が２－Ｄイメージセンサを含む、いくつかの実施形態では、点Ｐ’は、ポインティングジェスチャ時におけるポインティング要素の１つまたはそれを上回る特徴の解析に基づいて特定され、これは、例えば、ポインティング要素の運動経路、ポインティング要素の運動ベクトル、ポインティング要素の運動ベクトルの変化、ポインティング要素のポーズ、ポインティング要素のサイズ、ポインティング要素の加速および／または減速を含み得る。いくつかの実施形態では、点Ｐ’の特定は、視野面内でのポインティング要素の位置変化に基づき得る。例えば、ユーザ１６が腕を伸ばし、点Ｐ’に達した後、ユーザ１６は、腕を後退させ得る。視空間内でのポインティング要素の位置（すなわち、座標）の変化は、腕が後退されたことを示し得、点Ｐ’の特定に使用され得る。

いくつかの実施形態では、点Ｐ’は、ポインティングジェスチャの際のポインティング要素のサイズ変化に基づいて特定され得る。例えば、ユーザ１６がディスプレイ６に向かって腕を伸ばすと、ポインティング要素のサイズが増大し得る（例えば、捕捉された画像内での指先１４のサイズが大きくなり得る）。処理ユニット１２は、ポインティング要素のサイズを追跡し、ポインティング要素のサイズが最大となるポインティング要素の位置を決定するように構成され得る。

図５は、点Ｐ’を特定するための例示的方法を図示するフローチャートを描写する。図５を参照して記載される動作は、例えば、マシンビジョンモジュール２１０を含む処理ユニット１２によって実行されることができる。

本方法は、ディスプレイ６と対話するユーザ１６の少なくとも１つの画像を捕捉するステップ５０１を含み得る。特に、イメージセンサ８は、ディスプレイ６上に表示されるアイコンと対話しようとするユーザ１６の画像を捕捉し得る。本方法は、少なくとも１つの画像内でポインティング要素を検出するステップ５０３を含み得る。本方法は、ポインティング要素の先端のサイズ変化を特定するステップ５０５を含み得る。ステップ５０５の間に、捕捉された画像は、処理され得、異なる画像内でのポインティング要素のサイズ変化が特定され得る。例えば、ポインティングジェスチャ開始時の初期位置での指先１４のサイズとディスプレイ６に向かう腕の動きに沿った異なる位置での指先１４のサイズとの間の比が計算され得、指先１４のサイズの増加率が特定され得る。ポインティングの最大サイズは、いったんポインティング要素がディスプレイ６から最短距離に配置されると生じ得、初期位置に対するサイズの最大変化が記録され得る。その後に腕が後退されるとき、サイズ変化は、ポインティング要素のサイズが小さくなるにつれて小さくなる。

本方法は、ポインティング要素先端の初期サイズと現在のサイズとの間の最大の変化が決定されるポインティング要素の位置を特定するステップ５０７を含み得る。本方法は、点Ｐ’として特定された位置を指定するステップ５０８を含み得る。

図６Ａは、ディスプレイ６に向かって指すユーザ１６を描写する上面図である。図６Ａに示されるように、イメージセンサ８は、ディスプレイ６に隣接して配置され得、破線１０で示される３－Ｄ視空間の画像を捕捉することができる。ユーザ１６のディスプレイ６からの距離Ｒ１は、ディスプレイ６からユーザ１６の両眼の間（例えば、瞳孔の間）の仮想線上の点まで延在する線Ｒ１で示される。上述したように、距離Ｒ１は、例えば、イメージセンサによって得られる画像内で特定されるユーザの両眼間の距離に基づいて決定され得る。

さらに、典型的な人間の行動に基づくと、ユーザ１６がディスプレイ６の方を向いて指すとき、彼の腕は、体から完全に伸ばされていないと仮定され得、腕が体の方に戻るとき、腕は完全に後退されるとは限らないと仮定され得る。ユーザ１６の体からディスプレイ６に向かうポインティング要素の伸長長さは、範囲Ｒ２として図６Ａおよび図６Ｂに示される。

範囲Ｒ２は、例えば、ユーザの身長ならびに体の推定比率に基づいて推定され得、加えて、範囲Ｒ２は、ディスプレイ６からのユーザ１６の距離Ｒ１を示す情報に基づいて推定され得る。加えて、ユーザ１６の年齢や性別に関する情報も、範囲Ｒ２の推定の際に使用され得る。加えて、範囲Ｒ２は、指差しの際のユーザ１６の腕の伸長を示す（各ユーザ１６の身長および比率を考慮し得る）、複数のユーザ１６から得られた統計記録情報から推定され得る。さらに、この情報は、異なる地理的および／または人種的起源に関連し得る異なるポインティングジェスチャを区別するために、ユーザ１６の地理的および／または人種的起源に基づいて分類され得る。このように、例えば、範囲Ｒ２の平均長さは、多くのユーザ１６の腕伸長長さに関し記録された情報から計算され得る。

範囲Ｒ２は、ユーザの体からのポインティング要素の距離の推定を可能にし得る一方、ある程度の偏差が、異なるユーザ１６によって行われるポインティングジェスチャでの腕の伸長の間に存在し得る。図６Ａはまた、異なるポインティングジェスチャ間の腕の伸長の潜在的な偏差を表す偏差量Δｒを図示する。上述のように、範囲Ｒ２が異なるユーザ１６のポインティングジェスチャにおける測定された腕の伸長の平均値であると仮定すると、偏差量Δｒは、（例えば、高さ因子の正規化後の）上記平均値の１つまたはそれを上回る標準偏差に等しい値として求められ得る。

図６Ｂは、ポインティング要素の異なる例示的伸長を描写する上面図である。図６Ｂに示されるように、イメージセンサ８は、ディスプレイ６に隣接して配置され得、３－Ｄ視空間の画像を捕捉することが可能であり得る。ユーザ１６の画像は、イメージセンサ８によって捕捉され得る。３－Ｄイメージセンサにより捕捉される画像とは異なり、２－Ｄイメージセンサによって捕捉される画像は、ディスプレイ６上にユーザ１６の画像投影を奥行き感なしで提供し得る。図６Ｂに示されるように、ユーザ１６は、自らの腕を伸長し、ディスプレイ６に向かって指し得る。異なる長さを有する２つの伸長が示される。伸長ａ（長い方の伸長）から延在する目線は、点Ｐ１でディスプレイ６と交差し、伸長ｂ（短い方の伸長）から延在する目線は、点Ｐ２でディスプレイ６と交差する。

伸長ａおよびｂは、ディスプレイ６上の異なる位置を指し得るにもかかわらず、これらの伸長は両方とも、イメージセンサ８によると、同じ、すなわち、同一の線Ｒ３に収束するように見られ得る。

上述したように、ジェスチャリング位置１９（ユーザ１６が向かって指すディスプレイ６上の位置）を特定するために、ユーザ１６の眼、ポインティング要素、および目線２４のディスプレイ６との各交点を結ぶ目線２４が決定され得る。しかしながら、目線２４の特定中に存在し得る様々な不確定性の結果として、ユーザ１６が正確にはディスプレイ６のどこを指しているのかということについても不確定性が存在し得る。これらの不確定性は、例えば、ポインティングオブジェクトの先端の特定に関する不確定性および目線２４を最もよく表し得るユーザ１６の両眼間に位置する点の特定に関する不確定性を含み得る。さらに、上述のように、２－Ｄイメージセンサは、ディスプレイ６からのユーザ１６の距離に対する、ユーザ１６の体からのポインティング要素の実際の伸長に関して追加的な不確定性を含み得る。

これら潜在的な不確定性の結果、ユーザ１６がディスプレイ６の方を向いて指すとき、ユーザ１６が指しているであろうディスプレイ６上の１点を特定する代わりに、より大きな領域（または候補面）が、ディスプレイ６上に特定され得る。候補面は、ユーザの眼２２から延在する複数の可能な線がポインティング素子を通してディスプレイ６と交差する領域を表し得る。イメージセンサ８により得られる画像は、ユーザの眼２２および指先１４を含み得、投影面上への目線２４の投影（投影面は、イメージセンサ８によって捕捉される平面）を含み得る。投影面上への投影が目線２４の投影面上への投影と同一な視空間内の全ての線のセットは、候補面を形成する。ユーザの眼２２からポインティング要素および共通の候補面を通して延在する各線は、候補目線である。候補面は、例えば、候補面内の画素数（候補面は１つまたはそれを上回る画素を含み得る）、（例えば、ピクセル数または測定された直径で表される）そのサイズ、その形状、画面上の位置等を含む異なる特徴により特徴付けられ得る。

したがって、上述した不確定性にかかわらず、ユーザ１６が向かって指すディスプレイ６の点または位置をより正確に特定することは有利であろう。以下の図面を参照して説明する動作は、２－Ｄ、３－Ｄ、および立体イメージセンサの任意の１つを搭載したシステムに適用可能である。

いくつかの実施形態では、ユーザ１６は、較正手順を実行し得る。較正手順では、ユーザ１６は、ディスプレイ６に表示される１つまたはそれを上回るグラフィカル要素（例えば、アイコン）を順次指すように指示され得る。グラフィカル要素の１つは、例えば、その選択がデバイス４をスタンバイモードからアクティブモードに切り替える、またはその選択がディスプレイ６のロックを解除し得るような、グラフィカル要素を含み得る。ユーザ１６がこのようなグラフィカル要素に向かって指すとき、処理ユニット１２は、ユーザ１６がグラフィカル要素を指している間に、イメージセンサ８で得られた画像内のポインティングオブジェクトおよびユーザの眼２２の位置を決定し得る。指先１４は、例えば、本明細書にその全体が参照により組み込まれる、米国特許出願公開第２００８／００４２９８１号として公開された本出願人による同時係属中の米国特許出願第１０／５９３，６２８号に開示されるイメージセンサ８によって得られる画像内で特定され得る。

画像中の顔および眼を特定するための方法は、当業者に公知である。ユーザ１６が、その後、ディスプレイ１６上のアイコンを指すとき、処理ユニット１２は、ディスプレイ６上の位置、したがって、ユーザ１６が較正データを用いて指すアイコンの位置を、ユーザの眼２２と指先１４との間の距離およびイメージセンサ８により得られる画像内のユーザの両眼間の距離から決定され得るユーザ１６とディスプレイ６との間の距離の制約とともに決定し得る。

図７は、較正モジュール２０８を含む処理ユニット１２で較正プロセスを行うための例示的方法を図示するフローチャートを描写する。較正プロセスの間、ユーザ１６とディスプレイ６との間の距離Ｒ１およびポインティング要素とユーザの体との間の範囲Ｒ２は、より正確に推定され得る。本方法は、較正順序をディスプレイ６上に表示するステップ７０１を含む。ステップ７０１の間に、１つまたはそれを上回るグラフィカル要素（例えば、アイコン）は、所定の順序または形状でディスプレイ６に表示され得、較正順序を提供し得る。較正順序は、ディスプレイ６上のアイコンの位置ならびに別のアイコンとの対話の時間および／または順序によって特徴付けられ得る。ユーザ１６は、所定の順によりアイコンと対話する（例えば、指差しまたはスワイプする）ように要求され得る。いくつかの実施形態では、較正順序はまた、所定のパターンまたは形状に応じてスワイプされるまたは動かされるアイコンも含み得る。

いくつかの場合、ユーザ１６は、較正プロセスに気付かないこともあり得る。例えば、上述したように、較正プロセスは、ディスプレイ６のロックを解除するための対話（例えば、ディスプレイ６に表示されたアイコンを左から右へスワイプする等）としてユーザ１６に提示され得る。または、較正は、ユーザ１６が表示されたアイコンを指す通常使用の間に起こり得る。

本方法は、ディスプレイ６と対話するユーザ１６の少なくとも１つの画像を捕捉するステップ７０３を含み得る。ステップ７０３の間に、ユーザ１６は、較正順序によって要求されるようにディスプレイ６と対話し得、イメージセンサ８は、ユーザ１６がそうする際の画像を捕捉し得る。本方法は、視野面内のユーザ１６の位置を決定するステップ７０５を含み得る。ステップ７０５の間に、イメージセンサ８によって捕捉される画像内のユーザ１６（例えば、ユーザの眼２２）の位置（すなわち、ｘ－座標およびｙ－座標）が決定され得る。本方法は、ポインティング要素の個別の点Ｐ’を決定するステップ７０７を含み得る。ステップ７０７の間に、ポインティングジェスチャは、特定され得、ポインティング要素がディスプレイ６に最も近く配置されるポインティング要素の位置（すなわち、ｘ座標およびｙ座標）を示す点Ｐ’が決定され得る。

本方法は、ディスプレイ６上のそれぞれのアイコンを点Ｐ’の２－Ｄ位置およびユーザ１６の２－Ｄ位置に結ぶ目線２４を決定するステップ７０９を含み得る。較正プロセスは、所定の較正順序によって実行され得るため、ユーザ１６が現在指すことを要求されるディスプレイ６に表示されたグラフィカル要素がどれかを示す情報は、処理ユニット１２に利用可能である。したがって、処理ユニット１２は、ユーザ１６の位置、点Ｐ’、およびユーザ１６が向かって指すディスプレイ６上のそれぞれのグラフィカル要素を結ぶ目線２４の間をより容易に相関付け得る。これにより、それぞれの目線２４は、ディスプレイ６上の関連するグラフィカル要素から、それぞれの点Ｐ’に位置するポインティング素子を通して、ユーザ１６のそれぞれの位置に延在し得る。

図８は、例示的な較正プロセスを描写する上面図である。図８に示されるように、イメージセンサ８は、ディスプレイ６に隣接して配置され得、破線１０によって示される３－Ｄ視空間の画像を捕捉することができ得る。ユーザ１６は、アイコンＧ_１に向かって指し得、これが較正順序（図示せず）の一部となっている。ディスプレイ６の前方に立つユーザ１６の２－Ｄ位置は、線Ｌ１上に位置し得る。ユーザ１６とディスプレイ６との間の距離Ｒ１は、上述のように推定され得るが、較正プロセスはこの推定の改善を可能にし得る。点Ｐ’の２－Ｄ位置は、線Ｌ２上に配置され得る。線Ｌ１および線Ｌ２の間に及ぶ範囲Ｒ２は、上述のように推定され得るが、較正プロセスは、この推定の改善を可能にし得る。

図６Ａを参照して上述したように、不確定性は、偏差Δｒによって上に示したように、範囲Ｒ２に関して存在し得る。したがって、線Ｌ１および線Ｌ２の間の距離は、Ｒ２＋Δｒ／２およびＲ２－Δｒ／２の間のいずれかとして推定され得る。較正プロセスの間に、第１の直線Ｌ３は、ディスプレイ６上のアイコンＧ_１から延在し、線Ｌ１および線Ｌ２の間の距離がＲ２－Δｒ／２に等しくなるように線Ｌ１およびＬ２に接続し、第２の直線Ｌ４は、ディスプレイ６上のアイコンＧ_１から延在し、線Ｌ１および線Ｌ２の間の距離がＲ２＋Δｒ／２に等しくなるように線Ｌ２および線Ｌ１に接続する。図８に示されるように、線Ｌ２上の点ａと線Ｌ１上の点ｕ１との距離は、Ｒ２－Δｒ／２に等しくなり、線Ｌ２上の点ｂと線Ｌ１上の点ｕ２との間の距離Ｒ２’’は、Ｒ２＋Δｒ／２に等しくなる。

線Ｌ１上の点ＥＬは、点ｕ１と点ｕ２との間に位置する任意の点として決定され得る、ユーザ１６の推定位置を表し得る。例えば、点ＥＬは、点ｕ１と点ｕ２との間のちょうど真ん中に位置する点であり得る。線Ｌ２上の各点は、線Ｌ１上の選択された点からの直線を、線Ｌ２を通してアイコンｉに延長することによって決定され得る。本較正方法は、ユーザ１６にフィードバックを提供し、ユーザ１６が較正順序に従う際にステップ７０３から７０９までを繰り返すステップ７１１を含み得る。フィードバックは、例えば、各グラフィカル要素の色、サイズ、形状、および位置のうちの１つまたはそれよりも多くを変えることによって、または可聴標示によって、ユーザ１６に提供され得る。ユーザ１６が較正順序に従い、ディスプレイ６上の各グラフィカル要素と対話する際、ステップ７０３から７０９までが繰り返され得る。

任意のアイコンＧ_１について、ユーザ１６の位置を表す、線Ｌ１上の各点ＥＬｉは、上述のように求められ得る。本方法は、異なる視覚的要素で生成される多数の目線に基づく範囲Ｒ１および範囲Ｒ２を決定するステップ７１３を含み得る。ステップ７１３の間に、範囲Ｒ１およびＲ２の最終的な推定値が決定され得る。範囲Ｒ１およびＲ２の最終的な推定値は、較正順序で異なるアイコンに関して得られる全ての点ＥＬ（例えば、全ての特定された点の中心に位置する点）に基づいて決定され得る。

本方法は、ディスプレイ６に向かう特定のポインティングジェスチャに応答し、範囲Ｒ１およびＲ２に基づき各目線２４を特定するステップ７１５を含み得る。ステップ７１５は、システムがいったん較正されるとおよび／または通常の動作中に生じ得る。

処理ユニット１２は、ディスプレイ６上の各アイコンについて異なる範囲Ｒ２を決定するように構成されてもよく、異なるアイコンおよびディスプレイ６上のそれぞれの位置を対応する範囲Ｒ２と関連付けるマップを作成してもよい。（較正アイコンによって占められていない）ディスプレイ６の任意の他の点は、マップに基づいてそれぞれの範囲Ｒ２に関連付けられ得る。この関連付けは、例えば、アイコンの位置およびそれぞれの範囲Ｒ２の線形結合に基づき得る。

通常動作中に、処理ユニット１２は、ディスプレイ６に向かうユーザ１６のポインティングジェスチャに応答して、ポインティングジェスチャの概略的な方向を特定し、特定された概略的な方向に最も近いディスプレイ６上の点に位置する、較正アイコンに関連付けられる特定の範囲Ｒ２を選択するように構成され得る。

上述した較正プロセスに加えて、またはそれに代わって、ユーザ１６が向かって指すディスプレイ６上の点または位置をより正確に特定する他の技法も可能であり得る。上に説明したように、ユーザ１６が向かって指すディスプレイ６の点を決定するときに用いられるパラメータに関する異なる不確定性により、候補面は、ディスプレイ６上で特定され得、ユーザ１６の両眼から延在する複数の可能な線がポインティング素子を通してディスプレイ６と交差する平面を表し得る。

図９は、候補面のサイズを減少させ、ユーザ１６が向かって指すディスプレイ６上の点をより正確に特定するためのマシンビジョンユニット２１０を含む処理ユニット１２を使用し得る、例示的方法を図示するフローチャートを描写する。

本方法は、ディスプレイ６と対話するユーザ１６の少なくとも１つの画像を捕捉するステップ９０１を含み得る。ステップ９０１の間に、イメージセンサ８は、ディスプレイ６に表示されるグラフィカル要素と対話しようとするユーザ１６の画像を捕捉し得る。本方法は、少なくとも１つの画像内でユーザの眼２２およびポインティング要素を特定するステップ９０３を含み得る。特に、捕捉された画像は、処理され得、ユーザの眼２２およびポインティング要素が捕捉された画像内に特定され得る。本方法は、一連の位置データを得るステップ９０５を含み得る。ステップ９０５の間に、ポインティング要素の運動経路は、それがディスプレイ６に向かって延長される間に追跡され得、運動経路内のポインティング要素（例えば、指先１４）の異なる位置を含む、一連の位置の値が得られ得る。

位置の値は、所与の画像内のポインティング要素の位置を記述し得るパラメータを含む。例えば、位置の値は、イメージセンサ８によって捕捉される視野面内におけるポインティング要素先端のｘ座標およびｙ座標であってもよい。ユーザ１６は、ディスプレイ６近くに向かって腕を伸ばし得、視野面に対する指１４の（ｘ座標およびｙ座標で示される）２－Ｄ位置が取得され、保存され得る。

腕がポインティングジェスチャの間にディスプレイ６近くに向かって伸ばされ、ディスプレイ６からある距離で開始し、収束点から先に向かって移動する一方で、ポインティング要素は、ディスプレイ６の同じ位置を指し得る（例えば、ポインティング要素は、同様の目線２４と整列し得る）。この運動経路の間に、イメージセンサ８は、ポインティング要素の異なる点が、ユーザの眼２２、ポインティング要素（すなわち、指先１４を）、およびディスプレイ６上の点を通過する同一の目線２４上に整列するように一連の画像を捕捉し得る。

本方法は、点Ｐ’でポインティング要素を特定するステップ９０７を含み得る。ステップ９０７の間、ポインティング要素（すなわち、指先１４）の動きは、ポインティング要素が点Ｐ’に位置することが特定されるまで追跡され得る。この時点で、所定数の位置の値は、ディスプレイ６に向かうポインティング要素の運動経路から抽出された位置の値の順序から選択され得る。選択される位置の値は、例えば、ディスプレイ６に最も近い点である点Ｐ’にポインティング要素が達する前のＮ個の画像（またはフレーム）と相関する位置の値であり得る。代わりに、選択される位置の値は、同様の目線上に配置された順次位置であり得る。

上記のように、（例えば、視野面上のｘ座標およびｙ座標で表される）位置値の順序内の各位置の値は、それぞれの位置の値が示す位置に配置されるポインティング素子を通して、ディスプレイ６と交差するユーザの眼２２を結ぶそれぞれの目線２４に関連付けられ得る。上述した不確定性のため、それぞれの目線は、ディスプレイ６上の各候補面に関連付けられ得る。

本方法は、所定数の位置データ要素を選択し、それぞれの候補面をディスプレイ６上で特定するステップ９０９を含み得る。ステップ９０９の間に、それぞれの候補面は、ディスプレイ６上で特定される選択位置の値に関連付けられ得る。本方法は、ディスプレイ６上の選択された領域として、全ての候補面の間の重複領域を特定するステップ９１１を含み得る。ステップ９１１の間に、候補面の間の重複領域は、特定され、選択された視野面として示され得、それによって、候補面のサイズを小さくし、ユーザ１６が向かって指す点としてディスプレイ６上の小さな領域を特定する。

図１０は、部分的に重複する３つの候補面を示す例示的なベン図を描写する。３つの候補面のそれぞれは、ディスプレイ６上のある領域または位置を覆う円として図示される。各面は、位置の値の記録順序における最後の３つの位置の値（位置の値：ｎ、ｎ－１、およびｎ－２）の異なる位置の値に関連付けられる。

上記のように、収束点およびその先で、位置の値の順序内の異なる位置の値に関連付けられる３つの異なる視野面のそれぞれは、重複領域を覆い得る。図９に図示されるように、３つの候補面は、同じ領域を指し得、選択された投影面として指定される（クロスハッチング模様で示される）重複部分を共有し得る。

図１１は、処理ユニット１２で行われ得る、例示的方法を図示するフローチャートを描写する。システム２は、ディスプレイ６に向かって指すユーザ１６にフィードバックを提供するように構成され得る。このフィードバックは、ポインティング要素をディスプレイ６の所望の点に向けて指し、より容易に所望のグラフィカル要素を選択するようにユーザ１６を支援し得る。図１１に関連する以下の動作は、２－Ｄディスプレイに照らして提供されるが、同様の動作は、３－Ｄディスプレイでも実行され得る。

本方法は、ディスプレイ６と対話するユーザ１６の少なくとも１つの画像を捕捉するステップ１１０１を含み得る。ステップ１１０１の間に、イメージセンサ８は、ディスプレイ６に表示されるアイコンと対話しようとするユーザ１６の画像を捕捉し得る。本方法は、少なくとも１つの画像内でユーザの眼２２およびポインティング要素を特定するステップ１１０３を含み得る。本方法は、ディスプレイ６上にポインティング視覚効果を表示するステップ１１０５を含み得る。ステップ１１０５は、ポインティングジェスチャの検出に応答して生じ得る。ポインティング視覚効果は、例えば、任意の形状または色、透明または不透明によって特徴付けられる色の染みであってもよく、グラフィカル要素の上または背後にあり得る、ディスプレイ６に表示されるグラフィカル要素に対し任意の位置に配置され得る。例えば、ポインティング視覚効果は、それを透過するグラフィカル要素が認識可能である透明色の１つまたはそれを上回る丸い対称形状を有し得、ディスプレイ６の一部を照らすフラッシュライトビームとしてユーザ１６に表示され得る。ポインティング視覚効果のディスプレイ６上の初期位置は、ポインティング要素が最初に指す方向に基づいて決定され得る。

本方法は、ポインティング要素の運動経路を追跡するステップ１１０７を含み得る。ポインティング要素を追跡する一方で、ステップ９０５を参照して上述された図９に示されたように、位置の値のそれぞれの順序が得られ得る。

本方法は、ポインティング要素の動きに相関してポインティング視覚効果の１つまたはそれを上回る特性を変更するステップ１１０９を含み得る。例えば、ポインティング要素がディスプレイ６に向かって近くに伸ばされる際、ポインティング視覚効果の１つまたはそれを上回る特性は、ポインティング要素の動きに相関して変更され得る。特性は、例えば、ポインティング視覚効果の形状、サイズ、および色のうちの１つまたはそれを上回るものを含み得る。例えば、ポインティング視覚効果は、ポインティング要素とディスプレイ６との距離が減少するにつれてサイズが小さくなり得る。

ユーザ１６がディスプレイ６に向かって腕を伸ばすと、ユーザ１６は、ディスプレイ６上に表示される所望のグラフィカル要素の位置に向けてポインティング視覚効果を動かすように直観的に試み得る。選択されたグラフィカル要素に向けてポインティング視覚効果を移動させようとするユーザ１６により行われ得るポインティング要素の矯正動作は、処理ユニット１２によって特定され得る。随意に、ディスプレイ６上のポインティング視覚効果の位置は、ユーザ１６の矯正動作に基づいて変化し得る。例えば、ディスプレイ６上のポインティング視覚効果の位置は、ユーザ１６によって行われる矯正ジェスチャの方向に相関して変化できる。

別の実施例では、円形のポインティング視覚効果は、ポインティング要素がディスプレイ６に向かって近づくにつれ小さくなり得る。随意に、ポインティング視覚効果は、矯正ジェスチャの方向に減じ得る。図１６Ａは、左側に位置するアイコン（四角で示す）に向かう矯正ジェスチャに応じてサイズが小さくなり、左に移動したポインティング視覚効果を図示し、図１６Ｂは、右側に位置するアイコン（四角で示す）に向かう矯正ジェスチャに応じてサイズが小さくなり、右側に移動したポインティング視覚効果を図示する。

本方法は、ディスプレイ６上のポインティング視覚効果の既知の位置とポインティング要素の動きとに基づいてグラフィカル要素を決定するステップ１１１１を含み得る。例えば、ポインティング視覚効果に対して所定の基準に準拠するアイコンは、選択されたアイコンとして特定され得る。さらに、染みに最も近く配置されたまたは染みに対して矯正ジェスチャの方向に配置されたアイコンは、ユーザ１６により選択されたアイコンとして決定され得る。

上記のように、処理ユニット１２は、ユーザの眼２２から、ポインティング要素の先端を通過し、その後、ディスプレイ６を通過して延在する目線２４を特定するように構成され得る。このため、処理ユニット１２は、捕捉された画像内でユーザの眼２２を特定するように構成され得る。

図１２は、ユーザの眼２２からポインティング要素の先端を通してユーザ１６が指すディスプレイ６上の所望の位置に至る目線２４を、ユーザ１６がディスプレイ６を指すときにユーザのどちらの目が優位かを考慮することにより算出するための例示的方法を図示するフローチャートを描写する。ディスプレイ６上のグラフィカル要素を指すとき、眼球優位性は、ディスプレイ６上のアイコンの実際の位置とユーザ１６が指す位置との間にオフセットが生じる原因となる。言い換えると、ユーザの両眼の間の中間点からポインティング要素の先端を通して目線２４を計算するとき、得られる目線は、ディスプレイ６上のアイコンの位置と交差しない場合がある。したがって、第１のジェスチャリング位置は、ユーザ１６の一方の眼がユーザ１６のもう一方の眼に対して優位であることの結果として、第１のディスプレイ情報の位置から少なくとも部分的に異なる。このオフセットを補正するために、本発明による方法およびシステムは、ユーザの利き眼に関連するアプリオリ情報を用いて目線２４を計算し得る。この優位性に関する情報は、システムが表示されるアイコンの正確な位置を知り得、したがって、アイコンを指すように促されたユーザ１６が、アイコンからオフセットした位置を指すのを検出されたときにオフセットを決定し得るため、較正中または通常の使用中にシステムによって導出され得る。

アプリオリ情報はまた、データベースまたはウィンクの間等、ユーザの行為からも得られ得る。ユーザ１６は、そのような情報を直接求められ、あるいはユーザ１６は、ウィンクするように求められる。ウィンクする間、利き眼は、開いたままの眼として判明されてもよい。このようにして、システム２は、ユーザの優位な眼によって目線２４を計算し、より高い精度をもって、上記の異なるポインティングジェスチャ中にユーザ１６が指す位置の推定を確立し得る。

さらに、目線２４は、ユーザ１６の指先１４を通して指すディスプレイ６上の点から抽出され得る。しかしながら、それがユーザの瞳孔に達せず、代わりに、より優位な「利き眼」に関連する２つの瞳孔の間のいずれかの点に達する可能性がある。上記し、以下の図１４に描写されるように、利き眼に関連するオフセットにより、目線２４または視線は、アイコンに対するオフセット位置（仮想の眼Ｖｅ）からポインティング要素を通してユーザの顔の瞳孔間の位置まで延在する。したがって、ユーザの瞳孔の一方からの開始点を固定するよりもむしろ、目線２４が計算されるユーザの眼の間のより正確な出発点を確立することが有利であり得る。

しかしながら、実際には、目線２４は、左眼または右眼またはそれらの間の任意の他の点のいずれかと重複し得る点で、ユーザ１６の両眼の間に延在する仮想線上に位置する任意の点と交差し得る。ジェスチャリング位置１９、すなわち、所与の目線２４が延在するディスプレイ６上の点をより正確に決定するために、ユーザが指すつもりの意図されたディスプレイ位置に関連付けられる目線２４に対応するユーザ１６の「仮想の眼」を表す、より正確な位置を決定することは、任意のユーザの右眼または左眼の１つまたはそれらを結ぶ線上の任意の点を恣意的に選ぶよりむしろ有利であり得る。

図１２は、ユーザの両眼の間の基準点を、較正モジュール２０８を含む処理ユニット１２で決定するための例示的方法をより詳細に描写する。基準点は、所与の目線２４とユーザ１６の両眼（例えば、瞳孔）の間に延在する視線とのより正確な交点を表し得る。図１２を参照して記述されたプロセスは、例えば、１回限りの較正処理として実行され得または定期的に更新され得る。

本方法は、ディスプレイ６上にアイコンを表示するステップ１２０１を含み得る。本方法は、ディスプレイ６と対話するユーザ１６の画像を捕捉するステップ１２０３を含み得る。ステップ１２０３で捕捉される画像は、イメージセンサ８によって捕捉され得る。

随意に、ユーザ１６は、ディスプレイ６に表示されるアイコンに向かって指すように指示または要求され得る。指示は、可聴指示として、較正プロセスの一部として、または対話を必要とする情報の単なる表示として、ディスプレイ６上でユーザ１６に提供され得る。本方法は、ユーザ１６の第１の眼に結ばれる目線によって生成される第１の候補面を特定するステップ１２０５を含み得る。ステップ１２０５の間に、ディスプレイ６に向かうユーザ１６のポインティングジェスチャは、特定され得、ポインティング素子を通してユーザの片眼につながる第１の目線およびディスプレイ６上の第１のジェスチャリング位置が決定され得、それぞれの候補面がディスプレイ６に特定され得る。

本方法は、ユーザ１６の第２の眼につながる目線によって生成される第２の候補面を特定するステップ１２０７を含み得る。ステップ１２０７の間に、ディスプレイ６に向かうユーザ１６のポインティングジェスチャは、特定され得、ポインティングオブジェクトを通してディスプレイ６上の第２のジェスチャリング位置にユーザのもう一方の眼をつなぐ第２の目線が決定され得、それぞれの候補面がディスプレイ６に特定され得る。上記のように、第１および第２の候補面は、上述の方法に基づいて決定され得るが、特に、第１および第２の候補面は、ユーザ１６とディスプレイ６との間の距離Ｒ１およびポインティング要素と視野面におけるポインティング要素の位置との間の伸長範囲Ｒ２の推定に基づいて部分的に決定され得る。

図１３は、ディスプレイ６上に表示され得る較正アイコンＣｌを示す略図である。図１３は、１つはユーザ１６の左眼を結ぶ目線（文字Ｌで示される）によって生成され得、他方はユーザ１６の右眼を結ぶ目線（文字Ｒで示される）によって生成され得る２つの候補面をさらに図示する。図１３に示される図示された実施例では、候補面Ｌとは異なり、候補面Ｒの一部が較正アイコンＣｌと重複することに留意されたい。

アイコンの位置に対する２つの候補面のそれぞれの位置に基づいて、処理ユニット１２は、両眼のいずれがより優位であるかを決定するように構成され得、ジェスチャリング位置１９に関連付けられるオフセットＯを決定し得る。システム２は、追加のジェスチャリング位置を決定する際に、その眼または「仮想の眼」を使用し得る。処理ユニット１２は、オフセットＯに関連する情報を通じて、どちらの眼がより優位であるかを示すように構成され得る。さらに、処理ユニットは、例えば、候補面ＬおよびＲと較正アイコンＣｌおよび／またはユーザの眼に対する「仮想の眼」の相対位置、すなわち、ユーザの左眼と右眼との間の総距離に対する「仮想の眼」Ｖｅとユーザの左眼および右眼の１つとの間の距離の比との重なりの割合に基づき得る、左右の眼の間の優位性の度合いを示すように構成され得る。図１２に関して開示された方法はまた、第１候補面および第２の候補面を結ぶ線を延長するステップ１２０９も含み得る。図１２を参照して図示される１つの実施例によれば、（図１３に示されるような）線１３０は、候補面Ｌの中心と候補面Ｒの中心との間に延長されることができる。本方法は、線１３０に沿う（線１３０に近い、すなわち、略近傍の）アイコンＣｌに最も近い点を決定するステップ１２１１を含み得る。例えば、（ユーザ１６が向かって指す標的であり得る）較正アイコンＣｌの中心に最も近い位置にある線１３０上の第３の点が特定される。較正アイコンＣｌに最も近い点は、線１３０をセグメントＡおよびＢに分割し得る。図１３に示される実施例では、セグメントＡは、アイコンＣｌに最も近い点から、ユーザ１６の左眼を「スタート」し、ポインティング要素（例えば、指先１４）に向かってディスプレイ６と交差する視線を計算することによって決定されるジェスチャリング位置１９に延在し得る。ジェスチャ位置はまた、平面Ｌの中心としても定義され得る。また、セグメントＢは、較正アイコンＣｌに最も近い点から、ユーザ１６の右眼を「スタート」し、ポインティング要素（例えば、指先１４）に向かってディスプレイ６と交差する視線を計算することによって決定されるジェスチャリング位置の中心に延在し得る。ジェスチャ位置はまた、平面Ｒの中心としても定義され得る。本方法は、（図１４に示されるように）ユーザ１６の両眼または瞳孔の間に延在する線上の対応する点Ｖｅ（または「仮想の眼」）を特定するステップ１２１３を含み得る。

点Ｖｅは、ユーザ１６の両眼間に延在する線をセグメントＣおよびセグメントＤに分割し得る。例えば、セグメントＣは、点Ｖｅからユーザの左瞳に延在し得、セグメントＤは、点Ｖｅからユーザの右瞳に延在し得る。ユーザ１６の両眼または瞳孔の間に延在する線上における点Ｖｅの位置は、Ａ／Ｂの比率がＣ／Ｄの比率と等しくなるように、点Ｖｅの位置を内挿することによって決定され得る。

処理ユニット１２は、目線を特定するときに、ユーザ１６の顔との交点として対応点Ｖｅを使用するように構成され得る。本プロセスは、「仮想の眼」の場所を微調整し、ディスプレイ６に対するユーザ１６の異なる場所に応じてそれを微調整するために、より収集された値に達するよう、較正が行われるたびに行われ得ることに留意されたい。

随意に、図１２を参照して記述される動作は、それぞれがディスプレイ６上の異なる位置に配置される複数のアイコンについて反復され得る。したがって、両眼間の異なる各点Ｖｅは、ディスプレイ６上の異なる領域または位置に向けられるポインティングジェスチャを処理することにより特定され得る。

「仮想の眼」の位置および／または「仮想の眼」のマッピング情報は、システム２またはシステム２を使用する他のデバイスによって後に使用されるよう、全ての特定のユーザ１６に関連付けられた（デバイス４上またはデバイス４の外部の）メモリに格納され得る。システム２が（例えば、顔認識、ユーザの音声署名、またはユーザ１６による明示によって）ユーザ１６を特定するとき、システム２は、「仮想の眼」の位置および／または「仮想の眼」のマッピング情報を示す、格納された情報を取り出し得る。それぞれのユーザ６について格納される「仮想の眼」および／または「仮想の眼のマッピング情報」は、イメージセンサ８により得られる固有の識別情報を含み得、各ユーザ６に関連付けられるオフセットに関する情報を含み得る。例えば、各ユーザ６について格納される情報は、ユーザの瞳孔を含むユーザの眼等、顔の特徴の位置を含む顔の情報を含み得る。加えて、各ユーザについて保存されるオフセット情報は、ユーザの瞳孔を含むユーザの眼に関するユーザ６のオフセット情報を含み得る。

本発明の実施形態は、ジェスチャリング位置１９とユーザ１６が指すと認識されるディスプレイ８上の位置との間のディスプレイ６上の差異を表すベクトルに関連付けられる１つまたはそれを上回るオフセットを格納するステップを含み得る。例えば、
候補面Ｒの中心からの距離およびユーザ１６が指すように促されるアイコンの中心。そして、ユーザ１６が後続のタッチフリージェスチャを行うとき、システム２は、ユーザが指す表示情報（アイコン）を正確に決定するため、ジェスチャリング位置１９を補正するように格納されたオフセットを使用し得る。システム２は、ディスプレイの異なる領域に関連付けられる多数のオフセットを格納し得、格納されたオフセットの好適な１つをジェスチャリング位置１９に応じて使用し得る。本発明の実施形態は、指先１４等ユーザ１６のポインティング要素の特定を可能にし得る。手の特徴は、指先１４または手に持たれるもしくは手に着用されるその他任意のポインティング要素を特定するために役立つ。図１５は、指先１４、指先１４上の爪２６、および人差し指の関節２８を含むユーザの手を描写する。

ポインティング要素を決定するための方法は、ポインティング要素がユーザの右手または左手の一部またはこれに関連付けられているかどうかを決定するステップを含み得る。イメージセンサ８によって捕捉される画像から、ユーザ１６がジェスチャを行うとき、どちらの手を動かすか容易に決定し得る。本方法は、人差し指の指先１４上の爪２６を決定するステップを含み得る。指先の爪２６を決定するステップに代えて、またはそれに加えて、本方法は、ユーザ１６が右手で指す場合には手の左側部分に、そしてユーザ１６が左手で指す場合には手の右側部分に人差し指の関節２８を検出し得る。代わりに、システムは、第３、第４、および第５指の関節等、一連の関節のシグネチャを検出するように構成され得る。本システムはまた、指す手の特徴である、図１５に図示される折り畳まれた親指を検出し得る。これは、図１５に図示されるように、人差し指の先端が、その認識可能な特徴において、手の他のより明確な部分からあまり区別されないため有用であり得る。しかしながら、手のよりはっきり異なる部分がいったん見つかると、指先の位置は、推定され得る。

より具体的には、推定は、ユーザの顔に対する手の幅、高さ、および／または位置の測定または推定を通して生じ得る。このデータは、ユーザの手の特定の解剖学的構造および寸法を推定するために役立ち得、したがって、指先１４の位置を、それが捕捉された画像から容易に明らかではない場合には、予測するのを助け得る。さらに、指間隔同士の既知の関係が推定を向上させるのに役立ち得る。１つまたはそれを上回る指輪等の宝石は、指先１４の位置を決定するための基準点として用いられ得る。特定のユーザ１６のためメモリ１３に保存される基準データまたは平均的な解剖学的データは、推定を改善するのを助け得る。上述の基準データはいずれも、ポインティング位置を特定することに関連付けられるアルゴリズムで使用され得る。基準点は、例えば、手、宝石、（指先１４上の爪２６を含む）いずれかの爪、および人差し指の関節２８等１つまたはそれを上回る関節の中心位置を含み得る。基準点がいったん特定されると、アルゴリズムは、基準点に対する指１４の推定位置として、ｘ、ｙ座標またはｘ、ｙ、ｚ座標でのオフセット距離を算出し得る。本方法は、１つまたはそれを上回る基準点を特定し、追跡し得、指先１４の位置を推定するため、基準点に関連付けられる対応するオフセットを適用し得る。

本発明の他の実施形態は、タッチフリージェスチャ認識システムを較正するためのデバイスを含み、デバイスは、ディスプレイ上の少なくとも１つのプロンプト位置でユーザにタッチフリージェスチャを行なわせるプロンプトの提示を可能にすることと、ディスプレイ上の対応するジェスチャリング位置を示すカメラからの情報を受信することであって、ディスプレイ上のジェスチャリング位置とユーザの意図したジェスチャリング位置との間の不整列の結果、ジェスチャリング位置は、少なくとも１つのプロンプトの位置とは異なる、ことと、不整列を考慮するため、ジェスチャ認識システムを較正することとを行うように構成された少なくとも１つのプロセッサを含み得る。

加えて、タッチフリージェスチャ認識システムを較正するためのデバイスでは、少なくとも１つのプロセッサはさらに、較正に加え、少なくとも１つの動作のためのタッチフリージェスチャを使用することと；較正が生じていることをユーザに対して特定することなく、プロンプトがアプリケーションの使用中に生じることを可能にすることと；使用中にディスプレイ上で検出されるジェスチャの位置とユーザが選択しようとしていることが疑われるディスプレイ上のアイコンの位置との間の違いを考慮して、ジェスチャ認識システムを定期的に再較正することにより、アプリケーションの使用中にジェスチャ位置の精度を定期的に向上させることと；予測に基づいて較正するために、ディスプレイ上のジェスチャ位置の特定のアイコンへの近接性に基づいて、特定のアイコンを有効にするユーザの意図を予測することと；ユーザが特殊な較正手順を必要とすることなく、アプリケーションの通常の使用中に定期的な再較正を可能にすることと；少なくとも１つのプロンプトの位置でタッチフリージェスチャに続く次のアクションをユーザが実行した後まで、較正を遅らせることと；アプライアンスロック解除プロセス中に再較正することによりジェスチャ位置の精度を向上させることと；アイコンの位置とジェスチャの場所との間に差があるときに、ユーザの意図が特定のアイコンを有効にすることにあるかどうかをディスプレイ上のアイコンのレイアウトに基づいて決定することと；ディスプレイに対するユーザの所定の動きを検出した後、関連するアプライアンスのロックを解除するようユーザに促すことと；複数のポインティング位置および複数のポインティング位置のそれぞれに関連付けられるアイコンの相対的な位置に関連する情報を保存し、保存された情報を用いてジェスチャ認識システムを較正することと；ジェスチャ位置とジェスチャ位置に関連付けられるアイコンの相対的な位置に関連した情報を保存し、および／または保存される情報をもとにジェスチャ認識システムを較正することと；ユーザの視覚に固有な特性を考慮して、ロック解除プロセスの間に、較正することとを行うように構成され得る。

加えて、タッチフリージェスチャ認識システムを較正するためのデバイスでは、プロンプトは、関連するアプライアンスまたは少なくとも１つのアイコンをロック解除するようにユーザを合図するための少なくとも１つのアイコンを含み得、タッチフリージェスチャは、ポインティングジェスチャであり、少なくとも１つのプロセッサは、ユーザに少なくとも１つのアイコンを指すよう合図するように構成される。ディスプレイ上の少なくとも１つの位置は、第１の既知の位置と第２の既知の位置とを含み得、較正は、第１の既知の場所から第２の既知の場所へジェスチャするよう、ユーザにプロンプトすることに関連する情報に基づく。ユーザの所定の動きは、カメラの視界の外に動くユーザの少なくとも体の一部を含み得る。

ジェスチャリング位置は、ポインティング位置であり得、少なくとも１つのプロセッサはさらに、ポインティング位置および少なくとも第１のアイコンの位置に基づいて、ジェスチャ認識システムを最初に較正すること；最初の較正の後、ユーザがジェスチャを使用してアプリケーションを制御することを可能にすること；アプリケーションの制御時に、ディスプレイ上の少なくとも第２のアイコンに対するジェスチャに関する情報を収集すること；および／またはユーザが少なくとも第２のアイコンを指そうとしたとき、アプリケーション制御の際に再較正することを行うように構成され得る。

不整列は、ユーザの一方の眼がユーザの他方の眼に対して優位であることの結果であり得、少なくとも１つのプロセッサはさらに、ユーザの一方の眼がユーザの他方の眼に対して優位であることを考慮して、ジェスチャ認識システムを較正すること；ジェスチャ位置と少なくとも一つのプロンプト位置との間のオフセットを決定すること；および／またはオフセットに基づいてその後のジェスチャ位置の決定に適用する調整を決定することを行うように構成され得る。

本発明の他の実施形態は、ディスプレイ上の少なくとも１つのプロンプトの位置でタッチフリーポインティングジェスチャを行うようユーザにプロンプトを提示することを可能にすることと；タッチフリーポインティングジェスチャに対応するイメージセンサからの画像情報を受信することと；タッチフリーポインティングジェスチャに関連する指先の位置を決定することでわって、指先の位置は、ユーザの指の先端の他に、ユーザの解剖学的特徴に少なくとも部分的に基づいて決定される、ことと；決定された指先の位置に少なくとも部分的に基づいて、タッチフリージェスチャに関連するディスプレイ上のポインティング位置を決定することとを行うように構成された少なくとも１つのプロセッサを含むタッチフリージェスチャ認識システムを含み得る。

タッチフリージェスチャ認識システムはまた、手の向きの違いに基づいてポインティング位置を決定するための複数のアルゴリズムを格納する少なくとも１つのメモリデバイスを含み得、少なくとも１つのプロセッサはさらに、画像情報中の手の向きに少なくとも部分的に基づいて複数のアルゴリズムから好適なアルゴリズムを選択し、好適なアルゴリズムに少なくとも部分的に基づいてポインティング位置を決定するように構成され得る。

タッチフリージェスチャ認識システムはまた、画像情報内で右手または左手のいずれが検出されたかどうかに基づいて、ポインティング位置を決定する複数のアルゴリズムを格納するための少なくとも１つのメモリデバイスを含み得、少なくとも１つのプロセッサはさらに、右手が検出されたかまたは左手が検出されたかに少なくとも部分的に基づいて、複数のアルゴリズムから好適なアルゴリズムを選択し、好適なアルゴリズムに少なくとも部分的に基づいてポインティング位置を決定すること；および／またはユーザの解剖学的特徴とユーザの手の少なくとも一部との間のオフセットに少なくとも部分的に基づいて、ユーザの手が左手かまたは右手かを決定することを行うように構成される。

タッチフリージェスチャ認識システムでは、解剖学的特徴は、指の爪を含み得、ユーザの手の幅、長さ、サイズ、または位置の少なくとも１つであり得、および／またはポインティングジェスチャで使われた指先ではない第２の指先であり得、少なくとも１つのプロセッサはさらに、ポインティングに使用された指先および第２の指先に少なくとも部分的に基づいて、指先の位置を決定するように構成され得る。

タッチフリージェスチャ認識システムでは、少なくとも１つのプロセッサはさらに、画像情報内での指先の位置特定がない中で、ユーザの手の指先以外の所定の領域に少なくとも部分的に基づいて、指先の位置を決定すること、および／または指すために使用される指の推定長さに少なくとも部分的に基づいて、指先の位置を決定することを行うように構成され得る。

タッチフリージェスチャ認識システムでは、少なくとも１つのプロセッサはさらに、画像情報内の手が左手または右手であるかどうかを決定し、右手と決定される場合は手の左上の領域、または左手と決定される場合は手の右上の領域に関連する位置として、指先位置を決定すること；手のサイズに関連するフィルタマスクを画像情報に適用することにより手を位置付けること；画像情報内でユーザの手の２本の指を検出し、２本の指の間の位置として指先の位置を決定すること；および／または画像情報内のユーザの手の複数の指を検出し、複数の指に少なくとも部分的に基づいて指先位置を決定することであって、複数の指のそれぞれが指先位置を決定するための異なる加重に関連付けられることとを行うように構成され得る。

タッチフリージェスチャ認識システムでは、少なくとも１つのプロセッサはさらに、１回目に画像情報内で指先を位置付けることなく指先の位置を決定した後に、引き続き非指先情報を用いて指先を追跡するように構成され得る。

タッチフリージェスチャ認識システムでは、少なくとも１つのプロセッサはさらに、１回目に指先位置を位置付けたが、２回目に指先位置を位置付けるのに失敗した後、１回目の指先位置と非指先情報とを用いて、指先を追跡するように構成され得る。

本発明の他の実施形態は、タッチフリージェスチャ認識システム内で視覚的なフィードバックを提供するためのデバイスを含み得、デバイスは、ディスプレイ上の画像の提示を可能にすることと；ユーザによって実行されるタッチフリージェスチャを示すカメラからの情報を受信することと；ディスプレイ上のジェスチャリングインジケータの提示を可能にすることであって、ジェスチャリングインジケータは、ディスプレイに対するユーザのタッチフリージェスチャの位置を表す、ことと；ユーザのタッチフリージェスチャがディスプレイから第１の距離にあるとき、ディスプレイ上の最初の画面内にジェスチャリングインジケータを提示することと；ユーザのタッチフリージェスチャが第１の距離とは異なるディスプレイからの第２の距離にあるとき、ディスプレイ上の第２の画面にジェスチャリングインジケータを提示することとを行うように構成された少なくとも１つのプロセッサを含む。

タッチフリージェスチャ認識システムでは、ジェスチャリングインジケータは、ポインティングインジケータであり得る。カメラから受信される情報は、ユーザの手の少なくとも一部を反映し得る。ディスプレイ上の画像は、少なくとも１つのアイコンを含む。

タッチフリージェスチャ認識システムでは、少なくとも１つのプロセッサはさらに、ユーザによるタッチフリージェスチャのディスプレイからの距離が減少するにつれジェスチャリングインジケータのサイズを減少させること；ユーザによるタッチフリージェスチャのディスプレイからの距離が増大するにつれジェスチャリングインジケータのサイズを増大させること；ユーザのタッチフリージェスチャに関連付けられる補正動作を検出し、補正動作に基づいて、アイコンを選択するユーザの意図を決定すること；ジェスチャの一部が検出された後にのみおよび／またはユーザの手がイメージセンサの視野の所定の領域に検出されたときにジェスチャインジケータを提示すること；ディスプレイに相対するジェスチャ動作の検出位置が所定の閾値内に入った後でのみジェスチャインジケータを提示することと；ユーザのタッチフリージェスチャのディスプレイからの距離が減少するにつれジェスチャリングインジケータのサイズを増大させること；および／またはユーザのタッチフリージェスチャのディスプレイからの距離が増大するにつれ、ジェスチャリングインジケータのサイズを減少させることを行うように構成され得る。

タッチフリージェスチャ認識システムでは、ディスプレイは、仮想３Ｄディスプレイであり得、少なくとも１つのプロセッサはさらに、ユーザの手とディスプレイとの間の距離が変化するにつれ、ジェスチャインジケータとディスプレイとの間の距離が変化するようにすること；仮想の３Ｄインジケータが、ユーザの手の少なくとも一部から出てくるかのように現れるようにすること；ユーザのタッチフリージェスチャのディスプレイからの距離が減少するにつれ、仮想の３Ｄインジケータのサイズを減少させること；および／またはジェスチャリングインジケータを、ディスプレイ上の情報選択に先立つ第１の形式とディスプレイ上の情報選択後の第２の形式の２つの形式で表示することを行うように構成され得る。

本開示の主題によるシステム２は、好適にプログラムされたコンピュータを含み得ることが理解されるであろう。同様に、本開示の主題は、開示される主題の方法を実行するためのコンピュータによって読取可能である、コンピュータプログラムを企図する。本開示の主題は、本開示の主題の方法を実行するための機械によって実行可能な指示のプログラムを具現化する、機械可読メモリをさらに企図する。

本開示の主題は、その用途において、本明細書に含まれるまたは図面に図示される記述に明記される詳細な説明に限定されるものではないことと理解されるべきである。本開示の主題は、他の実施形態および様々な方法で実行することが可能である。したがって、本明細書中で用いられる表現および用語は説明のためであり、限定とみなすべきではないことを理解されたい。このように、当業者は、本開示が基づく概念が、本開示の主題が提示するいくつかの目的を実行するための他の構造、方法、およびシステムを設計する基礎として容易に利用され得ることを理解するであろう。

明確にするため、別個の実施形態の文脈において本明細書に記載される特定の特徴はまた、単一の実施形態に組み合わせて提供され得る。逆に、簡潔にするために、単一の実施形態の文脈で説明される種々の特徴はまた、別々に多数の実施形態または任意の好適な副組み合わせとしても提供され得る。さらに、特徴は、特定の組み合わせで作用するように上述され得、当初はそのように主張され得るが、特許請求の範囲の記載の組み合わせからの１つまたはそれを上回る特徴は、いくつかの場合には組み合わせから削除され得、特許請求の組み合わせは、副組み合わせまたは副組み合わせの変形を対象とし得る。

特定の実施形態が、記述された。他の実施形態も、以下の特許請求の範囲内にある。

Claims (26)

1. 少なくとも１つのプロセッサを備えるタッチフリージェスチャ認識システムであって、
   前記少なくとも１つのプロセッサは、
   ディスプレイ上の少なくとも第１の位置で、第１のタッチフリージェスチャを促す第１のディスプレイ情報のユーザへの提示を可能にすることと、
   イメージセンサの視空間の複数の画像を取得することと、
   前記視空間の前記複数の画像に基づいて、前記視空間内の１つのポインティング要素の位置を示すデータを取得することと、
   前記視空間の前記複数の画像に基づいて、前記ユーザの第１の眼に関連付けられている位置および前記ユーザの第２の眼に関連付けられている位置を示すデータを取得することと、
   前記ユーザの前記第１の眼に関連付けられている位置から前記ポインティング要素の位置を通して前記ディスプレイ上まで通過する第１の視線に関連付けられている、前記ディスプレイ上の第１の候補ポインティング領域を特定することと、
   前記ユーザの前記第２の眼に関連付けられている位置から前記ポインティング要素の位置を通して前記ディスプレイ上まで通過する第２の視線に関連付けられている、前記ディスプレイ上の第２の候補ポインティング領域を特定することと、
   前記ポインティング要素の位置を示すデータおよび前記特定された第１の候補ポインティング領域および前記特定された第２の候補ポインティング領域を用いて、前記ディスプレイ上の目的とされる点または領域を決定することと、
   前記ディスプレイ上の前記目的とされる点または領域に対応するアクションを開始することと
   を行うように構成されている、タッチフリージェスチャ認識システム。
2. 前記ポインティング要素は、人差し指を含み、前記少なくとも１つのプロセッサは、指先を検出することにより、前記検出に基づいて前記ディスプレイ上の前記目的とされる点または領域を決定するようにさらに構成されている、請求項１に記載にシステム。
3. 前記第１の候補ポインティング領域の位置または前記第２の候補ポインティング領域の位置のうちの少なくとも１つは、少なくとも部分的に前記ユーザの一方の眼が前記ユーザの他方の眼に対して優位である結果として、前記ディスプレイ上の前記目的とされる点または領域とは異なる、請求項１に記載のシステム。
4. 前記少なくとも１つのプロセッサは、前記ユーザの前記第１の眼に関連付けられている少なくとも１つの前記第１の視線を用いて生成される前記第１の候補ポインティング領域と前記ユーザの第２の眼に関連付けられている前記第２の視線を用いて生成される前記第２の候補ポインティング領域とのうちの少なくとも１つと、前記ディスプレイ上の前記第１の位置との間の第１のオフセットを決定するようにさらに構成されている、請求項１に記載のシステム。
5. 前記第１のオフセットは、視線の計算の出発点として作用する瞳孔を除く顔上の位置に対応し、前記少なくとも１つのプロセッサは、前記ディスプレイ上の前記目的とされる点または領域を決定するために、前記瞳孔を除く顔上の位置を用いるようにさらに構成されている、請求項４に記載のシステム。
6. 前記少なくとも１つのプロセッサは、前記特定された第１の候補ポインティング領域および前記第２の候補ポインティング領域の略近傍における第３の点を用いて、前記ディスプレイ上の前記目的とされる点または領域を決定するようにさらに構成されている、請求項１に記載のシステム。
7. 前記少なくとも１つのプロセッサは、前記ディスプレイ上の多数の候補ポインティング領域を用いることにより、前記ディスプレイ上の前記目的とされる点または領域を決定するようにさらに構成されている、請求項１に記載のシステム。
8. 前記少なくとも１つのプロセッサは、複数のユーザのそれぞれについて、前記第１のオフセットに関連付けられている固有情報を格納するようにさらに構成されている、請求項４に記載のシステム。
9. 前記少なくとも１つのプロセッサは、前記複数のユーザのそれぞれについての特定に関連付けられている、前記少なくとも１つのイメージセンサから受信される情報を、前記格納される固有情報として格納するようにさらに構成されている、請求項８に記載のシステム。
10. 前記少なくとも１つのプロセッサは、
    前記複数のユーザのそれぞれについて瞳孔を除く顔上の位置に関する情報を前記格納される固有情報として格納することと、
    前記格納された固有情報を用いて前記ディスプレイ上の前記目的とされる点または領域を決定することと
    を行うようにさらに構成されている、請求項８に記載のシステム。
11. 前記第１のオフセットに関連付けられている前記固有情報は、前記ユーザの一方の眼が、前記ユーザの他方の眼に対して優位であるという標示を含む、請求項８に記載のシステム。
12. 前記第１のオフセットに関連付けられている前記固有情報は、前記ユーザの前記一方の眼が、前記ユーザの前記他方の眼に対して優位である度合いの標示を含む、請求項８に記載のシステム。
13. 非一過性コンピュータ読み取り可能な媒体であって、前記非一過性コンピュータ読み取り可能な媒体は、指示を含み、前記指示は、少なくとも１つのプロセッサによって実行されると、
    ディスプレイ上の少なくとも第１の位置で、第１のタッチフリージェスチャを促す第１のディスプレイ情報のユーザへの提示を可能にすることと、
    イメージセンサの視空間の複数の画像を取得することと、
    前記視空間の前記複数の画像に基づいて、前記視空間内の１つのポインティング要素の位置を示すデータを取得することと、
    前記視空間の前記複数の画像に基づいて、前記ユーザの第１の眼に関連付けられている位置および前記ユーザの第２の眼に関連付けられている位置を示すデータを取得することと、
    前記ユーザの前記第１の眼に関連付けられている位置から前記ポインティング要素の位置を通して前記ディスプレイ上まで通過する第１の視線に関連付けられている、前記ディスプレイ上の第１の候補ポインティング領域を特定することと、
    前記ユーザの前記第２の眼に関連付けられている位置から前記ポインティング要素の位置を通して前記ディスプレイ上まで通過する第２の視線に関連付けられている、前記ディスプレイ上の第２の候補ポインティング領域を特定することと、
    前記ポインティング要素の位置を示すデータおよび前記特定された第１の候補ポインティング領域および前記特定された第２の候補ポインティング領域を用いて、前記ディスプレイ上の目的とされる点または領域を決定することと、
    前記ディスプレイ上の前記目的とされる点または領域に対応するアクションを開始することと
    を含む動作を前記少なくとも１つのプロセッサに行わせる、非一過性コンピュータ読み取り可能な媒体。
14. 前記第１の候補ポインティング領域の位置または前記第２の候補ポインティング領域の位置のうちの少なくとも１つは、少なくとも部分的に前記ユーザの一方の眼が前記ユーザの他方の眼に対して優位であることを示す情報の結果として、前記ディスプレイ上の前記目的とされる点または領域とは異なる、請求項１３に記載の非一過性コンピュータ読み取り可能な媒体。
15. 前記指示は、前記少なくとも１つのプロセッサによって実行されると、前記ユーザの前記第１の眼に関連付けられている少なくとも１つの前記第１の視線を用いて生成される前記第１の候補ポインティング領域と前記ユーザの第２の眼に関連付けられている前記第２の視線を用いて生成される前記第２の候補ポインティング領域とのうちの少なくとも１つと、前記ディスプレイ上の前記第１の位置との間の第１のオフセットを決定することを含む追加的動作を実行することを前記少なくとも１つのプロセッサにさらに行わせる、請求項１３に記載の非一過性コンピュータ読み取り可能な媒体。
16. 前記第１のオフセットは、瞳孔を除く顔上の位置に対応して視線計算の出発点として作用し、前記指示は、前記少なくとも１つのプロセッサによって実行されると、前記ディスプレイ上の前記目的とされる点または領域を決定するために、前記瞳孔を除く顔上の位置を用いることを含む追加的動作を実行することを前記少なくとも１つのプロセッサにさらに行わせる、請求項１５に記載の非一過性コンピュータ読み取り可能な媒体。
17. 前記第１の候補ポインティング領域および前記第２の候補ポインティング領域と較正アイコンとの重なりの割合、または、
    前記第１の眼と前記第２の眼との間の全距離に対する、前記第１の眼と前記第２の眼とのうちの１つと仮想の眼との間の距離との比
    に基づいて、前記少なくとも１つのプロセッサは、前記第１の眼と前記第２の眼との間の優位性の度合いを決定するようにさらに構成されており、
    前記仮想の眼は、前記第１の眼および前記第２の眼の瞳以外の前記ユーザの顔の位置に対応する、請求項４に記載のシステム。
18. 前記第１の候補ポインティング領域および前記第２の候補ポインティング領域のそれぞれは、少なくとも１つのピクセルを含む、請求項１に記載のシステム。
19. 前記少なくとも１つのプロセッサは、指先上の爪を検出することにより、前記検出に基づいて前記ディスプレイ上の前記目的とされる点または領域を決定するようにさらに構成されている、請求項２に記載のシステム。
20. 前記少なくとも１つのプロセッサは、前記人差し指の関節を検出することにより、前記検出に基づいて前記ディスプレイ上の前記目的とされる点または領域を決定するようにさらに構成されている、請求項２に記載のシステム。
21. 前記少なくとも１つのプロセッサは、
    前記ユーザの右手に関連付けられているポインティング要素または前記ユーザの左手に関連付けられているポインティング要素のうちの少なくとも一方を決定することと、
    前記決定を用いることにより、前記視空間内の前記ポインティング要素の位置を示すデータを取得することと
    を行うようにさらに構成されている、請求項１に記載のシステム。
22. 前記少なくとも１つのプロセッサは、前記視空間内の前記ポインティング要素の位置および前記ディスプレイ上の前記目的とされる点または領域を示すデータに関連付けられているフィードバック標示を開始するようにさらに構成されており、前記フィードバック標示は、視覚的標示、オーディオ標示、触覚標示、超音波標示、または触覚標示のうちの少なくとも１つである、請求項１に記載のシステム。
23. 前記少なくとも１つのプロセッサは、少なくとも２つのポインティング要素を検出し、前記少なくとも２つのポインティング要素の位置を示すデータを用いて前記ディスプレイ上の前記目的とされる点または領域を決定するようにさらに構成されている、請求項１に記載のシステム。
24. 前記少なくとも１つのプロセッサは、前記少なくとも２つのポインティング要素間の動きを検出し、前記少なくとも２つのポインティング要素間の前記検出された動きおよび前記ディスプレイ上の前記目的とされる点または領域に対応するアクションを開始するようにさらに構成されている、請求項２３に記載にシステム。
25. 前記アクションを開始することは、前記ディスプレイ上に表示される情報を修正することを含む、請求項２４に記載にシステム。
26. 前記アクションを開始することは、グラフィカル要素を掴むこと、グラフィカル要素上での時計回りジェスチャまたは反時計回りジェスチャを行うこと、前記ディスプレイ上の領域を拡大すること、前記ディスプレイ上の領域を縮小すること、または前記ディスプレイ上の領域を回転させること、のうちの少なくとも１つを含む、請求項２４に記載にシステム。

Images