JP6343718B2 - ジェスチャインタフェース - Google Patents

Description

本発明はユーザインタフェースに関し、より具体的は、表示画面に表示される選択可能対象を選択するためのユーザインタフェース装置に関する。

従来から、ユーザは、ユーザの動き及び動作を表示画面上の動き及び動作に変換可能な、マウス、ジョイスティック、ゲームコントローラ、キーボードなどといった装置を物理的に操作することにより、コンピュータ又は他の処理システムのユーザインタフェースを対話操作することができる。そのようなシステムでは、通常はマウスポインタなどのポインタが表示画面に表示されることで、ユーザは自分が表示のどの部分を対話操作しているのかを知ることができる。

マイクロソフト（商標）キネクト（商標）などの他のユーザインタフェース、いわゆる「ナチュラルユーザインタフェース」は、例えば画像処理技術と共にカメラなどのセンサを用いて、ユーザの体の動きを追跡することでユーザがユーザインタフェースを対話操作できるようにすることを可能にする技術を利用する。一般にそのようなインタフェースでは、上記のマウス技術に似て、ユーザの手が追跡され、ポインタの動きが、追跡された手の動きと関連付けられる。しかし、これらのインタフェースは直感的なものでなく、ユーザにとって操作するのが難しい。さらに、ユーザがポインタを見つけるためにまず腕を移動させ、目標に向かってポインタを移動させ、そして目標に正確に到達するために動きの速度及び幅を調整しなければならないので、これらのインタフェースは非効率的であり且つユーザを疲れさせる可能性があり、特に、より大きい表示画面の場合にそうである。

本発明の第１の態様によれば、表示画面上の選択可能対象を選択するためのユーザインタフェース装置で使用するための方法であって、表示画面が１以上の選択可能対象を表示するように構成されており、ユーザの第１の手の位置である第１の追跡位置に関する第１の情報を取得するステップと、ユーザの頭又は目の位置である第２の追跡位置に関する第２の情報を取得するステップと、表示画面上の１以上の選択可能対象の１以上の対象位置を判定するステップと、選択可能対象が第１の画面位置にあるかどうかを、第１の情報と、第２の情報と、判定した１以上の対象位置とに基づいて判定するステップであり、第１の画面位置が、選択可能対象に対するユーザの視界を第１の手が少なくとも部分的に遮るような表示画面上の位置である、該ステップと、選択可能対象が第１の画面位置にあると判定された場合に、選択可能対象が選択されると判定するステップとを含む方法が提供される。

本発明の更なる特徴及び利点が、添付の図面を参照しつつなされる、例としてのみ与えられる本発明の好ましい実施形態についての以下の説明から明らかになるであろう。

例示的な実施形態におけるユーザインタフェース装置の構成要素の概要図である。 例示的な実施形態に係るユーザインタフェース装置の構成要素の概要図である。 実施形態に係るユーザにより使用中の例示的なユーザインタフェース装置を示す図である。 深さ情報を検知する例示的な方法の概要図である。 深さ情報を検知する例示的な方法で取得される情報の概要図である。 深さ情報を検知する例示的な方法の概要図である。 仮想３次元空間でのユーザのレンダリングを示す図である。 仮想３次元空間での生成されたユーザの仮想表現を示す図である。 実施形態に係るユーザにより使用中のユーザインタフェース装置を示す図である。 例示的な実施形態に係る頭−手線及び目−手線の定義を示す図である。 例示的な実施形態に係る、ユーザの視点からの表示画面を示す図である。 例示的な実施形態に係る、ユーザの視点からの表示画面を示す図である。 例示的な実施形態に係る、ユーザの視点からの表示画面を示す図である。 例示的な実施形態に係る、ユーザの視点からの表示画面を示す図である。 例示的な実施形態に係る、ユーザの視点からの表示画面を示す図である。 例示的な実施形態に係る、ユーザの視点からの表示画面を示す図である。 実施形態に係るユーザにより使用中のユーザインタフェース装置を示す図である。 例示的な実施形態に係る、ユーザの視点からの表示画面を示す図である。 実施形態に係る較正処理の一部を示す図である。 ２直線の近接交差の概要図である。 実施形態に係るユーザインタフェース装置により行われる方法を示すフロー図である。

図１ａは、いくつかの例示的な実施形態に係るユーザインタフェース装置１００の構成要素の概要図である。ユーザインタフェース装置１００は、ユーザの位置を追跡するためのセンサ構成要素１０２と、プロセッサ１０４と、メモリ１０６と、ユーザに情報を表示するための表示画面１０８とを備える。

プロセッサ１０４は、メモリ１０６に記憶されているソフトウェアを用いて、プロセッサ１０４に入力される情報を処理し、プロセッサ１０４から出力される情報を生成する。例えば、センサ構成要素１０２により取得されるユーザインタフェース装置１００のユーザの位置に関する情報が処理のためにプロセッサ１０４に送られてもよく、表示画面１０６でユーザに視覚情報を表示する際に使用するための情報がプロセッサ１０４から表示画面１０６に送られてもよい。

表示画面１０８は、ユーザインタフェース装置１００のユーザに情報を表示するための任意の手段を含んでもよく、ユーザインタフェース、例えばグラフィカルユーザインタフェースをユーザに表示してもよい。表示画面１０８はプロジェクタスクリーン１０８でもよく、ユーザが視覚情報を見ることができるように視覚情報がプロジェクタスクリーン１０８にプロジェクタ（図示せず）により投影されてもよい。プロジェクタスクリーン１０８は、そこに投影されるグラフィカルユーザインタフェースなどをユーザが見ることを可能にするための任意の適切な表面でもよい。

センサ構成要素１０２は、特定のセンサが位置する局所環境の属性を検知するための、より具体的はユーザインタフェース機器のユーザの属性を検知するための、任意の数のセンサを含んでもよい。例えば、センサ構成要素は、ユーザ又はユーザの一部の画像を取得するためのカメラを含んでもよい。カメラは、例えば、ユーザ及びユーザ環境のカラー画像を取得するための「赤−緑−青」（ＲＧＢ）「電荷結合素子」（ＣＣＤ）カメラでもよい。カメラは、ユーザ及びユーザ環境の動画像を取得するために複数のそのような画像を時間の関数として取得し、これによりユーザ又はユーザの一部の動きに関する情報を取得してもよい。以下に詳細に示すように、センサ構成要素１０２は、３次元空間でのユーザ又はユーザの部分の位置の３次元追跡を可能にするために深さ情報を時間の関数として取得するためのセンサを含んでもよい。深さ検知は、例えばセンサから対象までの距離を判定する「飛行時間」センサ又は「構造化光」センサを使用して達成されてもよい。センサ構成要素１０２は、処理のためにプロセッサ１０４に、例えばユーザの属性及び／又は位置に関する検知情報を供給する。ユーザインタフェース装置１００は必ずしもセンサ構成要素１０２を備える必要はなく、その代わりにセンサ構成要素がユーザインタフェース装置１００から離れていてもよい。そのような場合には、センサ構成要素１０２は、ユーザインタフェース装置１００の通信インタフェース（図示せず）により、例えば固定又はワイヤレス接続を介してユーザインタフェース装置１００に通信可能に接続されてもよい。この接続を介して、センサ構成要素１０２からユーザインタフェース装置１００に、例えばユーザの部分の追跡位置に関する情報を伝えてもよい。

一実施形態において、ユーザインタフェース装置１００は、ユーザインタフェース装置のユーザが見ている方向を追跡するための視線センサ構成要素１１０を備える。例えば、視線センサ構成要素は、ユーザの目が向けられる表示画面１０８上の位置を追跡してもよい。視線センサ構成要素１１０は、ユーザの視線方向を追跡することに適する任意の数のセンサを含んでもよい。視線センサ構成要素は、ユーザ２００に取り付けられるセンサ、例えばユーザの目の画像を取得するためのカメラ、及び、例えば、固定磁界に対してユーザの頭が向いている方向を検知するための磁力計、又は、顔認識ソフトウェアを利用してユーザの頭が表示画面１０８に関して向いている方向を判定する画像処理システムを含んでもよい。しかし、ユーザの視線方向を追跡することに適する任意の他のセンサ又はセンサの組合せが使用されてもよい。例えば、視線センサ構成要素１１０は、マイクロプロジェクタに対する目の位置、ひいては目の視線方向を判定するために、ユーザに近赤外パターンを投影しユーザの目から反射してきた投影パターンを撮像することでユーザの視線方向を追跡する遠隔視線センサを含んでもよい。この実施形態では、いずれの場合でも、視線センサ構成要素１１０はユーザの視線方向に関する情報をプロセッサ１０４に提供する。

図１ｂは、いくつかの例示的な実施形態に係るユーザインタフェース装置１００の構成要素の概要図である。これらの実施形態において、ユーザインタフェース装置は、検知モジュール１２０、視線検知モジュール１５０、処理モジュール１３０、及び表示モジュール１４０を備える。処理モジュールは、検知モジュール１２０により取得される、例えばユーザ若しくはユーザの部分の位置に関する情報、及び／又は視線検知モジュール１５０により取得されるユーザの視線方向に関する情報を受信し、プロセッサ１１４を用いて、メモリ１１２を利用しつつ情報を処理する。検知モジュール１２０は、センサ構成要素１０２、プロセッサ１０４、及びメモリ１０６を備える。プロセッサ１０４は、例えば、センサ構成要素１０２により生成される情報を処理し、処理モジュール１３０により認識可能な形式で、例えばユーザ又はユーザの部分の位置又は属性に関して、処理モジュール１３０に情報を提供するためにある。視線検知モジュール１５０は、上記のように視線センサ構成要素１１０を備えてもよい。表示モジュール１４０は表示画面１０８を備える。処理モジュール１３０は、例えば、表示モジュール１４０が表示画面１０８を用いてユーザに表示する情報に関して、表示モジュール１４０に情報を提供する。処理モジュール１３０は、必ずしも他のモジュールのいずれかと同じ場所に位置する必要はない。例えば、処理モジュール１３０は、例えばインターネット内にあるサーバに位置してもよい。処理モジュール１３０は、例えばインターネットを通じて検知モジュール１２０及び／又は視線検知モジュール１２０からユーザの部分の位置に関する情報を取得してもよい。また、処理モジュール１３０はインターネットを通じてユーザに表示するために表示モジュール１４０に情報を提供してもよい。このように、ユーザインタフェース装置１００は専ら処理モジュール１３０上で具体化されてもよく、処理モジュールは上記のようにインターネットのサーバに位置してもよい。

いくつかの実施形態では、ユーザインタフェース装置１００は視線検知モジュール１５０又は視線検知構成要素１１０を備えない。

具体例では、検知モジュール１２０はマイクロソフト（商標）キネクト（商標）でもよく、処理モジュール１３０はパーソナルコンピュータ又はマイクロソフト（商標）エックスボックス（Ｘｂｏｘ）（商標）でもよく、表示モジュールはプロジェクタスクリーンに投影するプロジェクタを備えてもよい。

図１ｃは、ユーザ２００により使用中のユーザインタフェース装置１００の例示的な実施形態を示す図である。図１ｃに示すのはセンサ構成要素１０６であり、ユーザ２００の方へ向けられるセンサ１０６ａ，１０６ｂ，１０６ｃを含む。表示画面１０８も示され、ユーザ２００は表示画面の方を向いている。以下に詳しく示すように、ユーザ２００の部分の位置及び／又は形状を判定することにより、ユーザインタフェース装置１００は、ユーザ２００が、単に自身の体の動きにより、表示画面に表示される選択可能対象１０８ａ及び／又は１０８ｂを対話操作できるようにしてもよい。

深さ情報、ひいてはユーザの３次元位置情報をユーザインタフェース装置１００により取得し判定するための方法を、図２ａ及び図２ｂを参照しつつ記載する。

図２ａは、背景５０６に対して対象５０４の３次元位置を検知する、ユーザインタフェース装置１００の例示的なセンサ構成要素１０６の平面視（すなわち図２ａに示されるようにｚ−ｙ平面）の概要図である。対象５０４はユーザ２００又はユーザ２００の一部でもよい。センサ構成要素１０６は二つのセンサ１０６ａ及び１０６ｂから成り、センサは各センサの主軸に対して垂直な平面において互いに離れている。センサ１０６ｂは、対象５０４及び背景５０２に放たれる構造化パターンの光５０２を発生する発光素子である。センサ１０６ａは、構造化光パターン５０２が対象５０４及び背景５０６に放たれる際に構造化光パターンの画像を取得するためのセンサである。光５０２は、例えば赤外放射でもよく、且つセンサ１０６ａは赤外線センサでもよく、赤外線センサは、構造化光パターン５０２が対象５０４及び背景５０６に放たれる際に構造化光パターン５０２の捕捉効率を上昇させるように構造化光５０２の周波数を中心とする帯域通過フィルタを含んでもよい。

構造化光５０２は、例えば２次元格子の光５０２の形態でもよい。格子５０２の各要素５０８は、例えば一意の識別子を備えることで、格子５０２での他の要素５０８から識別可能でもよい。そのような一意の識別子は、例えばランダム又は疑似ランダムパターンの一部、例えばレーザにより発生するスペックルパターンの一部でもよい。疑似ランダムパターンはまた、例えば、疑似ランダムパターンの穴を備えるマスクにより発光が妨げられる１以上のＬＥＤで生成されてもよい。ランダム又は疑似ランダムパターンのそのような一部は、スペックルパターンの一群の高輝度範囲又は点群でもよい。点群のランダム分布のため、特定の点群内の隣接する点の配置は該点群で一意である蓋然性がかなり高く、したがって、スペックルパターンの特定の領域、又は特定の領域が対応する格子要素５０８は、他の領域又は格子要素５０８の中で一意に識別され得る。

図２ｂは、図２ａに示す状況でセンサ１０６ａにより取得される画像を概略的に示す。センサ１０６ａは、光源センサ１０６ｂからわずかにオフセットされる視点から、対象５０４及び背景５０６に当たる構造化光パターン５０２を撮像する。図２ｂにおいて、構造化光パターン５０２は格子要素５０８を備える格子５０２で表現され、格子要素のそれぞれは格子５０２の他の要素５０８から一意に識別できる。例えば、各格子要素５０８は、上記のように一意に識別され得るスペックルパターンの領域（図示せず）を含んでもよい。一意の識別子は図２ｂでは格子番号１，２，３，…，１２として表現される。センサ１０６ａが発光センサ１０６ｂからオフセットされるので、よりセンサ構成要素１０６に近い対象５０４に当たる格子パターン５０２のセンサ１０６ａからの格子パターンの画像は、センサ構成要素１０６からより遠く離れた背景５０６に当たる格子パターン５０２からオフセットされるように見えるであろう。このことは、図２ｂでは、格子要素５〜８がｘ及びｙ両方向に格子要素１〜４及び９〜１２からオフセットされるように見ることができる。センサ１０６ａにより撮像される格子要素の位置が所定の背景距離で予め定められれば、所定位置に対する要素のオフセットから、三角法を使用することにより、所定の背景距離に対するオフセットされた要素での対象の距離を計算できる。例えば、所定の距離での同じ格子の基準画像に対する要素５〜８のオフセットから、図２ｂの画像からは、要素５〜８の座標に対応するｘ−ｙ位置に対象（すなわち図２ａの対象５０４）があることと、対象がセンサ構成要素１０６から距離ｚであることとを判定できる。

そのような方法で、深さ情報、すなわちセンサ構成要素１０６に対する対象５０４、例えばユーザ２００又はユーザ２００の一部の３次元座標が求められてもよい。

ユーザインタフェース装置１００が深さ情報を判定できる代わりの例示的な方法を図３に示す。図２ａと同様に、図３は、対象５０４及び背景５０６の３次元位置を検知する例示的なセンサ構成要素１０６の平面視（ｚ−ｙ平面）を示す。この場合には、センサ構成要素１０６は、光検出器と実質的に同じ場所に位置する光源を備える単一のセンサ１０６ｃを含む。この方法では、光源から発せられる光線が対象ではね返って検出器に戻ってくるのに掛かる時間の長さが、ｘ−ｙ平面における異なる複数の位置について記録される（すなわち「飛行時間」測定）。そのような測定では、往復のための所定の時間はセンサ構成要素１０６からの対象の所定の距離を意味する。例えば図３において、背景５０６への光経路６０２及び背景５０６からの光経路６０４についての時間の和と、対象５０４への光経路６０６及び対象５０４からの光経路６０８についての時間の和とは、所定のｘ−ｙ位置での背景５０６の距離と所定のｘ−ｙ位置での対象５０４とをそれぞれ推測するために用いることができる。そのような方法で、センサ構成要素１０６に対する対象５０４、例えばユーザ又はユーザの一部の３次元座標が求められてもよい。

対象の３次元座標を判定する任意の適切な方法又は手段が用いられてもよく、上記の方法が例に過ぎないことがわかるであろう。

いくつかの実施形態では、図４ａに示すように、ユーザインタフェース装置１００は、求めた３次元座標から、仮想３次元空間７０２においてセンサ構成要素１０６で検知した環境の算出済み３次元座標をマッピングする。この例示的な実施形態において、ユーザ２００は、センサ構成要素１０６の視点から見えるユーザ２００全体の３次元座標がユーザインタフェース装置１００により仮想３次元空間７０２にマッピングされるように、センサ構成要素１０６に対して位置付けられる。図４ａには示さないが、深さ情報（すなわちｚ座標）を判定する上記の方法によれば、仮想３次元空間でのセンサ構成要素１０６の視点から見ると、ユーザ後方に情報の影があるであろうことに留意されたい。このことは、例えば、センサ構成要素１０６に直角の第２のセンサ構成要素１０６により修正されてもよいが、一般的には、この修正はユーザ２００の一部の３次元位置を正確に判定するのに必要でない。

仮想空間７０２でマッピングしたユーザ２００の３次元座標の解析から、ユーザインタフェース装置１００は、図４ｂに示すような仮想３次元空間７０２でのユーザ２００の仮想表現７０４を生成してもよい。仮想表現７０４は、ユーザ２００のものに対応する関節（例えば股関節７０６）及び延長部（例えば前腕７０８）を備える。ユーザインタフェース装置１００により生成される仮想表現７０４は、実際のユーザ２００の各関節及び各延長部の寸法、位置、及び形状に一致する確率が高くなるように求められる表現である。これは例えば、マッピングしたユーザ２００の３次元座標に、考えられる仮想表現７０４をフィットさせる３次元制約付きフィッティング法を用いて実現されてもよい。いくつかの実施形態では、いくつかの考えられる仮想表現７０４が、実際のユーザ２００を最も表現しそうであることの候補として求められてもよい。これらの候補表現７０４はそれぞれ、実際のユーザの忠実な表現であるように予め定められたユーザの仮想表現のデータベースと比較されてもよい。所定の忠実な表現の集合は、無数の異なる位置及び形状における無数のユーザの異なる寸法から成り、したがって実質的に、ユーザ２００に採用されそうな表現の景観をマッピングしていてもよい。最大数の所定の忠実な表現に最も厳密に一致する候補表現７０４が、実際のユーザ２００を最も忠実に表現しそうな表現７０４に選ばれてもよい。そのような比較は、例えば、決定樹法、例えば「ランダムフォレスト」機械学習法を使用することで達成されてもよい。同様に、ユーザの体の一部の形状、例えばユーザの手が開いた形状にあるか又は閉じた拳状の形状にあるかが、マッピングされたユーザの手部分の３次元座標を多数の所定の手の形状と比較することにより判定されてもよい。この方法で、ユーザのものを最も忠実に表現しそうな手の形状が求められてもよい。これには、上記と同様に、例えば「ランダムフォレスト」機械学習法を利用してもよい。例として、ウィンドウズ（商標）ソフトウェア開発キット（ＳＤＫ）１．７用のキネクト（商標）は、手の形状の変化の認識、例えばいわゆる「握り及び開き」認識をサポートする。

ユーザ２００のおそらく最も忠実な仮想表現７０４を判定することは、ユーザインタフェース装置１００がユーザ２００又はユーザ２００の任意の部分又は部分の集合の寸法、位置、及び／又は形状を判定することを可能にする。上述した処理は、例えば１秒につき３０回繰り返されて、ユーザインタフェース装置が準リアルタイムでユーザ又はユーザ２００の一部の位置を追跡するようにしてもよい。例えば、ユーザインタフェース装置１００はしたがって、準リアルタイムで、ユーザの手の上の点やユーザの頭の中心及び／又は目の位置などのユーザの体の１以上の点の３次元位置と、ユーザの手の形状などの形状とを追跡してもよい。以下により詳細に示すように、これによりユーザは、該ユーザが単に自由空間で自分の体の部分を移動させることで、表示画面１０８に表示される選択可能対象を対話操作することができる。

図５ａは、例示的なユーザ２００により使用中の例示的な実施形態に係るユーザインタフェース装置１００を示す概略図である。

図５ａに示す、実施形態に係るユーザインタフェース装置１００は、表示画面１０８及び検知構成要素１０６を備える。

ユーザ２００は手２００ａ、目２００ｃ、及び頭２００ｂを有する。ユーザは表示画面１０８に向いているように位置付けられ、手２００ａはユーザの体から表示画面１０８の方向に伸ばされる。

検知構成要素１０６は、ユーザの手の位置と、ユーザの頭２００ｂ及び／又は目２００ｃの位置とを追跡し、ユーザの手１００ａの形状、例えば手１００ａが開いた形状又は閉じた形状にあるかを判定する三つのセンサ１０６ａ，１０６ｂ，１０６ｃを含む。

表示画面１０８は、ユーザ２００により選択可能である選択可能対象１０８ａ及び１０８ｂを表示する。

ユーザ２００は手２００ａを使ってユーザインタフェース装置１００を対話操作する。ユーザ２００は手２００ａを使って、自分が対話操作したい表示画面１０８上の位置２０２を自分自身の視界から遮る。

図５ａでは、ユーザ２００の手２００ａは、表示画面１０８の領域２０２がユーザ２００の視界を遮るように位置する。

ユーザインタフェース装置１００は、ユーザの第１の手（すなわち手２００ａ）の位置である第１の追跡位置に関する情報を取得する。ユーザインタフェース装置１００は、ユーザ２００の頭２００ｂ又は目２００ｃの位置である第２の追跡位置に関する情報も取得する。

ユーザの手２００ａの位置（すなわち「第１の追跡位置」）及びユーザの目２００ｃの位置（「第２の追跡位置」の例）は、本明細書で目−手線２０４とも称される直線２０４の二つの点を定めてもよい。

ユーザ２００の目２００ｃの位置は、ユーザの両目間の位置（例えばユーザの両目間の中間点）、又はユーザの目若しくは目の瞳孔の中心の位置を指してもよい。例えば、ユーザの手２００ａの中心及びユーザの目２００ｃの中心の位置が、目−手線２０４を定めるために使用されてもよい。目２００ｃは、例えばユーザの利き目、すなわち視覚入力が強い又は好ましい方のユーザの目でもよい。利き目２００ｃは、例えばユーザによる適切な入力でユーザインタフェース装置に識別されてもよい。

上記のように第１の追跡位置（例えばユーザの手２００ａの追跡位置）及び第２の追跡位置（例えばユーザの目２００ｃの追跡位置）に関する情報を取得することから、ユーザインタフェース装置はその仮想３次元空間７０２での目−手線２０４を計算してもよい。

図５ａにおいて、目−手線２０４は点２０６で表示画面１０８と交差し、その点２０６は、ユーザの手２００ａによりユーザ２００の視界から遮られる表示画面１０８の領域２０２内に含まれる。表示画面１０８の位置及び寸法が例えば下記の較正処理によりユーザインタフェース装置１００により求められれば、ユーザインタフェース装置１００は、ユーザの仮想表現７０４が表現される同じ仮想３次元空間７０２に表示画面を表現してもよく、したがって、その空間に目−手線２０４が仮想的に表現される。この場合には、ユーザインタフェース装置１００は、仮想の目−手線が仮想空間７０２での表示画面と交差する仮想空間７０２での表示画面上の点を判定してもよい。そのような方法で、ユーザインタフェース装置１００はユーザ２００が対話操作したい実際の表示画面１０８上の位置を推測してもよい。

ユーザ２００の目２００ｃの位置以外の代わりの位置が第２の追跡位置を定めるために用いられてもよいが、それでも、ユーザ２００の視界から遮られる表示画面１０８の領域２０２で目−手線２０４が表示画面１０８と交差するという結果になるであろう。例えば、ユーザ２００の二つの目２００ｃの中間点が使用されてもよい。このことは有利であり得、その理由は、これにより、ユーザ２００のどちらの目２００ｃがより強いまたは好ましいか、あるいは、そうでなければ頭−手線２０４を定める際に用いられるべきかについての知識を必要とすることなく、頭−手線２０４とユーザの視野から遮られる領域２０２に含まれる表示画面１０８との交点２０６を判定できるからである。

あるいは、第２の追跡位置はユーザの頭２００ｂ、例えばユーザの頭２００ｂの中心の位置でもよい。

ユーザの手２００ａの位置（すなわち「第１の追跡位置」）及びユーザ２００の頭２００ｂの位置（「第２の追跡位置」の例）は、この場合には頭−手線２０４と称される直線２０４の二つの点を定めてもよい。用語「目−手線」が以下様々な考察で用いられるとはいえ、いくつかの実施形態では頭−手線が代わりに使用される。

ユーザ２００の目は、一般にユーザの頭２００ｂの垂直長さに沿ってほぼ中間に位置し、且つユーザの頭の中に向かって十分な深さに設定される。この場合には、それでも、第２の追跡位置を定める際のユーザの頭２００ｂの中心の位置を使用することで、ユーザ２００の視界から遮られる表示画面１０８の領域２０２で頭−手線２０４が表示画面１０８と交差するという結果になってもよい。この場合には、ユーザが対話操作したい表示画面の部分を判定するときに、頭−手線２０４が目−手線２０４の代わりにユーザインタフェース装置１００により使用されてもよい。

第２の追跡位置としてユーザの頭の位置を使用することは、ユーザの両方の目若しくは片方の目の位置を検出することが困難である状況で、又はユーザの頭２００ｂの中心を追跡することがユーザ２００の片方の目２００ｃ若しくは両方の目の位置を追跡することと比較してより効率的である状況で、有利であろう。

手２００ａは、ユーザ２００のどちらの手でもよく、且つ例えば表示画面１０８に最も近いと判定されるユーザの手でも、又は代替的に若しくは付加的にユーザ２００の二つの手のうち上にある方の手でもよい。

センサ１０６ａ，１０６ｂ，１０６ｃのうちの１以上を使って、３次元空間においてユーザの手２００ａの位置（すなわち第１の追跡位置）及びユーザの頭２００ｂ又は目２００ｃの位置（すなわち第２の追跡位置）を追跡することにより、ユーザインタフェース装置１００は目−手線２０４（又は適宜頭−手線２０４）を求め、これにより、ユーザの手２００ａでユーザの視界から遮られる表示画面の領域２０２内に含まれる表示画面１０８と線２０４との交点２０６を判定することができる。そのような方法で、ユーザインタフェース装置１００は、ユーザ２００が対話操作するべき表示画面１０８上の位置を判定することができる。

第２の追跡位置が目の位置よりもむしろユーザの頭２００ｂの位置、例えばユーザの頭２００ｂの中心の位置であれば、ユーザの目がユーザの頭の中心から物理的に離れているため、ユーザインタフェース装置１００により判定される頭−手線２０４の交点２０６とユーザの視野から遮られる領域２０２（すなわちユーザが選択するつもりである領域）の中心との間の不一致があることに留意すべきである。図５ｂは、一例における、（ユーザの頭２００ｂの中心２００ｅを用いて定められる）頭−手線２０４ａの交点２０６ａと、（ユーザの目２００ｃの位置を用いて定められる）目−手線２０４ｂの交点２０６ｂとの間の考え得るオフセットＤを概略的に示す。この例では、両交点２０６ａ及び２０６ｂは、ユーザの視野から遮られる領域２０２内に含まれる。しかし、（ユーザの目の位置を用いて求められる）交点２０６ｂは、（ユーザの頭の位置を用いて求められる）交点２０６ａよりも、ユーザの視野から遮られる領域２０２の中心に近い。したがって、頭−手線２０４ｂを用いて求められる交点は、選択されようとしている対象を正しく選択するという結果に常に至るわけではない。

したがって、頭の位置（例えばユーザの頭２００ｂの中心２００ｅ）とは対照的に第２の追跡位置として目の位置（例えばユーザの目２００ｃの位置）を用いることで、ユーザインタフェース装置１００が、ユーザ２００が対話操作したい表示画面１０８上の位置をより正確に且つ一貫して判定することができ、これにより、例えば誤ったユーザインタフェースの対話操作の発生が減少する可能性がある。このことは、ユーザインタフェースとのより直感的な対話操作を可能にする。

ユーザインタフェース装置１００は、表示画面１０８上の選択可能対象の現在の位置に関する情報を記憶してもよい。ユーザインタフェース装置１００は、表示画面１０８に表示される選択可能対象１０８ｂが目−手線２０４交点２０６を含むと判定して（これは、選択可能対象１０８ｂがユーザの視界から少なくとも部分的に遮られることを意味する）、したがって、選択可能対象１０８ｂが選択されるべき対象であると判定してもよい。反対に、選択可能対象１０８ａは交点２０６を含まず、したがって、選択可能対象１０８ａは選択される対象又はそうでなければユーザ２００が現在興味を持つものとは判定されない。

以下に詳細に示すように、ユーザは、ユーザの手２００ａの形状を変化させることにより、ユーザ２００の視界から少なくとも部分的に遮られる対象１０８ｂを選択してもよい。ユーザインタフェース装置１００が、選択可能対象１０８ｂが交点２０６を含む間にそのようなユーザの手２００ａの形状の変化が発生したと判定すれば、選択可能対象１０８ｂが選択されると判定される。以下に詳細に示すように、更なる操作が、選択された選択可能対象に対して実行され得る。

上記のような判定は、例えば、ユーザインタフェース装置１００のプロセッサ１０４（図５ａ又は５ｂには図示せず）及びメモリ１０６（図５ａ又は５ｂには図示せず）を使用してなされてもよい。

上記のようなユーザインタフェース装置１００により、ユーザ２００は、自分２００が自然に対象を対話操作できるときに、すなわち一般には対象を選択する（すなわち選び出す）ときに、ユーザが自分の手でその対象を少なくとも部分的に覆い、これにより自分の視界からその対象を少なくとも部分的に遮る方法で、表示される対象（例えば選択可能対象１０８ａ，１０８ｂ）を対話操作してもよい。さらに、そのような対話操作は、手の位置と画面に表示される対象の位置とが自分自身の視点から直接に且つ視覚的に推測され得るので、ユーザは表示画面に表示されるポインタを目標に向かって移動させる必要がない。したがって、そのような直感的なインタフェースはポインタの表示を不要にし、ユーザがまずポインタを見つけるために腕を移動させて目標に向かってポインタを移動させ、次いで目標に正確に到達するために動きの速度及び幅を調整しなければならないポインタを使用するインタフェースと比較して、ユーザの疲労を軽減する。

図６ａは、ユーザ２００（図６には図示せず）の視点からのユーザインタフェース装置１００の表示画面１０８を示す。表示画面１０８には６個の選択可能対象１０６ａ〜１０８ｆが表示される。例えば、表示画面１０８に表示される画像がユーザインタフェース装置１００のプロセッサ１０４により生成される情報から導かれるので、表示画面上の選択可能対象１０６ａ〜１０６ｆの位置はユーザインタフェース装置１００により判定される。この例では、ユーザ２００は選択可能対象１０８ｂを選択しようとしている。したがって、ユーザは自分の視界から対象１０８ｂを遮るように自分の手２００ａを位置付ける。図６ａにおいて、ユーザの手は実質的に開いた形状に広げられる。図５から明らかに見て取れるように、ユーザの手２００ａは必ずしも画面１０８に接触したり表示画面１０８から任意の特定の距離であったりする必要はなく、手２００ａはユーザ２００の視界から対象１０８ｂの少なくとも一部を遮る必要があるだけでよいことに留意されたい。ユーザの手２００ａの中心は点３００で表現される。この例では、目−手線２０４（図６ａには図示せず）はユーザの手の中心を含む。したがって、ユーザの目−手線２０４（図６ａには図示せず）が表示画面１０８と交差する表示画面１０８上の位置２０６は、ユーザの視点から見ると、ユーザの手の中心３００と一直線に合わせられる。ユーザインタフェース装置１００は選択可能対象１０８ｂが交点２０６を含むと判定してもよく、例えば、対象１０８ｂをユーザ２００による選択の候補対象として判定してもよい。いくつかの実施形態では、ユーザインタフェース装置１００は、選択可能対象１０８ｂが交点２０６を含むという判定に専ら基づいて、対象１０８ｂを選択された対象として判定してもよい。

いくつかの例示的な実施形態において、対象１０８ｂがユーザ２００による選択の候補対象であるとユーザインタフェース装置１００が判定すれば、ユーザインタフェース装置１００は対象１０８ｂが異なって表示されるようにしてもよい。

図６ｂは、選択可能対象１０８ｂに対する例示的な変化を示し、ここでは、選択可能対象１０８ｂの寸法が、選択の候補対象として判定された前のものと比べて拡大される。選択の候補対象と判定された対象に、他の変更、例えば、色の変更、対象の表現、例えば対象の形の変更、又は対象を象徴する画像の全面的な変更などがなされてもよい。同様に、そのような判定がなされたときに、表示画面１０８の背景３０２が変化しても、例えば色又は輝度が変化してもよい。付加的に又は代替的に、選択の可能性がある対象の判定を受けて、スピーカなどの音生成手段により音が生成されてもよく、その音は、例えば対象そのものに関連付けられてもよい。例えば、対象がパンダの表現であったならば、選択の候補対象としての対象の判定を受けて、パンダの表現が変化してもよく（例えば、パンダの顔が中立の表情から微笑んだ表情に変化してもよく）、表現の大きさが変化してもよく、及び／又はパンダの音が生成されてもよい。これらの変化は、ユーザの手２００ａでユーザ２００の視界から少なくとも部分的に遮られる対象１０８ｂを選択する可能性をユーザにとって助けになるように知らせてもよい。

他の実施形態において、そのような変化は、対象が選択の候補対象であるという判定を受けては発生しない。更なる実施形態において、対象が選択の候補対象であるというそのような判定はユーザインタフェース装置１００によりなされない。

図６ｃは、ユーザが選択可能対象１０８ｂを選択しているところを示す図であり、ユーザが掴むような動作を行い、その動作で手２００ａの形状を広げられた開いた形状から拳状の閉じた形状に変化させたこと以外は、図６ａと同じである。それでも対象１０８ｂがユーザの視界から少なくとも部分的に遮られたままであることに留意されたい。

一実施形態において、ユーザインタフェース装置１００は、手の形状がいつ図３ｂの手２００ａのような開いた形状から図３ｃの手２００ａのような閉じた形状に変化したかを判定する。そのような判定に応じて、ユーザインタフェース装置１００は目−手線２０４と表示画面１０８との交点２０６を判定する。表示画面１０８に表示される選択可能対象１０８ｂ内に交点２０６が位置するとの判定に応じて、選択可能対象１０８ｂがユーザにより選択されたと判定される。図６ｃの例では、手２００ａが閉じた形状に変化するときに交点２０６が選択可能対象１０８ｂ内にあるので、対象１０８ｂが選択されたと判定される。

ユーザインタフェース装置１００は、選択可能対象１０８ｂが選択されたと判定するために、必ずしもユーザの手の形状が変化したと判定する必要はない。いくつかの実施形態では、ユーザインタフェース装置１００は目−手線２０４と表示画面１０８との交点２０６を連続的に（又は略連続的に、例えば１秒につき３０回）判定する。この場合には、表示画面１０８に表示される選択可能対象１０８ｂ内に交点２０６が位置するとの判定に応じて、選択可能対象１０８ｂがユーザにより選択されたと判定される。そのような方法で、選択可能対象１０８ｂは、ユーザ２００が自分の手２００ａの形状を変化させる必要なしにユーザ２００により選択されてもよい。このことは、例えば、ユーザの手の形状を判定することが困難である状況で有利であろう。他の実施形態において、選択可能対象は、表示画面１０８に表示される選択可能対象１０８ｂ内に所定の継続時間の間位置している交点２０６に基づいて選択されてもよく、例えば、対象は交点２０６が選択可能対象内に１秒間位置した後にのみ選択されたと判定されてもよい。

いくつかの実施形態では、選択されたと判定された選択可能対象１０８ｂは、ユーザ２００により表示画面１０８上の一つの場所から別の場所に移されてもよい。図６ｄは、ユーザの視点から見た表示画面を示す図であり、ユーザが自分の手２００ａを閉じた拳状の形状のまま自分の視界の異なる場所に移動させ、表示画面１０８上の選択された対象１０８ｂの位置がそれに応じて移動した以外は、図６ｃと同じである。移動前の対象１０８ｂの元の位置は破線ボックス１０８ｂ＊により表現される。対象１０８ｂが移される位置は、ユーザが自分の手２００ａを移動させた位置、結果的には目−手線２０４（図６ｄには図示せず）の交点２０６が移動した表示画面１０８上の位置に依存する。その結果、図６ｄの例に見て取れるように、対象１０８ｂが選択されている間、たとえ対象が移されていても、対象１０８ｂはなお交点２０６を含み、ユーザの手２００ａは引き続きユーザの視界から対象１０８ｂを少なくとも部分的に遮る。いくつかの実施形態では、ユーザが、交点２０６が表示画面１０８外に移動するように自分の手２００ａを動かせば、対象１０８ｂはそれに応じて表示画面外に移されてもよい。他の実施形態において、そのような場合には、対象１０８ｂは表示画面１０８を離れないように制約されてもよく、また例えば、そのような場合には自動的に選択解除されてもよい。別の例では、そのような場合には、対象は所定位置、例えば交点２０６が表示画面１０８内であると判定された最後の位置のままでもよく、やがて交点２０６が表示画面１０８内に戻るようにユーザが自分の手２００ａを動かしたと判定されると、その時に対象は、新たに判定される交点２０６に戻るであろう。

いくつかの実施形態では、上記のように選択された対象１０８ｂを選択解除するために、ユーザは自分の手２００ａの形状を閉じた形状（図６ｃ又は６ｄのような）から開いた形状（図６ａのような）に戻す。図６ｅは、ユーザの視点からの表示画面１０８を示す図であり、手２００ａが閉じた形状から開いた形状に変化したこと以外は図６ｄと同じである。ユーザの手２００ａが閉じた形状から開いた形状に変化したという判定を受けて、ユーザインタフェース装置１００は、選択された対象１０８ｂが選択されていないと判定する。図６ｅに示す例では、対象１０８ｂは、対象が選択されていないと判定された表示画面１０８上の位置と同じところに留まったままである。この場合には、対象が今では選択解除されているので、開いた形状のままであるユーザの手２００ａの動きは選択解除された対象１０８ｂに影響を与えない。このことは図６ｆに示され、図６ｆはユーザ２００の視点からの表示画面１０８を示す図であり、ユーザが自分の手２００ａを開いたままの形状で異なる位置に移動させたが対象１０８ｂ（今では選択解除されている）が表示画面１０８上の同じ位置のままであること以外は、図６ｅと同じである。

ユーザインタフェース装置が、目−手線２０４と表示画面１０８との交点２０６が選択可能対象１０８ｂ内に位置すること、又は所定の時間の間そのように位置したということに専ら基づいて選択可能対象１０８ｂを選択する場合には、ユーザは選択された対象を移動させるために自分の手の形状を閉じた形状（又は実際は任意の特定の形状）に維持する必要はない。そのような場合には、対象は、例えばユーザが交点２０６を表示画面外にさせたときに自動的に選択解除されてもよい。別の例では、ユーザが所定の継続時間の間選択された対象の動きを中断すれば対象が選択解除されてもよく、例えばユーザインタフェース装置１００が、対象が選択されている間、交点２０６が最後の１秒で所定の量（例えば距離又は角度）より多く移動しなかったと判定すれば、ユーザインタフェース装置１００は選択された対象が選択解除されると判定してもよい。

開いた形状と閉じた形状との間の、又はその逆の変化以外のユーザ２００の手２００ａの形状について判定された変化に基づいて対象１０８ｂが選択又は選択解除されてもよいことがわかるであろう。ユーザインタフェース装置１００により確実に検出され得る任意の他の適切な形状変化が用いられてもよい。例えば、形状の適切な変化は、広げられた手２００ａの掌が向いている方向の変化、例えば手２００ａの掌が表示画面１０８の方へ向いている形状から手２００ａの掌が表示画面に背を向ける形状への変化でもよい。

形状の別のそのような適切な変化は「つまむ」動作でもよく、この動作によりユーザの手は、指が広げられる開いた形状から、手の１以上の指及び親指が手から放射状に伸ばされたまま合わせられる閉じた形状に変化する。形状の別のそのような適切な変化は、１以上の「タップする」動作の発生を受けてでもよく、この動作によりユーザの手は、例えば第１の平面、例えば表示画面１０８の平面と実質的に平行する平面で指が広げられる開いた形状から、例えば第１の平面に対して回転される第２の平面で、例えば表示画面の平面に対して実質的に垂直な平面で指が広げられるように手が手首の周りを回転した第２の形状に変化する。いくつかの実施形態では、形状の変化はこれらの「タップする」動作の２以上の後にのみ認識されてもよく、その結果、例えばユーザは対象を「ダブルタップする」ことにより項目を選択する。

いくつかの例示的な実施形態において、更なる操作が、対象の場所を移動させる以外に、選択された選択可能対象１０８ｂに対して行われてもよい。例えば、ユーザ２００は、ユーザ２００が自分が保持している物理対象を除去できるのと同様の方法で、すなわち投げ捨てることにより、選択された仮想対象１０８ｂ（又はそれと関連づけられるデータ）を除去又は削除してもよい。そのような自然主義的なインタフェースは、例えば、ユーザがそのインタフェースと効果的に関わることができる容易さについての利点を有する。そのような「投げ捨てる」動作は一般に、ユーザが対象を放つ（選択解除する）ことと結びつけられる対象の位置又は速度の急変を含む。

このことを仮想的に達成するために、ユーザインタフェース装置１００は、所定の選択可能対象１０８ｂが選択されているときに、ユーザ２００が自分の手２００ａの位置を所定の方向に変化させる速度を求めてもよい。この速度は、３次元座標で求めた手２００ａの位置の変化を追跡することにより、又は目−手線２０４と表示画面１０８との交点２０６の変化を追跡することにより直接判定することができる。あるいは、ユーザインタフェース１００はこの速度を、例えば所定の時間で表示画面１０８上の選択された対象１０８ｂの移動の変位又は距離（すなわち所定の時間間隔にわたる対象１０８ｂの平均速度又は平均変位速度）を求めることにより判定してもよい。ユーザインタフェース装置１００は、いくつかのそのような時間間隔にわたる対象１０８ｂのそのような平均速度を追加的に又は代替的に求め、そのような方法で対象１０８ｂの加速度を判定してもよい。選択された選択可能対象１０８ｂが（例えば図６ｅを参照しながら上述したように）選択されていないとユーザインタフェース装置１００が判定すると、選択可能対象１０８ｂが選択されていないという判定の直前の１以上の期間での対象１０８ｂの速度及び／又は対象１０８ｂの加速度が判定される。ユーザインタフェース装置１００は、判定したこの対象１０８ｂの速度及び／又は判定した対象１０８ｂの加速度を速度の所定の閾値及び／又は加速度の所定の閾値とそれぞれ比較してもよい。判定した対象１０８ｂの速度及び／又は加速度がそれぞれの閾値を上回る場合には、ユーザインタフェース装置１００は対象に対して更なる処理動作を実行してもよく、そうでない場合には更なる処理動作を実行しなくてもよい。例示的な更なる処理動作は対象１０８ｂの削除でもよい。この削除は、表示画面１０８上の表示から対象１０８ｂを除去すること、及び／又は対象１０８ｂと関連づけられるデータを記憶するメモリ（例えばメモリ１０６又は１１２）内の一つのディレクトリから他のディレクトリに移動させること、及び／又はデータを完全に除去することに対応してもよい。

図７は、図５と同様に、別の例示的な実施形態に係るユーザインタフェース装置１００を使用するユーザ２００を示す。この実施形態において、ユーザインタフェース装置は、ユーザ２００の視線方向４０４を検知する際に使用するための視線センサ１１０を備え、視線センサは、ユーザ２００により着用される眼鏡４０２を備える。眼鏡４０２は、例えば赤外線カメラを使用して目の瞳孔の位置を追跡することにより、眼鏡４０２に対するユーザの目２００ｃの回転を追跡してもよい。操作中に眼鏡４０２はユーザの頭２００ｂに対して固定されるので、眼鏡４０３はユーザの頭２００ｂに対する目２００ｃの回転を追跡することができる。表示画面１０８に対してユーザの頭が向いている位置及び方向がユーザインタフェース装置１００により判定されてもよいので、ユーザインタフェース装置は表示画面１０８に対するユーザ２００の視線方向４０４を求めてもよい。あるいは、視線センサ１１０は、表示画面１０８に対するユーザ２００の視線方向４０４を判定するための他の構成要素（図示せず）を備えてもよい。これらの構成要素は、例えば、所定の方向に対するユーザの頭２００ｂの向きの変化を追跡する磁力計を含んでもよい。

あるいは、視線センサ１１０は、表示画面１０８に対するユーザの視線方向を判定するための任意の他の適切な技術を備えてもよい。

この実施形態において、ユーザインタフェース装置１００は、判定した視線方向４０４を３次元空間でのユーザの目２００ｃの求めた追跡位置から外挿することにより、ユーザが見ている表示画面上の点４０６を判定してもよい。

図７において、ユーザが表示画面１０８上の点４０６を見ているにもかかわらず、表示画面１８０の領域２０２がなおユーザの手２００ａによりユーザの視界から遮られることに留意すべきである。この場合には、ユーザインタフェース装置１００は、表示画面１０８に表示される選択可能対象１０８ａ又は１０８ｂを制御する際に用いるための点として、やはり目−手線２０４と表示画面１０８との交点２０６を判定する。

図７において、目−手線２０４と表示画面１０８との交点２０６は、その交点が選択可能対象１０８ｂ内に含まれるようなものである。しかし、ユーザ２００が見ている表示画面１０８上の点４０６は目−手線２０４と表示画面１０８との交点２０６から距離ｄ（図７には示さず）だけ離れる。

一例では、対象１０８ｂがユーザにより選択される。対象１０８ｂがユーザにより選択されていないと判定されれば（例えばユーザインタフェース装置がユーザの手２００ａの形状が閉じた形状から開いた形状に変化したと判定したら）、ユーザインタフェース装置１００は点４０６と点２０６との間の距離ｄを判定する。距離ｄが所定の閾値を上回ると判定されれば、ユーザインタフェース装置は対象１０８ｂに対して更なる処理操作を実行してもよく、また距離が所定の閾値を下回ると判定されれば、ユーザインタフェース装置は更なる処理操作を実行しなくてもよい。更なる処理操作は、例えば、上記のように対象の削除でもよく、又は、例えば保存する、コピーする、ズームする、回転させる、大きさを変更するなど、任意の他の考え得る更なる処理操作でもよい。

別の例では、ユーザインタフェース装置は、目−手線２０４の交点２０６及びユーザが見ている表示画面１０８上の点４０６が、閾値時間より多い間、閾値量より多く互いに距離ｄだけ離れた状態を維持していると判定してもよい。例えば、ユーザ２００は、自分の視線を例えば１秒より多い間表示画面１０８上の異なる位置に向け続けたまま、自分の手２００ａを一つの位置に保ってもよい。そのような判定を受けて、ユーザインタフェース装置１００は、例えば、表示画面１０８上の選択可能対象１０８ａ，１０８ｂなどのすべてを表示画面１０８上のパターンに、例えば格子分布に再配置するために、更なる処理動作を実行すべきと判定してもよい。そのような方法で、ユーザはユーザインタフェース装置１００を制御して、例えば選択可能対象がユーザ２００により更に容易に且つ直ちに区別及び選択され得るように、選択可能対象１０８ａ，１０８ｂなどを位置決めしてもよい。

上記の例に示したような方法で、ユーザインタフェース装置１００はユーザ２００からより多くの制御度合を取得し、そのためユーザ２００が対話操作してもよいより効率的なインタフェースを提供することができる。いくつかの実施形態では、ユーザインタフェース装置１００は、ユーザインタフェース装置１００の使用についてのユーザ２００の能力レベルが低く、例えばユーザ２００が初心者であり、ユーザインタフェース装置１００により提供される制御方法に慣れていないかもしれない、と判定してもよい。例えば、ユーザインタフェース装置は、選択すべき選択可能対象１０８ｂがない表示画面上の位置で、ユーザ２００が自分の手２００ａの形状を開いた形状から閉じた形状に変化させた（すなわち対象を選択することを表す）と判定してもよい。ユーザインタフェース装置１００は、そのような出来事が所定回数より多く連続して起こったと判定してもよい。この場合には、ユーザインタフェース装置１００は、自分が対話操作している表示画面上の場所をユーザに気付かせるために、判定された交点２０６に関連する位置でポインタ又は何らかの記号的な指示体を表示画面に表示させてもよい。ポインタが所定の期間、例えば５秒間のみ表示されて、ユーザが自分自身を表示画面に向けるようにしてもよい。あるいは、ポインタは、ユーザの手の形状が所定回数だけ変化したと判定されている間のみ、又はそうでなければユーザ２００が対象１０８ｂをうまく選択するような時までのみ表示されてもよい。ポインタは、それが表示画面に表示されるときにそのポインタがユーザの手２００ａによりユーザ２００の視界から遮られないように配列されてもよい。そのような例示的なポインタは図８に示され、この図は、選択可能対象１０８ａ〜１０８ｆを表示し、且つ判定された交点２０６に中心がある円形ポインタ８０２を、ユーザの手２００ａによりユーザの視界から完全には遮られないほど十分大きい直径で表示する表示画面１０８を示す。

一つの動作がユーザにより所定回数より多く繰り返されれば、ユーザインタフェース装置１００は低い能力レベルを付加的に又は代替的に判定してもよい。例えば、ユーザが対象を選択し、それを移動させ、次いで対象をその元の位置に又は近くに戻すことが例えば４回以上連続すれば、このことが、ユーザが自分が選択するつもりである対象以外の対象を選択していることを示しているかもしれず、ユーザインタフェース装置１００は低い能力レベルを判定し、それに応じて上記のようにポインタを表示してユーザに制御方法を気付かせてもよい。上記は例にすぎないことがわかるであろうし、任意の所定の又は動的に求められる回数より多い任意のユーザ動作の繰返しにより低い能力レベルが判定され、その結果、ポインタ、又は、例えばメッセージなどの他の制御手法の合図が表示されてもよいこともわかるであろう。

いくつかの実施形態では、仮想３次元空間７０２での画面１０８の寸法及び位置は、ユーザインタフェース装置により較正処理で求められる。

いくつかの実施形態では、二つの異なる位置に立つユーザ２００と関連づけられる二つの判定済の目−手線２０４の交点がユーザインタフェース装置１００により使用されて、表示画面１０８の３次元座標を推測する。

図９はそのような較正処理の一部を示し、ここではユーザ２００は二つの異なる場所９０１及び９０２に立ち、各場所で、表示画面１０８上の所定の場所９０４を自分の視界から遮るような位置に自分の手２００ａを位置付ける。

例えば、そのような較正処理では、ユーザインタフェース装置１００は、表示画面に示される（例えば表示画面１０８の隅に位置する）所定の記号９０４を遮るように自分の手２００ａを位置付けてそこで一度「掴む動作」を行うように、すなわち自分の手２００ａを開いた形状から閉じた形状に変えるようにユーザに指示する命令を表示画面１０８に表示してもよい。そのような動作が発生したと判定すると、ユーザインタフェース装置１００は仮想空間７０２に目−手線９１０を記録してもよい。次いでユーザインタフェース装置１００は、ユーザ２００が同じ場所（例えば場所９０１）にいる間に、例えば表示画面１０８の異なる隅９０８，９１２に位置付けられる、表示画面１０８上の異なる記号に対して、ユーザにこの処理（明確にするために図９には示さない）を繰り返させるための命令を表示してもよい。次いでユーザインタフェース装置１００は異なる場所から、例えば場所９０２からユーザにこの処理を繰り返させるための命令を表示して、そのような方法で、以下に詳細に示すように、表示画面１０８の仮想空間７０２での寸法及び位置を判定してもよい。

図９では、（それぞれ場所９０１及び９０２に立ってユーザ２００が自分の視界から領域９０４を遮り、掴む動作を行うときに生成される）それぞれの結果としての二つの目−手線９１０及び９２０が点９０６で交点又は近接交点を有する。

各場所９０１及び９０２に対して、ユーザインタフェース装置１００は上記のように、センサ構成要素１０６を使用して、３次元仮想空間７０２でのユーザの表現７０４を求め、この表現から仮想３次元空間７０２での目−手線（９１０又は９２０）を判定する。例えば、目−手線９１０は仮想空間７０２での方程式により仮想空間７０２に描かれてもよい。Ｅが目の座標であり、且つＨが手の座標である場合、目−手線Ｌ_{（Ｅ，Ｈ）}上の任意の点の座標は、

により与えられ、この式において、ｔは方程式パラメータであり、ｕ＝Ｅ−ＨはＬ_{（Ｅ，Ｈ）}の方向ベクトルである。

この場合には、ユーザが二つの異なる場所９０１及び９０２から画面上の所定の領域９０４を遮るために自分の手２００ａを位置付ければ、ユーザインタフェース装置１００は対応する目−手線連立方程式を求めてもよい。

この式において、ｖはＬ_２の対応する方向ベクトルであり、下付き文字「１」はユーザ位置９０１を指し、下付き文字「２」はユーザ位置９０２を指す。二つの線Ｌ_１及びＬ_２が交差すれば、それらの線はそれらが交差する一意の点Ｐ（すなわち交点９０６）を規定する。よって、そのような交点は、表示画面１０８上の領域９０４に対応する仮想空間７０２での表示画面１０８の領域の３次元座標を規定するために用いることができる。いくつかの例示的な較正では、ユーザが単に自分の手２００ａで表示画面１０８の一つの領域９０４を遮る代わりに、各場所９０１及び９０２でユーザは表示画面の２以上の領域、例えば表示画面１０８の二つの隅を順次遮る。この場合には、表示画面１０８の２以上の座標が仮想空間７０２で判定され得る。表示画面が矩形であることがユーザインタフェース装置１００で予め定められる例では、二つの異なる場所９０１及び９０２から、領域が表示画面１０８の４つの隅のうちの三つとして較正処理が行われれば、仮想空間７０２での表示画面の正確な寸法及び位置を判定できる。これは、画面が矩形であることが予め定められれば、表示画面１０８の第４の隅の位置を他の３個の隅の位置から推測できるからである。表示画面１０８の形が予め定められなければ、表示画面の位置が３次元仮想空間７０２の座標に適切にマッピングされるまで、表示画面のより多くの領域が較正処理に含まれ得る。

いくつかのシナリオでは、図１０に示すように、二つの目−手線Ｌ_１及びＬ_２は実際には交差しなくてもよく、近接交差するだけでもよい。この場合には、交点９０６はＬ_１及びＬ_２を接続する最短線の中間点として求められてもよい。例えば、連立方程式（２）を考慮して、ｗ＝Ｐ_１（ｔ_１）−Ｐ_２（ｔ_２）を線Ｌ_１上の点Ｐ_１（ｔ_１）と線Ｌ_２上の点Ｐ_２（ｔ_２）との間のベクトルであるとする。二つの線が平行でなければ、それらの線は一意の点Ｐ_１（ｔ_１ｃ）及びＰ_２（ｔ_２ｃ）で最も近く、すなわちそれらの線が交差してＰ_１（ｔ_１ｃ）＝Ｐ_２（ｔ_２ｃ）か、又はそれらの線が近接交差するだけかであり、線分［Ｐ_１（ｔ_１ｃ），Ｐ_２（ｔ_２ｃ）］は両線Ｌ_１及びＬ_２に対して垂直な一意の線分である。近接交差の場合には、ベクトルｗ_ｃ＝Ｐ_２（ｔ_２ｃ）−Ｐ_１（ｔ_１ｃ）は両線方向ベクトルｖ及びｕに対して垂直な一意のベクトルであり、すなわちベクトルｗ_ｃは連立方程式（３）を満たす。

ｗ_ｃをｕ、ｖ、Ｅ_１及びＥ_２により表す、すなわちｗ_ｃ＝Ｅ_１＋ｔ_１ｃｕ−（Ｅ_２＋ｔ_２ｃｖ）とすると、連立方程式（３）は以下になる。

連立方程式（４）を操作して、それぞれ点Ｐ_１（ｔ_１ｃ）及びＰ_２（ｔ_２ｃ）を規定するパラメータｔ_１ｃ及びｔ_２ｃに関する方程式を作ることができる。

パラメータｔ_１ｃ及びｔ_２ｃはそれぞれ点Ｐ_１（ｔ_１ｃ）及びＰ_２（ｔ_２ｃ）を規定し、そしてこの点を使って線分［Ｐ_１（ｔ_１ｃ），Ｐ_２（ｔ_２ｃ）］を規定することができる。次いで線分［Ｐ_１（ｔ_１ｃ），Ｐ_２（ｔ_２ｃ）］の中央を使って、近接交点、ひいては表示画面１０８の関連づけられる領域の仮想空間７０２での位置を規定することができる。

そのような方法では、較正処理の目−手線９１０及び９２０が近接交差するのみであっても、仮想空間７０２での領域９０４の位置はユーザインタフェース装置１００により判定することができる。

いくつかの実施形態ではユーザインタフェース装置は、線分［Ｐ_１（ｔ_１ｃ），Ｐ_２（ｔ_２ｃ）］の長さが或る閾値を上回るので、仮想空間での推測された近接交点が表示画面１０８の対応する領域９０４の不十分な表現である可能性がある、と判定してもよい。そのような場合には、較正処理のそれぞれの近接交差に対応するすべての線分の長さが或る閾値未満であるまで較正処理が繰り返されてもよい。

いくつかの実施形態では、較正処理のステップで第１の目−手線９１０がユーザインタフェース装置により所定の領域９０４に対して記録された後、ユーザ２００が較正処理後の段階で自分の手を位置付けて目−手線９２０を規定したとき、表示画面は線９１０及び９２０間の最短距離の動的な測定値を表示し、その結果ユーザはこの測定値を最小化するように自分の手を位置付け、したがって正確な較正をもたらすことができる。最短距離を表示する代わりに、最短距離が許容範囲内、例えば５ｃｍ未満であるかどうかの標識が表示される。このことは信号機型システムとして表現でき、ここでは最短距離が許容できなければ（例えば１０ｃｍより大きければ）画面は赤を表示し、最短距離が許容できれば（例えば５ｃｍより大きいが１０ｃｍ未満であれば）画面はオレンジを表示し、最短距離が良好（例えば５ｃｍ未満）であれば画面は緑を表示する。

いくつかの実施形態では、ユーザインタフェース装置１００は、目−手線が画面位置をうまく正確に決定するのに十分安定している場合に、例えば対応する目及び手の位置が１０秒間で２ｃｍ以内の範囲で安定している場合のみ、較正処理において目−手線（例えば９０１，９０２）のみを記録する。

仮想空間７０２での表示画面１０８の位置がユーザインタフェース装置１００により判定されると、表示画面１０８及びセンサ構成要素１０６が互いに対して動かない限り、ユーザインタフェース装置１００が、ユーザの寸法や体型などとは無関係に、任意のそのようなユーザについて、ユーザ２００が対話操作したい交点２０６を正確に判定できることに留意すべきである。

例示的な較正処理では、図９及び１０における領域を参照しつつ上記の較正ステップが例えば表示画面１０８の隅９０４，９０８，９１２について繰り返され、その結果ユーザインタフェース装置１００は仮想空間７０１での隅９１２，９０８，９０４の３次元座標（Ａ，Ｂ，Ｃ）をそれぞれ判定する。使用中に、ユーザインタフェース装置１００は、点Ｐ（ｔ）を含む方程式（１）の目−手線Ｌ（_Ｅ，Ｈ）により３次元仮想空間７０２に規定される目−手線２０４を求めてもよい。この場合には、ユーザインタフェース装置１００は、仮想空間７０２での目−手線Ｌ（_Ｅ，Ｈ）と平面（Ａ，Ｂ，Ｃ）との交点Ｐを計算することで、ユーザが対話操作したい表示画面１０８上の位置を求めてもよい。

いくつかの実施形態では、例えば表示画面１０８上でのユーザ対話操作処理の点の２次元座標を必要とするアプリケーションへの入力として用いるために、２次元表示画面内の点Ｐの２次元座標が計算されてもよい。

Ｐをそのような２次元表示画面座標として表すために、ユーザインタフェース装置１００は、Ａを仮想空間７０２の原点とし、ＡＢ／｜ＡＢ｜をｘベクトルとし、ＢＣ／｜ＢＣ｜をｙベクトルとして定義するために必要とされる座標変換を計算してもよい。そのような座標変換は、後述するように一つの変換及び三つの回転を含んでもよい。まず、ユーザインタフェース装置１００は、隅の座標のうちの一つ、例えばＡを仮想空間７０２の原点Ｏとして定義してもよい。仮想空間７０２の原点としてのＡを取得するために、Ａから仮想空間７０２の原点Ｏに必要とされる変換が計算される。三つの回転がこの原点の周りの三つの可能な回転を補償するために、次いで平面（Ａ，Ｂ，Ｃ）が計算されてもよい。第１の回転では、画面の縁、例えばＡＢにより定義される画面の底縁が仮想空間７０２の座標系での平面（Ｏ，ｘ，ｚ）に投影され、ここでＯは仮想空間７０２での原点であり、ｘはｘ軸ベクトルであり、ｚはｚ軸ベクトルである。次いで、ｘと（Ｏ，ｘ，ｚ）上のＡＢの投影との間の角度αが下記式を用いて計算されてもよい。

方程式（６）から、回転−座標変換を実行するために、すなわちＡＢを仮想空間座標系のｘ軸と正しく一直線に合わせるために平面（Ａ，Ｂ，Ｃ）に適用される必要があるｚ軸周りのαを推測できる。次いで、同じ手順が他の軸ｘ及びｙに対し適用されて、それらの軸周りに必要とされる対応の回転が推測される。

上記のように計算された変換は次に、３次元交差座標を表示画面内の２次元座標Ｐ´に変換するために３次元交差座標Ｐに適用されてもよい。

上記のように、較正処理が行われると、表示画面１０８及びセンサ１０６の相対位置が変化しない限り、ユーザの寸法や体型などとは無関係に、同じ座標変換を異なるユーザに対して用いることができ、そのため、較正を繰り返す必要がない。

上記の較正処理は目−手線を参照して記載されているが、第２の追跡位置として頭の位置が用いられている状況では、代わりに頭−手線が較正処理でユーザインタフェース装置１００により使われてもよいことがわかるであろう。

いくつかの実施形態では、ユーザインタフェース装置は同時に複数のユーザを検出及び追跡してもよい。

いくつかの実施形態では、ユーザインタフェース装置１００は、複数のユーザの位置を追跡し、それに応じて個々のユーザについて表示画面１０８との対話操作を判定及び実行してもよい。

いくつかの実施形態では、例えば一度に一人のユーザのみが表示画面１０８を対話操作することが可能であることが望ましい場合、ユーザインタフェース装置１００は「アクティブユーザ」を判定し、そのユーザに関する追跡情報のみを取得及び／又は使用してもよい。アクティブユーザは、例えば仮想空間７０２での判定された各ユーザの仮想表現７０４の股関節位置に基づいて、例えば表示画面１０８から最短距離に位置するユーザとして判定されてもよい。

図１１は、ユーザインタフェース装置１００により実行されることで、表示画面１０８に表示される選択可能対象１０８ｂをユーザが選択できるようにするための、実施形態に係る方法におけるステップの概略フロー図である。

ステップＳ１１０１は、ユーザの第１の手２００ａの位置である手２００ａの位置を追跡し、ユーザの頭２００ｂ又は目１００ｃの位置を追跡し、第１の手２００ａの手の形状を検出することを含む。

ステップＳ１１０２は、表示画面１０８上の１以上の選択可能対象１０８ｂの１以上の対象１０８ｂの位置を判定することを含む。

ステップＳ１１０３は、ユーザ２００の第１の手２００ａの検出した手の形状がいつ第１の所定の形状に、例えば閉じた拳状の形状に変化したかを判定することを含む。検出した手の形状が第１の所定の形状に変化した場合には方法はステップＳ１１０４に進み、そうでなければ方法はステップＳ１１０１に戻る。

ステップＳ１１０４は、検出した手の形状が第１の所定の形状に変化したとの判定に応じて、追跡した手２００ａの位置と、追跡した頭２００ｂ又は目２００ｃの位置と、判定した１以上の対象１０８ｂの位置とに基づいて、上記の選択可能対象１０８ｂが第１の画面位置にあるかどうかを判定することを含み、ここで、第１の画面位置は、選択可能対象１０８ｂに対するユーザの視界を第１の手２００ａが少なくとも部分的に遮るような表示画面１０８上の位置である。選択可能対象が第１の画面位置にあると判定されれば方法はステップＳ１１０５に進み、そうでなければ方法はステップＳ１１０１に戻る。いくつかの実施形態では、代わりに、第１の画面位置にある選択可能対象がないと判定されれば、ユーザインタフェース装置はユーザの能力レベルが低いと判定してもよく、例えば上記のようにポインタを表示してもよい。

ステップＳ１１０５は、（第１の手が選択可能対象に対するユーザの視界を少なくとも部分的に遮ると判定された場合に）選択可能対象が選択されると判定することを含む。

上記のような方法は、例えばユーザインタフェース装置１００又は任意の他の適切な処理システムにより実行可能なコードに記述されてもよく、そのコードはコンピュータ可読媒体に記憶されてもよく、ユーザインタフェース装置１００又は適切な処理システムにより実行されたとき、ユーザインタフェース装置１００又は適切な処理システムに上記の方法を実行させる。

上記実施形態は本発明を説明するための例として理解されるべきである。任意の一実施形態に関して記載される任意の特徴は単独で、又は他の記載される特徴と組み合わせて使用されてもよく、任意の他の実施形態、又は任意の他の実施形態の任意の組合せの１以上の特徴と組み合わせて使用されてもよいことも理解されるべきである。さらに、上で述べていない均等物及び変形も、添付の請求の範囲に定められる本発明の範囲から逸脱することなく利用されてもよい。

Claims (12)

1. １以上の選択可能対象を表示する表示画面上から選択可能対象を選択するためのユーザインタフェース装置であって、
   １以上のプロセッサを備え、
   前記１以上のプロセッサが、
   ユーザの第１の手の位置である第１の追跡位置に関する第１の情報を取得するステップと、
   前記ユーザの頭又は目の位置である第２の追跡位置に関する第２の情報を取得するステップと、
   前記表示画面上の前記１以上の選択可能対象の１以上の対象位置を判定するステップと、
   前記第１の追跡位置及び前記第２の追跡位置の双方を通過する直線と交差する前記表示画面の点に基づいて第１の画面位置を求めるステップであって、該第１の画面位置が、前記選択可能対象に対する前記ユーザの視界を前記第１の手が少なくとも部分的に遮るような前記表示画面上の位置である、該ステップと、
   前記第１の手の手形状が閉じた形状に変化したとの判定に応じて、前記第１の画面位置と前記１以上の対象位置とに基づいて、前記選択可能対象が第１の画面位置にあるかどうかを判定するステップと、
   前記選択可能対象が前記第１の画面位置にあると判定した場合に、前記選択可能対象が選択されると判定するステップとを実行する、
   ユーザインタフェース装置。
2. 前記プロセッサが、
   前記手形状が前記閉じた形状に維持されつつ前記第１の追跡位置が変化したとの判定に応じて、前記選択された選択可能対象を前記表示画面上で移動させるステップと、
   前記手形状が前記閉じた形状から開いた形状に変化したとの判定に応じて、前記選択された選択可能対象が選択解除されると判定するステップを実行する、
   請求項１に記載のユーザインタフェース装置。
3. 前記プロセッサが、
   前記手形状が前記開いた形状に変化したとの判定に応じて、前記選択された選択可能対象の移動を中断させるステップを実行する、
   請求項２に記載のユーザインタフェース装置。
4. 前記プロセッサが、
   前記判定した第１の追跡位置の変化率が所定の閾値を上回ると判定された場合には、前記手形状が前記開いた形状に変化したとの判定に応じて、削除処理を実行して前記選択された選択可能対象を削除するステップを実行する、
   請求項２または３に記載のユーザインタフェース装置。
5. 前記プロセッサが、
   ユーザが見ている方向である視線方向に関する視線方向情報を取得するステップと、
   前記手形状が前記開いた形状に変化したとの判定に応じて、前記ユーザが見ている前記表示画面上の位置である第２の画面位置を前記視線方向情報に基づいて判定するステップと、
   前記第２の画面位置が前記選択された対象の前記対象位置から閾値角度より多く異なるとの判定に応じて、削除処理を実行して前記選択された選択可能対象を削除するステップとを実行する、
   請求項２〜４のいずれか一項に記載のユーザインタフェース装置。
6. 前記第２の追跡位置が前記ユーザの前記頭の中心の位置、又は前記ユーザの両目間の位置である、
   請求項１〜５のいずれか一項に記載のユーザインタフェース装置。
7. 前記第１の追跡位置及び前記第２の追跡位置が共に３次元座標として追跡される、
   請求項１〜６のいずれか一項に記載のユーザインタフェース装置。
8. 前記プロセッサが較正処理を実行し、
   前記較正処理が、
   前記ユーザの前記頭又は目の位置である第３の追跡位置に関する第３の情報を取得するステップと、
   前記ユーザの頭又は目を前記第３の追跡位置に位置付けて、前記表示画面上の複数の所定位置に対する前記ユーザの視界を前記第１の手が少なくとも部分的に遮るような第１の複数の手位置を順次判定し、これにより、それぞれが前記第３の追跡位置と、前記第１の複数の手位置のうちの一つと、前記表示画面上の前記所定位置のそれぞれとを含む第１の複数の直線を規定するステップと、
   前記第３の追跡位置と異なる前記ユーザの前記頭又は目の位置である第４の追跡位置に関する第４の情報を取得するステップと、
   前記ユーザの頭又は目を前記第４の追跡位置に位置付けて、前記表示画面上の前記複数の所定位置のそれぞれに対する前記ユーザの視界を前記第１の手が少なくとも部分的に遮るような第２の複数の手位置を順次判定し、これにより、それぞれが前記第４の追跡位置と、前記第２の複数の手位置のうちの一つと、前記表示画面上の前記所定位置のそれぞれとを含む第２の複数の直線を規定するステップと、
   前記表示画面上の前記複数の所定位置のそれぞれに関して、所定位置に対して、前記所定位置を含む、前記第１の複数の直線のそれぞれと前記第２の複数の直線のそれぞれとの交点又は近接交点を判定するステップとを含む、
   請求項７に記載のユーザインタフェース装置。
9. 前記プロセッサが、
   前記選択可能対象が位置しないと判定された第１の画面位置で前記手形状が前記閉じた形状に変化したとの判定に応じて、前記表示画面の前記第１の画面位置でポインタを表示させるステップを実行する、
   請求項１〜８のいずれか一項に記載のユーザインタフェース装置。
10. 前記プロセッサが、
    前記ユーザインタフェースの操作が所定回数より多く前記ユーザにより繰り返されたとの判定に応じて、前記表示画面にポインタを表示させるステップを実行する、
    請求項１〜９のいずれか一項に記載のユーザインタフェース装置。
11. １以上の選択可能対象を表示する表示画面上から選択可能対象を選択するためのユーザインタフェース装置により実行される方法であって、
    ユーザの第１の手の位置である第１の追跡位置に関する第１の情報を取得するステップと、
    前記ユーザの頭又は目の位置である第２の追跡位置に関する第２の情報を取得するステップと、
    前記表示画面上の前記１以上の選択可能対象の１以上の対象位置を判定するステップと、
    前記第１の追跡位置及び前記第２の追跡位置の双方を通過する直線と交差する前記表示画面の点に基づいて第１の画面位置を求めるステップであって、該第１の画面位置が、前記選択可能対象に対する前記ユーザの視界を前記第１の手が少なくとも部分的に遮るような前記表示画面上の位置である、該ステップと、
    前記第１の手の手形状が閉じた形状に変化したとの判定に応じて、前記第１の画面位置と前記１以上の対象位置とに基づいて、前記選択可能対象が第１の画面位置にあるかどうかを判定するステップと、
    前記選択可能対象が前記第１の画面位置にあると判定した場合に、前記選択可能対象が選択されると判定するステップと
    を含む方法。
12. １以上の選択可能対象を表示する表示画面上から選択可能対象を選択するためのユーザインタフェース装置としてコンピュータを機能させるプログラムであって、
    ユーザの第１の手の位置である第１の追跡位置に関する第１の情報を取得するステップと、
    前記ユーザの頭又は目の位置である第２の追跡位置に関する第２の情報を取得するステップと、
    前記表示画面上の前記１以上の選択可能対象の１以上の対象位置を判定するステップと、
    前記第１の追跡位置及び前記第２の追跡位置の双方を通過する直線と交差する前記表示画面の点に基づいて第１の画面位置を求めるステップであって、該第１の画面位置が、前記選択可能対象に対する前記ユーザの視界を前記第１の手が少なくとも部分的に遮るような前記表示画面上の位置である、該ステップと、
    前記第１の手の手形状が閉じた形状に変化したとの判定に応じて、前記第１の画面位置と前記１以上の対象位置とに基づいて、前記選択可能対象が第１の画面位置にあるかどうかを判定するステップと、
    前記選択可能対象が前記第１の画面位置にあると判定した場合に、前記選択可能対象が選択されると判定するステップと
    を前記コンピュータに実行させるプログラム。

Images