JP5969626B2 - 高められたジェスチャ・ベースの対話のためのシステム及び方法 - Google Patents

Description

本発明は、人間とマシンの対話のためのシステム及び方法に関し、より詳細には、限定するものではないが、対話型のコンピュータ化されたシステムとの高められたジェスチャ・ベースの対話のためのワイヤレス・リモート制御デバイスに関わるものである。

人間とマシンの対話領域において、デバイス・コントローラが、人間のユーザとハードウェア・プラットフォームとの間のインタフェースとして長年の間使用されてきた。そのようなインタフェースを通して、ユーザは、手段を有するコンピュータ化されたシステムにコマンドを提供することができており、この手段は、それらのコマンドを受信する、それらのコマンドを処理する、及びそれらのコマンドによって処置を実行することを目的としている。デバイス・コントローラは、ワイヤード又はワイヤレスである場合があり、コンピュータ用のマウス・デバイス、コンピュータ・キーボード、ＴＶリモート・コントローラ、ゲーム・コントローラ、パッド、仮想現実グローブ等を含み得る。これらのデバイス・コントローラ・システムのすべては、例えばトリガ・ボタン、多方向パッド、慣性センサ・ユニット等のような既知の感知デバイスを使用する、１つの共通の仕様を共有する。

さらに、仮想現実領域での、並びに家電領域での技術の進歩とともに、そのようなデバイス、又はそのようなデバイスの組合せを使用するいくつかのシステムが開発されてきた。特に今では、ユーザが、仮想現実環境内への没入を向上させるために、又はコンピュータ化されたシステムとの対話に関してのユーザ使用感を向上させるために、デバイス・コントローラを自ら携えて持ち歩くこと、それらのデバイス・コントローラを着用すること、又は触れて扱うことが必須となっている。

例えば、米国特許出願公開第２０１０／０３０４８６８号において、コンピュータ化されたシステムとの対話性(interactivity)のための、複数位置での３次元の触れて扱われるコントローラが説明されている。コントローラは、種々のアプリケーション及びシミュレーションに対する制御を提供し、一方で、ゲーム・クライアントのコンピュータ化されたシステムによって実行されるコンピュータ・プログラムの結果として生成される、２次元と３次元の両方のシナリオと対話するための直観的なインタフェースを提供する。そのようなゲーム・クライアントは、ローカルに記憶されたプログラムを実行することが可能な、又はユーザが異なる場所での別のユーザと対話することが可能であるようにインターネットに接続可能な、専用のゲーム機であり得る。コントローラは、コントローラの操作及び触れて扱うことに関して柔軟性をもたらすために、複数の位置で使用するように構成される。コントローラは、センサを有するハンドルを備え、それらのセンサ、例えば、ジャイロスコープ、加速度計、ボタン、ジョイスティック、及びトラックボールは、ハンドルに関する入力の特徴の動きを検出する。１つの実施例ではコントローラは、ハンドヘルドであり、ユーザの手の運動のみが、ＩＥＥＥ８０２．１１仕様の範囲内にあるワイヤレス・プロトコルを使用する関連するゲーム機との対話のためのワイヤレス信号を提供する、「ロリポップ」モードで動作することが可能である。別の実施例ではコントローラは、やはりハンドヘルドであるが、カラー・ボールを追跡してジェスチャを検出し、ゲーム機により処理されることになる追加的なワイヤレス信号を提供する、２Ｄカメラと連関して動作させられる。さらなる実施例ではコントローラは、２つの手によって動作させられる場合がある。米国特許出願公開第２０１０／０３０４８６８号において説明されているコントローラの人間工学は、ユーザが手でコントローラを能動的且つ自発的に保持することを要求し、ジェスチャ・ベースの対話システム内部のジェスチャ認識のための、特に指の動きを含めた自由な自然な動きを可能にしない。

米国特許出願公開第２０１１／０２６９５４４号において、ゲーム機と対話するための、ハンドヘルドのコンピュータ入力デバイスが説明されている。デバイスは、上に突出部が形成される本体を備え、ユーザの手の親指及びそれ以外の指が、突出部のそれぞれの１つと係合する。各々の突出部は、ユーザの指の１つ又は複数に関する動きを検出するように構成される。ユーザの手、並びにそのユーザの親指及びそれ以外の指の動きが、ゲーム機により感知され、触覚フィードバックが、ゲーム機に送信されるコマンドに応答してユーザに提供され得る。１対のデバイスが利用され得るが、これらのデバイスは、一方のデバイスのみが右手に適合し、他方のデバイスが左手に適合するように触れて扱われる。米国特許出願公開第２０１１／０２６９５４４号において説明されているハンドヘルドの対話型のデバイスは、ユーザの手及び指への適合の観点からは人間工学的であるとみなされ得るものであるが、そのデバイスは、ユーザに動作のためにデバイスを把持するように要求し、自然なジェスチャ・ベースのコンピュータ化されたシステム内部のジェスチャ認識のための、手及び／又は指の自由な動きを許さない。

米国特許出願公開第２００８／０８４３８５号では、手の上に着用され、表面に接触する必要なしに動作させられるコンピュータ・ポインティング・デバイスを説明している。コンピュータ・ポインティング・デバイス内部に位置するセンサが、ユーザの手の動きを感知し、それらの信号をホスト・コンピュータに対する信号に変換する。信号は、カーソル等々を動かし、右及び左のマウス・クリック並びにスクロール動作をもたらすために使用され得る。デバイスは、意図される動きのみがホスト・コンピュータに送信されるように活動化及び非活動化され得る。

名称「Ｐｒｏｖｉｄｉｎｇ Ｈａｐｔｉｃ Ｆｅｅｄｂａｃｋ Ｕｓｉｎｇ ｔｈｅ Ｋｉｎｅｃｔ」、Ｂｒａｎｄｏｎ Ｓｈｒｅｗｓｂｕｒｙ、Ｄｕｎｄｅｅ、Ｓｃｏｔｌａｎｄ、ＵＫ、２０１１年１０月２６日の論文において、ブザー・モータを利用して、Ｋｉｎｅｃｔシステムの視野の範囲内の物体のユーザに警告する、着用可能な振動触覚フィードバック・システムを有するグローブが提案されている。ブザー・モータは、手の掌上の最下段で指の個別の区間に位置合わせされる。

米国特許出願公開第２００７／２７９３８０号では、手に取り付けられ得るコンピュータ入力デバイスを説明している。デバイスは、手の掌の一部分に巻き付けられ得る調整可能なバンドを含む。バンドが取り付けられる手の親指及びそれ以外の指により動作させられる、制御ボタン及びジョイスティックが設けられる。デバイスは、ワイヤレスで、又は取り付けられたケーブルを介してのいずれかで、コンピュータと通信する。

米国特許出願公開第２０１１／２０２３０６号では、没入型仮想現実システムを説明しており、そのシステムにおいて１つ又は複数の身体センサ・ユニットが、システムとの対話のために用いられる。身体センサ・ユニットはグローブ及びベストを含み、それらのグローブ及びベストは、グローブ又はベストが着用されるユーザの関連性のある部分の位置を決定するための感知要素を含む。表示ユニットが、ユーザの身体の部分の、そのユーザ自身の視点との正しい空間的関係にある仮想表現の観視のために設けられる。

Ｆｒａｔｉらは、自身の論文である、名称「Ｕｓｉｎｇ Ｋｉｎｅｃｔ ｆｏｒ ｈａｎｄ ｔｒａｃｋｉｎｇ ａｎｄ ｒｅｎｄｅｒｉｎｇ ｉｎ ｗｅａｒａｂｌｅ ｈａｐｔｉｃｓ」、Ｗｏｒｌｄ Ｈａｐｔｉｃｓ Ｃｏｎｆｅｒｅｎｃｅ（ＷＨＣ）、２０１１、ＩＥＥＥ、ＩＥＥＥ、２０１１年６月２１日、３１７〜３２１頁において、３次元イメージング・システムの視野の範囲内の位置感知に対する指パッド接触点での力フィードバックのためのモータを有する着用可能なハプティック（haptic）・デバイスを説明している。指先の位置などの主な手の点が、奥行きマップから算出される境界ボックスから抽出される、手追跡アルゴリズムが開示されている。しかしながら手の最も大きな部分が、手追跡アルゴリズムが適正に作動するためには視認可能でなければならず、特にいくつかのヒューリスティックス(heuristics：発見的研究)が、指の各々のアイデンティティを規定するために使用されており、これらのヒューリスティックスは、１つ又は複数の指の、全体又は部分が３次元イメージング・システムの視野内で遮蔽される場合、失敗する場合がある。

より最近では、イメージング感知信号分析に基づくジェスチャ認識技術が対話型のシステムを生み出しており、その対話型のシステムによってユーザは、そのような対話型のシステムを制御し実行するコンピュータ化されたシステムと対話するための所定のジェスチャを使用することにより、簡単にコマンドを提供することが可能になる。そのようなジェスチャ認識技術は、ユーザにより着用されるデバイスを何も利用せず、全身の動きの分析、又は手のみの動きの分析のいずれかを利用する。

しかしながら、独立的なハードウェア・ベースのコントローラ、又は自然なジェスチャ・ベースの動きのいずれかを使用するとき、遂行され得るあらかじめ規定される対話の数には限度が存在する。ハードウェアのリモート・コントローラ・デバイスに関しては、例えばそのデバイスは触れて扱われなければならず、そのデバイスは、指追跡、又は信頼性の高い手のジェスチャ認識をサポートしない。同様に、全身の自然なジェスチャ認識システムは、特定の動きがいくつかの他の動きの中でも排他的に遂行されることを要求するので、そのシステムによって、ボタンがリモート・コントローラ上で指により活動化されることが可能にされるのと同じ形で、簡単なクリック処置が遂行されることが可能にはならない。その上ジェスチャ認識システムを使用する場合、簡単なクリック処置、及び制御画面の周囲で手を動かすことを同時に遂行することは困難である。１つの理由は、クリック処置は、特定の場所で所定の継続時間の間に手の静止した構えを検出すること、又は時間の所定の期間の範囲内に、あらかじめ規定される軸、例えばＺ軸若しくは奥行き軸に沿った前方及び後方の動きを検出することのいずれかにより遂行される傾向があるということである。したがって、ただ１つの手を利用して、同じ時間の範囲内で２つの処置を遂行することは可能ではない。

さらに、既存のリモート制御デバイスとの自然なジェスチャ認識システムの組合せは、既存の装置は触れて扱われなければならないと限定され、遂行及び認識され得るジェスチャの種類及び数に関して強い制約がもたらされる。

米国特許出願公開第２０１０／０３０４８６８号 米国特許出願公開第２０１１／０２６９５４４号 米国特許出願公開第２００８／０８４３８５号 米国特許出願公開第２００７／２７９３８０号 米国特許出願公開第２０１１／２０２３０６号

「Ｐｒｏｖｉｄｉｎｇ Ｈａｐｔｉｃ Ｆｅｅｄｂａｃｋ Ｕｓｉｎｇ ｔｈｅ Ｋｉｎｅｃｔ」、Ｂｒａｎｄｏｎ Ｓｈｒｅｗｓｂｕｒｙ、Ｄｕｎｄｅｅ、Ｓｃｏｔｌａｎｄ、ＵＫ、２０１１年１０月２６日 Ｆｒａｔｉら、「Ｕｓｉｎｇ Ｋｉｎｅｃｔ ｆｏｒ ｈａｎｄ ｔｒａｃｋｉｎｇ ａｎｄ ｒｅｎｄｅｒｉｎｇ ｉｎ ｗｅａｒａｂｌｅ ｈａｐｔｉｃｓ」、Ｗｏｒｌｄ Ｈａｐｔｉｃｓ Ｃｏｎｆｅｒｅｎｃｅ（ＷＨＣ）、２０１１、ＩＥＥＥ、ＩＥＥＥ、２０１１年６月２１日、３１７〜３２１頁

その人間工学が、コンピュータ化されたシステムと対話するためのジェスチャ分析システムと組み合わせて使用することに関して特異的である制御デバイスを提供することが、本発明の目的である。

コンピュータ化されたシステムに、追加的な機能性及び／又は付帯的な情報を提供する自然なジェスチャ認識システム内部で使用され得る制御デバイスを提供することが、本発明の別の目的である。

コンピュータ化されたシステムに関連するイメージング・システムにより追跡され得る、ユーザの位置及び動き又はジェスチャに関係する、追加的な、及び精緻化された、情報又はデータを提供するために使用され得る制御デバイスを提供することが、本発明のさらに別の目的である。

ユーザとコンピュータ化されたシステムとの間での情報の両方向の交換の形式で追加的な機能性を提供する自然なジェスチャ認識システム内部で使用され得る制御デバイスを提供することが、本発明のさらなる目的である。

コンピュータ化されたシステムとの、自然なジェスチャ・ベースの対話及びハードウェア・デバイス・ベースの対話の組合せを可能にすることにより、並びにデバイス自体又はジェスチャ認識システムのいずれかにより提供される個別の特徴的機能を制限することなく、コンピュータ化されたシステム内の制御デバイスを制御及び使用して、高められたユーザ使用感をもたらす方法を提供することが、本発明のさらなる目的である。

用語「制御手段」は本明細書では、それによってユーザが制御信号を入力することが可能である、ボタン、スイッチ、方向パッド、及びジョイスティック、並びに任意の他の適したデバイスを含むことが意図される。そのような他の適したデバイス、すなわち「付帯的な制御装置」は、例えば、及び限定するものではないが、コンピュータ化されたシステムに音声コマンドを提供するためのマイクロホン、加速度計、ジャイロスコープであり得る。

本発明の第１の態様によれば、３次元イメージング・システムを有する対話型のコンピュータ化されたシステムを制御する方法が提供され、この３次元イメージング・システムは、３次元カメラであって、それの錐台内部に存在するユーザの少なくとも１つの部分の３次元情報を提供するための３次元カメラを含み、方法は、ａ）ユーザの少なくとも１つの部分に関連することになる、ユーザ操作の（ｕｓｅｒ−ｏｐｅｒａｔｅｄ）制御デバイスを設けるステップであって、ユーザ操作のデバイスが、ハウジング、ハウジング内に装着される少なくとも１つの制御手段を含む感知モジュールであって、各々の制御手段が、動作させられるときに、コンピュータ化されたシステムに対する制御信号を生成することが可能である、感知モジュール、コンピュータ化されたシステム上で動作するアプリケーションにより生成される信号によってユーザにコンテキストのフィードバックを提供するためのハウジング内に装着される少なくとも１つのフィードバック・モジュール、ハウジング内部に位置する通信モジュールであって、その通信モジュールによって、各々の制御信号が、コンピュータ化されたシステムに送信され、各々のフィードバック信号が、コンピュータ化されたシステムから受信される、通信モジュール、並びにハウジング内に装着されるコントローラ・モジュールであって、各々の生成される制御信号によって、感知モジュール、通信モジュール、及びフィードバック・モジュールを制御する、コントローラ・モジュールを備える、設けるステップと、ｂ）ユーザ操作のデバイス上の少なくとも１つの制御手段からの制御信号を生成するステップと、ｃ）生成された制御信号を使用して、対話型のコンピュータ化されたシステムを制御するステップとを含み、この方法は、ユーザ操作の制御デバイスが関連するユーザの部分に関係する、ユーザ操作の制御デバイスにより提供される情報を使用して、３次元イメージング・システムにより測定される情報の曖昧さを解決するステップをさらに含むことを特徴とする。

方法は、ｄ）コンピュータ化されたシステム上で実行するアプリケーションによってユーザにコンテキストのフィードバックを提供するステップをさらに含み得る。加えて方法は、ｅ）ユーザ操作の制御デバイスを使用して、３次元カメラの錐台内部の、制御デバイスが関連するユーザの少なくとも部分に関係する情報を提供するステップを含む。

好ましくは、ステップｅ）は、制御デバイスが関連するユーザの部分に関係する、時空間に関係のある情報を提供するステップを含む。時空間に関係のある情報は、制御デバイスが関連するユーザの部分の、ステータス、加速度、方位、及び位置のうちの少なくとも１つを含む。

本発明の好適な実施例では、ユーザ操作の制御デバイスが関連するユーザの部分が、別の物体による遮蔽、ユーザの部分による遮蔽、及びそのユーザ操作の制御デバイスが関連するユーザの部分が３次元カメラの錐台の外側にあるということのうちの１つに起因して、３次元イメージング・カメラに対してもはや視認可能でないときに、そのユーザ操作の制御デバイスが関連するユーザの部分の位置を外挿するために情報が使用される。

加えて、ユーザの部分に関係する提供される情報は、位置、速度、加速度、及び／又は識別情報であり得る。情報は、デバイス自体により提供され得るものであり、又はデバイスから生じるデータを、ジェスチャ分析システムにより決定される他のデータと組み合わせることにより精緻化され得る。好適な実施例では、ユーザの一部分に関係する提供される情報は、好ましくは、３次元イメージング・システムにより測定される情報の曖昧さを解決するために使用され得る。

本発明のさらなる態様によれば、ジェスチャ・ベースの対話型のコンピュータ化されたシステムが提供され、このジェスチャ・ベースの対話型のコンピュータ化されたシステムは、３次元イメージング・システムと、ジェスチャ認識システムと、ユーザ操作の制御デバイスとを備え、このユーザ操作の制御デバイスは、ハウジング、ハウジング内に装着される少なくとも１つの制御手段を含む感知モジュールであって、各々の制御手段が、動作させられるときに、コンピュータ化されたシステムに対する制御信号を生成することが可能である、感知モジュール、コンピュータ化されたシステム上で動作するアプリケーションにより生成される信号によってユーザにコンテキストのフィードバックを提供するためのハウジング内に装着されるフィードバック・モジュール、ハウジング内部に位置する通信モジュールであって、その通信モジュールによって、各々の制御信号が、コンピュータ化されたシステムに送信され、各々のフィードバック信号が、コンピュータ化されたシステムから受信される、通信モジュール、並びにハウジング内に装着されるコントローラ・モジュールであって、各々の生成される制御信号によって、感知モジュール、通信モジュール、及びフィードバック・モジュールを制御する、コントローラ・モジュールを備え、このジェスチャ・ベースの対話型のコンピュータ化されたシステムはさらに、３次元イメージング・システム及びジェスチャ認識システムに関連するコンピュータ化されたシステムであって、３次元イメージング・システムにより捕捉される画像、及びジェスチャ認識システムにより認識されるジェスチャを処理する、コンピュータ化されたシステムを備え、このコンピュータ化されたシステムは、ジェスチャ認識システムにより認識されるジェスチャと連関する、ユーザ操作の制御デバイスからのデータを使用して、３次元イメージング・システムにより測定される情報の曖昧さを解決することを特徴とする。

特にこのジェスチャ・ベースの対話型のシステムによって、手により遂行されるジェスチャを使用する制御信号、及び制御デバイスと対話するユーザにより生成されるハードウェア・ベースの制御信号の入力が可能になる。その上制御デバイスは、対話型のコンピュータ化されたシステムにより規定されるコンテキストにおいて自然なジェスチャ対話により生成され得ない、所定の処置若しくは事象に関係する情報、個々のデータ又はパラメータを提供するために使用され得る。このことの実例は、手が表示画面上で手により制御されるカーソルを連続的にスクロールしている間にクリック処置を遂行すること、又は下記でより詳細に説明するようなドラッグ・アンド・ドロップ動作を遂行することである。

好ましくは、ハウジングは、掌側を画定する第１の表面を有する調整可能なバンドを備える。各々の制御ボタンが、調整可能なバンドの掌側上に装着され、ユーザの少なくとも１つの指により動作させられる。

調整可能なバンドは、背面側を画定する第２の表面もまた有し、背面側は、ユーザのいくつかの他の指により動作させられることになる少なくとも１つの制御ボタンを有し得る。これが、ユーザの他方の手からの指であり得るということが十分認識されよう。

加えて別の一部分が、第１の表面と第２の表面との間で画定され得るものであり、この一部分は、ユーザの親指により動作させられることになる少なくとも１つの制御手段を含む。

ユーザ操作のデバイスは調整可能なバンドを備えるので、そのデバイスは容易に、ユーザの四肢、例えば手の上に配置され得るとともに、そこから取り外され得る。このことは、複数の参加者がいる状況で、各々のユーザが、次のユーザに、又は一方の手から他方の手に、制御デバイスを迅速に渡すことが可能であるということを意味する。このことは、制御デバイスの使用が容易で直観的であり、左手用又は右手用に特有でないということもまた意味する。

調整可能なバンドの少なくとも一部分は可撓性材料を含む。１つの実施例では、バンドの全体が可撓性材料を含み得る。可撓性材料は弾性材料を含み得る。

可撓性材料を用意することは、バンドが、ユーザの手のサイズ及び性別にかかわらずユーザの手に容易に適合されることを可能にするものであり、快適であること、及び調整可能であることの両方である。

１つの実施例ではバンドは、単に手に対して滑らせて着脱され、そのことによって、ユーザ間の容易な引き渡しが可能になる。

１つの実施例ではバンドは、異なるサイズの手に適合するように調整可能であり、２部分の調整可能な留め具を備え得るものであり、２部分の調整可能な留め具の各々の部分は、調整可能なバンドのそれぞれの端部に位置する。好適な２部分の調整可能な留め具は面ファスナを備えるが、他の２部分の留め具、例えば磁気式又は機械式の閉鎖具システムもまた使用され得るということが十分認識されよう。

さらに本発明のジェスチャ・ベースの対話型のシステムは、コンピュータ化されたシステムに情報が提供され得る一方で、適切なジェスチャ認識システムにおいて同時に使用され得る手及び指の自由な動きが可能になるという利点を有する。例えばユーザ操作のデバイスは、ジェスチャ認識システムが、ユーザの手の骨格の手の骨格に適合し、その骨格を追跡することを可能にするように設計されている。

加えて、少なくとも１つの制御手段を有することにより、ユーザ操作のデバイスは、仮想環境内の物体とジェスチャ認識を使用して対話するときに有用である追加的な特徴的機能を提供し、例えば物体は、デバイス上のボタンを押下することにより掴まれ、ジェスチャを使用して別の場所に動かされ、ボタンを解放することによりその別の場所で解放される場合がある。その上、１つ又は複数の制御ボタンの動作は、ユーザが同時に、ジェスチャ認識システムにより要求されるような自然なジェスチャを使用することが可能であるということには干渉しない。

１つの実施例では、調整可能なバンドのフィードバック・モジュールは、少なくとも１つのバイブレータ要素もまた備え得る。バイブレータ要素は、着用されるときにユーザにより近い、調整可能なバンドの表面に近接して位置する。バイブレータ要素は、調整可能なバンドの掌側上、又は調整可能なバンドの別の部分上のいずれかに位置し得るが、好ましくはそのバイブレータ要素が、加速度計（複数可）又はジャイロスコープなどの制御情報を生成する他のユニットのいずれとも干渉しない場所に位置し得る。

加えてフィードバック・モジュールは、スピーカ・モジュール、表示画面、発光ダイオード・デバイス、及びマトリックス・タッチ・フィードバック・モジュールのうちの少なくとも１つをさらに備え得る。

本発明のより良好な理解のために、単に実例としての、付随する図面への参照を次に行う。

本発明の１つの単純な実施例による、制御デバイスの概略的な斜視背面図を例示する図である。 図１に示される制御デバイスの概略的な斜視正面図を例示する図である。 図１及び図２に示される制御デバイス、並びにその制御デバイスが対話するコントローラの構成要素を例示するブロック図を例示する図である。

本発明を、いくつかの個々の実施例に関して、及びある決まった図面を参照して説明するが、本発明はそれらには限定されない。説明する図面は、単に概略的であり、非限定的である。図面において、要素のいくつかのサイズ及び正確な位置は、例示的な目的のために、誇張され、縮尺を基にして描かれない場合がある。

本発明は、人間とマシンの対話領域に関係するものであり、特に、対話でのユーザ使用感を高めるために、自然なジェスチャ認識システムと組み合わせて使用されるように設計されるワイヤレス制御デバイスを使用するシステム及び方法に関係する。特に本発明の制御デバイスは、自然なジェスチャ認識ベースのコンピュータ化されたシステムに、前記ジェスチャ認識システムの特徴的機能を制限することなく、追加的な特徴的機能を提供する。さらにその制御デバイスは、ジェスチャ認識又はハードウェア・デバイス制御のいずれかのシステムのただ１つを使用するいかなるコンピュータ化されたシステムと比較してもユーザ使用感を高めるように、対話時間にユーザにフィードバック情報を提供することが可能である。

米国特許出願公開第２０１０／０３０４８６８号及び米国特許出願公開第２０１１／０２６９５４４号において説明されているコントローラ・デバイスは、制御装置を動作させ、関連するゲーム機の部分を形成するコンピュータ化されたシステムに制御信号を提供するために、一方又は両方の手の中に制御デバイスを保持することに関して活動的であるようにユーザに要求する。しかしながらユーザによっては、例えばその手が大人の手よりかなり小さい子供は、単一のサイズのデバイスに苦闘する傾向がある。当然ながら、異なる手のサイズのこの問題に対する解決策は、２つ以上のサイズのデバイスを提供することとなり、その結果、異なるサイズの手については、ユーザに対するコストの増大を伴って便宜が図られ得る。

全身の用途に対するマーカレスのジェスチャ・ベースの対話を設計するとき、３Ｄカメラにより提供される詳細な情報、例えば、人間の身体、手、又はさらに複雑には指の、最も精密度の高いツールを追跡する能力が不足していることに起因して、データを取得することが難題となることが多い。このことは特に、ユーザが３Ｄカメラから、典型的には３ｍを超える相当の距離にあり、コンピュータ化されたシステムが部屋内部のユーザの部分を追跡しているときに難題である。手のジェスチャ又は手の動きを追跡するときの１つの限界は、手が、活動的な状態にあるか、例えばアイテムを掴んでいるか、それとも活動的でない状態にあるか、例えば物体の上方を通過しているだけであるかを決定することが困難であるということである。

手のジェスチャ又は手の動きを追跡するときの別の限界は、ジェスチャ・ベースの認識システムは画面上の情報の表示に基づく傾向があるので、ジェスチャ・ベースの認識システムではユーザに対するフィードバックが不足しているということである。そのようなシステムでは、システムのユーザが、自分の手の仮想表現が仮想物体といつ接触しているかを推定することが困難であることが多い。視覚的なフィードバックの使用は、表示又は画面を雑然とした状態にする傾向があり、ユーザに充分に自然な、及び／又は没入型の感触を常にもたらすとは限らない。

マーカレスのジェスチャ認識システムでの１つのさらなる限界は、空間分解能が不足していること、曖昧さ、遮蔽に起因して、又は３Ｄカメラの視野内の物体、若しくはいくつかの潜在的な自己遮蔽のいずれかに起因して、又はその上、追跡されている物体が３Ｄカメラから（典型的には３ｍより大きい）相当の距離で離れているときに、手の方位を十分に高い精密度で認識することが可能でないということである。

本発明は、上記で述べた限界を克服し、デバイスの適した機能性、人間工学、及び使いやすさを考慮するリモート制御デバイスを提供する。リモート制御デバイスにより提供される主な特徴的機能は、
１． 少なくとも２つの信頼性の高い状態（及び好ましくはさらに多くのもの）を含む手のステータスに関する情報を提供すること、
２． ３Ｄカメラ・ベースのジェスチャ認識システムから決定されるデータを補足又は精緻化するための追加的なデータを提供すること、
３． システムの透過性及び使用性のバランスをとるために、ユーザに追加的なフィードバックを提供すること、並びに
４． アプリケーションとのマーカレスの全身の自然なジェスチャ対話を補足するのに適した人間工学的品質を提供すること
を含む。

本発明のデバイスは、手を覆って着用され得る、及び同じ手の指により動作させられ得る掌側上の少なくとも１つの制御ボタンを組み込むバンドを備え、ユーザの指はそれでもなお、それらの指が、制御デバイスが存在しない状態であるのと同じ形で自由に動くことが可能である。デバイスは、ゲーム機内のコンピュータ化されたシステムの部分を形成する３次元（３Ｄ）イメージング・システム（３Ｄカメラを含む）内部で使用され、そのことによって、ジェスチャとバンドからの直接の制御信号との両方が、実行している、及びコンピュータ化されたシステムにより制御されているゲームと対話する間に、ユーザ使用感を高めるようにシステムにより処理され得る。

図１及び図２では、本発明によるコントローラ・デバイス１００が示されている。デバイス１００は、図２でより明確に示されるように、３つの制御ボタン１２０、１３０、１４０が上に装着される調整可能なバンド１１０を備える。示されるようにバンド１１０は、ユーザの手１５０を覆って適合し、留め具１６０により手の上に定位置で保持される。留め具１６０は、バンド１１０がユーザの手１５０に適合するように調整され得る１つの位置をもたらす。典型的には留め具１６０は、手に適合するように調整され得る２部分の留め具を備え、その場合留め具の一方の部分は、バンドの一方の端部１７０に固定され、留め具の他方の部分は、バンドの他方の端部１８０に固定され、そのことによって、２つの端部１７０、１８０が重なるとき、バンド１１０は手１５０の周囲に固着させられる。１つのそのような２部分のファスナは、「面」ファスナ、例えばＶｅｌｃｒｏ（登録商標）（Ｔｈｅ Ｖｅｌｃｒｏ Ｃｏｍｐａｎｙ、Ｍａｎｃｈｅｓｔｅｒ、ＮＨ、米国の登録商標）である。しかしながら、他の形式の２部分のファスナ、例えばフック・アンド・アイ、磁石及び金属板、スナップ等もまた使用され得るということが十分認識されよう。

バンド１１０は、方位角及び重力の方向、並びに任意の方向での動きの速さ及び加速度を測定するために、少なくとも２軸加速度計、好ましくは３軸加速度計、及びジャイロスコープ（それは、バンドの内側に埋め込まれているので図示せず）を含む。このことは、デバイス１００のサイズが任意のハンドヘルドの制御デバイスよりかなり小さくなり得るという利点を有する。さらに加速度計は、単に手１５０のピッチ及び／又はロールの傾斜を制御することにより、標準的なジョイスティック・デバイスの２つの制御軸の等価物をもたらすことが可能であり得る。

加えて加速度計は、デバイス１００を着用するときの手１５０の加速度に関する信頼性及び精密度の高い値を提供する。加速度に関するこの信頼性及び精密度の高い値は、コンピュータ化されたシステム（図示せず）が手であると推測するものを検証するために使用され得る。手のこの推測は、逆運動学ベースのユーザの骨格適合処理を使用して、ユーザの部分を識別すること、及び特に、経時的に手の位置を識別することにより得られ得る。次いで、追跡される手の時空間特性が、データの識別及び精度を精緻化するために、経時的に、物を扱う手の位置に関して提供されるデバイス・データと比較され得る。特にデバイスにより提供される加速度値は、手が、コンピュータ化されたシステムの部分を形成する３Ｄカメラに対して、別の物体若しくは身体の部分による遮蔽に起因して、又は手が３Ｄカメラの視野から外れているために、もはや視認可能でないときに、手の位置を外挿するために使用され得る。

さらに、コンピュータ化されたシステムに渡される加速度計情報は、内に制御デバイスが位置する手によって各々の制御ボタンに対して機能及び／又は特徴的機能を自動的にロードすることが可能であるように、ユーザの部分の識別及び追跡と組み合わされる場合がある。例えば２デバイスの対話型のアプリケーションでは、右手内のデバイスが、個々のアプリケーションに対して前もって構成される場合があり、左手内のデバイスが、ユーザの左手内の制御デバイスから提供される加速度計情報によってさらに構成される場合がある。２つのデバイスを使用するとき、各々のデバイスの制御手段、すなわちボタンは、中にそれらが位置する手によって構成され得る。このことは、デバイスを左手から右手に変えるときに、デバイスからの加速度計及び／又はジャイロスコープのデータを、ジェスチャ認識システムにより決定される左手及び右手に対する時空間データと比較することにより自動的に遂行される。

トランシーバ・ユニット（やはり図示せず）もまた、関連するコンピュータ化されたシステムに、制御ボタン１２０、１３０、１４０により生成される制御信号を送信するためにバンド１１０の内側に埋め込まれる。加えて信号がさらに、コンピュータ化されたシステムから受信され得る。適した周波数帯域内の電磁放射が、コントローラ・デバイス１００とその関連するコンピュータ化されたシステムとの間で信号を伝送するために使用され得る。

図１に示されるように留め具１６０は、好ましくは手１５０の甲上に位置し、図２に示されるように制御ボタン１２０、１３０、１４０は、手１５０の掌内に位置する。しかしながらバンド１１０が、バンドが直ちに、及び容易に、手の上に配置され手から取り外されることを可能にする、少なくとも１つの適した材料で作製される場合、留め具１６０を有することは必要ではない場合があるということが十分認識されよう。制御ボタン１２０、１３０、１４０に加えて、３Ｄカメラとの対話が非接触式の性質であることに起因して触感覚が不足していることを緩和する、フィードバック要素（図示せず）もまた、デバイス１００の掌側上に位置し得る。フィードバック要素は、例えば、物体が、コンピュータ化されたシステム上で実行するゲームの仮想環境内でユーザの手の仮想表現に接触されたということを確認するために、要求に応じてブザーで知らせる、又は振動するバイブレータを備え得る。加えてフィードバック要素は、ユーザにオーディオ・フィードバック信号を提供する音響デバイスを備え得る。加えて他の形式のフィードバックが、代替形態として、又は追加形態としてのいずれかで実装され得る。これらの形式は、熱的な、電気的な、及び／又は接触式の配置構成を含み得る。

制御ボタン１２０、１３０、１４０が、図２に示されるようにバンド１１０の掌側上に位置することに加えて、他の制御手段又はボタン（図示せず）が、例えば他方の手によるような動作のために、バンドの背面側上に設けられる場合がある。他の制御手段又はボタンは、例えば親指による動作のために、デバイスの背面側と掌側との中間に設けられる場合もある。

各々の制御ボタン１２０、１３０、１４０は、ボタン上のユーザの指の圧力により制御されるいくつかの状態を有するアナログ・ボタンであり得る。代わりに各々の制御ボタン１２０、１３０、１４０は、ユーザの指による押下により「オン」状態と「オフ」状態との間で動作する２値状態ボタンを備え得る。制御ボタン１２０、１３０、１４０は、図３を参照して下記で説明するように、圧力及び／又は距離を表現する連続的な信号もまた提供し得る。加えてバイオメトリック・センサが、例えば心拍数及び電気皮膚反応を監視するために、バンド上に実装され得る。

個別の制御ボタンに対する代替形態として、連続的な感知表面、例えば制御パッドが設けられ得る。そのような制御パッド（図示せず）は、ユーザの親指による動作のために設けられ得るものであり、制御パッドは、ユーザが右利きであるか左利きであるかのいずれかのときに、親指によりアクセスされ得るバンド上の位置に位置する。

加えてボタンは、データを提供するためにユーザにより動作させられる必要がなく連続的なデータを提供する、圧力、曲げ、静電容量、及び／又は距離のセンサであり得る。

制御手段（すなわちボタン、加速度計等）に加えてデバイス１００は、下記で図３を参照してより詳細に説明するように、電子部品、例えばバッテリ、マイクロコントローラ、及びワイヤレス・モジュールもまた含む。ユーザとのインタフェースのために直接使用されないすべての部品は、好ましくは、それらの部品が、コンピュータ化されたシステムとの対話を提供するために使用される掌の区域を雑然とした状態にしないように、バンド１１０の背面上に位置する。

加えて、制御デバイスへの追加的なセンサ及び／又はアクチュエータの接続を可能にする入出力ポートが設けられ得る。例えば、追加的な制御データ又は追加的な抵抗を提供して、追加的なコンテキストのフィードバックを提供する、アドオンの曲げセンサが、人さし指又は中指の周囲に適合するように設けられ得る。

バンド１１０は、可撓性であり手１５０の形状に直ちに一致するシリコーンを備え得る。加えてバンド１１０は、ボタンが、あらかじめ規定されている場合に、バンドが右手又は左手上に配置される場合に使用され得るように、バンド１１０が１つの特別な方位で着用され得るのみであるように形状設定される場合がある。より一般的には、バンド１１０は好ましくは、両手利きの使用をもたらすように、及び／又はユーザがより複雑な対話のために各々の手の上にバンドを有することを可能にするように、バンドが右手又は左手のいずれかの上に着用され得るように、少なくとも１つの平面に関して対称的である。バンド用にシリコーン材料のタイプを使用することにおいての１つの利点は、シリコーン材料のタイプは、制御ボタンがより容易な動作のために手の掌内に収まり続けることが可能であるように、ユーザの手による把持をもたらすということである。

代わりにバンド１１０は、制御手段、フィードバック手段、及びデバイス１００の動作のための任意の他の必要な電子回路を収納することが可能である任意の他の適した材料で作製され得る。バンド１１０は、それらの特定の特性のために利用される異なる材料を備え得るものであり、例えば、手１５０の掌内に位置することになるバンド１１０の一部分は、高められた把持をもたらすようにシリコーンでできている場合があり、シリコーンに近接するバンド１１０の一部分は、適合が調整され得るように弾性のあるものである場合があり、ファスナ１６０は、適合が調整され得るように、及び手１５０上のデバイス１００の位置設定を容易にするために、Ｖｅｌｃｒｏを備える場合がある。

使用の際にユーザは、自分の手１５０を覆ってデバイス１００を配置し、２部分のファスナ１６０を使用して快適な適合のためにデバイス１００を調整する。理想的には、手１５０上のデバイス１００の適合とは、ユーザがデバイスを保持することとデバイスを着用することとの間でのバランスであり、すなわちユーザが、ボタン１２０、１３０、１４０が容易に動作させられ得る位置でデバイス１００を維持する際に何の労力も働かせる必要がないということである。その上、デバイス１００はグローブではなく、動作のために保持される必要がないということが十分認識されよう。さらにデバイスは、直ちに手にあてがわれ、手から取り外され得るものである。

一方の手にデバイスを有する状態でユーザは、奥行き感知３Ｄカメラなどの３Ｄイメージング・システムを含むジェスチャ認識手段と、コンテキストの命令及びフィードバック情報を提供するためのアプリケーションとに関連する、コンピュータ化されたシステムと対話することが可能である。１つの実施例ではユーザは、仮想環境の中心において画面上にアバターにより表現される場合があり、３Ｄカメラの錐台内部で行動し動くことが自由である。ユーザの動き及びジェスチャは、コンピュータ化されたシステム内で動作するソフトウェアにより認識される。フィードバックが、例えば、画面上に表示されるような仮想環境内の仮想物体にユーザの手がタッチしたときに指示するために振動の形式で、ユーザに提供される。

その最も単純な実施例ではバンドは、ユーザにより押下されるときに、関連するコンピュータ化されたシステムに信号を自動的に送出する、単一のボタンを備える。特にこの場合では、ユーザの好適な指、例えば人さし指又は中指の１つによる動作のために、手の掌に対するボタンの位置を調整することが可能である。

別の実施例では２つの長いボタンが、それらのボタンがユーザの好みによって異なる指により、又は同じ指により動作させられ得るように設けられる場合がある。デバイスのハードウェアのセット・アップが、デバイスの人間工学に起因して固定されている場合がある一方で、２つのボタンは、それらのボタンが、３つの最も使用される指、すなわち人さし指及び中指及び親指のうちの１つ又は２つをユーザが動かすことにより自然に動作させられ得る位置に位置し得る。例えば第１のボタン、すなわち人さし指に最も近いボタンが、親指により使用される場合があり、他方のボタンが、人さし指又は中指により使用される場合がある。

２つ以上のボタンが存在する、より進歩した実施例では、ユーザの指に対してボタンを位置合わせすることが可能である。ここで、４つ以上のボタンが、図１及び図２を参照して上記で説明したように設けられ得るということが十分認識されよう。加えて、ボタンの２つ以上の列が存在する場合がある。

ボタンの機能があらかじめ規定されている最も単純な実施例は別として、各々のボタンの機能は、固定されていない場合があり、ユーザ又はコンピュータ・システムにより規定可能であり得るということが十分認識されよう。より好適な実施例ではコンピュータ・システムは、コンピュータ化されたシステムにより動作させられるアプリケーションによって、又はコンピュータ化されたシステムにより走らされているアプリケーション内の１つの特別なコンテキストによって、制御手段、特にボタンを自動的且つ動的に事前設定するための手段を含み得る。

別の実施例では加速度計が、重力によって垂直方向を決定するために使用され得るとともに、各々のボタンの機能性が、それに応じて割り当てられる。

好適な実施例ではデバイスは、シーン内にあるアバターによりユーザが表現され得る仮想環境内で使用され得る。ユーザは、コンピュータ化されたシステムに関連する３Ｄカメラの錐台内部で自由に行動し動くことが可能であり、そのことによってユーザの動き及び／又はジェスチャは、本発明によって、コンピュータ化されたシステム内で走らされるソフトウェアにより認識及び追跡され得るものであり、次いで制御デバイス１００の入力に関連付けられ得る。アバターをシーン内部で動かし対話させるために、ユーザは、制御デバイス１００により提供される特徴的機能を、さらにはジェスチャ認識ソフトウェアにより提供される特徴的機能を使用する。

ボタン１２０、１３０、１４０により実装され得るいくつかの特徴的機能は、次のことを含む：
− 第１のボタンが押下されるとき、デバイス１００の方位が、関連するコンピュータ化されたシステムに登録され、そのときから方向の変化が、デバイス１００がユーザの手の中のジョイスティックであるかのように、並進の速さ、前方か後方か、及び左又は右への回転の速さを制御する。ボタンが解放されるとき、デバイス１００により提供される誘導の制御が休止させられ、そのことによってユーザの動きが、仮想環境と直接対話するために使用される。
− 第２のボタンが押下されるとき、第１のボタンと同様の機構を使用して、ユーザは、仮想環境内のアバターの周囲の３Ｄカメラの回転を制御することが可能である。
− 第３のボタンが押下されるとき、「ドラッグ・アンド・ドロップ」機能が履行され得る。ここでは、最も近い「肉体的な」物体、すなわち、上にデバイス１００が配置されるユーザの手に対して、仮想表現で最も近い物体が、仮想物体に向かって動き、その仮想物体を掴み、仮想物体は、ボタンが解放されない限りは手の動き及び方向にしたがう。ボタンが解放されるとき、物体は、ボタンが解放される時間での仮想環境に関するユーザの手の場所でドロップされる。

この特定の機能は、仮想環境内部で仮想物体を拾い上げる、運搬する、動かす、及び起動することが可能であるということをもたらす。

シーン内の物体とユーザのアバター表現との間で衝突が起こるとき、デバイスの掌上のバイブレータが、仮想的な衝撃の強度に比例し得る、又は物体が衝突したと考えられる材料の硬度に比例し得る強度で振動する。同様に振動の増大が、仮想物体の重量に関してユーザに情報を伝えるために使用され得る。

上に制御デバイス１００が配置される手が、シーン内部で検出され得ることが重要であるということが十分認識されよう。このことは、手に対応する一部分を有するユーザの任意の骨格の表現を使用して行われ得る。仮想空間内の手の場所特定は、３軸加速度計からの出力を使用して、及びジャイロスコープの出力を追加的に使用して向上させられ得る。骨格の表現を使用するのではなく、すべてが３Ｄカメラの錐台内部にある、画像処理によるシーンの任意の識別される特徴部、例えば四肢、色付けされた物体、特定の形状、身体の部分等の動きが、デバイス１００の加速度と、デバイスがその識別される特徴部に取り付けられている確率を評価するために比較される場合がある。

別の好適な実施例ではジャイロスコープが、デバイス１００の内部に設けられ得るものであり、デバイスが取り付けられる、身体の部分、及び特に手の方位検出を向上させる情報を提供する。

別の好適な実施例ではジャイロスコープは、相対的な方位の測定結果ではなく絶対的な方位の測定結果を提供するために、コンパスにより置換される場合がある。これらの絶対的な測定結果の使用は、デバイスが取り付けられる、身体の部分、及び特に手の方位検出を向上させるためにもまた使用される。このことは、ジャイロスコープに加えてのことである場合がある。

加えて、複数の制御デバイスが同時に使用される場合がある。例えば単一のユーザが、各々の手の上の制御デバイスを使用する場合があり、又は複数のユーザが各々、一方の手の上の制御デバイスを使用する場合がある。これらの場合では使用される通信プロトコルは、各々の制御デバイスのアイデンティティ又は個別のアドレスの間で区別することが可能である必要がある。

次に図３に目を向けると、対話型のゲーム機又はコンピュータ・システム（図示せず）のための制御システム３００のブロック図が示されている。制御システム３００は、対話型のゲーム機に収納され、電子回路モジュール３２０を備える、コンピュータ化されたシステム３１０を備える。電子回路モジュール３２０は、マイクロコントローラ３３０及びトランシーバ３４０を備える。トランシーバ３４０は、Ｂｌｕｅｔｏｏｔｈ（登録商標）（Ｂｌｕｅｔｏｏｔｈスペシャル・インタレスト・グループの登録商標）、Ｗｉ−Ｆｉ（商標）（Ｗｉ−Ｆｉアライアンスの商標）、ＺｉｇＢｅｅ（商標）（ＺｉｇＢｅｅアライアンスの商標）、及び他の無線周波数（ＲＦ）帯域のうちの１つ又は複数上で動作する。［Ｂｌｕｅｔｏｏｔｈ（登録商標）は２．４から２．４８ＧＨｚの産業、科学、及び医療（ＩＳＭ）帯域内で動作し、Ｗｉ−ＦｉはＩＥＥＥ８０２．１１によって動作し、ＺｉｇＢｅｅもまたＩＥＥＥ８０２によって動作する。］当然ながらトランシーバ３４０は、例えば可視光及び赤外放射を使用する、他の通信システムを使用して動作し得る。トランシーバ３４０は、２つ以上のタイプの放射及び／又はＲＦ帯域を使用して動作し得るということが十分認識されよう。この場合では、専用の送信及び受信モジュールが、各々のタイプの放射及び／又はＲＦ帯域に対して設けられる。

トランシーバ３４０は、矢印３３５により指示されるような双方向通信のためにマイクロコントローラ３３０に接続され、マイクロコントローラ３３０により制御され、本発明による制御デバイス３５０からの信号を送受信する。制御デバイス３５０は、図１及び図２を参照して上記で説明したデバイス１００に対応する。

制御デバイス３５０は、３つのユニット・グループ、すなわち感知ユニット３６０、駆動ユニット３７０、及びフィードバック・ユニット３８０を備える。感知ユニット３６０は、制御手段、すなわち、慣性感知ユニット４００、２値状態パッド４１０、アナログ・パッド４２０、２値ジョイスティック４３０、アナログ・ジョイスティック４４０、２値状態ボタン４５０、及びアナログ・ボタン４６０を備える。これらの要素の１つのみが示されているが、１つの特別な構成によっては、制御デバイス３５０内に存在し得る、２つ以上のものが存在する場合があるということが十分認識されよう。

慣性感知ユニット４００は、少なくとも２軸加速度計を含み得る。好適な実施例では慣性感知ユニットは、上記で説明したような単一の３軸加速度計、又はその各々がｘ、ｙ、及びｚ軸のそれぞれの１つに位置合わせされる３つの個別の加速度計を含み得る。代わりに、又は加えて、慣性感知ユニット４００は、ｘ、ｙ、及びｚ軸のそれぞれの１つに位置合わせされるジャイロスコープの要素もまた備え得る。

２値状態パッド４１０及びアナログ・パッド４２０は本質的には、中央部の押し又は２値状態に関して、平面内の少なくとも１つの感知可能な方向、例えば北、南、東、及び西の方向を有する、圧力を感知可能な入力デバイスである。そのようなパッドは、方向パッド、ジョイパッド、又はＤパッドとして知られている。

２値状態パッド４１０の場合ではパッドは、連続的な平坦な形式のボタンを備え得るものであり、提供されるデータ値はデジタルであり、ユーザにより選定される方向に比例し、そのデータ値もまた「オン」又は「オフ」状態であり得る。

アナログ・パッド４２０の場合ではパッドは、連続的な多方向の２Ｄの平坦な形式のボタンを備え、提供されるデータ値はアナログであり、やはりユーザにより選定される方向に比例し、データ値は、ユーザの指が個々の方向において中心位置からどれだけ離れているかに応じて、各々の方向において連続的である。

加えて２値状態パッド４１０及びアナログ・パッド４２０は、中間状態が提供されるクロスフェーダ(cross-faders)又は多方向パッドであり得る。

２値ジョイスティック４３０及びアナログ・ジョイスティック４４０は、上記で説明したパッドと同様の形で動作するが、各々は、突出する要素、例えばスティックを有する表面を備え、その突出する要素は表面に直交する。２値状態パッド４１０を参照して上記で説明したように、２値ジョイスティック４３０は、デジタルであり、ユーザにより設定される方向に比例するデータ値を提供する。同様にアナログ・ジョイスティック４４０は、アナログであり、ユーザにより設定されるような個々の方向においての中心位置からの距離に比例するデータ値を提供する。

２値状態ボタン４５０は、ユーザの指により「オン」状態と「オフ」状態との間で動作させられ得る、少なくとも１つのボタンを備える。図２を参照して上記で説明したボタン１２０、１３０、１４０のうちの１つ又は複数は、２値状態ボタンであり得る。

アナログ・ボタン４６０は、ユーザの指により付与される圧力によりいくつかの異なる状態によって動作させられ得る、少なくとも１つのボタンを備える。前のように、図２を参照して上記で説明したボタン１１０、１２０、１３０のうちの１つ又は複数は、アナログ・ボタンであり得る。

感知ユニット３６０に接続されているのが、駆動ユニット３７０である。駆動ユニット３７０は、矢印４７５により指示されるように電子回路モジュール４８０に接続される電源４７０を含む。電源４７０は、矢印４９０により指示されるように、感知ユニット３６０内部の構成要素に、及び矢印４９５により指示されるように、下記で説明するような、フィードバック・ユニット３８０内部の構成要素にもまた、電力を提供する。電源４７０は、例えば、誘導を使用して、適した主電源への直接接続により、又はコンピュータ化されたシステム若しくは他の適したコンピュータ・デバイスへのＵＳＢ接続により、再充電可能であり得る、バッテリ又は他の可搬型の電気供給部であり得る。バッテリは、ユーザの動きにより、又は光起電力電池への接続により再充電される場合もある。１つの実施例では、制御デバイス３５０が光起電力電池（図示せず）もまた含む場合があり、その光起電力電池によってバッテリが、光レベルが充分に高いという条件のもとで絶えず充電される。

電子回路モジュール４８０は、マイクロコントローラ５００、トランシーバ５１０、及び入出力（Ｉ／Ｏ：ｉｎｐｕｔ／ｏｕｔｐｕｔ）モジュール５２０を含む。マイクロコントローラ５００は、示されるようなそれぞれの矢印５１５及び５２５により指示されるように、トランシーバ５１０及びＩ／Ｏモジュール５２０の両方に接続される。これらの接続は双方向接続であり、そのことによって情報は、要求に応じて、トランシーバ５１０及びＩ／Ｏモジュール５２０からマイクロコントローラ５００に、並びにマイクロコントローラ５００からトランシーバ５１０及びＩ／Ｏモジュール５２０に渡され得る。マイクロコントローラ５００は、矢印３６５、３８５により指示されるように、感知ユニット３６０及びフィードバック・ユニット３８０内部の適したインタフェース（図示せず）を介して、感知ユニット３６０及びフィードバック・ユニット３８０にもまた接続される。各々のインタフェースは、感知ユニット３６０内部の構成要素４００、４１０、４２０、４３０、４４０、４５０、４６０、及び下記でより詳細に説明するようなフィードバック・ユニット３８０内部の構成要素の各々を往来する信号を伝送するためのバス（やはり図示せず）に接続する。

Ｉ／Ｏモジュール５２０は、コンピュータ化されたシステム３１０に直接デバイス３５０を接続するためのＵＳＢポートを含み得る。Ｉ／Ｏモジュール５２０は、電源が再充電可能なバッテリ・ユニットを備える場合、電源４７０を充電するための充電点もまた含み得る。加えて他のセンサが、ユーザの手の動き及び／又は位置に関係するさらなる情報を提供するように、Ｉ／Ｏモジュール５２０に取り付けられる場合がある。

フィードバック・ユニット３８０は、スピーカ・モジュール５５０、バイブレータ・モジュール５６０、表示画面モジュール５７０、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）モジュール５８０、及びマトリックス・タッチ・フィードバック・モジュール５９０のうちの１つ又は複数を備える。デバイス１００上に設けられるフィードバック構成要素の数は、提供されることになるフィードバックのタイプによって決まることになるということが十分認識されよう。上記で説明したようにバイブレータ・モジュール５６０は、ユーザに触覚フィードバックを提供するための好適な構成要素である。

スピーカ・モジュール５５０は、ユーザにオーディオ・フィードバックを提供するための少なくとも１つのスピーカ要素を備える。表示画面モジュール５７０及びＬＥＤモジュール５８０は、ユーザに視覚的なフィードバックを提供し、表示画面モジュール５７０は、ＬＥＤモジュール５８０より詳細な情報を表示する能力を有する。１つの好適な実施例ではＬＥＤは、色を緑（完全に充電されている）から黄（例えば、５０％の充電）に、赤（再充電を必要とする）に変化させて、電源ステータス情報を提供することが可能である。

マトリックス・タッチ・フィードバック・モジュール５９０は、触感覚の形式でフィードバックを提供する、アクチュエータ、例えば、振動する要素又は電極のアレイを備える。図１及び図２を参照して上記で説明した制御デバイス１００では、このモジュールは、そのモジュールが触感覚を刺激するようにユーザの肌に接して位置し得る区域内に位置する。

制御デバイスの本発明を特定の実施例を参照して説明したが、制御デバイスの他の実装形態もまた可能であるということが十分認識されよう。

Claims (20)

1. ３次元イメージング・システム、ジェスチャ認識システム、および前記３次元イメージング・システムと前記ジェスチャ認識システムに関連するコンピュータ化されたシステムを有するジェスチャベース対話型コンピュータ化されたシステムを制御する方法であって、前記３次元イメージング・システムが、３次元カメラであって、前記３次元カメラの錐台内部に存在するユーザの少なくとも１つの部分に関係する３次元情報を提供するための３次元カメラを含み、前記コンピュータ化されたシステムが、前記３次元イメージング・システムによって捕捉される画像と前記ジェスチャ認識システムによって識別されたジェスチャを処理し、
   前記方法が、
   ａ）前記ユーザの少なくとも１つの部分に関連することになる、ユーザ操作の制御デバイスを供給するステップであって、前記ユーザ操作の制御デバイスが、
   ハウジング、
   前記ハウジング内に装着される少なくとも１つの制御手段を含む少なくとも１つの感知モジュールであって、各々の制御手段が、操作されたときに、前記コンピュータ化されたシステムに対する制御信号を生成するように構成された、少なくとも１つの感知モジュール、
   前記コンピュータ化されたシステム上で動作するアプリケーションによって前記ユーザにコンテキストのフィードバックを提供するように構成された、前記ハウジング内に装着される少なくとも１つのフィードバック・モジュール、
   前記ハウジング内部に位置する通信モジュールであって、各制御信号を、前記コンピュータ化されたシステムに送信し、各フィードバック信号を、前記コンピュータ化されたシステムから受信するように構成された通信モジュール、並びに
   前記ハウジング内に装着されるコントローラ・モジュールであって、各々の生成された制御信号によって、前記感知モジュール、前記通信モジュール、及び前記フィードバック・モジュールを制御するように構成された、コントローラ
   を備える、ステップと、
   ｂ）前記ユーザ操作の制御デバイス上の少なくとも１つの制御手段からの制御信号を生成するステップと、
   ｃ）前記生成された制御信号を使用して、前記対話型コンピュータ化されたシステムを制御するステップと
   を含む、方法において、
   前記ステップｃ）が、前記ジェスチャ認識システムから得られる情報とあわせて前記ユーザ操作の制御デバイスにより提供される情報を使用するステップを含み、
   前記ステップｃ）が、ジェスチャ認識システムからの情報とあわせて前記ユーザ操作の制御デバイスにより提供される情報を使用して、前記３次元イメージング・システムにより測定される情報の曖昧さを解決するステップを含み、前記ユーザ操作の制御デバイスにより提供される情報は、3次元カメラから決定される3次元情報を精緻化するように前記ジェスチャ認識システムからの情報とあわせて利用され、前記ユーザ操作の制御デバイスが関連する前記ユーザの前記部分が、別の物体による遮蔽、前記ユーザの別の部分による遮蔽、及び前記ユーザの前記部分が前記３次元カメラの前記錐台の外側にあるということのうちの１つに起因して、前記３次元イメージング・カメラに対してもはや視認可能でないときに、前記ユーザの前記部分の位置を外挿するために使用されることを特徴とする、方法。
2. 前記コンピュータ化されたシステム上で実行するアプリケーションによって前記ユーザにコンテキストのフィードバックを提供する、請求項１に記載の方法。
3. 前記ユーザ操作の制御デバイスを使用して、前記ユーザの前記部分が前記３次元カメラの前記錐台内部にあるとき、前記制御デバイスが関連する前記ユーザの少なくとも前記部分に関係する情報を提供する、請求項１又は２に記載の方法。
4. 更に、前記制御デバイスが関連する前記ユーザの前記部分に関係する、時空間に関係のある情報を提供する、請求項３に記載の方法。
5. 前記時空間に関係のある情報が、前記制御デバイスが関連する前記ユーザの前記部分の、ステータス、加速度、方位、及び位置のうちの少なくとも１つを含む、請求項４に記載の方法。
6. ジェスチャ・ベースの対話型のコンピュータ化されたシステムであって、
   錐台内に存在するユーザの少なくとも1部分に関係する3次元情報を供給する3次元カメラを含む３次元イメージング・システムと、
   ジェスチャ認識システムと、
   前記３次元イメージング・システム及び前記ジェスチャ認識システムに関連するコンピュータ化されたシステムであって、前記３次元イメージング・システムにより捕捉される画像、及び前記ジェスチャ認識システムにより認識されるジェスチャを処理するように構成された、コンピュータ化されたシステムと、
   前記ユーザの少なくとも一部分に関係するように構成された、ユーザ操作の制御デバイスであって、
   ハウジング、
   前記ハウジング内に装着される少なくとも１つの制御手段を含む少なくとも１つの感知モジュールであって、各制御手段が、操作されたときに、前記コンピュータ化されたシステムに対する制御信号を生成するように構成された、少なくとも１つの感知モジュール、
   前記コンピュータ化されたシステム上で動作するアプリケーションによって前記ユーザにコンテキストのフィードバックを提供するように構成され、前記ハウジング内に装着されるフィードバック・モジュール、
   前記ハウジング内部に位置する通信モジュールであって、各制御信号を前記コンピュータ化されたシステムに送信し、各フィードバック信号を、前記コンピュータ化されたシステムから受信するように構成された、通信モジュール、および
   前記ハウジング内に装着されるコントローラ・モジュールであって、各々の生成される制御信号によって、前記感知モジュール、前記通信モジュール、及び前記フィードバック・モジュールを制御するように構成されたコントローラ、
   を備えたユーザ操作の制御デバイスを含み、
   前記ジェスチャ・ベースの対話型のコンピュータ化されたシステムが、前記ジェスチャ認識システムにより提供される情報と合わせて前記ユーザ操作の制御デバイスにより提供される情報を使用するように構成され、
   前記３次元イメージング・システムにより測定される情報の曖昧さを解決するために、前記ユーザ操作の制御デバイスにより提供される情報は、3次元カメラから決定される3次元情報を精緻化するように前記ジェスチャ認識システムからの情報とあわせて利用され、前記ユーザ操作の制御デバイスが関連する前記ユーザの前記部分が、別の物体による遮蔽、前記ユーザの別の部分による遮蔽、及び前記ユーザの前記部分が前記３次元カメラの前記錐台の外側にあるということのうちの１つに起因して、前記３次元イメージング・カメラに対してもはや視認可能でないときに、前記ユーザの前記部分の位置を外挿するために使用されることを特徴とする、
   システム。
7. 前記ハウジングが、掌側を画定する第１の表面を有する調整可能なバンドを備え、各々の制御ボタンが、前記掌側上に装着され、前記ユーザの少なくとも１つの指により動作させられる、請求項６に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
8. 前記調整可能なバンドが、背面側を画定する第２の表面を有し、前記背面側が、前記ユーザの他の指により動作させられることになる少なくとも１つの制御ボタンを有する、請求項７に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
9. 一部分が、前記第１の表面と前記第２の表面との間で画定され、前記一部分が、前記ユーザの親指により動作させられることになる少なくとも１つの制御ボタンを含む、請求項８に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
10. 前記調整可能なバンドの少なくとも一部分が可撓性材料を含む、請求項７から９までのいずれか一項に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
11. 前記可撓性材料が弾性材料を含む、請求項１０に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
12. 前記調整可能なバンドが、２部分の調整可能な留め具を備え、前記２部分の調整可能な留め具の各々の部分が、前記調整可能なバンドのそれぞれの端部に位置する、請求項７から１１までのいずれか一項に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
13. 前記２部分の調整可能な留め具が面ファスナを備える、請求項１２に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
14. 前記２部分の調整可能な留め具が磁気閉鎖具及び機械閉鎖具のうちの１つを備える、請求項１２に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
15. 前記フィードバック・モジュールがバイブレータ要素を備える、請求項６から１４までのいずれか一項に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
16. 前記バイブレータ要素が、着用されるときに前記ユーザにより近い、前記調整可能なバンドの表面に近接して位置する、請求項１５に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
17. 前記フィードバック・モジュールが、スピーカ・モジュール、表示画面、発光ダイオード・デバイス、及びマトリックス・タッチ・フィードバック・モジュールのうちの少なくとも１つをさらに備える、請求項１５又は１６に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
18. 前記感知モジュールが、前記コンピュータ化されたシステムに音声コマンドを提供するためのマイクロホン、慣性感知ユニット、２値状態パッド、アナログ・パッド、２値ジョイスティック、アナログ・ジョイスティック、２値状態ボタン、アナログ・ボタン、光学センサ、及びコンパスのうちの少なくとも１つをさらに備える、請求項６から１７までのいずれか一項に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
19. 前記ユーザ操作の制御デバイスが、人間工学的であり、平面に関して対称的であり、それにより、両手利きに応じたものである一方で、手のジェスチャ及び指のジェスチャの両方の対話が可能になる、請求項６から１８までのいずれか一項に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。
20. 前記デバイスの人間工学及び設計が、手で前記デバイスを活動的且つ自発的に保持することを要求せず、一方でそれでもなお自由な自然な動きを可能にする、請求項１９に記載のジェスチャ・ベースの対話型のコンピュータ化されたシステム。

Images