JP5718460B2 - 非接触ジェスチャー認識および電力低減のための方法および装置 - Google Patents

Description

関連出願への相互参照

本出願は、“非接触ジェスチャー認識のための方法および装置”と題し、２０１０年６月１７日に出願された米国仮特許出願第６１／３５５，９２３号、代理人ドケット番号１０２２２２Ｐ１と、“近接センサを使用する非接触ジェスチャー認識システム”と題し、２０１０年８月１０日に出願された米国仮特許出願第６１／３７２，１７７号とに対して優先権を主張し、これらのすべては、あらゆる目的のために参照によりここに組み込まれている。

背景

ワイヤレス通信技術における発展により、今日のワイヤレス通信デバイスの汎用性が多いに増加した。これらの発展により、ワイヤレス通信デバイスは、シンプルな移動体電話機およびページャを、マルチメディア録音および再生、イベントスケジューリング、ワード処理、ｅ−コマース等のような、幅広いさまざまな機能が可能な精巧なコンピューティングデバイスへと進化させた。結果として、今日のワイヤレス通信デバイスのユーザは、従来複数のデバイスまたはより大きなノンポータブル機器のいずれかを必要とした広い範囲のタスクを単一のポータブルデバイスから実行できる。

ワイヤレス通信デバイスの精巧化が増進していることから、このようなデバイスに入力を提供する、よりロバーストかつ直感的なメカニズムに対しての必要性も増加している。ワイヤレス通信デバイスの機能が著しく拡大するにつれて、それらのデバイスに関係するサイズの制約は、キーボード、マウス等のような、従来のコンピューティングシステムに関係する多くの入力デバイスを実用的ではないものにしている。

ワイヤレス通信デバイスのフォームファクタの制限を克服するために、いくつかの従来のデバイスは、ジェスチャー認識メカニズムを使用して、ユーザが、運動またはジェスチャーを介してデバイスに入力を提供できるようにする。従来のジェスチャー認識メカニズムは、さまざまなカテゴリに分類できる。運動ベースのジェスチャー認識システムは、ユーザにより保持されている外部制御装置の動きに基づいてジェスチャーを解釈する。タッチベースシステムは、タッチパッド、タッチスクリーンまたはそれらに類するものの上に接触ポイントの位置をマッピングし、それから、マッピングされた位置に対する変化に基づいてジェスチャーを解釈する。視覚ベースのジェスチャー認識システムは、カメラおよび／またはコンピュータ視覚システムを利用して、ユーザによって行われる視覚的なジェスチャーを識別する。

概要

本開示にしたがった例示的な移動コンピューティングデバイスは、デバイスケーシングと、赤外線（ＩＲ）発光ダイオード（ＬＥＤ）およびＩＲ近接センサを備える、３次元のユーザの動きに関連するデータを取得するように構成されているセンサシステムと、センサシステムに通信可能に結合され、３次元のユーザの動きに関連するデータに基づいて、デバイスに提供された入力ジェスチャーを識別するように構成されているジェスチャー認識モジュールと、センサシステムにより取得された３次元のユーザの動きに関連するデータの明確さと、ジェスチャー認識モジュールによる、入力ジェスチャーの正しい識別の可能性とを示す、デバイスのプロパティを識別し、デバイスのプロパティに基づいて、センサシステムのＩＲ ＬＥＤまたはＩＲ近接センサのうちの少なくとも１つの電力消費を規制するように構成されているセンサ制御装置モジュールとを具備する。

このような移動コンピューティングデバイスの実現は、以下のもののうちの１つ以上を含んでいてもよい。周辺光センサは、センサ制御装置モジュールに通信可能に結合され、デバイスが位置付けられているエリアの周辺光レベルを識別するように構成されており、センサ制御装置モジュールは、周辺光レベルにしたがってＩＲ ＬＥＤの電力レベルを調節するようにさらに構成されている。アクティビティモニタモジュールは、センサ制御装置モジュールに通信可能に結合され、デバイスに関するユーザアクティビティのレベルを判定するように構成されており、センサ制御装置モジュールは、ユーザアクティビティのレベルにしたがってセンサシステムの電力消費を規制するようにさらに構成されている。

このような移動コンピューティングデバイスの実現は、加えて、または、代替的に、以下のもののうちの１つ以上を含んでいてもよい。センサ制御装置モジュールは、ユーザアクティビティのレベルが予め規定されているしきい値を下回ると判定された場合に、センサシステムをスロット動作モードにするようにさらに構成されている。センサシステムのＩＲ ＬＥＤおよびＩＲ近接センサは、デバイスケーシングの少なくとも２つの前向きのエッジ上に位置付けられており、デバイスのプロパティは、デバイスの向きを含み、センサ制御装置モジュールは、デバイスの向きに基づいて、デバイスケーシングの少なくとも１つの前向きのエッジ上に位置付けられているＩＲ ＬＥＤおよびＩＲ近接センサを選択的にアクティブ化するようにさらに構成されている。デバイスケーシングは、デバイスケーシングの少なくとも１つの前向きのエッジに沿って位置付けられ、ＩＲ透過型マテリアルによりカバーされている開口を提供し、センサシステムのＩＲ ＬＥＤまたはＩＲ近接センサのうちの１つは、デバイスシーケンスにより提供される開口のそれぞれの後ろに位置付けられている。センサシステムのＩＲ ＬＥＤおよびＩＲ近接センサは、デバイスケーシング中に位置付けられており、ＩＲＬＥＤおよびＩＲ近接センサがライザーによりデバイスケーシングの表面に向かって引き上げられるように、センサシステムは、ＩＲ ＬＥＤおよびＩＲ近接センサにそれぞれ結合されているライザーをさらに備える。

さらに、このような移動コンピューティングデバイスの実現は、加えて、または、代替的に、以下のもののうちの１つ以上を含んでいてもよい。フレーミングモジュールは、センサシステムに通信可能に結合され、センサシステムにより取得されたデータをフレーム間隔に分割するように構成されており、特徴抽出モジュールは、フレーミングモジュールおよびセンサシステムに通信可能に結合され、センサシステムにより取得されたデータから特徴を抽出するように構成されており、ジェスチャー認識モジュールは、フレーミングモジュールおよび特徴抽出モジュールに通信可能に結合され、センサシステムにより取得されたデータから抽出された特徴に基づいて、フレーム間隔のそれぞれ１つに対応する入力ジェスチャーを識別するように構成されている。ジェスチャー認識モジュールは、相互相関、線形回帰または信号統計のうちの少なくとも１つに基づいて、入力ジェスチャーを識別するようにさらに構成されている。センサシステムは、複数の動いているオブジェクトを参照して、３次元のユーザの動きに関連するデータを取得するように構成されている。

本開示にしたがった、コンピューティングデバイスに対するジェスチャーベースの入力メカニズムを管理する方法の例は、ジェスチャーベースの入力メカニズムにより実行されるジェスチャー分類の精度に関連する、コンピューティングデバイスのパラメータを識別することと、コンピューティングデバイスのパラメータに基づいて、ジェスチャーベースの入力メカニズムの少なくともＩＲ ＬＥＤまたはＩＲ近接センサの電力消費レベルを管理することとを含む。

このような方法の実現は、以下のもののうちの１つ以上を含んでいてもよい。識別することは、コンピューティングデバイスに関係するエリアの周辺光レベルを識別することを含み、管理することは、周辺光レベルにしたがってＩＲ ＬＥＤの電力レベルを調節することを含む。識別することは、ジェスチャーベースの入力メカニズムを介しての、コンピューティングデバイスとのユーザインタラクションのレベルを判定することを含み、管理することは、ユーザインタラクションのレベルをしきい値と比較することと、ユーザインタラクションのレベルがしきい値を下回る場合に、ジェスチャーベースの入力メカニズムを電力セービングモードにすることとを含む。識別することは、コンピューティングデバイスの向きを識別することを含み、管理することは、コンピューティングデバイスの向きに基づいて、ＩＲ ＬＥＤまたはＩＲ近接センサをアクティブ化またはデアクティブ化することを含む。ジェスチャーベースの入力メカニズムからセンサデータを取得すること、センサデバイスを時間で分割し、それにより、それぞれのフレーム間隔を取得すること、センサデータから特徴を抽出すること、センサデータから抽出された特徴に基づいて、フレーム間隔のそれぞれ１つ中で表されているジェスチャーを分類すること。分類することは、相互相関、線形回帰または信号統計のうちの少なくとも１つに基づいて、フレーム間隔のそれぞれ１つ中で表されているジェスチャーを分類することを含む。取得することは、複数の動いているオブジェクトに関連するセンサデータを取得することを含む。

本開示にしたがった、別の移動コンピューティングデバイスの例は、デバイスとのユーザインタラクションに関連するＩＲ光ベースの近接センサデータを取得するように構成されているセンサ手段と、センサ手段に通信可能に結合され、近接センサデータ中に表されている入力ジェスチャーを識別することにより、近接センサデータを分類するように構成されているジェスチャー手段と、センサ手段に通信可能に結合され、デバイスのプロパティを識別し、デバイスのプロパティに基づいて、センサ手段の少なくとも一部の電力消費を管理するように構成されている制御装置手段とを具備する。

このような移動コンピューティングデバイスの実現は、以下のもののうちの１つ以上を含んでいてもよい。制御装置手段は、デバイスに関係するエリアにおける周辺光レベルを測定し、周辺光レベルに基づいて、センサ手段の少なくとも一部の電力消費を調節するようにさらに構成されている。制御装置手段は、デバイスとのユーザインタラクションの範囲を判定し、デバイスとのユーザインタラクションの範囲にしたがってセンサ手段の少なくとも一部の電力消費を調節するようにさらに構成されている。制御装置手段は、デバイスとのユーザインタラクションが時間間隔内にセンサ手段により識別されなかったと判定された場合に、センサ手段を電源オフするようにさらに構成されている。制御装置手段は、デバイスとのユーザインタラクションの範囲がしきい値を下回る場合に、センサ手段を電力セーブ動作モードにするようにさらに構成されている。センサ手段は、複数のセンサエレメントを備え、制御装置手段は、デバイスの向きに基づいて、複数のセンサエレメントのうちの１つ以上を選択的にアクティブ化するようにさらに構成されている。

本開示にしたがったコンピュータプログラムプロダクトの例は、一時的ではないプロセッサ読取可能媒体上に存在し、プロセッサ読取可能命令を含む。プロセッサ読取可能命令は、ＩＲ ＬＥＤからの光の反射を測定する、移動デバイスに関係するＩＲ近接センサから、３次元のユーザの動きデータをプロセッサに取得させ、３次元のユーザの動きデータに関係する１つ以上のジェスチャーをプロセッサに検出させ、３次元のユーザの動きデータの精度を示す、移動デバイスのプロパティをプロセッサに識別させ、移動デバイスのプロパティに基づいて、ＩＲ ＬＥＤおよびＩＲ近接センサのうちの少なくとも一部の電力使用量をプロセッサに規制させるように構成されている。

このようなコンピュータプログラムプロダクトの実現は、以下のもののうちの１つ以上を含んでいてもよい。移動デバイスのパラメータは、移動デバイスに関係するエリアにおける周辺光レベルを含む。移動デバイスのパラメータは、移動デバイスとのユーザインタラクションのヒストリを含む。移動デバイスのパラメータは、移動デバイスの向きを含む。１つ以上のジェスチャーをプロセッサに検出させるように構成されている命令は、それぞれのフレーム時間間隔にしたがって、３次元のユーザの動きデータをプロセッサにグループ化させ、３次元のユーザの動きデータから特徴をプロセッサに抽出させ、３次元のユーザの動きデータから抽出された特徴に基づいて、フレーム時間間隔のそれぞれ１つ内で提供される入力ジェスチャーをプロセッサに識別させるようにさらに構成されている。入力ジェスチャーをプロセッサに識別させるように構成されている命令は、相互相関、線形回帰または信号統計のうちの少なくとも１つに基づいて、入力ジェスチャーをプロセッサに識別させるようにさらに構成されている。

ここで記述したアイテムおよび／または技術は、以下の機能のうちの１つ以上とともに、言及していない他の機能を提供してもよい。非接触ジェスチャー認識は、近接センサを使用してサポートできる。３次元ジェスチャーをリアルタイムで利用および分類できる。ジェスチャー認識に関係するエネルギー消費は、より高い粒度により低減および／または制御できる。ユーザとタッチ面との間の接触の頻度を低減させ、タッチ面の摩耗を軽減させ、細菌の発生および移動を低減させることができる。近接センサは、関係するデバイスの美しさを向上させるために、センサに優しいマテリアルでカバーできる。近接センサおよび関係するエミッターを、周辺光、意図していない光の分散、および、他の要因からの干渉に対して非常に強いものにすることができる。少なくとも１つのアイテム／技術効果の対を記述しているが、言及した効果を言及した手段とは別の手段により達成することが可能であってもよく、言及したアイテム／技術は、必ずしも言及した効果を生じさせる必要はない。

図１は、移動局のコンポーネントのブロックダイヤグラムである。 図２は、図１中に示されている移動局の部分的な機能ブロックダイヤグラムである。 図３は、ワイヤレス通信デバイスに関係する入力センサシステムを規制するシステムの部分的な機能ブロックダイヤグラムである。 図４は、ジェスチャー認識に用いられる近接センサの図解である。 図５は、移動デバイスに関係するジェスチャー認識メカニズムにより認識および解釈できる例示的なジェスチャーの図解である。 図６は、図１中に示されている移動局の代替的なブロックダイヤグラムである。 図７は、移動デバイスに関係するジェスチャー認識メカニズムにより認識および解釈できるさらなる例示的なジェスチャーの図解である。 図８は、移動デバイスに関係するジェスチャー認識メカニズムにより認識および解釈できるさらなる例示的なジェスチャーの図解である。 図９は、移動デバイスに関係するジェスチャー認識メカニズムにより認識および解釈できるさらなる例示的なジェスチャーの図解である。 図１０は、移動デバイスに関係するジェスチャー認識メカニズムにより認識および解釈できるさらなる例示的なジェスチャーの図解である。 図１１は、非接触ジェスチャー認識システムの部分的な機能ブロックダイヤグラムである。 図１２は、非接触ジェスチャー認識システムの代替的、部分的な機能ブロックダイヤグラムである。 図１３は、判定木ベースのジェスチャー分類のための技術を図示するフローチャートである。 図１４は、判定木ベースのジェスチャー分類のための代替的な技術を図示するフローチャートである。 図１５は、移動デバイスに対するジェスチャー認識のプロセスのブロックフローダイヤグラムである。 図１６は、非接触ジェスチャー認識のために実現される近接センサ構成の図解である。 図１７は、非接触ジェスチャー認識システムに対する代替的な近接センサ配置の図解である。 図１８は、非接触ジェスチャー認識システムに対する追加の代替的な近接センサ配置の図解である。 図１９は、非接触ジェスチャー認識システムに対するさまざまな近接センサ構成の図解である。 図２０は、非接触ジェスチャー認識システムを管理するプロセスのブロックフローダイヤグラムである。

詳細な説明

非接触ジェスチャー認識を介して、ワイヤレス通信デバイスへの入力を管理する技術をここに説明する。非接触ジェスチャー認識システムは、ハンドジェスチャーの検出および認識のために、赤外線（ＩＲ）発光体およびＩＲ近接センサを利用する。システムは、３次元ジェスチャーを実質的にリアルタイムマナーで認識、抽出および分類し、これにより、移動デバイスとの間で直感的なユーザインタラクションを可能にする。システムをジェスチャーインターフェースとして使用して、ユーザは、ｅブックページをめくる、ウェブページをスクロールする、ズームインおよびアウト、ゲームをする等の、このようなアクションを、何らかの追加のデバイスに接触する、身につける、または、ホールドすることなく、直感的なハンドジェスチャーを使用する移動デバイス上で実行できる。さらに、ここに記述する技術は、ユーザの移動デバイスとの接触の頻度を低減させ、デバイス面上の摩耗を軽減させる。加えて、周辺光条件、実行しているアプリケーション、予期されるユーザ入力の有無、または、非接触ジェスチャー認識を用いる移動デバイスに関連する他のパラメータに基づいて、ＩＲエミッターおよび／または近接センサの動作を制御することにより、ジェスチャー認識に関係する電力消費を低減する技術を説明する。これらの技術は、単に例示的なものであって、本開示または特許請求の範囲を制限するものではない。

図１を参照すると、デバイス１０（例えば、移動デバイスまたは他の適切なコンピューティングデバイス）は、プロセッサ１２と、ソフトウェア１６を含むメモリ１４と、入力／出力デバイス１８（例えば、ディスプレイ、スピーカ、キーパッド、タッチスクリーンまたはタッチパッド等）と、１つ以上のセンサシステム２０とを含むコンピュータシステムを備える。ここで、プロセッサ１２は、例えば、インテル（登録商標）コーポレイションまたはＡＭＤ（登録商標）により作られたそれらのような、中央処理ユニット（ＣＰＵ）、マイクロ制御装置、特定用途向け集積回路（ＡＳＩＣ）等である、インテリジェントハードウェアデバイスである。メモリ１４は、ランダムアクセスメモリ（ＲＡＭ）およびリードオンリーメモリ（ＲＯＭ）のような、一時的ではない記憶媒体を含む。加えて、または、代替的に、メモリ１４は、例えば、フロッピー（登録商標）ディスク、ハードディスク、ＣＤ−ＲＯＭ、ブルーレイ（登録商標）ディスク、他の何らかの光学媒体、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、他の何らかのメモリチップもしくはカートリッジを含む、一時的ではない記憶媒体、あるいは、コンピュータが命令および／またはコードを読み取ることができる他の何らかの一時的ではない媒体の１つ以上の物理的および／または有形の形態を含めることができる。メモリ１４はソフトウェア１６を記憶し、ソフトウェア１６は、実行されるときに、ここに記述するさまざまな機能をプロセッサ１２に実行させるように構成されている命令を含む、コンピュータ読取可能であって、コンピュータ実行可能なソフトウェアコードである。代替的に、ソフトウェア１６は、プロセッサ１２によって直接実行可能ではないかもしれないが、例えば、コンパイルおよび実行されるときに、機能をコンピュータに実行させるように構成されている。

センサシステム２０は、１つ以上のオブジェクト（例えば、ユーザの手等）のデバイス１０への近接とともに、このようなオブジェクトの時間にわたる近接に対する変化に関連するデータを収集するように構成されている。図２も参照すると、センサシステム２０は、ユーザジェスチャーを検出、認識および分類するように構成されている１つ以上のジェスチャー認識モジュール２４に関連して利用される。検出および分類されたジェスチャーは、入力管理モジュール２６に提供され、入力管理モジュール２６は、Ｉ／Ｏデバイス１８から受け取った他の入力との組み合わせで、または、Ｉ／Ｏデバイス１８から受け取った他の入力とは無関係に利用される基本コマンドに、デバイス１０に関係するさまざまなモジュールまたはシステムによって、ジェスチャーをマッピングする。例えば、入力管理モジュール２６は、アプリケーション３０、オペレーションシステム３２、通信モジュール３４、マルチメディアモジュール３６、および／または、デバイス１０により実行される他の何らかの適切なシステムもしくはモジュールへの入力を制御できる。

さらに、センサ制御装置モジュール２２を実現して、デバイス１０のパラメータに基づいて、センサシステム２０の動作を制御する。例えば、デバイスの向き、周辺光条件、ユーザアクティビティ等に基づいて、センサ制御装置モジュール２２は、図３により示されているような、センサシステム２０、および／または、センサシステム２０の個々のコンポーネント（例えば、ＩＲエミッター、ＩＲセンサ等）のうちの少なくともいくつかの電力レベルを制御できる。ここで、センサ制御装置モジュール２２は、それぞれのセンサシステム２０の電力レベルを管理する１つ以上のセンサ電力制御モジュール４０を実現する。例えば、周辺光センサ４２は、デバイス１０のロケーションにおける周辺光の強度を測定するために、光センサおよび／または他のメカニズムを利用できる。センサ電力制御モジュール４０は、これらの測定を利用し、例えば、実質的に高い周辺光レベルが検出されるときに、１つ以上のセンサシステム２０の電力レベルを増加させることにより、または、低い周辺光レベルが検出されるときに、１つ以上のセンサシステム２０の電力レベルを下げることにより、光をそれに応じて調節できる。

別の例として、センサシステム２０を介しての入力を利用する、概してデバイス１０、および／または、デバイス１０により実現される特定のアプリケーション３０との関連で、アクティビティモニタ４４は、デバイス１０とのユーザインタラクションの範囲に関連する情報を収集できる。センサ電力制御モジュール４０は、その後、ユーザアクティビティレベルにしたがってセンサシステム２０の電力レベルを調節することにより、例えば、アクティビティが増加するにつれて電力を増加させること、または、アクティビティが減少するにつれて電力を減少させることにより、この情報を利用できる。ユーザが、所定の時間量内に、センサシステム２０を介してのジェスチャー入力を提供しない、１つ以上のジェスチャー認識アプリケーションがデバイス１０において開かれていない、デバイス１０がアイドルモードで動作している、および／または、他のトリガになる条件が満たされているようなイベントでは、センサ電力制御モジュール４０は、加えて、１つ以上のジェスチャー認識アプリケーションが開かれるまで、および／または、デバイス１０に関するユーザアクティビティが増加するまで、１つ以上のセンサシステム２０をスロットモードまたは別の電力セービングモードにすることができる。

周辺光センサ４２およびアクティビティモニタ４４により提供された情報に加えて、センサ電力制御モジュール４０は、他の何らかの適切なパラメータまたはメトリックに基づいて、センサシステム２０の電力レベルを調節するように動作可能である。例えば、接近するユーザが識別されるときに、いずれのセンサ電力制御モジュール４０がセンサシステム２０への電力を増加させることができるかに基づいて、デバイス１０において、カメラおよび／またはコンピュータ視覚システムを用いることができる。別の例として、センサ電力制御モジュール４０は、（例えば、加速度計、ジャイロスコープ、および／または、他の向き感知デバイスから収集された情報を介して）デバイス１０の向きを監視し、その向きにしたがって、デバイス１０に関係するそれぞれのセンサシステム２０をアクティブ化および／またはデアクティブ化できる。センサ電力制御モジュール４０により、デバイス１０の他のパラメータもまた使用可能である。

センサシステム２０により、デバイス１０がジェスチャーベースのインターフェースを使用することが可能になり、これにより、ユーザがコマンドを指定して、コンピュータとインタラクションするための直感的な方法を提供する。直感的なユーザインターフェースは、より多くの人による、さまざまなレベルの技術的な能力の使用、ならびに、サイズおよびリソースの制約を受けるデバイスとの使用を促進する。

既存のジェスチャー認識システムは、３つのタイプに分類できる。運動ベース、タッチベースおよび視覚ベースのシステムである。運動ベースのジェスチャー認識システムは、ユーザにより保持されている外部制御装置の動きに基づいてジェスチャーを解釈する。しかしながら、ユーザは、外部制御装置を保持または着用していない限り、ジェスチャーを提供できない。タッチベースシステムは、タッチパッド、タッチスクリーンまたはそれらに類するものの上に接触ポイントの位置をマッピングし、それから、マッピングされた位置への変化に基づいてジェスチャーを解釈する。タッチベースシステムの特質により、これらは、すべての可能性あるジェスチャーが２次元タッチ面内に限られることから、３次元ジェスチャーをサポートできない。さらに、タッチベースシステムでは、ユーザが、入力を提供するために、タッチ面に接触する必要があり、これにより、利用可能性を低減させ、タッチ面およびその関係するデバイスへの摩耗を増加させる。視覚ベースのジェスチャー認識システムは、カメラおよび／またはコンピュータ視覚システムを利用して、ユーザによって行われる視覚的なジェスチャーを識別する。視覚ベースシステムでは、ユーザが入力デバイスに接触する必要がない一方、視覚ベースシステムは、典型的に、高い計算の複雑性および電力消費に関係しており、これは、タブレットまたは移動体電話のような、リソースが制限されている移動デバイスにとって望ましくない。

ここで記述する技術は、非接触ジェスチャー認識を提供する。技術は、ハンドジェスチャーを検出、認識および分類し、関係するコンピューティングデバイスアプリケーションにより予期されるコマンド中にジェスチャーをマッピングするアルゴリズムの他に、ＩＲ光、例えば、ＩＲ発光ダイオード（ＬＥＤ）、および、ＩＲ近接センサを用いる。

非接触ジェスチャー認識システムの動作のコンセプトの例を図４中に図示している。ダイヤグラム５０および５２中で示しているように、ユーザは、“右スワイプ”ジェスチャーを実行するために、コンピューティングデバイスの前で左から右へ手を動かしている。この“右スワイプ”は、ｅリーダーアプリケーションのためのページめくり、および／または、ここでさらに記述する他の何らかの適切な動作を表すことが可能である。

センサシステム、センサ制御モジュール２２、および／または、ここで記述する他のメカニズムを備えるジェスチャー認識システム２０は、必ずしもそうではないが、好ましくは、以下の機能を提供する。第１に、システムは、ジェスチャーの境界を自動的に検出できる。ジェスチャー認識の共通の課題は、ジェスチャーの開始および終了の不確定性である。例えば、ユーザは、キーを押すことなく、ジェスチャーの存在を示すことができる。第２に、ジェスチャー認識システムは、実質的にリアルタイムマナーでジェスチャーを認識および分類できる。ジェスチャーインターフェースは、時間のかかる後処理が実行されないように、好ましくは、すぐに応答するように設計される。第３に、誤ったコマンドを実行することは、一般的に、コマンドをミスすることよりも悪いけれども、好ましくは、誤り検出が低減される。第４に、新たなユーザに対して、ユーザ依存モデルのトレーニングプロセスは用いられない。監視された学習は、特定のユーザに対する性能を向上させることができるが、トレーニングデータを収集することは、時間の消費であり、ユーザにとって望ましくないものであり得る。

図５は、ケース６４の下に置かれている、ＩＲ ＬＥＤ６０および近接センサ６２を利用する、センサシステム２０の例示的な例を示している。ケース６４は、ガラス、プラスチックおよび／または別の適切なマテリアルからなる。ケースは、ＩＲ光が、実質的に自由に、光学ウィンドウ６６を通り抜けることができるように構築されている光学ウィンドウ６６を備える。光学ウィンドウ６６は、例えば、ケース６４と光学ウィンドウ６６との間での均一な外観を促進するために、透明であることができ、あるいは、半透明またはそうでなければ光に優しい塗装、塗料もしくはマテリアルでカバーされることができる。ここでは、実質的に最適な光の放射および反射を提供するために、ＩＲ ＬＥＤ６０および近接センサ６２が位置付けられている。ＩＲ ＬＥＤ６０から近接センサ６２への直接的な光の流出を避けるために、ＩＲ ＬＥＤ６０と近接センサ６２との間に光吸収マテリアルからなる光学バリア６８が置かれている。

図５はさらに、光を反射させて近接センサ６２へと戻す、ＩＲ ＬＥＤ６０の光のパスに近いオブジェクト７０（例えば、手）を図示している。近接センサ６２により検出されるＩＲ光エネルギーは、１つ以上のいずれの適切なアクションが行われるかに基づいて測定される。例えば、どのオブジェクトもセンサシステムに十分に近くないと判定された場合に、測定される信号レベルは、予め定められているしきい値より下がり、アクションは記録されない。そうでなければ、以下でさらに詳細に説明するように、追加の処理が実行され、アクションを分類して、センサシステム２０に関係する、デバイス１０により予期される基本コマンドのうちの１つにアクションをマッピングする。

センサシステム２０は、２つのＩＲ ＬＥＤ６０を代替的に備えることができ、２つのＩＲ ＬＥＤ６０は、時分割多重化を使用して、２つの別々のチャネルとして、ＩＲストローブを順番に放射する。オブジェクト７０がセンサシステム２０に近づくとき、近接センサ６２は、ＩＲ光の反射を検出し、ＩＲ光の強度は、オブジェクトの距離が減少するにつれて増加する。２つのＩＲチャネルの光の強度は、予め定められている周波数（例えば、１００Ｈｚ）でサンプリングされる。

図６は、非接触ジェスチャー検出および認識を実現する、デバイス１０によって実現できるさまざまなコンポーネントを図示している。デバイス１０は、多数の周辺サブシステムに対する基本的な管理機能を提供する周辺機器インターフェース１００を備える。これらのサブシステムは、近接感知サブシステム１１０を含み、近接感知サブシステム１１０は、近接センサ制御装置１１２、および、１つ以上の近接センサ６２とともに、ディスプレイ制御装置１２２および他の入力制御装置１２４を含むＩ／Ｏサブシステム１２０を備える。ディスプレイ制御装置１２２は、ディスプレイシステム１２６を制御するように動作可能である一方、さまざまな入力デバイス１２８を管理するには他の入力制御装置１２４が使用される。周辺機器インターフェース１００はさらに、１つ以上のＩＲ ＬＥＤ６０、周辺光センサ４２、マイクロフォン１３４および／またはスピーカを制御するために利用されるオーディオ回路１３２、ならびに／あるいは、他のデバイスまたはサブシステムを制御する、ＩＲ ＬＥＤ制御装置１３０を管理する。周辺機器インターフェースは、データバス１４０を介して、プロセッサ１２および制御装置１４２に結合されている。制御装置は、図６中に示されているハードウェアコンポーネントと、動作システム３２、通信モジュール３６、ジェスチャー認識モジュール１４４およびアプリケーション３０を含む、さまざまなソフトウェアおよび／またはファームウェアモジュールとの間の媒体として機能する。

デバイス１０上でそれぞれの基本コマンドをアクティブ化する方法として、デバイス１０のユーザによって多数の直感的なハンドジェスチャーを利用できる。利用できる典型的なハンドジェスチャーの例は以下のものである。以下に続く例示的なジェスチャーは、しかしながら、徹底的なリストではなく、他のジェスチャーも可能性がある。デバイス１０上およびデバイス１０の右側におけるユーザの手によってジェスチャーを開始し、（例えば、本のページをめくるように）その手をデバイス１０にわたり右から左へ素早く動かすことにより、左スワイプジェスチャーを実行できる。左スワイプジェスチャーは、例えば、書類を観覧する、ディスプレイを右へパンするとき等の、ページフォワードまたはページダウン動作のために使用できる。右スワイプジェスチャーは、ユーザの手を反対方向に動かすことにより実行でき、例えば、文書中でのページバックワードまたはページアップ動作、ディスプレイをパンすること、あるいは、これらに類するもののために利用できる。

デバイス１０上およびデバイス１０の下部におけるユーザの手によってジェスチャーを開始し、（例えば、クリップボード上でページをめくるように）その手をデバイス１０にわたりデバイス１０の下部から上部へ素早く動かすことにより、スワイプアップジェスチャーを実行できる。スワイプアップジェスチャーは、ディスプレイを上向きにパンすること等のために使用できる。ユーザの手を反対方向に動かすことにより実行できるスワイプダウンジェスチャーは、ディスプレイを下向きにパンするために、および／または、他の適切な動作のために利用できる。加えて、ユーザの手をデバイス１０に向かって、垂直に下に素早く動かすことにより実行できるプッシュジェスチャーと、ユーザの手をデバイス１０から離れて、垂直に上に素早く動かすことにより実行できるプルジェスチャーとを、ディスプレイ拡大レベルを制御するために（例えば、ズームインするためにプッシュし、ズームアウトするためにプルする等）、または、他の適切な使用のために利用できる。

図７〜１０は、デバイス１０に対する所定のコマンドに関係して実行できる、さまざまなハンドジェスチャーの追加の図示を提供している。図７〜１０により示しているように、多数のハンドジェスチャーが、同一のコマンドに直感的にマッピングされることができることから、１つより多いジェスチャーを同一の機能に割り当てることができる。実行しているアプリケーションに依存して、所定のコマンドにマッピングするハンドジェスチャーのうちの１つ、いくつか、または、すべてを利用できる。

図７を特に参照すると、ダイヤグラム３００および３０２は、それぞれ、上述した右スワイプジェスチャーおよび左スワイプジェスチャーを図示している。ダイヤグラム３０４は、ユーザの手を反時計回りの動きで回転させることにより実行される右回転ジェスチャーを図示している一方、ダイヤグラム３０６は、ユーザの手を時計回りの動きで回転させることにより実行される左回転ジェスチャーを図示している。ダイヤグラム３０８および３１０は、それぞれ、上述したスワイプダウンジェスチャーおよびスワイプアップジェスチャーを図示している。ダイヤグラム３１２は、ユーザの手を時計回りの動きで動かすことにより（すなわち、ユーザの手を左回転ジェスチャーにおいて時計回りに回転するのとは対照的に）実行されるやり直しジェスチャーを図示しており、ダイヤグラム３１４は、ユーザの手を反時計回りの動きで動かすことにより実行される取り消しジェスチャーを図示している。

図８中で示しているように、ユーザの手全体の動きを必要とすることとは対照的にユーザの指を動かすことにより、図７中で図示したそれらと類似するジェスチャーを実行できる。したがって、ダイヤグラム３１６により図示している右スワイプジェスチャー、ダイヤグラム３１８により図示している左スワイプジェスチャー、ダイヤグラム３２０により図示している右回転ジェスチャー、ダイヤグラム３２２により図示している左回転ジェスチャー、ダイヤグラム３２４により図示しているスワイプダウンジェスチャー、ダイヤグラム３２６により図示しているスワイプアップジェスチャー、ダイヤグラム３２８により図示しているやり直しジェスチャー、および、ダイヤグラム３３０により図示している取り消しジェスチャーは、図７により図示したそれぞれの対応するジェスチャーでユーザの手を動かした方法と類似した方法でユーザの指を動かすことにより実行できる。

図９は、ズームインジェスチャーおよびズームアウトジェスチャーを実行できるさまざまな方法を図示している。ダイヤグラム３３２は、ユーザの手をセンサシステム２０の前に置き、ユーザの指を外側へ動かすことにより、ズームアウトジェスチャーを実行できることを図示している。反対に、ダイヤグラム３３４は、ユーザの指をつまむ動きで一緒に合わせることにより、ズームインジェスチャーを実行できることを図示している。ダイヤグラム３３６および３３８は、ユーザの手または指をセンサシステム２０の前でらせんの動きで動かすことにより、ズームインジェスチャーおよび／またはズームアウトジェスチャーを実行できることを図示している。ダイヤグラム３４０および３４２は、ユーザの指を（ズームインするために）一緒に、または、（ズームアウトするために）離して動かすことにより、ズーミングを制御できることを図示している一方で、ダイヤグラム３４４および３４６は、ユーザの手を動かすことにより、類似したズームインジェスチャーおよびズームアウトジェスチャーを実行できることを図示している。ダイヤグラム３３２および３３４によりそれぞれ図示しているジェスチャーにおけるズームアウトおよびズームインは、図１０中のダイヤグラム３４８および３５０によりそれぞれ図示しているように、２つの手にさらに拡張できる。図１０のダイヤグラム３５２および３５４はさらに、ユーザの手の側面がセンサシステム２０に向くように、ユーザの手をセンサシステム２０にわたって動かすことにより、右スワイプジェスチャーおよび左スワイプジェスチャーを実行できることを図示している。

センサシステム２０の動作は、図１１により示しているように、感知サブシステム１５０、信号処理サブシステム１５６およびジェスチャー認識サブシステム１７０に細分できる。感知サブシステム１５０は、近接感知エレメント１５２および周辺光感知エレメント１５４を利用して、光の放射および検出の機能を実行する。検出した光エネルギーのレベルは、信号処理サブシステム１５６にパスされ、信号処理サブシステム１５６は、データプリプロセッサ１５８を介してのエネルギーレベルのフロントエンド前処理と、データバッファ１６０を介してのデータバッファリングと、フレーミングブロック１６２を介してのデータをフレームにチャンキングすることと、特徴抽出ブロック１６４を介しての関連する特徴の抽出とを実行する。信号処理サブシステム１５６は、感知サブシステム１５０から受信した、周辺光レベルに関連するデータを処理する周辺光分類ブロック１６６をさらに備える。ジェスチャー認識サブシステム１７０は、さまざまなジェスチャー認識アルゴリズム１７４を適用して、信号処理サブシステム１５６により識別される特徴に対応するジェスチャーを分類する。フレームデータヒストリ１７２および／またはジェスチャーヒストリデータベース１７６からのジェスチャー履歴データは、認識レートを向上させるために使用でき、システムが継続的に学び、性能を向上できるようにする。

ジェスチャー認識サブシステム１７０の一般的なフレームワークを図１２中に示している。近接センサデータは、最初に、近接センサデータをさらなる処理のためにフレームに分割するフレーミングブロック１６２に提供される。それぞれのジェスチャーの開始および終了がユーザによって特定されないことから、ジェスチャー認識サブシステム１７０は、フレーミングブロック１６２の補助とともに、ムービングウィンドウを利用して、近接センサデータをスキャンし、ジェスチャーシグニチャを観測するか否かを判定できる。ここで、データは、５０％のオーバーラップで、特定された持続期間（例えば、１４０ｍｓ）のフレームに分割される。フレーミングの後、相互相関モジュール１８０、線形回帰モジュール１８２および信号統計モジュール１８４は、センサデータのフレームをスキャンし、予め規定されているジェスチャーを観測するか否かを判定できる。これらのジェスチャーの信号シグニチャを区別するために、これらのモジュールは、以下のように、各フレームから３つのタイプの特徴を抽出する。

相互相関モジュール１８０は、近接センサデータのうち２つのチャネル間でのペアでの時間遅延を測定する、チャネル間時間遅延を抽出する。チャネル間時間遅延は、ユーザの手が、異なる瞬間において、近接センサにどのように近づいているかを特徴付け、これは、ユーザの手の異なる移動方向に対応する。時間遅延は、２つの離散的信号シーケンスの相互相関値にわたる極大を見つけることにより計算される。詳細には、時間遅延ｔDは、以下のように、２つの離散的信号シーケンスｆおよびｇの相互相関値にわたる極大を生じさせる、時間シフトｎを見つけることにより計算できる。

線形回帰モジュール１８２は、フレーム内の信号セグメントのローカルなスロープを推定する、スロープのローカルな合計を抽出する。スロープのローカルな合計は、ユーザの手が近接センサに向かって、または、近接センサから離れて動く際のスピードを示している。スロープは、線形回帰、例えば、１次線形回帰により計算される。さらに、線形回帰の結果は、突然の変化とは反対に、スロープの継続的な傾向を捕捉するために、前のフレームに対して計算したスロープとともに合計されてもよい。

信号統計モジュール１８４は、現在のフレームの平均および標準偏差と前のフレームのヒストリとを抽出する。例えば、ジェスチャーが存在するときに、高分散を観測できる一方で、ユーザの手が存在しない、または、存在するが動いていないときに、低分散を観測できる。

特徴抽出の後に、ジェスチャー分類器１８８は、予め規定されているジェスチャーモデル１８６により提供されるジェスチャーとしてフレームを分類し、または、ジェスチャーが検索されなかったことを報告する。現在のフレーム中の信号特徴と、ジェスチャーヒストリデータベース１７６により提供される履歴データと、時間依存性計算ブロック１９０により判定される、連続するフレーム間の時間依存性とを分析することにより、最終判定が行われる。連続するフレーム間の時間依存性は、ユーザが急速にジェスチャーを変更する可能性が低いことから、ジェスチャー分類において利用できる。さらに、時間依存性計算ブロック１９０は、現在のフレーム上でアクトする前に、将来のフレームを分析するために、小さなバッファ（例えば、３フレーム）を維持できる。バッファのサイズを限定することにより、ユーザに顕著な遅延を課すことなく、時間依存性を維持できる。

ジェスチャー分類器は、図１３中のプロセス２００または図１４中のプロセス２２０のような、判定木ベースの処理にしたがって動作できる。プロセス２００および２２０は、しかしながら、単に例示的なものであって、限定するものではない。プロセス２００および２２０は、例えば、ステージを追加、除去、再構成、組み合わせ、および／または、同時に実行することにより、変更できる。示し、記述したプロセス２００および２２０への他の変更も可能である。

初めにプロセス２００を参照すると、ブロック２０２において示しているように、近接センサデータの分散がしきい値より少ないか否かが初めに判定される。ブロック２０４において示しているように、分散がしきい値より少ない場合、ジェスチャーは検出されない。そうでなければ、ブロック２０６において、データに関係する時間遅延がしきい値より大きいか否かがさらに判定される。時間遅延がしきい値より大きい場合、ブロック２０８において、データのチャネル間遅延が分析される。左チャネルが右チャネルより遅れていることが見つかる場合、ブロック２１０において、右スワイプが検出される。代替的に、右チャネルが左チャネルより遅れている場合、ブロック２１２において、左スワイプが検出される。

時間遅延がしきい値より大きくない場合、プロセス２００は、ブロック２０６からブロック２１４に進み、スロープのローカルな合計が上述したように計算される。合計がしきい値より大きい場合、ブロック２１６において、プッシュジェスチャーが検出される。合計がしきい値より小さい場合、ブロック２１８において、プルジェスチャーが検出される。そうでなければ、プロセス２００はブロック２０４に進み、ジェスチャーは検出されない。

次にプロセス２２０を参照すると、ブロック２０２において、入力信号２２２の分散がしきい値と比較される。分散がしきい値より小さい場合、ブロック２２４において、入力信号２２２の平均が第２のしきい値と比較される。平均がしきい値を超える場合、ブロック２２６において、手の停止が検出され、そうでなければ、ブロック２０４において示しているように、ジェスチャーは検出されない。

ブロック２０２において、入力信号２２２の分散がしきい値より小さくない場合、プロセス２２０は、時間遅延が観測されるか否かに基づいて、ブロック２２８において分岐する。時間遅延が観測される場合、ブロック２３０において、左チャネルが遅延しているか否かがさらに判定される。左チャネルが遅延している場合、ブロック２１０において、右スワイプが検出され、そうでなければ、ブロック２１２において、左スワイプが検出される。

ブロック２２８において、時間遅延が観測されないイベントでは、ブロック２３２において、入力信号２２２に関係するスロープに関する追加の判定が行われる。スロープが０より大きい場合、ブロック２１６において、プッシュジェスチャーが検出される。スロープが０より大きくない場合、ブロック２１８において、プルジェスチャーが検出される。

判定木ベースのジェスチャー分類器のさらなる例が、図１５中のプロセス２４０により図示されている。プロセス２４０は、しかしながら、単に例示的なものであって、限定するものではない。プロセス２４０は、例えば、ステージを追加、除去、再構成、組み合わせ、および／または、同時に実行することにより、変更できる。示し、記述したプロセス２４０への他の変更も依然として可能である。

ブロック２４４において示しているように、プロセスは、センサデータバッファ２４２から入力センサデータをロードすることにより開始する。ブロック２４６において、ロードされているフレームの現在の数がウィンドウサイズと比較される。ブロック２４４において、フレームの数が十分でない場合、より多くの入力センサデータがロードされる。そうでなければ、ブロック２４８において、（例えば、左および右ＩＲ近接センサに対応する）左および右チャネルの相互相関が計算される。ブロック２５０において、最大相関値を持つ時間遅延が見つけられる。ブロック２５２において、ロードされているセンサデータに対応するスロープが計算され、ブロック２５４において、センサデータの平均および標準偏差が計算される。次に、ブロック２５６において、ジェスチャーテンプレートモデル２５８を参照して、ブロック２４８〜２５４における計算に基づいてロードされたデータに対して、ジェスチャー分類が実行される。ブロック２６０において、ジェスチャーコマンドマッピング２６２に基づいて、ブロック２５６において識別されたジェスチャーに基づく適切なコマンドが生成される。ブロック２６４において、対応するジェスチャー認識プログラムが終了された場合、プロセス２４０が終了する。そうでなければ、プロセス２４０はブロック２４４に戻り、上述したステージを繰り返す。

ここで記述した適正な動作を促進するために、ハンドジェスチャーによる光の反射を検出および認識できるように、ＩＲ ＬＥＤおよびセンサをコンピューティングデバイス上に置くことができる。図１６中で示しているように、プラスチックまたはガラスのケーシング６４と、プリント基板（ＰＣＢ）２７２との間に近接センサ６２の例示的なセットを置くことができる。他のファクタの中で、ＰＣＢ２７２上のコンポーネントの配置や、光が近接センサ６２により検出できるようにするために、光がＩＲ ＬＥＤから通り抜けることができ、光が反射して戻ることができるようにする、ケーシング６４における開口の構造や、高い光の放射および吸収を提供する、（例えば、開口がない）ケーシング６４に対して使用される塗装のタイプのようなファクタは、動き認識の信頼性を増加させることになる。

近接センサ６２は、（例えば、ユーザの手または他のオブジェクト７０に関する）ジェスチャー認識の性能に影響を与えるさまざまなファクタに基づいて、デバイス１０において位置付けることができる。これらには、例えば、ＩＲ ＬＥＤと近接センサ６２との間の水平距離、クリアランスに関する、ＩＲ ＬＥＤおよび近接センサの高さ、近接センサ６２への意図していない光の分散等を含む。

高さ、および、ＩＲ ＬＥＤと近接センサ６２との間の適正な距離の双方が、光の良好な放射および反射を可能にするように、センサを構成できる。図１６および図１７は、それぞれのセンサコンポーネントに対して、適正な高さを保証する技術を図示している。ここで、ライザー２７４はＰＣＢ２７２の上に置かれ、例えば、近接センサ６２のようなコンポーネントは、ライザー２７４の上に取り付けられている。さらに、ケーシング６４の表面は、光の放射および反射度のための小さな開口を備えることができ、または、代替的に、ケーシング６４の表面にＩＲに優しい塗装を適用して、光が通り抜けられるようにすることができる。図１６および図１７中で示しているように、ライザー２７４上に近接センサを置くことにより、センサコンポーネントは、表面により近く動かされ、向上した放射および反射度を提供する。加えて、ライザー２７４は、（例えば、ケーシング６４からはね返り戻った光により生じる）意図していない光の分散を緩和し、センサコンポーネントの電力消費を低減させる。

図１８は、ＩＲ光および／またはセンサの周りにはと目２７６を置く、センサコンポーネントの配置に対する別のアプローチを示している。図１８により示しているアプローチは、上述したライザー２７４の配置と組み合わせることができる。ここで、はと目２７６は、ＩＲ光の上にオブジェクトが置かれていないイベントにおいて、放射光のビーム（すなわち、角度）を集中させ、光がケースから反射してセンサへと戻る（それにより、性能を劣化させる）範囲を低減させるメカニズムを提供する。

図１９は、デバイス１０のようなコンピューティングデバイス上のセンサおよびＩＲ ＬＥＤに対する多数の例示的な配置を図示している。図１９中のさまざまな例は、コンピューティングデバイスのエッジに沿うさまざまな位置に置かれているセンサコンポーネントを示しているが、図１９中で示している例は、配置の可能性ある構成の徹底的なリストではなく、コンピューティングデバイスの正面または裏面に沿う配置、および／または、コンピューティングデバイスから物理的に離れた配置を含む、他の配置も可能性がある。さまざまな基準にしたがって、コンピューティングデバイス上でのセンサコンポーネントのポジショニングおよび／またはスペーシングとともに、用いられるセンサコンポーネントの数を判定できる。例えば、選択された数のセンサコンポーネントは、センサが、１次元、２次元および３次元のジェスチャーを分類するために十分なカバレッジを提供するように、間隔をあけて配置できる。

所望のジェスチャーに依存して、センサおよび／またはＩＲ ＬＥＤは、コンピューティングデバイスのすべてのエッジより少ないエッジに沿って選択的に置くことができる。例として、左および右スワイプのみが望まれる場合、デバイスがポートレートモードのみで使用されると仮定して、コンピューティングデバイスの下の端上におけるＩＲ ＬＥＤおよびセンサの配置が妥当であると考えられてもよい。代替実施形態として、センサをコンピューティングデバイスの各エッジに沿って置くことができ、制御メカニズム（例えば、センサ制御装置モジュール２２）は、コンピューティングデバイスの向きに基づいて、センサを選択的にアクティブ化またはデアクティブ化できる。したがって、上で提供した例の拡張として、デバイスの上および下のエッジに関係するセンサが、デバイスの向きに関わらずアクティブ化される一方、デバイスの左および右の端に関係するセンサはデアクティブ化されるように、センサ制御装置モジュール２２は、コンピューティングデバイスに関係するセンサの動作を構成できる。この例は、関係するデバイスの向きに基づいて、センサをアクティブ化、デアクティブ化、または、そうでなければ、制御するために、センサ制御装置モジュール２２により用いることができるさまざまな技術の単なる例示的なものに過ぎず、他の技術も可能である。

上述したジェスチャー認識技術に加えて、他の技術も依然として可能である。例えば、センサデータから追加の情報を取得するために、複数のセンサアレイを用いることができる。加えて、ビルディングブロックとして設定された基本的なジェスチャーを使用することにより、より多くの複合３次元ジェスチャーを基本的なジェスチャーの置換として認識できる。隠しマルコフモデルを使用して、ユーザにより実行されるジェスチャーシーケンスを学習することもできる。さらに、ここで記述した技術をアプリケーション特有な、または、ゲーム特有な使用ケースに適用することができる。

さらなる図１〜１９への参照とともに、図２０を参照すると、非接触ジェスチャー認識システムを管理するプロセス２８０は示しているステージを含む。プロセス２８０は、しかしながら、単に例示的なものであって、限定するものではない。プロセス２８０は、例えば、ステージを追加、除去、再構成、組み合わせ、および／または、同時に実行することにより、変更できる。示し、記述したプロセス２８０への他の変更も依然として可能である。

ステージ２８０において、ＩＲ ＬＥＤ６０と近接センサ６２とを備えるセンサシステム２０のような、近接センサを装備するデバイスに関連するパラメータが監視される。メモリ１４上に記憶されているソフトウェア１６、および／または、近接センサに関係する他の何らかのメカニズムを実行するプロセッサ１２により実現される、センサ制御装置モジュール２２により、パラメータは監視される。ステージ２８２において監視できるパラメータは、これらに限定されないが、（例えば、周辺光センサ４２により監視される）周辺光レベル、（例えば、アクティビティモニタ４４により判定される）ユーザアクティビティレベル、デバイスの向き、デバイス上で現在実行しているアプリケーションおよび／または将来実行することが予期されるアプリケーションの識別、（例えば、カメラ、コンピュータ視覚システム等からのデータに基づいて判定される）ユーザのデバイスまでの近接、または、これらに類するものを含む。

ステージ２８４において、ステージ２８２において監視されたパラメータに基づいて、近接センサのうちの少なくとも１つの電力レベルが調節される。ステージ２８４において、メモリ１４上に記憶されているソフトウェア１６、および／または、近接センサに関係する他の何らかのメカニズムを実行するプロセッサ１２により実現される、センサ電力制御モジュールにより、近接センサの電力レベルを調節できる。さらに、例えば、近接センサに関係するＩＲ ＬＥＤ６０の放射強度を修正すること、（例えば、近接センサがストローブモードで動作するケースにおいて）近接センサの、デューティーサイクルおよび／またはサンプリング頻度を修正することにより、それぞれの近接センサをアクティブ、インアクティブもしくはアイドルモードにすること等により、近接センサの電力レベルを調節できる。
他の技術も依然として可能である。
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
［１］移動コンピューティングデバイスにおいて、
赤外線（ＩＲ）発光ダイオード（ＬＥＤ）とＩＲ近接センサとを備える、３次元のユーザの動きに関連するデータを取得するように構成されているセンサシステムと、
前記センサシステムに通信可能に結合され、前記センサシステムにより取得された前記３次元のユーザの動きに関連するデータの明確さと、前記３次元のユーザの動きに関する正しい入力ジェスチャー識別の可能性とを示す、前記デバイスのプロパティを識別し、前記デバイスのプロパティに基づいて、前記センサシステムの前記ＩＲ ＬＥＤまたは前記ＩＲ近接センサのうちの少なくとも１つの電力消費を規制するように構成されているセンサ制御装置モジュールとを具備する移動コンピューティングデバイス。
［２］前記センサ制御装置モジュールに通信可能に結合され、前記デバイスが位置付けられているエリアの周辺光レベルを識別するように構成されている周辺光センサをさらに具備し、
前記センサ制御装置モジュールは、前記周辺光レベルにしたがって前記ＩＲ ＬＥＤの電力レベルを調節するようにさらに構成されている［１］記載のデバイス。
［３］前記センサ制御装置モジュールに通信可能に結合され、前記デバイスに関するユーザアクティビティのレベルを判定するように構成されているアクティビティモニタモジュールをさらに具備し、
前記センサ制御装置モジュールは、前記ユーザアクティビティのレベルにしたがって前記センサシステムの前記電力消費を規制するようにさらに構成されている［１］記載のデバイス。
［４］前記センサ制御装置モジュールは、前記ユーザアクティビティのレベルが予め規定されているしきい値を下回ると判定された場合に、前記センサシステムをスロット動作モードにするようにさらに構成されている［３］記載のデバイス。
［５］前記デバイスは、少なくとも２つの前向きのエッジを具備し、前記センサシステムのＩＲ ＬＥＤおよびＩＲ近接センサは、前記デバイスの前記前向きのエッジのうちの少なくとも２つ上に位置付けられており、前記デバイスのプロパティは、前記デバイスの向きを含み、前記センサ制御装置モジュールは、前記デバイスの前記向きに基づいて、前記デバイスの前記前向きのエッジのうちの少なくとも１つ上に位置付けられているＩＲ ＬＥＤおよびＩＲ近接センサを選択的にアクティブ化するようにさらに構成されている［１］記載のデバイス。
［６］前記デバイスは、
少なくとも１つの前向きのエッジと、
前記少なくとも１つの前向きのエッジに沿って位置付けられている１つ以上の開口とをさらに具備し、
前記１つ以上の開口は、ＩＲ透過型マテリアルによりカバーされており、前記センサシステムのＩＲ ＬＥＤまたはＩＲ近接センサのうちの１つは、前記１つ以上の開口のそれぞれの後ろに位置付けられている［１］記載のデバイス。
［７］前記センサシステムは、前記ＩＲ ＬＥＤおよび前記ＩＲ近接センサがライザーにより引き上げられるように、前記センサシステムは、前記ＩＲ ＬＥＤおよび前記ＩＲ近接センサにそれぞれ結合されている前記ライザーをさらに備える［１］記載の方法。
［８］前記センサシステムに通信可能に結合され、前記センサシステムにより取得された前記データをフレーム間隔に分割するように構成されているフレーミングモジュールと、
前記フレーミングモジュールおよび前記センサシステムに通信可能に結合され、前記センサシステムにより取得された前記データから特徴を抽出するように構成されている特徴抽出モジュールと、
前記センサシステムと前記フレーミングモジュールと前記特徴抽出モジュールとに通信可能に結合され、前記センサシステムにより取得された前記データから抽出された前記特徴に基づいて、前記フレーム間隔のそれぞれ１つに対応する入力ジェスチャーを識別するように構成されているジェスチャー認識モジュールとをさらに具備する［１］記載のデバイス。
［９］前記ジェスチャー認識モジュールは、相互相関、線形回帰または信号統計のうちの少なくとも１つに基づいて、前記入力ジェスチャーを識別するようにさらに構成されている［８］記載のデバイス。
［１０］前記センサシステムは、複数の動いているオブジェクトを参照して、前記３次元のユーザの動きに関連する前記データを取得するように構成されている［１］記載のデバイス。
［１１］コンピューティングデバイスに対するジェスチャーベースの入力メカニズムを管理する方法において、
前記ジェスチャーベースの入力メカニズムにより実行されるジェスチャー分類の精度に関連する、前記コンピューティングデバイスのパラメータを識別することと、
前記コンピューティングデバイスの前記パラメータに基づいて、前記ジェスチャーベースの入力メカニズムの少なくとも赤外線（ＩＲ）発光ダイオード（ＬＥＤ）またはＩＲ近接センサの電力消費レベルを管理することとを含む方法。
［１２］前記識別することは、前記コンピューティングデバイスに関係するエリアの周辺光レベルを識別することを含み、前記管理することは、前記周辺光レベルにしたがって前記ＩＲ ＬＥＤの電力レベルを調節することを含む［１１］記載の方法。
［１３］前記識別することは、前記ジェスチャーベースの入力メカニズムを介しての、前記コンピューティングデバイスとのユーザインタラクションのレベルを判定することを含み、
前記管理することは、
前記ユーザインタラクションのレベルをしきい値と比較することと、
前記ユーザインタラクションのレベルが前記しきい値を下回る場合に、前記ジェスチャーベースの入力メカニズムを電力セービングモードにすることとを含む［１１］記載の方法。
［１４］前記識別することは、前記コンピューティングデバイスの向きを識別することを含み、前記管理することは、前記コンピューティングデバイスの向きに基づいて、前記ＩＲ ＬＥＤまたは前記ＩＲ近接センサをアクティブ化またはデアクティブ化することを含む［１１］記載の方法。
［１５］前記ジェスチャーベースの入力メカニズムからセンサデータを取得することと、
前記センサデバイスを時間で分割し、それにより、それぞれのフレーム間隔を取得することと、
前記センサデータから特徴を抽出することと、
前記センサデータから抽出された前記特徴に基づいて、前記フレーム間隔のそれぞれ１つ中で表されているジェスチャーを分類することとをさらに含む［１１］記載の方法。
［１６］前記分類することは、相互相関、線形回帰または信号統計のうちの少なくとも１つに基づいて、前記フレーム間隔のそれぞれ１つ中で表されている前記ジェスチャーを分類することを含む［１５］記載の方法。
［１７］前記取得することは、複数の動いているオブジェクトに関連するセンサデータを取得することを含む［１５］記載の方法。
［１８］移動コンピューティングデバイスにおいて、
前記デバイスとのユーザインタラクションに関連する赤外線（ＩＲ）光ベースの近接センサデータを取得するように構成されているセンサ手段と、
前記センサ手段に通信可能に結合され、前記デバイスのプロパティを識別し、前記デバイスの前記プロパティに基づいて、前記センサ手段の少なくとも一部の電力消費を管理するように構成されている制御装置手段とを具備する移動コンピューティングデバイス。
［１９］前記制御装置手段は、前記デバイスに関係するエリアにおける周辺光レベルを測定し、前記周辺光レベルに基づいて、前記センサ手段の少なくとも一部の前記電力消費を調節するようにさらに構成されている［１８］記載のデバイス。
［２０］前記制御装置手段は、前記デバイスとのユーザインタラクションの範囲を判定し、前記デバイスとのユーザインタラクションの範囲にしたがって前記センサ手段の少なくとも一部の前記電力消費を調節するようにさらに構成されている［１８］記載のデバイス。
［２１］前記制御装置手段は、前記デバイスとのユーザインタラクションが時間間隔内に前記センサ手段により識別されなかったと判定された場合に、前記センサ手段を電源オフするようにさらに構成されている［２０］記載のデバイス。
［２２］前記制御装置手段は、前記デバイスとのユーザインタラクションの範囲がしきい値を下回る場合に、前記センサ手段を電力セーブ動作モードにするようにさらに構成されている［２０］記載のデバイス。
［２３］前記センサ手段は、複数のセンサエレメントを備え、前記制御装置手段は、前記デバイスの向きに基づいて、前記複数のセンサエレメントのうちの１つ以上を選択的にアクティブ化するようにさらに構成されている［１８］記載のデバイス。
［２４］前記センサ手段に通信可能に結合され、前記近接センサデータ中に表されている入力ジェスチャーを識別することにより、前記近接センサデータを分類するように構成されているジェスチャー手段をさらに具備する［１８］記載のデバイス。
［２５］一時的ではないプロセッサ読取可能媒体上に存在し、プロセッサ読取可能命令を含むコンピュータプログラムプロダクトにおいて、
前記プロセッサ読取可能命令は、
赤外線（ＩＲ）発光ダイオード（ＬＥＤ）からの光の反射を測定する、移動デバイスに関係するＩＲ近接センサから、３次元のユーザの動きデータをプロセッサに取得させ、
前記３次元のユーザの動きデータの精度を示す、前記移動デバイスのプロパティを前記プロセッサに識別させ、
前記移動デバイスのプロパティに基づいて、前記ＩＲ ＬＥＤおよびＩＲ近接センサのうちの少なくとも一部の電力使用量を前記プロセッサに規制させるように構成されているコンピュータプログラムプロダクト。
［２６］前記移動デバイスの前記パラメータは、前記移動デバイスに関係するエリアにおける周辺光レベルを含む［２５］記載のコンピュータプログラムプロダクト。
［２７］前記移動デバイスの前記パラメータは、前記移動デバイスとのユーザインタラクションのヒストリを含む［２５］記載のコンピュータプログラムプロダクト。
［２８］前記移動デバイスの前記パラメータは、前記移動デバイスの向きを含む［２５］記載のコンピュータプログラムプロダクト。
［２９］前記１つ以上のジェスチャーを前記プロセッサに検出させるように構成されている前記命令は、
それぞれのフレーム時間間隔にしたがって、前記３次元のユーザの動きデータを前記プロセッサにグループ化させ、
前記３次元のユーザの動きデータから特徴を前記プロセッサに抽出させ、
前記３次元のユーザの動きデータから抽出された前記特徴に基づいて、前記フレーム時間間隔のそれぞれ１つ内で提供される入力ジェスチャーを前記プロセッサに識別させるようにさらに構成されている［２５］記載のコンピュータプログラムプロダクト。
［３０］前記入力ジェスチャーを前記プロセッサに識別させるように構成されている命令は、相互相関、線形回帰または信号統計のうちの少なくとも１つに基づいて、前記入力ジェスチャーを前記プロセッサに識別させるようにさらに構成されている［２９］記載のコンピュータプログラムプロダクト。

Claims (28)

1. 移動コンピューティングデバイスにおいて、
   赤外線（ＩＲ）発光ダイオード（ＬＥＤ）とＩＲ近接センサとを備える、３次元のユーザの動きに関連するデータを取得するように構成されているセンサシステムと、
   前記センサシステムに通信可能に結合され、前記センサシステムにより取得された前記３次元のユーザの動きに関連するデータの明確さと、前記３次元のユーザの動きに関する正しい入力ジェスチャー識別の可能性とを示す、前記デバイスのプロパティを識別し、前記デバイスのプロパティに基づいて、前記センサシステムの前記ＩＲ ＬＥＤまたは前記ＩＲ近接センサのうちの少なくとも１つの電力消費を規制するように構成されているセンサ制御装置モジュールと、
   前記センサシステムからのセンサデータを複数のフレーム間隔に分割するように構成されているフレーミングモジュールと、
   前記センサシステムと前記フレーミングモジュールとに通信可能に結合され、前記センサシステムにより取得された前記データから抽出された特徴に基づいて、入力ジェスチャーを識別し、現在のフレーム間隔に関連付けられたセンサデータを、少なくとも１つの履歴フレーム間隔に関連付けられたセンサデータと比較して、前記現在のフレーム間隔に関連付けられたセンサデータと前記少なくとも１つの履歴フレーム間隔に関連付けられたセンサデータとの間の分散を判定し、前記分散が、予め定められているしきい値を超えることに応じて、前記入力ジェスチャーの存在を識別するように構成されているジェスチャー認識モジュールと、
   を具備する移動コンピューティングデバイス。
2. 前記センサ制御装置モジュールに通信可能に結合され、前記デバイスが位置付けられているエリアの周辺光レベルを識別するように構成されている周辺光センサをさらに具備し、
   前記センサ制御装置モジュールは、前記周辺光レベルにしたがって前記ＩＲ ＬＥＤの電力レベルを調節するようにさらに構成され、
   ている請求項１記載のデバイス。
3. 前記センサ制御装置モジュールに通信可能に結合され、前記デバイスに関するユーザインタラクションの範囲を判定するように構成されているアクティビティモニタモジュールをさらに具備し、
   前記センサ制御装置モジュールは、前記ユーザインタラクションの範囲にしたがって前記センサシステムの前記電力消費を規制するようにさらに構成されている請求項１記載のデバイス。
4. 前記センサ制御装置モジュールは、前記ユーザインタラクションの範囲が予め規定されているしきい値を下回ると判定された場合に、前記センサシステムをスロット動作モードにするようにさらに構成されている請求項３記載のデバイス。
5. 前記デバイスは、少なくとも２つの前向きのエッジを具備し、前記センサシステムのＩＲ ＬＥＤおよびＩＲ近接センサは、前記デバイスの前記前向きのエッジのうちの少なくとも２つ上に位置付けられており、前記デバイスのプロパティは、前記デバイスの向きを含み、前記センサ制御装置モジュールは、前記デバイスの向きに基づいて、前記デバイスの前記前向きのエッジのうちの少なくとも１つ上に位置付けられているＩＲ ＬＥＤおよびＩＲ近接センサを選択的にアクティブ化するようにさらに構成されている請求項１記載のデバイス。
6. 前記デバイスは、
   少なくとも１つの前向きのエッジと、
   前記少なくとも１つの前向きのエッジに沿って位置付けられている１つ以上の開口とをさらに具備し、
   前記１つ以上の開口は、ＩＲ透過型マテリアルによりカバーされており、前記センサシステムのＩＲ ＬＥＤまたはＩＲ近接センサのうちの１つは、前記１つ以上の開口のそれぞれの後ろに位置付けられている請求項１記載のデバイス。
7. 前記センサシステムは、前記ＩＲ ＬＥＤおよび前記ＩＲ近接センサにそれぞれ結合されているライザーをさらに備え、
   前記ＩＲ ＬＥＤおよび前記ＩＲ近接センサが前記ライザーにより引き上げられる、 請求項１記載のデバイス。
8. 前記ジェスチャー認識モジュールは、相互相関、線形回帰または信号統計のうちの少なくとも１つに基づいて、前記入力ジェスチャーを識別するようにさらに構成されている請求項１記載のデバイス。
9. 前記センサシステムは、複数の動いているオブジェクトを参照して、前記３次元のユーザの動きに関連する前記データを取得するように構成されている請求項１記載のデバイス。
10. コンピューティングデバイスに対するジェスチャーベースの入力メカニズムを管理する方法において、
    前記ジェスチャーベースの入力メカニズムにより実行されるジェスチャー分類の精度に関連する、前記コンピューティングデバイスのパラメータを識別することと、
    前記コンピューティングデバイスの前記パラメータに基づいて、前記ジェスチャーベースの入力メカニズムの少なくとも赤外線（ＩＲ）発光ダイオード（ＬＥＤ）またはＩＲ近接センサの電力消費レベルを管理することと、
    センサデータを複数のフレーム間隔に分割することと、
    現在のフレーム間隔に関連付けられたセンサデータを、少なくとも１つの履歴フレーム間隔に関連付けられたセンサデータと比較して、前記現在のフレーム間隔に関連付けられたセンサデータと前記少なくとも１つの履歴フレーム間隔に関連付けられたセンサデータとの間の分散を判定することと、
    前記分散が、予め定められているしきい値を超えることに応じて、前記センサデータにおける入力ジェスチャーの存在を識別することとをさらに含む方法。
11. 前記識別することは、前記コンピューティングデバイスに関係するエリアの周辺光レベルを識別することを含み、前記管理することは、前記周辺光レベルにしたがって前記ＩＲ ＬＥＤの電力レベルを調節することを含む請求項１０記載の方法。
12. 前記識別することは、前記ジェスチャーベースの入力メカニズムを介しての、前記コンピューティングデバイスとのユーザインタラクションの範囲を判定することを含み、
    前記管理することは、
    前記ユーザインタラクションの範囲をしきい値と比較することと、
    前記範囲インタラクションのレベルが前記しきい値を下回る場合に、前記ジェスチャーベースの入力メカニズムを電力セービングモードにすることとを含む請求項１０記載の方法。
13. 前記識別することは、前記コンピューティングデバイスの向きを識別することを含み、前記管理することは、前記コンピューティングデバイスの向きに基づいて、前記ＩＲ ＬＥＤまたは前記ＩＲ近接センサをアクティブ化またはデアクティブ化することを含む請求項１０記載の方法。
14. 前記分類することは、相互相関、線形回帰または信号統計のうちの少なくとも１つに基づいて、前記フレーム間隔のそれぞれ１つ中で表されている前記ジェスチャーを分類することを含む請求項１０記載の方法。
15. 複数の動いているオブジェクトに関連するセンサデータを取得することをさらに含む請求項１０記載の方法。
16. 移動コンピューティングデバイスにおいて、
    前記デバイスとのユーザインタラクションに関連する赤外線（ＩＲ）光ベースの近接センサデータを取得するように構成されているセンサ手段と、
    前記センサ手段に通信可能に結合され、前記デバイスのプロパティを識別し、前記デバイスの前記プロパティに基づいて、前記センサ手段の少なくとも一部の電力消費を管理するように構成されている制御装置手段と、
    前記センサデータを複数のフレーム間隔に分割する手段と、
    現在のフレーム間隔に関連付けられたセンサデータを、少なくとも１つの履歴フレーム間隔に関連付けられたセンサデータと比較して、前記現在のフレーム間隔に関連付けられたセンサデータと前記少なくとも１つの履歴フレーム間隔に関連付けられたセンサデータとの間の分散を判定する手段と、
    前記分散が、予め定められているしきい値を超えることに応じて、入力ジェスチャーの存在を識別する手段を具備する移動コンピューティングデバイス。
17. 前記制御装置手段は、前記デバイスに関係するエリアにおける周辺光レベルを測定し、前記周辺光レベルに基づいて、前記センサ手段の少なくとも一部の前記電力消費を調節するようにさらに構成されている請求項１６記載のデバイス。
18. 前記制御装置手段は、前記デバイスとのユーザインタラクションの範囲を判定し、前記デバイスとのユーザインタラクションの範囲にしたがって前記センサ手段の少なくとも一部の前記電力消費を調節するようにさらに構成されている請求項１６記載のデバイス。
19. 前記制御装置手段は、前記デバイスとのユーザインタラクションが時間間隔内に前記センサ手段により識別されなかったと判定された場合に、前記センサ手段を電源オフするようにさらに構成されている請求項１８記載のデバイス。
20. 前記制御装置手段は、前記デバイスとのユーザインタラクションの範囲がしきい値を下回る場合に、前記センサ手段を電力セーブ動作モードにするようにさらに構成されている請求項１８記載のデバイス。
21. 前記センサ手段は、複数のセンサエレメントを備え、前記制御装置手段は、前記デバイスの向きに基づいて、前記複数のセンサエレメントのうちの１つ以上を選択的にアクティブ化するようにさらに構成されている請求項１６記載のデバイス。
22. 前記センサ手段に通信可能に結合され、前記近接センサデータ中に表されている入力ジェスチャーを識別することにより、前記近接センサデータを分類するように構成されているジェスチャー手段をさらに具備する請求項１６記載のデバイス。
23. プロセッサ読取可能命令を含むプロセッサ読取可能記憶媒体において、
    前記プロセッサ読取可能命令は、
    赤外線（ＩＲ）発光ダイオード（ＬＥＤ）からの光の反射を測定する、移動デバイスに関係するＩＲ近接センサから、３次元のユーザの動きデータをプロセッサに取得させ、
    前記３次元のユーザの動きデータの精度を示す、前記移動デバイスのプロパティを前記プロセッサに識別させ、
    前記移動デバイスのプロパティに基づいて、前記ＩＲ ＬＥＤおよびＩＲ近接センサのうちの少なくとも一部の電力使用量を前記プロセッサに規制させ、
    センサデータを複数のフレーム間隔に分割させ、
    現在のフレーム間隔に関連付けられたセンサデータを、少なくとも１つの履歴フレーム間隔に関連付けられたセンサデータと比較して、前記現在のフレーム間隔に関連付けられたセンサデータと前記少なくとも１つの履歴フレーム間隔に関連付けられたセンサデータとの間の分散を判定させ、
    前記分散が、予め定められているしきい値を超えることに応じて、前記センサデータにおける入力ジェスチャーの存在を識別させるように構成されているプロセッサ読取可能記憶媒体。
24. 前記移動デバイスの前記プロパティは、前記移動デバイスに関係するエリアにおける周辺光レベルを含む請求項２３記載のプロセッサ読取可能記憶媒体。
25. 前記移動デバイスの前記プロパティは、前記移動デバイスとのユーザインタラクションのヒストリを含む請求項２３記載のプロセッサ読取可能記憶媒体。
26. 前記移動デバイスの前記プロパティは、前記移動デバイスの向きを含む請求項２３記載のプロセッサ読取可能記憶媒体。
27. 前記１つ以上のジェスチャーを前記プロセッサに検出させるように構成されている前記命令は、
    それぞれのフレーム時間間隔にしたがって、前記３次元のユーザの動きデータを前記プロセッサにグループ化させ、
    前記３次元のユーザの動きデータから特徴を前記プロセッサに抽出させ、
    前記３次元のユーザの動きデータから抽出された前記特徴に基づいて、前記フレーム時間間隔のそれぞれ１つ内で提供される入力ジェスチャーを前記プロセッサに識別させるようにさらに構成されている請求項２３記載のプロセッサ読取可能記憶媒体。
28. 前記入力ジェスチャーを前記プロセッサに識別させるように構成されている命令は、相互相関、線形回帰または信号統計のうちの少なくとも１つに基づいて、前記入力ジェスチャーを前記プロセッサに識別させるようにさらに構成されている請求項２７記載のプロセッサ読取可能記憶媒体。

Images