JP5362812B2 - インタラクティブアプリケーションのインタフェースとなる一体型カメラを備えたコントローラおよびその方法 - Google Patents

Description

ビデオゲーム産業は、長年にわたり多くの変化を遂げてきた。コンピュータの演算能力の向上に伴い、ビデオゲームの開発者らも、このような演算能力の高度化を利用したゲームソフトウェアを制作してきた。このため、ビデオゲームの開発者らは、ゲーム体験にリアル感を出せるように高度な演算や数学的処理を取り入れたゲームのコーディングを行ってきた。

ゲームのプラットフォームの例として、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（登録商標）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ２（ＰＳ２）（登録商標）、およびＳｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ３（ＰＳ３）があり、いずれもゲームコンソールの形態で販売されている。周知のように、ゲームコンソールは、モニタ（通常、テレビ受像器）と接続して、ハンドヘルドコントローラを介してユーザインタラクション（ユーザとの対話）が可能になるように設計されている。ゲームコンソールは、ＣＰＵ、重いグラフィック演算を処理するためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル演算ユニット、および他の付随するハードウェア、ファームウェア、およびソフトウェアを含む専用の処理ハードウェアで設計されている。ゲームコンソールは、ゲームコンソールを介してローカルでプレイするためのゲームコンパクトディスクを収容する光ディスクトレイを備えるようにさらに設計される。また、ユーザがインターネット上で他のユーザとインタラクティブな対戦プレイまたは協力プレイができるオンラインゲームも可能である。

ゲーム体験のリアル感は着実に向上を遂げてきたが、ユーザは、ゲームプラットフォームとのインタラクションに専用ゲームコントローラを使い続けている。ユーザインタラクションはある程度の前進を遂げてきたが、ゲームコンソールを使用する全体的な体験を改善しうるさらなるユーザインタラクションの手段は他にもあると考えられる。

以上のような背景から、本発明の実施形態が生まれた。

広義に言えば、本発明により、ユーザは、関連付けられた、または一体化された深度カメラを有するコントローラを用いて、コンピュータシステムとインタラクションすることができる。コントローラを較正するために、深度カメラは、空間内の画像および深度データをキャプチャするために使用されうる。深度カメラ、ひいては空間内でのコントローラの相対位置を決定するために、連続した画像および深度データが使用されうる。

１つの実施形態において、三次元空間におけるコントローラの位置を決定するためのコンピュータで実行される方法が開示される。この方法は、コントローラと一体化された深度カメラを用いて、三次元空間内の複数の固定点から認識された固定点群を特定するためのコンピュータプログラムを較正する動作を含む。別の動作は、アプリケーションとのインタフェース接続中にコントローラおよび深度カメラの使用を作動させる。コントローラの使用中、三次元空間内の画像および深度データは、コントローラの深度カメラでキャプチャされる。別の動作において、画像および深度データは、認識された固定点群の１つ以上を検出するために解析される。１つの実施形態において、前述した２つの動作が繰り返され、認識された固定点群の中から求めた固定点の位置の変化に基づいて、コントローラの位置の変化が決定される。この方法はまた、コントローラの位置の決定された変化に基づいて、アプリケーションによるアクションを引き起こす入力コマンドをトリガするための動作を含む。

別の実施形態において、コンピュータシステムとインタラクションを行うためのコンピュータで実行される方法が開示されている。この方法は、コンピュータシステム上で実行されるインタラクティブ（対話型）セッションを開始し、メモリから保存されたコントローラ較正の結果を自動的に適用する動作を含む。別の動作において、この方法は、モバイル深度カメラを備えたコントローラへの入力を受ける。１つの動作において、空間内の画像および深度データは、モバイル深度カメラでキャプチャされる。別の動作において、画像および深度データは、１つ以上の認識された固定点に対して解析される。１つの実施形態において、前述した２つの動作が繰り返され、空間内でのモバイル深度カメラの動きが、認識された固定点の間の差に基づいて決定される。この方法はまた、インタラクティブセッション内のアクションを引き起こす入力コマンドが、モバイル深度カメラの動きに基づいてトリガされる動作を含む。

別の実施形態において、コンピュータシステムのハンドヘルドコントローラが開示される。ハンドヘルドコントローラは、取り囲む外部および内部ボリュームによって規定されたコントローラハウジングを含む。コントローラはまた、ハウジングの外部に部分的に露出されたインタフェースコントロールを含む。また、コントローラには、深度カメラアセンブリが含まれる。深度カメラアセンブリは、深度モジュールと、画像モジュールと、処理ロジックとを含む。深度モジュールおよび画像モジュールは、カメラレンズを通して画像および深度データを受信するように構成され、通信モジュールは、深度カメラアセンブリの処理ロジックからコンピュータシステムへデータの送受信を行うように構成される。深度カメラアセンブリによって受信された画像および深度データが変化すると、コンピュータシステムへの入力コマンドがトリガされる。

さらなる別の実施形態において、ディスプレイ上でのインタラクティブセッションを表示するように構成されたインタラクティブコンピューティングシステムが開示される。コンピューティングシステムは、中央演算処理装置と、グラフィック処理装置と、通信インタフェースとを備えたコンピューティングコンソールを含む。通信インタフェースは、コンピューティングコンソールとの間で通信を行うように構成される。コンピュータシステムはまた、深度カメラを備えたコントローラを含みうる。深度カメラは、深度モジュールと、画像モジュールと、処理ロジックとを備えるように構成される。コントローラはまた、深度カメラの処理ロジックからコンピューティングコンソールの通信インタフェースにデータを送受信するように構成される通信モジュールを含んでもよい。深度カメラによってキャプチャされた画像および深度データの変化は、コンピューティングシステムへの入力コマンドに変換される。

本発明の他の態様および利点は、例示的に、本発明の原理を示す添付の図面とともに、以下の詳細な説明から明らかになるであろう。

本発明は、本発明のさらなる利点とともに、添付の図面とともに以下の記載を参照することによって最良に理解されうる。

本発明の１つの実施形態による、コンソールがユーザによって使用されうる例示的な空間を示す。 本発明の実施形態による、モバイル深度カメラの選択コンポーネントを示す簡易図である。 本発明の実施形態による、モバイル深度カメラの選択コンポーネントを示す簡易図である。 本発明の１つの実施形態による、一体型深度カメラを備えた例示的なコントローラの外観図である。 本発明のさまざまな実施形態による、カメラおよびスクリーンに対してコントローラを較正するユーザを示す。 本発明のさまざまな実施形態による、カメラおよびスクリーンに対してコントローラを較正するユーザを示す。 本発明の１つの実施形態による、モバイル深度カメラから解析された画像および深度データを示す。 本発明の１つの実施形態による、空間内で認識された固定点を示す。 本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内にある認識された固定点を示す。 本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内にある認識された固定点を示す。 本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内の認識された固定点を示す。 本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内の認識された固定点を示す。 本発明の１つの実施形態による、モバイル深度カメラからの深度データが、空間内でのコントローラの位置を決定するために使用されるシーンの平面図を示す。 本発明の１つの実施形態による、空間内でのコントローラの位置を決定するためにモバイル深度カメラを使用するための動作を示す例示的なフローチャートである。 本発明の１つの実施形態による、空間内でのコントローラの位置を決定するために、モバイル深度カメラを較正するための動作を示す例示的なフローチャートである。 本発明の１つの実施形態による、Ｓｏｎｙ（登録商標）Ｐｌａｙｓｔａｔｉｏｎ３（登録商標）エンタテインメントデバイス、ユーザ規定コントローラを生じるように三次元オブジェクトマッピングを利用可能なコンピュータシステムの全体的なシステムアーキテクチャを概略的に示す。

コンソール上でのインタラクティブセッションを制御するために、モバイル深度カメラによってキャプチャされた画像および深度データを使用するための発明が開示される。広義には、コンソールは、汎用コンピュータ（例えば、デスクトップ、ノートブック、ハンドヘルドデバイス、スマートフォンなど）や、ゲームコンソールなどの特定用途コンピュータなど、ユーザからの入力を受ける任意のタイプのシステムでありうる。モバイル深度カメラは、コンソールに対するコントローラまたはコントローラ内に装着され、画像データに沿って幾何学的深度データをキャプチャするために使用されうる。深度カメラは、解析および処理を行うためにコンソールに画像および深度データを与えうる。１つの実施形態において、深度カメラは、単レンズカメラであり、他の実施形態において、画像および深度データをキャプチャするために、複数のカメラレンズが使用されうる。モバイル深度カメラによってキャプチャされた画像および深度データは、空間内のコントローラおよび深度カメラの動きを決定するために解析されうる。コントローラの動きは、コンソール上のインタラクティブセッションのさまざまな態様を制御するために処理されマッピングされうる。

以下の記載において、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、当業者であれば、本発明はこれらの特定の詳細のうちのいくつか、あるいはすべてがなくとも実施可能なことは明白であろう。他の例において、本発明を不要に不明瞭にしないように、公知のプロセスステップについては詳細には記載しない。

図１は、本発明の１つの実施形態による、コンソール１０６がユーザ１０２により使用されている例示的な空間１００を示す。空間１００は、シェルフユニット１１２ａ／ｂおよびモニタ１０８とともにテーブル１１４を含みうる。いくつかの実施形態において、モニタ１０８は、種々のビデオ入力を表示可能な陰極線管（ＣＲＴ）モニタである。他の実施形態において、モニタ１０８は、種々のビデオ入力（アナログまたはディジタル）を受けるように構成された液晶ディスプレイ（ＬＣＤ）などのフラットパネルモニタや、プラズマモニタである。

モニタ１０８には、ローカルまたはリモート格納されたソフトウェアプログラムを実行可能なさまざまなハードウェアおよびファームウェアを含むコンソール１０６が接続されている。１つの実施形態において、ソフトウェアプログラムは、グラフィックユーザインタフェース（ＧＵＩ）のビデオをモニタ１０８に出力するオペレーティングシステムでありうる。ユーザ１０２は、モバイル深度カメラ１０５を含むコントローラ１０４を用いて、ＧＵＩを介してコンソール１０８とインタラクションを行うことができる。モバイル深度カメラ１０５は、視野１０５ａ内の画像および深度データをキャプチャする。空間１００内でのコントローラ１０４の相対位置を決定するために、モバイル深度カメラ１０５でキャプチャされた画像および深度データの解析が実行されうる。

コントローラ１０４は、ディジタルおよび／またはアナログボタン、トリガ、ジョイスティック、およびタッチパッドの組み合わせなど、種々のユーザ入力を受けうるが、ユーザ入力はこれらに限定されるものではない。さらに、コントローラ１０４内の加速度計により、コンソール１０６は、コントローラ１０４へユーザ１０２によって与えられた動きに応答することができる。例えば、一体化された加速度計を用いて、回転、ピッチ、および揺れのようなコントローラに与えられる動きまたは動きの組み合わせが検出され、コンソール１０６によって実行されているソフトウェアとのインタラクションに使用されうる。いくつかの実施形態において、コンソール１０６とコントローラ１０４とは有線により物理的に結合し、それらの間の通信を容易にする。他の実施形態において、コントローラ１０４は、ＢｌｕｅｔｏｏｔｈおよびＷｉ−Ｆｉなどを含むが、これらに限定されるものではない無線プロトコルを用いて、コンソール１０６に無線通信されうる。

また、固定深度カメラ１１０がコンソール１０６に結合されてもよく、固定深度カメラ１１０が、テーブル１１４、ユーザ１０２、およびコントローラ１０４を含む視野１１０ａを有するように配置されうる。モバイル深度カメラ１０５と同様に、固定深度カメラ１１０は、視野１１０ａ内の物体の画像および深度データをキャプチャしうる。１つの実施形態において、固定深度カメラ１１０とモバイル深度カメラ１０５の両方からの画像および深度データが、空間１００内のコントローラ１０４の相対位置を決定するために使用される。

図２Ａ−１および図２Ａ−２は、本発明の実施形態による、モバイル深度カメラ１０５の選択コンポーネントを示す簡易図である。簡潔にするために、コントローラ１０４内のさらなるコンポーネントは図示していない。図２Ａ−１に示す実施形態において、モバイル深度カメラ１０５は、コントローラ１０４内に一体化される。図２Ａ−２において、モバイル深度カメラ１０５は、コネクタ２２０ａ（例えば、ＵＳＢまたは他の電気コネクタ）を用いて、コントローラ１０４上の外部ポート２２０ｂに取り付けられうる外部モジュールとして示される。いずれの実施形態においても、モバイル深度カメラ１０５は、レンズ２００と、画像モジュール２０４および深度モジュール２０２と、ロジック処理２０６とを含みうる。深度モジュール２０２は、種々のセンサと、エミッタと、ロジックとを含みうる。１つの実施形態において、複数の赤外線（ＩＲ）エミッタが、レンズ２００の周りのアレイに配設されうる。ＩＲエミッタは、コントローラ１０４の前方にある物体から反射されるＩＲ光のパルスを送信するために使用されうる。ＩＲエミッタに関連付けられたセンサが、コントローラ１０４からの物体の距離、いわゆる深度を決定しやすいようにするために、反射されたＩＲパルスが戻る時間を測定しうる。

いくつかの実施形態において、深度カメラ１０５の視野内の特定エリアに深度モジュールの焦点を合わせるために、深度モジュール２０２に関連付けられたロジックが使用されうる。深度モジュール２０２の焦点合わせは、種々の技術を用いて達成されうる。１つの実施形態において、異なる波長を有するＩＲエミッタが、ＩＲエミッタのアレイ内で使用されうる。さらに、異なるエミッタは、深度カメラ１０５の視野内の特定のエリアに深度検出を集束するために、異なる時間および／または異なる強度でパルス伝送されうる。

画像モジュール２０４は、電荷結合素子（ＣＣＤ）または他のタイプのセンサを用いて、レンズ２００を通して画像データをキャプチャするように構成されうる。１つの実施形態において、ロジックモジュール２０６は、画像モジュール２０４および深度モジュール２０２の両方からのデータを入力しうる。ロジックモジュール２０６はまた、画像モジュール２０４または深度モジュール２０２のいずれかの焦点を変更するために、コンソール１０６からのコマンドを受け取り解読しうる。無線を用いたコントローラ１０４の実施形態において、通信モジュール２０８が、コントローラ１０４とコンソール１０６との間の双方向通信を可能にする。このようにして、ロジックモジュール２０６からの信号は、コンソール１０６へ、およびその逆へ送信される。１つの実施形態において、通信モジュール２０８は、ＩＥＥＥ８０２．１１無線プロトコルの形式を用いてデータを送信しうる。別の実施形態において、コントローラ１０４からコンソール１０６へデータを送信するために、Ｂｌｕｅｔｏｏｔｈ通信規格の形式が使用される。

図２Ｂは、本発明の１つの実施形態による、一体化された深度カメラ１０５を有する例示的なコントローラ１０４の外観図である。コントローラ１０４の外部に、レンズ２００が見られる。また、コントローラ１０４の外部には、ユニバーサルシリアルバス（ＵＳＢ）ポート２１０、ボタン２１４ａ／ｂおよび２１６ａ／ｂ、およびジョイスティック２１２ａ／ｂが見られる。ボタン２１４ａ／ｂおよび２１６ａ／ｂ、およびジョイスティック２１２ａ／ｂは、アナログであってもディジタルであってもよく、ユーザとコンソールとをつなぐインタフェースとなりうる。コントローラ１０４は、ＵＳＢポート２１０を経由してコンソールに接続されると充電されうる。

図３Ａおよび図３Ｂは、本発明のさまざまな実施形態による、カメラ１１０およびスクリーン１０８に対してコントローラ１０４を較正するユーザ１０２を示す。空間内においてコントローラの位置を較正するために、ユーザ１０２は、コントローラ１０４を第１の位置に保持するために、画面上での命令、音声による命令、またはそれらの組み合わせを介して促されてもよい。これにより、モバイル深度カメラ１０５は、視野１０５ａ内での物体の画像および深度データをキャプチャできるようになる。この実施形態において、モニタ１０８および固定深度カメラ１１０は共に、モバイル深度カメラ１０５の視野１０５ａ内にある。第２の位置へ移動するように促された後、モバイル深度カメラ１０５’とともにコントローラ１０４’は、第２の視野１０５ａ’内のさらなる画像および深度データをキャプチャしうる。

図３Ｂは、本発明の１つの実施形態による、モバイル深度カメラ１０５を較正するさいの他の可能なステップを示す。この実施形態において、ユーザ１０２は、モニタ１０８、固定深度カメラ１１０、およびシェルフユニット１１２ａ／ｂの前方に立っている。さまざまな角度からの画像および深度データをキャプチャするために、ユーザ１０２は、一人のユーザ１０２’および／または複数のユーザ１０２’’の位置を想定するように促されてもよい。さまざまな位置において、モバイル深度カメラ１０５は、それぞれの視野内にあるシェルフユニット１１２ａ／ｂ、モニタ１０８、および固定深度カメラ１１０の画像および深度データをキャプチャしうる。他の実施形態において、較正は、ユーザ１０２、１０２’、および１０２’’がさまざまな位置にいる間、コントローラ１０４を上昇させたり、下降させたり、傾けたり、揺らしたりすることが必要な場合がある。

図４Ａは、本発明の１つの実施形態による、モバイル深度カメラ１０５からの解析された画像および深度データを示す。固定点４００は、深度カメラ１０５の較正中にキャプチャされた画像および深度データに基づいて決定されうる。いくつかの実施形態において、コンソールは、コントローラおよび一体型のモバイル深度カメラの視野内にある静止物体のワイヤフレームワークを作成するために、画像および深度データを解析するソフトウェアを実行しうる。コントローラの動きを決定するためにモバイル深度カメラが使用されると、モバイル深度カメラからのリアルタイム画像が、ワイヤフレームモデルを使用して発生したデータと比較されうる。このような実施形態において、画像および深度データからキャプチャされたワイヤフレーム要素の異なる比率が、コントローラの位置を決定するために使用されうる。他の実施形態において、コンソールは、固定点をつなぎ、より小さな認識された固定点セットを発生させるために、画像および深度データを解析しうる。

図４Ｂは、本発明の１つの実施形態による、空間１００内で認識された固定点を示す。コントローラを較正するさい、画像および深度データは、モバイル深度カメラの視野内で認識された固定点を決定するために解析されうる。１つの実施形態において、認識された固定点は、図４Ａに特定されたものと同様のより大きな固定点セットから選択される。コンソールは、空間内の種々の角度および位置からキャプチャされた大きな固定点セットに対する画像および深度データを解析するためのソフトウェアを実行しうる。大きな固定点セットを解析することで、大きな固定点セットがフィルタリングされて、所定の基準に基づいて認識されたより小さな固定点セットになりうる。

１つの実施形態において、大きな固定点セットから認識された固定点が、固定点と周囲の点との間の相対深度対比に基づいて選択されうる。例えば、シーン１００において、認識された固定点４０２、４０４、４１０、および４１２は、シェルフ１１２ａおよび１１２ｂの角の突起を理由に選択されうる。認識された固定点４０４〜４０４および４１０〜４１２の深度データは、シーン１００内の他の物体と比較して、シェルフの角の突起に基づいて、より容易に分析され認識されうる。同様に、認識された固定点４０６および４０８の深度データは、モニタ１０８の相対位置に基づいて分析されうる。

また、認識された固定点を決定するために、深度データとともに画像データが使用されうる。認識された固定点として使用可能な固定点を決定するさいに、深度データを補足するために、相対ピクセル位置とともに色対比が使用されうる。いくつかの実施形態において、深度データは、空間１００内の照明条件の変動により、認識された固定点を決定するさい、より広範囲に使用されうる。

図５Ａおよび図５Ｂは、本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内の認識された固定点を示す。図５Ａの左半分は、ユーザ１０２がモバイル深度カメラ１０５を有するコントローラ１０４を保持した状態にあるシーン１００の側面図を示す。図５Ａの右半分は、本発明の１つの実施形態による、モバイル深度検知カメラ１０５を用いた、シーン１００のキャプチャ画像を示す。

図５Ａにおいて、ユーザ１０２は、モバイル深度カメラの視野が実質的に真っ直ぐになるようにコントローラ１０４を保持している。これにより、モバイル深度カメラ１０５の視野は、図５Ａの右半分に示す画像になる。説明したように、深度データは伝達されないが、認識された固定点４０２、４０８、４１８、および４２０が特定された。

図５Ｂの左側において、ユーザ１０２は、コントローラを前方に倒しているため、モバイル深度カメラの視野がわずかに下向きになる。これにより、図５Ｂの右側に見られる画像が得られ、モバイル深度カメラの視野内には、認識された固定点４１８および４２０しかないことになる。図５Ａおよび図５Ｂからの画像および深度データを比較することによって、コンソールによって実行されるソフトウェアは、ユーザがコントローラ１０４を前方に倒していることを決定しうる。１つの実施形態において、図５Ｂ内に認識された固定点４０２および４０８がないということは、コントローラ１０４の位置が変化したことを示しうる。他の実施形態において、画像データは、距離の相対変化を決定するために使用されうる。例えば、相対変化は、図５Ａの距離Ｘから図５Ｂの距離Ｘ’までの変化に基づいて決定されうる。同様に、コントローラ１０４の相対運動を決定するために、図５Ａの距離Ｙと図５Ｂの距離Ｙ’との相対変化が使用されうる。

図６Ａおよび図６Ｂは、本発明の１つの実施形態による、モバイル深度カメラの視野からのシーン内の認識された固定点を示す。図６Ａおよび図６Ｂの左側は、モバイル深度カメラ１０５を有するコントローラ１０４を保持する、空間１００内のユーザ１０２の平面図を示す。図６Ａおよび図６Ｂの右側は、モバイル深度カメラ１０５によってキャプチャされた空間１００の図を示す。図６Ａにおいて、ユーザ１０２は、モニタ１０８に向かって前方に向いた状態に示されている。キャプチャされた画像は、比較的に真っ直ぐに水平であり、これは、モバイル深度カメラ、ひいては、コントローラが、比較的水平な位置、すなわち、揺れ、ピッチ、回転が比較的ない状態に維持されていることを示す。図６Ｂに示すように、ユーザ１０２が左側に向いたことで、コントローラは、図６Ａの画像に対して左側に振れている。これにより、モバイル深度カメラ１０５は、図６Ｂの右側に見られる画像をキャプチャする。

モバイル深度カメラ１０５が図６Ａの位置に対して左側に振れると、視野内の物体も変化する。シェルフ１１２ｂの認識された点は、図６Ａに見られるが、同じ認識された点は、図６Ｂでは見られない。モバイル深度カメラの視野内の認識された点に基づいて、コントローラの位置および向きは、コントローラの較正中にキャプチャされた画像および深度データに基づいて決定されうる。

図６Ｃは、本発明の１つの実施形態による、空間内のコントローラの位置を決定するために、モバイル深度カメラからの深度データが使用されるシーンの平面図を示す。１つの実施形態において、モバイル深度カメラによってキャプチャされた深度データは、空間内でのコントローラの位置を決定するために、画像データと組み合わせて使用されうる。図６Ｃに示すように、モバイル深度カメラは、モニタ１０８から距離Ｚ１の位置で、コントローラ１０４がユーザ１０２によって保持されていることを決定しうる。ユーザ１０２がユーザ１０２’の位置に移動すると、モバイル深度カメラによってキャプチャされた深度データは、コントローラ１０４’からモニタ１０８までの距離Ｚ２を測定しうる。

ユーザ１０２自体が距離Ｚ２まで移動した状態が示されているが、モバイル深度カメラは、ユーザ１０２が腕を使ってコントローラを前後に動かす動きに基づいて、距離の変化を決定しうる。例えば、モバイル深度カメラは、ユーザ１０２がコントローラを身体の近くに保持したとき、モニタ１０８までの距離Ｚ１を決定しうる。同様に、モバイル深度カメラは、ユーザが腕をモニタ１０８の方へ伸ばしたとき、モニタ１０８までの距離の変化を決定しうる。

いくつかの実施形態において、Ｚ１からＺ２までの距離の変化は、モニタ１０８上に表示されるセッションとインタラクションを行うために使用されうる。例えば、深度データおよび画像データは、三次元の仮想世界で対応する動きを決定するために処理されうる。１つの実施形態において、コントローラがモニタに向かって移動している間に深度データがキャプチャされると、モニタ１０８上には前進運動が表示されうる。同様に、コントローラがモニタから離れる方向に移動している間に深度データがキャプチャされると、モニタ上には後進運動が表示されうる。

図７は、本発明の１つの実施形態による、空間内でのコントローラの位置を決定するために、モバイル深度カメラを使用する動作を示す例示的なフローチャートである。環境設定モジュール７００が、コントローラを較正する動作７０４と、コントローラの較正の結果をメモリに保存する動作７０６とを実行しうる。コントローラが較正されると、動作７０８は、インタラクティブセッションを開始する。１つの実施形態において、インタラクティブセッションは、コンピューティングコンソールによって実行され、インタラクティブゲームや、オペレーティングシステム、インターネットウェブブラウザ、およびディジタルフォトビューイングインタフェースのようなソフトウェアのグラフィックユーザインタフェースでありうるが、これらに限定されるものではない。コントローラの較正の結果がメモリに保存されうるため、いくつかの実施形態では、環境設定モジュール７００内での動作の実行が不要である。このような実施形態において、保存したコントローラの較正の結果は、インタラクティブセッションの開始前、開始後、または開始と同時にメモリから呼び出されうる。

他の実施形態において、環境設定モジュール７００は、インタラクティブセッションが開始された後に利用されうる。これらの実施形態により、コントローラは、特定のインタラクティブセッションの特定の微妙な差異に対してコントローラをカスタマイズできる。例えば、フォトビューイングのインタラクティブセッションの場合、モニタの方へコントローラを移動させることで、ユーザは、ディスプレイ上の画像を拡大できる。同様に、種々のインタラクティブゲーミングセッションにより、ユーザは、ゲームの種類に基づいてコントローラを較正可能であってもよい。モバイル深度カメラによってキャプチャされた深度データは、自動車運転シミュレーションの一面を制御するために利用されうるが、深度データの変化は、ファーストパーソンシューター（ＦＰＳ：Ｆｉｒｓｔ−Ｐｅｒｓｏｎ−Ｓｈｏｏｔｅｒ）において異なるものに使用されえ、深度データの同じ変化が、大規模多人数参加型オンラインロールプレイングゲーム（ＭＭＯＲＰＧ：Ｍａｓｓｉｖｅ Ｍｕｌｔｉｐｌａｙｅｒ Ｏｎｌｉｎｅ Ｒｏｌｅ Ｐｌａｙｉｎｇ Ｇａｍｅ）においてまったく異なるものを制御するために使用されうる。

インタラクティブセッションが、カスタマイズされたコントローラの較正を有する場合、環境設定モジュールは、ユーザがコントローラを較正し、コントローラの較正の結果をメモリに保存するように促してもよい。引き続き、インタラクティブセッションを開始すると、保存されたコントローラの較正の結果が自動的にロードされうる。複数のユーザが複数の較正の結果を格納しうる実施形態において、デフォルトの較正の結果がロードされてもよく、ユーザは、複数のユーザを表示するメニューから保存した較正の結果をロードするように選択しうる。

インタラクティブセッションが実行されているとき、画像処理モジュール７０２内の動作により、ユーザはインタラクティブセッションとのインタラクションが可能である。インタラクティブセッションが開始されると、動作７１６において、モバイル深度カメラのサンプルレートが設定されうる。サンプルレートは、インタラクティブセッションによって要求される正確さや精度に基づいて変動しうる。インターネットのウェブブラウザでのナビゲーションやオペレーティングシステムに対するグラフィックユーザインタフェースの利用のような実施形態において、サンプルレートは、ＦＰＳのものより低いものであってもよい。他の実施形態において、サンプルレートは、インタラクティブセッション中に継続的に修正されうる。

例えば、モバイル深度カメラのサンプルレートは、正確さおよび精度が要求されるときに上げられ、引き続き、正確さおよび精度が要求されなくなれば下げられうる。これを利用可能な多くの実施例の１つは、ユーザが狙撃銃を使うＦＰＳである。狙撃銃の使用が難しいことをより現実的にシミュレートするために、モバイル深度検知カメラのサンプルレートは、ユーザの手の微小な動きをキャプチャして仮想狙撃銃の動きをシミュレートするために上げられうる。ユーザが狙撃銃を使わなくなれば、モバイル深度検知カメラの画像処理要求を下げるために、サンプルレートは、連続的に下げられうる。いくつかの実施形態において、コントローラ１０４内のプロセッサが、画像および深度データ処理を実行する。他の実施形態において、モバイル深度カメラからの画像および深度データは、指定されたサンプルレートでサンプリングされ、処理を行うためのコンピューティングコンソール１０６に送信される。いずれの実施形態においても、さらなる処理のために、コンソール１０６に処理済みのデータまたは生データを送信するように要求された帯域幅を低減するための圧縮技術が用いられてもよい。

動作７１０では、モバイル深度カメラを用いて画像および深度データの第１のフレームをキャプチャする。動作７１２において、キャプチャされた画像および深度データは、画像内の認識された固定点を決定するために解析される。動作７１４では、認識された固定点に基づいて空間内の相対位置を決定する。動作７１６では、動作７１０を用いて画像および深度データの第２のフレームをキャプチャするときを決定するために、設定サンプルレートを用いる。動作７１８では、画像および深度データの第１のフレームと第２のフレームとの間の差を決定することによって、インタラクティブセッション内にアクションを生成する。

１つの実施形態において、画像処理モジュール７０２によって決定される動きは、コントローラ１０４へのさらなるユーザ入力を補足しうる。例えば、コントローラ１０４の揺れ、ピッチ、および回転を決定するために、画像および深度データに加えて、加速度計データが使用されうる。さらに、コントローラ１０４上のジョイスティック、ボタン、およびトリガが、さらなるユーザ入力を与えるように使用されうる。コントローラへのユーザ入力のさまざまな形態を組み合わせて使用できることから、動作７２０では、コントローラ１０４への入力に基づいてユーザインタラクションをディスプレイ１０８上に表示する。

図８は、本発明の１つの実施形態による、空間内でのコントローラの位置を決定するためにモバイル深度カメラを較正する動作を示した例示的なフローチャートである。動作８００で、コントローラの較正を開始する。前述したように、コントローラの較正は、インタラクティブセッションの開始前または開始後に実行されうる。動作８０２では、第１の場所から画像および深度データをキャプチャする。較正を行いやすいように、ユーザは、空間内の近い場所に立つように画面上の図で促されてもよい。画面上の図により、第２の場所に立つように指示を出してもよく、動作８０４で第２の場所から画像および深度データをキャプチャする。他の実施形態において、ユーザは、コントローラの揺れ、ピッチ、および回転の変化のような種々の向きにコントローラを保持するように促されてもよい。さらなる実施形態において、ユーザは、空間の床の上方のさまざまな高さにコントローラを保持するように促されてもよい。

動作８０６では、認識された固定点を特定するために、第１および第２の場所でキャプチャされた画像および深度データを比較する。動作８０８において、認識された固定点は、認識された固定点間の相対比を決定するために、空間のワイヤフレームモデルを作成するように使用されうる。次に、認識された固定点間の相対比は、空間内のコントローラの相対位置を決定するために使用されうる。動作７０６は、コントローラの較正の結果をメモリに保存するために使用される。

図９は、本発明の１つの実施形態による、ユーザ規定コントローラを生成するために動的三次元オブジェクトマッピングを利用可能なコンピュータシステムであるＳｏｎｙ（登録商標）Ｐｌａｙｓｔａｔｉｏｎ３（登録商標）エンタテインメントデバイスのシステムアーキテクチャ全体を概略的に示す。システムユニット１０００には、システムユニット１０００に接続可能なさまざまな周辺デバイスが設けられる。システムユニット１０００は、Ｃｅｌｌプロセッサ１０２８と、Ｒａｍｂｕｓ（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット１０２６と、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット１０３２を有するＲｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット１０３０と、Ｉ／Ｏブリッジ１０３４とを備える。システムユニット１０００はまた、Ｉ／Ｏブリッジ１０３４を通してアクセス可能な、ディスク１０４０ａからの読み取り用のＢｌｕ Ｒａｙ（登録商標）Ｄｉｓｋ ＢＤ−ＲＯＭ（登録商標）１０４０とリムーバブルスロットインハードディスクドライブ（ＨＤＤ）１０３６とを備える。任意に、システムユニット１０００はまた、同様にＩ／Ｏブリッジ１０３４を通してアクセス可能である、コンパクトフラッシュ（登録商標）メモリカード、Ｍｅｍｏｒｙ Ｓｔｉｃｋ（登録商標）メモリカードなどを読み取るためのメモリカードリーダ１０３８を備える。

Ｉ／Ｏブリッジ１０３４はまた、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート１０２４と、ギガビットＥｔｈｅｒｎｅｔ（登録商標）ポート１０２２と、ＩＥＥＥ８０２．１１ｂ／ｇワイヤレスネットワーク（Ｗｉ−Ｆｉ）ポート１０２０と、最大で７つのＢｌｕｅｔｏｏｔｈ接続までサポート可能なＢｌｕｅｔｏｏｔｈ（登録商標）ワイヤレスリンクポート１０１８とに接続する。

動作中、Ｉ／Ｏブリッジ１０３４は、１つ以上のゲームコントローラ１００２からのデータを含む、すべての無線、ＵＳＢ、およびＥｔｈｅｒｎｅｔ（登録商標）データを取り扱う。例えば、ユーザがゲームをプレイしているとき、Ｉ／Ｏブリッジ１０３４は、Ｂｌｕｅｔｏｏｔｈリンクを経由してゲームコントローラ１００２からデータを受信し、そのデータをＣｅｌｌプロセッサ１０２８に送り、Ｃｅｌｌプロセッサ１０２８は、それに応じてゲームの現在の状態を更新する。

無線、ＵＳＢ、Ｅｔｈｅｒｎｅｔ（登録商標）ポートはまた、ゲームコントローラ１００２に加えて他の周辺デバイスに対しての接続性も与え、他の周辺デバイスは、例えば、リモートコントロール１００４、キーボード１００６、マウス１００８、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ Ｐｏｒｔａｂｌｅ（登録商標）エンタテインメントデバイスのようなポータブルエンタテインメントデバイス１０１０、ＥｙｅＴｏｙ（登録商標）ビデオカメラ１０１２のようなビデオカメラ、およびマイクロホンヘッドセット１０１４などである。したがって、このような周辺デバイスは、原則的に、システムユニット１０００に無線接続されてもよく、例えば、マイクロホンヘッドセット１０１４は、Ｂｌｕｅｔｏｏｔｈリンクを経由して通信しながら、ポータブルエンタテインメントデバイス１０１０は、Ｗｉ−Ｆｉアドホック接続を経由させて通信してもよい。

これらのインタフェースがあるということは、言い換えれば、Ｐｌａｙｓｔａｔｉｏｎ３デバイスが、ディジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、ディジタルカメラ、ポータブルメディアプレイヤー、ボイスオーバーＩＰ電話、携帯電話、プリンタ、およびスキャナなどの他の周辺デバイスとの互換性を潜在的に備えているということである。

加えて、Ｐｌａｙｓｔａｔｉｏｎ（登録商標）またはＰｌａｙｓｔａｔｉｏｎ２（登録商標）デバイスによって使用されている種類のメモリカード１０４８を読み取れるように、ＵＳＢポート１０２４を経由してシステムユニットに従来のメモリカードリーダ１０１６が接続されてもよい。

この実施形態において、ゲームコントローラ１００２は、Ｂｌｕｅｔｏｏｔｈリンクを経由してシステムユニット１０００と無線通信するように動作可能である。しかしながら、ゲームコントローラ１００２は、その代わりに、ＵＳＢポート１０２４を経由ポートに接続されてもよく、それにより、ゲームコントローラ１００２のバッテリを充電するための電力が供給される。１つ以上のアナログジョイスティックおよび従来の制御ボタンに加えて、ゲームコントローラは、各軸の並進および回転に対応する６自由度の動きに感応する。結果的に、ゲームコントローラのユーザによるジェスチャや動きが、従来のボタンやジョイスティックコマンドに加えて、またはその代わりに、入力としてゲームに反映されてもよい。任意に、Ｐｌａｙｓｔａｔｉｏｎ Ｐｏｒｔａｂｌｅデバイスのような無線使用可能な他の周辺デバイスが、コントローラとして使用されてもよい。Ｐｌａｙｓｔａｉｏｎ Ｐｏｒｔａｂｌｅデバイスの場合、さらなるゲーム情報や制御情報（例えば、制御命令やライフ数）が、デバイスのスクリーン上に与えられてもよい。ダンスマット（図示せず）、光線銃（図示せず）、ハンドルとペダル（図示せず）、または迅速な応答を要するクイズゲーム用の１つまたは複数の大きなボタンのような特注コントローラ（図示せず）のような他の代替または補足的な制御デバイスが使用されてもよい。

リモートコントロール１００４はまた、Ｂｌｕｅｔｏｏｔｈリンクを経由してシステムユニット１０００と無線通信するように動作可能である。リモートコントロール１００４は、Ｂｌｕ Ｒａｙ Ｄｉｓｋ ＢＤ−ＲＯＭリーダ１０４０の動作およびディスクコンテントのナビゲーションに適したコントロールを備える。

Ｂｌｕ Ｒａｙ Ｄｉｓｋ ＢＤ−ＲＯＭリーダ１０４０は、従来の記録済みおよび記録可能なＣＤ、いわゆる、Ｓｕｐｅｒ Ａｕｄｉｏ ＣＤに加えて、ＰｌａｙｓｔａｔｉｏｎおよびＰｌａｙｓｔａｔｉｏｎ２と互換性のあるＣＤ−ＲＯＭを読み取るように動作可能である。リーダ１０４０はまた、従来の記録済みおよび記録可能なＤＶＤに加えて、Ｐｌａｙｓｔａｔｉｏｎ２およびＰｌａｙｓｔａｔｉｏｎ３デバイスと互換性のあるＤＶＤ−ＲＯＭを読み取るように動作可能である。リーダ１０４０は、さらに、従来の記録済みおよび記録可能なＢｌｕ−Ｒａｙ Ｄｉｓｋとともに、Ｐｌａｙｓｔａｔｉｏｎ３デバイスと互換性のあるＢＤ−ＲＯＭを読み取るように動作可能である。

システムユニット１０００は、Ｒｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット１０３０を経由して、オーディオおよびビデオコネクタを通って、モニタ、またはディスプレイ１０４４および１つ以上のスピーカー１０４６を有するテレビ受像機などのディスプレイおよび音声出力デバイスへ、Ｐｌａｙｓｔａｔｉｏｎ３デバイスによって発生または復号化されたオーディオおよびビデオを供給するように動作可能である。オーディオコネクタ１０５０は、従来のアナログおよびディジタル出力を含んでもよく、ビデオコネクタ１０５２は、コンポーネントビデオ出力、Ｓビデオ出力、複合ビデオ出力、および１つ以上のＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）出力を種々に含んでもよい。結果的に、ビデオ出力は、ＰＡＬまたはＮＴＳＣなどの形式、または７２０ｐ、１０８０ｉ、または１０８０ｐの高精細のものであってもよい。

オーディオ処理（生成、復号など）が、Ｃｅｌｌプロセッサ１０２８によって実行される。Ｐｌａｙｓｔａｔｉｏｎ３デバイスのオペレーティングシステムは、Ｄｏｌｂｙ（登録商標）５．１サラウンドサウンド、Ｄｏｌｂｙ（登録商標）Ｔｈｅａｔｒｅ Ｓｕｒｒｏｕｎｄ（ＤＴＳ）、およびＢｌｕ−Ｒａｙ（登録商標）ディスクからの７．１サラウンドサウンドの復号をサポートする。

この実施形態において、ビデオカメラ１０１２は、単一の電荷結合素子（ＣＣＤ）と、ＬＥＤインジケータと、ハードウェアベースの実時間データ圧縮および符号化装置とを含み、この装置では、システムユニット１０００によって復号化するためのイントラ画像ベースのＭＰＥＧ（動画専門家グループ）標準などの適切な形式で圧縮ビデオデータ送信されてもよい。カメラＬＥＤインジケータは、例えば、劣悪な照明条件を表すために、システムユニット１０００からの適切な制御データに応答して照明するように配設される。ビデオカメラ１０１２の実施形態は、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ、またはＷｉ−Ｆｉ通信ポートを介して、システムユニット１０００に種々に接続されてもよい。ビデオカメラの実施形態は、１つ以上の関連するマイクロホンを含んでもよく、オーディオデータを送信可能であってもよい。ビデオカメラの実施形態において、ＣＣＤの解像度は、高解像度ビデオキャプチャに適したものであってもよい。使用中、ビデオカメラによってキャプチャされる画像は、例えば、ゲーム内に取り込まれてもよく、またはゲーム制御入力として解釈されてもよい。

一般に、システムユニット１０００の通信ポートの１つを介して、ビデオカメラやリモートコントロールなどの周辺デバイスとのデータ通信をうまく行うために、デバイスドライバなどの適切なソフトウェアを提供する必要がある。デバイスドライバ技術は周知のものであるため、本明細書に記載する実施形態においてデバイスドライバまたは同様のソフトウェアインタフェースが要求されるであろうことを当業者が認識しているであろうことを述べるだけで、本明細書においては詳細に記載しない。

実施形態は、現実世界のユーザをさらに良好に識別し、アバターまたはシーンの活動を指示するために、深度データをキャプチャすることを含む。物体は、人が保持しているものであっても、人の手であってもよい。本明細書において、「深度カメラ」および「三次元カメラ」という用語は、二次元のピクセル情報だけでなく、距離または深度情報を得ることが可能な任意のカメラをさす。例えば、深度カメラは、距離情報を得るために、制御された赤外線発光体を利用しうる。別の例示的な深度カメラは、２つの標準カメラを使用して距離情報を三角法で測定するステレオカメラペアでありうる。同様に、「深度検知デバイス」という用語は、二次元のピクセル情報だけでなく、距離情報を得ることが可能な任意のタイプのデバイスをさす。

三次元画像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が新たに増えてきた。特に、新しい「深度カメラ」では、通常の二次元ビデオ画像の他にも、第三次元をキャプチャしマッピングすることができる。新しい深度データを用いて、本発明の実施形態により、他の物体の後方を含む、ビデオシーン内のさまざまな位置にリアルタイムでコンピュータ生成物体を配置できる。

さらに、本発明の実施形態により、ユーザにリアルタイムのインタラクティブなゲーム体験が提供される。例えば、ユーザは、さまざまなコンピュータ生成物体とリアルタイムにインタラクションできる。さらに、ビデオシーンは、ユーザのゲーム体験を高めるために、リアルタイムで変更されうる。例えば、コンピュータ生成のコスチュームを、ユーザの衣服の上にはめ込むことができ、コンピュータ生成の光源を、ビデオシーン内の仮想投影を映し出すために利用されうる。このようにして、本発明の実施形態および深度カメラを用いて、ユーザが、自分のリビングルームでインタラクティブなゲーム環境を体験できる。通常のカメラと同様に、深度カメラは、ビデオ画像を含む複数のピクセルの二次元データをキャプチャする。これらの値は、ピクセルに対するカラー値であり、一般に、各ピクセルに対して、赤、緑、および青（ＲＧＢ）の値である。この方法で、カメラによってキャプチャされた物体は、モニタ上に二次元の物体として現れる。

本発明の実施形態はまた、分散型の画像処理構造についても検討する。例えば、本発明は、ＣＰＵまたはＣＰＵとその他の要素など、１つまたは２つの場所で行われている、キャプチャされた画像およびディスプレイ画像処理に限定されるものではない。例えば、入力画像処理は、処理を実行しうる関連のＣＰＵ、プロセッサ、またはデバイスにおいて容易に行うことができるものであり、本質的に全ての画像処理は、相互接続システムを通じて分散されうる。このように、本発明は、いずれの具体的な画像処理ハードウェア回路および／またはソフトウェアに限定されるものではない。本明細書に記載する実施形態もまた、一般のハードウェア回路および／またはソフトウェアの任意の特定の組み合わせにも、処理コンポーネントによって実行される命令に対する任意の特定のソースにも限定されるものではない。

上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに格納されたデータを使用する、さまざまなコンピュータで実行される動作を用いてもよいことを理解されたい。これらの動作には、物理量の物理的な操作を必要とする動作が含まれる。この物理量は、通常、格納、転送、結合、比較、または他の操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。さらに、実行される操作は、多くの場合、生成、識別、判断、または比較などの用語で参照される。

上述した本発明は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル民生電子機器、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成で実施されてもよい。また、本発明は、分散コンピュータ環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。

本発明はまた、コンピュータ可読媒体上にコンピュータ可読コードとして実現されることもできる。コンピュータ可読媒体は、電磁波キャリアを含む、コンピュータシステムによって後に読み取られうるデータを格納可能な任意のデータストレージデバイスである。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、および他の光学および非光学データストレージデバイスを含む。コンピュータ可読媒体は、コンピュータ可読コードが分散式で格納され、実行されるように、ネットワークに接続されたコンピュータシステム上に分散されうる。

明確に理解できるようにするために、前述した本発明はある程度詳細に記載してきたが、添付の特許請求の範囲内で特定の変更と修正がされるのは明らかであろう。したがって、本発明の実施形態は、例示的なものであり限定的なものではないと考慮されるべきであり、本発明は、本明細書で述べた詳細に限定されることはなく、添付の特許請求の範囲およびその等価物の範囲で修正されてもよい。

Claims (19)

1. アプリケーションのインタフェースとなるように三次元空間におけるコントローラの位置を決定するためのコンピュータで実行される方法であって、
   （ａ）前記コントローラと一体化された深度カメラを用いて、三次元空間内の複数の固定点から認識された固定点群を特定するようにコンピュータプログラムを較正するステップと、
   （ｂ）使用中、前記アプリケーションとのインタフェース接続中に、前記コントローラおよび深度カメラの使用をアクティベートするステップとを含み、使用中において、
   （ｉ）前記コントローラの前記深度カメラを用いて、前記三次元空間内の画像および深度データをキャプチャし、
   （ｉｉ）前記認識された固定点群の１つ以上を求めるために、前記画像および深度データを解析し、
   （ｉｉｉ）（ｉ）および（ｉｉ）を繰り返し、
   （ｉｖ）前記認識された固定点群の求めた固定点の位置の変化に基づいて、前記コントローラの位置の変更を決定し、
   （ｖ）前記コントローラの決定された位置の変化に基づいて、前記アプリケーションによるアクションを引き起こす入力コマンドをトリガする、コンピュータで実行される方法。
2. 前記コントローラの動きが前記アプリケーションによる制御アクションに相関されるように、ステップ（ｉ）〜（ｖ）を周期的に繰り返すステップをさらに含む、請求項１に記載のコンピュータで実行される方法。
3. 前記アプリケーションが、モニタ上に仮想世界を描写するための命令を含み、前記アプリケーションによる前記アクションが、前記仮想世界内の動きに相関される、請求項２に記載の方法。
4. 前記コンピュータプログラムの較正ステップが、
   （ａ）第１の既知の場所から第１の画像の画像および深度データをキャプチャし、
   （ｂ）第２の既知の場所から第２の画像の画像および深度データをキャプチャし、
   （ｃ）前記第１の画像および前記第２の画像に基づいて、前記複数の固定点を決定する、請求項１に記載の方法。
5. 前記認識された固定点群が、三次元空間の仮想世界モデルを作成するために使用され、前記仮想世界モデルが、前記コントローラが前記空間内のさまざまな位置にあるとき、前記認識された固定点群の間の距離の比を決定するために使用される、請求項１に記載の方法。
6. コンピュータシステムとインタラクションするためのコンピュータで実行される方法であって、
   （ａ）前記コンピュータシステム上で実行され、メモリから保存されたコントローラの較正の結果を自動的に適用するインタラクティブセッションを開始するステップと、
   （ｂ）モバイル深度カメラを有するコントローラへの入力を受け取るステップとを含み、前記入力が、
   （ｉ）前記モバイル深度カメラを用いて、空間内の画像および深度データをキャプチャし、
   （ｉｉ）１つ以上の認識された固定点の前記画像および深度データを解析し、
   （ｉｉｉ）（ｉ）および（ｉｉ）を繰り返し、
   （ｉｖ）前記認識された固定点間の差に基づいて、空間内のモバイル深度カメラの動きを決定し、
   （ｖ）前記モバイル深度カメラの動きに基づいて、前記インタラクティブセッション内のアクションを引き起こす入力コマンドをトリガすることによって決定される、コンピュータで実行される方法。
7. 前記コントローラへの入力が、前記インタラクティブセッション内の動きに相関されるように、ステップ（ｉ）〜（ｖ）を周期的に繰り返すステップをさらに含む、請求項６に記載のコンピュータで実行される方法。
8. 保存されたコントローラの較正の結果が、
   （ａ−ｉ）前記空間内の第１の既知の場所で第１の画像の画像および深度データをキャプチャし、
   （ａ−ｉｉ）前記空間内の第２の既知の場所で第２の画像の画像および深度データをキャプチャし、
   （ａ−ｉｉｉ）前記第１および第２の画像に基づいて、前記空間内の複数の固定点を決定し、
   （ａ−ｉｖ）認識された固定点群を規定するために、前記複数の固定点をフィルタリングすることによって生じる、請求項６に記載のコンピュータで実行される方法。
9. 前記認識された固定点群が、前記空間内の前記認識された固定点を区別可能であることに基づいて、前記複数の固定点から選択された、請求項８に記載の方法。
10. 前記認識された固定点を区別するステップが、前記モバイル深度カメラによってキャプチャされた深度データに部分的に基づいたものである、請求項９に記載の方法。
11. 前記認識された固定点群が、前記空間の仮想世界モデルを作成するように使用され、前記仮想世界モデルが、前記モバイル深度カメラが前記空間内のさまざまな位置にあるとき、前記認識された固定点群間の距離の比を決定するように使用される、請求項８に記載の方法。
12. 前記保存されたコントローラの較正の結果が、第１のフレームのキャプチャと第２のフレームのキャプチャとの間の時間間隔を規定するサンプルレートを決定する、請求項６に記載のコンピュータで実行される方法。
13. 前記インタラクティブセッション中、前記サンプルレートが、前記インタラクティブセッション内で起こるイベントに基づいて変化する、請求項１２に記載のコンピュータで実行される方法。
14. コンピュータシステムのハンドヘルドコントローラであって、
    取り囲む外部および内部ボリュームによって規定されたコントローラハウジングと、
    前記ハウジングに外部に部分的に露出されたインタフェースコントロールと、
    深度モジュールと、画像モジュールと、処理ロジックとを含み、前記深度モジュールおよび画像モジュールが、カメラレンズを通して画像および深度データを受信するように規定される、深度カメラアセンブリと、
    前記深度カメラアセンブリの前記処理ロジックから前記コンピュータシステムにデータを送受信するように構成された通信モジュールとを備え、前記深度カメラアセンブリにより受信された画像および深度データへの変化が、前記コンピュータシステムに対する入力コマンドをトリガする、ハンドヘルドコントローラ。
15. 前記深度カメラアセンブリが、前記コントローラハウジング内に含まれ、前記カメラレンズが、前記コントローラハウジングの外部に露出される、請求項１４に記載のハンドヘルドコントローラ。
16. ディスプレイ上にインタラクティブセッションを表示するように構成されたインタラクティブコンピューティングシステムであって、
    コンピューティングコンソールと、
    前記コンピューティングシステムのコントローラとを備え、
    前記コンピューティングコンソールが、
    中央演算処理装置と、
    グラフィック処理装置と、
    コンピューティングコンソールとの間に通信を与えるように構成された通信インタフェースとを含み、
    前記コントローラが、
    深度モジュールと、画像モジュールと、処理ロジックとを有する深度カメラと、
    前記深度カメラの前記処理ロジックから前記コンピューティングコンソールの前記通信インタフェースにデータを送受信するように構成された通信モジュールとを含み、
    前記深度カメラによってキャプチャされた画像および深度データの変化が、前記コンピューティングシステムの入力コマンドに変換される、コンピューティングシステム。
17. 前記深度モジュールが、深度データをキャプチャするように規定され、前記画像モジュールが、前記深度カメラの視野内にある物体の画像データをキャプチャするように規定される、請求項１６に記載のコンピューティングシステム。
18. 前記処理ロジックが、前記キャプチャされた深度データおよび画像データを処理するように規定される、請求項１６に記載のコンピューティングシステム。
19. 前記通信モジュールが、前記深度カメラから前記コンピューティングコンソールへデータを送受信するように規定される、請求項１６に記載のコンピューティングシステム。

Images