JP6546349B2 - 構造化光およびタイムオブフライトを用いた深度マッピング - Google Patents

Description

本開示は、概して、仮想現実システムまたは拡張現実システムに関し、より詳細には、局所領域の深度情報を取得する仮想現実システムのヘッドセットに関する。

仮想現実（ＶＲ）システム、または拡張現実（ＡＲ）システムは、３次元（３Ｄ）でユーザを取り囲む環境の捕捉を活用することができる。しかしながら、従来のデプスカメラ撮像アーキテクチャは、サイズが比較的大きく、重量があり、相当量の電力を消費する。シーンの３Ｄ情報を取得するための例示的な一般的なデプスカメラ撮像アーキテクチャには、タイムオブフライト（パルスおよび符号化波形の両方の直接検出）、構造化光（ＳＬ）、およびステレオビジョンが含まれる。異なるデプスカメラ撮像アーキテクチャは、それぞれ異なる長所および短所を提供するので、特定のデプスカメラ撮像アーキテクチャは、異なる動作条件において他のものよりも優れた性能を提供することができる。例えば、ステレオビジョンアーキテクチャは周囲照明と良好に動作し、一方、アクティブ照明源を有するタイムオブフライト型アーキテクチャは周囲照明からの信号対雑音比の制限によって十分に機能を果たさない可能性がある。しかしながら、従来のデプスカメラ撮像アーキテクチャの比較的大きなサイズにより、デプスカメラを含む多くのシステムは、通常、特定の使用ケースのために構成された単一タイプのデプスカメラ撮像アーキテクチャを使用している。ヘッドマウントシステムは、様々な動作条件および動作環境においてより広範な機能を実行するように使用される傾向にあるので、ヘッドマウントシステムおよびユーザを取り囲む領域の深度情報を得るために単一のデプスカメラ撮像アーキテクチャを選択することは、ヘッドマウントシステムでのユーザーエクスペリエンスが低下する可能性がある。

仮想現実（ＶＲ）システム環境または拡張現実（ＡＲ）システム環境内のヘッドセットは、ヘッドセットを囲む領域内およびヘッドセットに含まれる撮像デバイスの視野（すなわち、「局所領域」）内のヘッドセットと１つまたは複数の対象物との間の距離を決定するように構成されたデプスカメラ部品（ＤＣＡ：ｄｅｐｔｈ ｃａｍｅｒａ ａｓｓｅｍｂｌｙ）を含む。ＤＣＡは、カメラ等の撮像デバイスと、対称ドットまたは準ランダムドット、グリッドまたは水平バーなどの特定のパターンをシーンに放射するように構成された照明源とを含む。例えば、照明源は、グリッドまたは一連の水平バーを局所領域に放射する。ＤＣＡは、局所領域の表面に投影したときのパターンの変形に基づいて、三角測量を活用して表面とヘッドセットとの間の距離を決定することができる。

ＤＣＡは、局所領域に放射される特定のパターンを制御することに加えて、時間変化する強度をパターンに埋め込む。照明源から放射された光が局所領域内の対象物から反射して撮像デバイスに戻る正味の往復時間を表す情報（「タイムオブフライト情報」）を捕捉する際に、ＤＣＡは、ヘッドセットの局所領域の深度情報を捕捉するための追加の機構を有する。ＤＣＡは、撮像デバイスによって捕捉される放射光の時間に基づいて、ＤＣＡと、照明源からの光を反射する局所領域内の対象物との間の距離を決定する。例えば、ＤＣＡは、ＤＣＡに含まれる撮像デバイスによって捕捉される放射光に対して約２ナノ秒でＤＣＡと局所領域内の対象物との間の１フィート（３０．４８センチメートル）の距離を決定する。タイムオブフライト情報および構造化光情報を捕捉するために、照明源は、照明源によって放射されるパターンの時間的強度および空間的強度を、３０メガヘルツなどの特定の周波数を有する時間キャリア信号（ｔｅｍｐｏｒａｌ ｃａｒｒｉｅｒ ｓｉｇｎａｌ）で変調する。

撮像デバイスは、空間的プロファイルおよび時間的プロファイルによって規定される、照明源によって放射される光を含む、局所領域からの光を捕捉する。局所領域内の対象物によって反射された照明源からのタイムオブフライト情報を決定するために、撮像デバイスは画素群のアレイを含む検出器を含む。各画素群は、１つまたは複数の画素を含み、個々の画素群は、照明源が放射されたパターンを変調するために使用されるキャリア信号の位相に対して積分時間において個々の位相シフトに関連付けられる。検出器の個々の画素群は個々の制御信号を受信するので、個々の画素群は、制御信号によって特定される個々の時間に光を捕捉する。これにより、検出器の個々の画素群が変調されたパターンの個々の位相を捕捉することが可能となる。例えば、互いに最も近い４つの画素群は、４つの画素群の各々に個々の時間で光を捕捉させる個々の制御信号を受信し、４つの画素群の各々によって捕捉された光は、４つの画素群内の他の画素群によって捕捉された光に対して９０度の位相シフトを有する。ＤＣＡは、４つの画素群間の相対信号を比較して、相対的な視野に基づいて検出器に亘って変化する対象物の位置に対するキャリア信号の正味の位相または角度を導出する。導出された正味の位相または角度は、検出器の個々の画素群によって捕捉された光の信号差に基づく。ＤＣＡは、任意の適切な技術を用いて、相対信号における時間オフセットを補償して、局所領域に放射された構造化パターンの画像を決定する。例えば、ＤＣＡは、相対信号の位相角を反転させて相対的な画素毎の放射照度をスケーリングし、隣接する画素からの相対信号を加算して時間バイアスを除去するか、または、相対信号の時間オフセットおよび検出器の個々の画素から導出された正味の位相または角度におけるオフセットに基づいて他の適切な処理を行うことによって相対信号における時間オフセットを補償する。したがって、ＤＣＡの撮像デバイスによって捕捉されたフレームは、構造化光（すなわち空間）データおよびタイムオブフライト（すなわち時間的）データを捕捉し、ＤＣＡによる局所領域の全体的な深度情報の算定が改善される。構造化光データおよびタイムオブフライトデータは、ＤＣＡに対する局所領域の相対的な深度に関する異なる情報を提供するので、フレーム内の構造化光データおよびタイムオブフライトデータを捕捉することにより、ＤＣＡによる深度算定の正確度、精度、およびロバスト性が改善される。構造化光データおよびタイムオブフライトデータを単一のフレームで捕捉することにより、ＤＣＡの移動変化または動き変化に対する感度が低下し、ＤＣＡが単一の検出器を使用してタイムオブフライトデータと構造化光データの両方の相対強度を活用することができ、小型で軽量でよりコスト効率の良いＤＣＡの実施が提供される。

一実施形態による仮想現実システムを含むシステム環境のブロック図である。 一実施形態による仮想現実ヘッドセットの図である。 一実施形態による仮想現実ヘッドセットの前部剛体の断面図である。 一実施形態による仮想現実ヘッドセットに含まれるデプスカメラ部品の撮像デバイスに含まれる検出器の一例である。 一実施形態による図４Ａに示される例示的な検出器を積分タイミングで動作させる制御信号の一例である。 一実施形態による正弦波キャリア波に対して図４Ａに示される例示的な検出器における個々の画素群による光の捕捉の一例である。 一実施形態による、仮想現実ヘッドセットに含まれるデプスカメラ部品の撮像デバイスに含まれる検出器の別の例である。 一実施形態による、撮像デバイスおよび構造化光パターンを局所領域に投影する照明源の例示的な構成を示す。 一実施形態による、撮像デバイス及び局所領域上に時間的及び空間的に変調された構造化光パターンを投影する照明源の例示的な構成を示す。

図面は、例示のみを目的として本開示の実施形態を示す。当業者であれば、以下の説明から、本明細書で説明した構造および方法の代替の実施形態を、本明細書に記載の原理または利点から逸脱することなく用いることができることを容易に認識するであろう。

システムの概要
図１は、ＶＲコンソール１１０が動作する仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）システム環境１００の一実施形態のブロック図である。なお、図１は、例示のためのＶＲシステム環境を示しており、本明細書に記載された構成要素および機能は、様々な実施形態における拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）システムに含まれてもよい。本明細書で使用されるように、ＶＲシステム環境１００は、ユーザが対話することができる仮想環境をユーザに提示する仮想現実システム環境を含み得る。図１に示すＶＲシステム環境１００は、ＶＲコンソール１１０に接続されたＶＲヘッドセット１０５およびＶＲ入出力（Ｉ／Ｏ）インタフェース１１５を備える。なお、図１は、１つのＶＲヘッドセット１０５および１つのＶＲ Ｉ／Ｏインタフェース１１５を含む例示的なシステム１００を示しているが、他の実施形態では、任意の数のこれらの構成要素がＶＲシステム環境１００に含まれてもよい。例えば、複数のＶＲヘッドセット１０５が設けられ、各ＶＲヘッドセット１０５が関連するＶＲ Ｉ／Ｏインタフェース１１５を有し、各ＶＲヘッドセット１０５およびＶＲ Ｉ／Ｏインタフェース１１５がＶＲコンソール１１０と通信してもよい。代替の構成では、異なる構成要素および／または追加の構成要素をＶＲシステム環境１００に含ませることができる。さらに、いくつかの実施形態において、図１に示される１つまたは複数の構成要素と関連して説明される機能が、図１に関連して説明したのとは異なる方法で複数の構成要素に分配されてもよい。例えば、ＶＲコンソール１１０の機能の一部または全部は、ＶＲヘッドセット１０５によって提供される。

ＶＲヘッドセット１０５は、コンピュータが生成した要素（例えば、２次元（２Ｄ）または３次元（３Ｄ）画像、２Ｄまたは３Ｄ動画、音声他）を用いて物理的な現実世界環境の拡大ビューを含むコンテンツをユーザに提示するヘッドマウントディスプレイである。いくつかの実施形態では、提示されるコンテンツは、ＶＲヘッドセット１０５、ＶＲコンソール１１０、またはその両方からオーディオ情報を受信し、オーディオ情報に基づいてオーディオデータを提示する外部デバイス（例えば、スピーカおよび／またはヘッドフォン）を介して提示されるオーディオを含む。ＶＲヘッドセット１０５の一実施形態は、図２および図３に関連して以下でさらに説明される。ＶＲヘッドセット１０５は、互いに強固にまたは非剛性に結合され得る１つまたは複数の剛体を備え得る。剛体間の堅固な結合は、結合された剛体を単一の剛体として機能させる。対照的に、剛体間の非剛性結合は、剛体が互いに対して移動することを可能にする。

ＶＲヘッドセット１０５は、デプスカメラ部品（ＤＣＡ：ｄｅｐｔｈ ｃａｍｅｒａ ａｓｓｅｍｂｌｙ）１２０、電子ディスプレイ１２５、光学ブロック１３０、１つまたは複数の位置センサ１３５、および慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）１４０を含む。ＶＲヘッドセット１０５のいくつかの実施形態は、図１に関連して説明されるものとは異なる構成要素を有する。さらに、図１に関連して説明した様々な構成要素によって提供される機能は、他の実施形態では、ＶＲヘッドセット１０５の構成要素において異なるようにして分散されてもよい。

ＤＣＡ１２０は、ＶＲヘッドセット１０５を取り囲む領域の深度情報を表すデータを捕捉する。ＤＣＡ１２０のいくつかの実施形態は、１つまたは複数の撮像デバイス（たとえば、カメラ、ビデオカメラ）と、構造化光（ＳＬ：ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）パターンを放射するように構成された照明源とを含む。以下にさらに説明するように、構造化光は、対称ドットパターンまたは準ランダムドットパターン、グリッド、または水平バーなどの特定のパターンをシーンに投影する。例えば、照明源は、ＶＲヘッドセット１０５を取り囲む環境上にグリッドまたは一連の水平バーを放射する。三角測量または表面に投影されたときのパターンの認識される変形に基づいて、シーン内の対象物の深度情報および表面情報が決定される。

ＶＲヘッドセット１０５を取り囲む領域の深度情報をよりよく捕捉するために、ＤＣＡ１２０は、照明源から放射された光がＶＲヘッドセット１０５を取り囲む領域内の対象物から反射して１つまたは複数の撮像デバイスに戻る時間を表すタイムオブフライト（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）情報を捕捉する。様々な実施形態において、ＤＣＡ１２０は、構造化光情報と同時にまたはほぼ同時にタイムオブフライト情報を捕捉する。１つまたは複数の撮像デバイスによって放射された光が捕捉される時間に基づいて、ＤＣＡ１２０は、ＤＣＡ１２０と、照明源からの光を反射する、ＶＲヘッドセット１０５を取り囲む領域内の対象物との間の距離を決定する。タイムオブフライト情報および構造化光情報を捕捉するために、照明源は、放射されるＳＬパターンを、３０ＭＨｚ（様々な実施形態では、周波数は５ＭＨｚと５ＧＨｚとの間の周波数範囲から選択され得る）等の特定の周波数を有するキャリア信号で変調する。

撮像デバイスは、特定の波長範囲の光（即ち、「波長帯域」の光）を捕捉して記録する。撮像デバイスによって捕捉される例示的な光の波長帯域は、可視帯域（３８０ｎｍ〜７５０ｎｍ）、赤外線（ＩＲ）帯域（７５０ｎｍ〜２２００ｎｍ）、紫外線帯域（１００ｎｍ〜３８０ｎｍ）、電磁波スペクトルの別の一部、またはそれらのいくつかの組合せを含む。いくつかの実施形態では、撮像デバイスは、可視帯域および赤外帯域の光を含む画像を捕捉する。ＶＲヘッドセット１０５を取り囲む領域内の対象物から反射された構造化光パターンからの光を共同で捕捉し、照明源からのキャリア信号がその領域内の対象物からＤＣＡ１２０に反射する時間を決定するために、撮像デバイスは、画素群のアレイを含む検出器を含む。各画素群は、１つまたは複数の画素を含み、個々の画素群は、キャリア信号の位相とは異なる位相シフトで関連付けられている。様々な実施形態では、照明源によって放射されたキャリア信号によって変調された個々の時間位相のパターンを捕捉するために個々の画素群が互いに異なる時間に起動される。例えば、画素群は、個々の時間に起動され、隣接する画素群は、互いに対して約９０度、１８０度、または２７０度の位相シフトを有する光を捕捉する。ＤＣＡ１２０は、個々の画素群によって捕捉された信号データから、ＤＣＡ１２０からの深度と等しいキャリア信号の位相を導出する。また、捕捉されたデータは、空間パターンの画像フレームを、時間領域に亘る全画素電荷の合計によって、またはキャリア位相信号を補正した後に生成する。ＤＣＡ１２０については、図３〜図４Ｄを参照して以下でさらに説明する。

電子ディスプレイ１２５は、ＶＲコンソール１１０から受信したデータに従って２Ｄまたは３Ｄ画像をユーザに表示する。種々の実施形態において、電子ディスプレイ１２５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザの各眼に対するディスプレイ）を含む。例示的な電子ディスプレイ１２５は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、アクティブマトリクス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ：ａｃｔｉｖｅ−ｍａｔｒｉｘ ｏｒｇａｎｉｃ ｌｉｇｈｔ−ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、その他のディスプレイ、またはそれらの組合せを含む。

光学ブロック１３０は、電子ディスプレイ１２５から受け取った画像光を拡大し、画像光に関連する光学誤差を補正し、かつ補正された画像光をＶＲヘッドセット１０５のユーザに提示する。様々な実施形態において、光学ブロック１３０は、１つまたは複数の光学素子を含む。光学ブロック１３０に含まれる例示的な光学素子は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を与える他の任意の適切な光学素子を含む。さらに、光学ブロック１３０は、異なる光学素子の組合せを含み得る。いくつかの実施形態では、光学ブロック１３０内の１つまたは複数の光学素子は、反射防止コーティングのような１つまたは複数のコーティングを有することができる。

光学ブロック１３０による画像光の拡大および集束は、より大きなディスプレイよりも電子ディスプレイ１２５を物理的に小さくし、重量を低減し、消費電力を低減することを可能にする。さらに、拡大は、電子ディスプレイ１２５によって提示されるコンテンツの視野を増加させる。例えば、表示されたコンテンツの視野は、表示されたコンテンツが、ユーザの視野のほぼすべて（例えば、約１１０度傾斜）、および場合によっては全部を使用して提示されるようになっている。さらにいくつかの実施形態では、光学素子を追加または除去することによって拡大の量を調整することができる。

いくつかの実施形態では、光学ブロック１３０は、１つまたは複数のタイプの光学誤差を補正するように設計されてもよい。光学誤差の例には、バレル歪み、ピンクッション歪み、軸上色収差、または横方向色収差が含まれる。他のタイプの光学誤差は、球面収差、コマ収差またはレンズ像面湾曲による誤差、非点収差、または他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイ１２５に提供されるコンテンツは予歪状態であり、光学ブロック１３０は、コンテンツに基づいて生成された電子ディスプレイ１２５から画像光を受け取るときに歪みを補正する。

ＩＭＵ１４０は、１つまたは複数の位置センサ１３５から受信した測定信号に基づいて、およびＤＣＡ１２０から受信した深度情報からＶＲヘッドセット１０５の位置を示すデータを生成する電子デバイスである。位置センサ１３５は、ＶＲヘッドセット１０５の動きに応答した１つまたは複数の測定信号を生成する。位置センサ１３５の例には、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、動きを検出する別の適切なタイプのセンサ、ＩＭＵ１４０の誤差補正に使用されるあるタイプのセンサ、またはそれらの組合せが含まれる。位置センサ１３５は、ＩＭＵ１４０の外部に、ＩＭＵ１４０の内部に、またはそれらの位置の組合せに配置することができる。

ＩＭＵ１４０は、１つまたは複数の位置センサ１３５からの１つまたは複数の測定信号に基づいて、ＶＲヘッドセット１０５の初期位置に対するＶＲヘッドセット１０５の推定の現在位置を示すデータを生成する。例えば、位置センサ１３５は、並進運動（前後、上下、左右）を測定する複数の加速度計、および回転運動（例えば、ピッチ、ヨー、ロール）を測定する複数のジャイロスコープを含む。いくつかの実施形態では、ＩＭＵ１４０は測定信号を迅速にサンプリングし、サンプリングされたデータからＶＲヘッドセット１０５の推定の現在位置を計算する。例えば、ＩＭＵ１４０は、加速度計から受信した測定信号を経時的に積分して速度ベクトルを推定し、速度ベクトルを経時的に積分して、ＶＲヘッドセット１０５上の基準点の推定の現在位置を決定する。代替的に、ＩＭＵ１４０は、サンプリングされた測定信号をＶＲコンソール１１０に提供し、ＩＭＵ１４０は、データを解釈して誤差を低減する。基準点は、ＶＲヘッドセット１０５の位置を表すために使用され得る点である。基準点は、一般に、ＶＲヘッドセット１０５の向きおよび位置に関連する空間内の点または位置として定義され得る。

ＩＭＵ１４０は、ＶＲコンソール１１０から１つまたは複数のパラメータを受信する。以下でさらに説明するように、１つまたは複数のパラメータは、ＶＲヘッドセット１０５の追跡を維持するために使用される。受信したパラメータに基づいて、ＩＭＵ１４０は、１つまたは複数のＩＭＵパラメータ（例えば、サンプルレート）を調整することができる。いくつかの実施形態では、特定のパラメータによって、ＩＭＵ１４０は、基準点の初期位置が基準点の次の位置に対応するように基準点の初期位置を更新する。基準点の次の較正された位置として基準点の初期位置を更新することは、ＩＭＵ１４０の推定の現在の位置に関連する累積誤差を低減するのに役立つ。累積誤差は、ドリフト誤差とも呼ばれ、推定の基準点の位置を基準点の実際の位置から経時的に「離脱」させる。ＶＲヘッドセット１０５のいくつかの実施形態では、ＩＭＵ１４０は、専用ハードウェアコンポーネントであってもよい。他の実施形態では、ＩＭＵ１４０は、１つまたは複数のプロセッサに実装されたソフトウェアコンポーネントであってもよい。

ＶＲ Ｉ／Ｏインタフェース１１５は、ユーザがアクション要求を送信し、ＶＲコンソール１１０から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、画像またはビデオデータの捕捉を開始または終了するための命令、またはアプリケーション内で特定のアクションを実行するための命令であってもよい。ＶＲ Ｉ／Ｏインタフェース１１５は、１つまたは複数の入力デバイスを含むことができる。例示的な入力デバイスには、キーボード、マウス、ゲームコントローラ、またはアクション要求を受け取り、ＶＲコンソール１１０にアクション要求を伝達するための他の適切な装置が含まれる。ＶＲ Ｉ／Ｏインタフェース１１５によって受信されたアクション要求は、アクション要求に対応するアクションを実行するＶＲコンソール１１０に伝達される。いくつかの実施形態では、ＶＲ Ｉ／Ｏインタフェース１１５は、ＶＲ Ｉ／Ｏインタフェース１１５の初期位置に対するＶＲ Ｉ／Ｏインタフェース１１５の推定の位置を示す較正データを取得する上述したようなＩＭＵ １４０をさらに含む。いくつかの実施形態では、ＶＲ Ｉ／Ｏインタフェース１１５は、ＶＲコンソール１１０から受信した指示に従ってユーザに触覚フィードバックを提供することができる。例えば、アクション要求が受信されたときに触覚フィードバックが提供されるか、またはＶＲコンソール１１０がアクションを実行するときにＶＲコンソール１１０がＶＲ Ｉ／Ｏインタフェース１１５に命令を送り、ＶＲ Ｉ／Ｏインタフェース１１５に触覚フィードバックを生成させる。

ＶＲコンソール１１０は、ＤＣＡ１２０、ＶＲヘッドセット１０５、およびＶＲ Ｉ／Ｏインタフェース１１５のうちの１つまたは複数から受信した情報に従って処理するためにＶＲヘッドセット１０５にコンテンツを提供する。図１に示すように、ＶＲコンソール１１０は、アプリケーションストア１５０、追跡モジュール１５５、およびＶＲエンジン１４５を含む。ＶＲコンソール１１０のいくつかの実施形態は、図１に関連して説明したものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、図１と関連して説明したものとは異なる方法で、ＶＲコンソール１１０の複数の構成要素に分散されてもよい。

アプリケーションストア１５０は、ＶＲコンソール１１０による実行のための１つまたは複数のアプリケーションを格納する。アプリケーションは、プロセッサによる実行時に、ユーザに提示するためのコンテンツを生成する１つのグループの命令である。アプリケーションによって生成されるコンテンツは、ＶＲヘッドセット１０５またはＶＲ Ｉ／Ｏインタフェース１１５の動きによりユーザから受信した入力に応答したものであってもよい。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれる。

追跡モジュール１５５は、１つまたは複数の較正パラメータを使用してＶＲシステム環境１００を較正するとともに、１つまたは複数の較正パラメータを調整して、ＶＲヘッドセット１０５またはＶＲ Ｉ／Ｏインタフェース１１５の位置の決定における誤差を低減することができる。例えば、追跡モジュール１５５は、較正パラメータをＤＣＡ１２０に伝達してＤＣＡ１２０の焦点を調整し、ＤＣＡ１２０によって捕捉されるＳＬ要素の位置をより正確に決定する。追跡モジュール１５５によって実行される較正はまた、ＶＲヘッドセット１０５内のＩＭＵ１４０および／またはＶＲ Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０から受信した情報を考慮する。さらに、ＶＲヘッドセット１０５の追跡を喪失した場合（例えば、ＤＣＡ１２０が少なくとも閾値数のＳＬ要素の照準線を喪失する）、追跡モジュール１４０は、ＶＲシステム環境１００の一部または全部を再較正することができる。

追跡モジュール１５５は、ＤＣＡ１２０、１つまたは複数の位置センサ１３５、ＩＭＵ１４０またはそれらのいくつかの組合せからの情報を使用してＶＲヘッドセット１０５またはＶＲ Ｉ／Ｏインタフェース１１５の動きを追跡する。例えば、追跡モジュール１５５は、ＶＲヘッドセット１０５からの情報に基づいて局所領域のマッピングにおけるＶＲヘッドセット１０５の基準点の位置を決定する。追跡モジュール１５５は、ＩＭＵ１４０からのＶＲヘッドセット１０５の位置を示すデータを使用して、またはＶＲ Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０からのＶＲ Ｉ／Ｏインタフェース１１５の位置を示すデータを使用して、ＶＲヘッドセット１０５の基準点の位置またはＶＲ Ｉ／Ｏインタフェース１１５の基準点を決定する。さらに、いくつかの実施形態では、追跡モジュール１５５は、ＩＭＵ１４０からのＶＲヘッドセット１０５の位置を示すデータの一部ならびにＤＣＡ１２０からの局所領域の表現を使用してＶＲヘッドセット１０５の将来の位置を予測することができる。追跡モジュール１５５は、ＶＲヘッドセット１０５またはＶＲ Ｉ／Ｏインタフェース１１５の推定または予測した将来の位置をＶＲエンジン１４５に提供する。

ＶＲエンジン１４５は、ＶＲヘッドセット１０５から受信した情報に基づいて、ＶＲヘッドセット１０５を取り囲む領域（即ち、「局所領域」）の３Ｄマッピングを生成する。いくつかの実施形態では、ＶＲエンジン１４５は、ＶＲヘッドセット１０５のＤＣＡ１２０によって捕捉された変形したＳＬ要素の画像に基づいて、ＤＣＡ１２０によって放射された光がＶＲヘッドセット１０５を取り囲む領域内の１つまたは複数の対象物によって反射された後にＤＣＡ１２０によって検出される経過時間に基づいて、またはＤＣＡ１２０によって捕捉された変形したＳＬ要素の画像と、ＤＣＡ１２０によって放射された光がＶＲヘッドセット１０５を取り囲む領域内の１つまたは複数の対象物によって反射された後にＤＣＡ１２０によって検出される経過時間との組合わせに基づいて局所領域の３Ｄマッピングに関する深度情報を決定する。様々な実施形態では、ＶＲエンジン１４５は、ＤＣＡ１２０によって決定された個々のタイプの情報、またはＤＣＡ１２０によって決定された組合せのタイプの情報を使用する。

ＶＲエンジン１４５はまた、ＶＲシステム環境１００内のアプリケーションを実行して、ＶＲヘッドセット１０５の位置情報、加速度情報、速度情報、予測した将来の位置、またはそれらのいくつかの組合せを追跡モジュール１５５から受信する。受信した情報に基づいて、ＶＲエンジン１４５は、ユーザに提示するためにＶＲヘッドセット１０５に提供するコンテンツを決定する。例えば、受信した情報が、ユーザが左方向を見たことを示している場合、ＶＲエンジン１４５は、バーチャル環境または追加のコンテンツで局所領域を拡張する環境においてユーザの動きを反映するＶＲヘッドセット１０５に対するコンテンツを生成する。さらに、ＶＲエンジン１４５は、ＶＲ Ｉ／Ｏインタフェース１１５から受信したアクション要求に応答してＶＲコンソール１１０上で実行中のアプリケーション内でアクションを実行し、アクションが実行されたことをユーザにフィードバックする。提供されるフィードバックは、ＶＲヘッドセット１０５による視覚的または聴覚的なフィードバックまたはＶＲ Ｉ／Ｏインタフェース１１５による触覚フィードバックであり得る。

図２は、一実施形態のＶＲヘッドセット２００の線図である。ＶＲヘッドセット２００は、ＶＲヘッドセット１０５の一実施形態であり、前部剛体２０５、バンド２１０、基準点２１５、左側面２２０Ａ、上面２２０Ｂ、右側面２２０Ｃ、底面２２０Ｄ、および前面２２０Ｅを含む。図２に示されたＶＲヘッドセット２００はまた、図３および図４に関連して以下でさらに説明される、カメラ２２５および照明源２３０を含む一実施形態のデプスカメラ部品（ＤＣＡ）１２０を含む。前部剛体２０５は、電子ディスプレイ１２５の１つまたは複数の電子ディスプレイ要素（図示せず）、ＩＭＵ１３０、１つまたは複数の位置センサ１３５、および基準点２１５を含む。

図２に示す実施形態において、ＶＲヘッドセット２００は、カメラ２２５を含むＤＣＡ１２０と、既知の空間パターン（例えば、グリッド、一連のライン、対称ドットまたは準ランダムに配向されたドットのパターン）を局所領域上に投影するように構成された照明源２３０とを含む。例えば、空間パターンは、既知の幅と高さの１つまたは複数の幾何学要素を含み、空間パターンが局所領域に投影されたときに様々な幾何学要素の変形を計算して局所領域内の対象物に関する情報を提供することを可能にする。照明源２３０は、既知の空間パターンを特定の周波数を有するキャリア信号で時間的に変調する。様々な実施形態において、照明源２３０は、発光体に接続されたコントローラ（例えば、プロセッサ）を含み、コントローラは、発光体によって放射される光をキャリア信号によって変調して、キャリア信号の変化に基づいて発光体によって放射された光の強度を経時的に変化させる。発光体が既知の空間パターン（すなわち、「構造化光のパターン」または「構造化光パターン」）を放射するとき、既知の空間パターンの強度は、キャリア信号に基づいて経時的に変化する。例えば、照明源２３０は、既知の空間パターンを、１０ＭＨｚの周波数を有する正弦波、１００ＭＨｚの周波数を有する方形波、または任意の他の適切な信号で変調するコントローラに接続された発光体を含む。カメラ２２５は、局所領域の画像を捕捉し、局所領域の画像は、図３〜４Ｂに関して以下にさらに説明するように、局所領域の深度画像を計算するために使用される。

図３は、図２に示したＶＲヘッドセット２００の前部剛体２０５の断面図である。図３に示すように、前部剛体２０５は、撮像デバイス２２５および照明源２３０を含む。図３の例において示すように、前部剛体２０５は、撮像デバイス２２５に接続されたプロセッサ３１５を含む。しかしながら、他の実施形態では、プロセッサ３１５は、撮像デバイス２２５に含まれる。前部剛体２０５はまた、光が前部剛体２０５を伝搬する経路に対応する光軸も有する。いくつかの実施形態では、撮像デバイス２２５は、光軸に沿って配置されており、かつ撮像デバイス２２５の視野内の前部剛体２０５を取り囲む環境の一部である局所領域３０５の画像を捕捉する。さらに、前部剛体２０５は、図１に関連して前にさらに説明されている電子ディスプレイ１２５および光学ブロック１３０を含む。前部剛体２０５はまた、ユーザの眼３４０が位置する射出瞳３３５を含む。説明のために、図３は、単一の眼３４０による前部剛体２０５の断面を示す。局所領域３０５は、入射した環境光ならびに照明源２３０によって投影された光を反射する。

図１に関連して前に説明したように、電子ディスプレイ１２５は、光学ブロック１３０に向けて画像を形成する光を放射し、光学ブロック１３０は、電子ディスプレイ１２５から受け取った光を変更する。光学ブロック１３０は、変更した画像光をユーザの眼３４０が位置している前部剛体２０５の位置にある射出瞳３３５に向ける。図３は、ユーザの単一の眼３４０のための前部剛体２０５の断面図を示し、前部剛体２０５に含まれる図３に示されるものとは別個の別の電子ディスプレイ１２５および光学ブロック１３０を用いて、局所領域３０５の拡張表現または仮想コンテンツなどのコンテンツがユーザの別の眼に提示される。

照明源２３０および撮像デバイス２２５を含むデプスカメラ部品（ＤＣＡ）１２０は、照明源２３０から放射された光が局所領域３０５内の対象物から反射されて撮像デバイス２２５に戻る時間を表す情報を捕捉するとともに、検出器を用いて照明源２３０によって局所領域３０５上に投影された構造化光パターンの画像を捕捉する。いくつかの実施形態では、検出器は、撮像デバイス２２５に含まれる。前で説明したように、照明源２３０からの光が局所領域３０５内の対象物から反射する時間を捕捉するために、照明源２３０は、構造化光パターンを特定の周波数を有するキャリア信号で変調する。例えば、照明源２３０は、構造化光パターンを１０ＭＨｚの正弦波で変調し、照明源２３０によって放射された光が、キャリア信号に基づいて経時的に変化するようにする。

空間的および時間的変調光パターンの両方を捕捉するために、撮像デバイス２２５は、複数の画素群を含む検出器を含む。図４Ａは、撮像デバイス２２５に含まれる検出器４００の一例を示す。図４Ａにおける検出器は、画像データを捕捉するために画素群４１０，４１５，４２０，４２５を起動する個々の制御信号をそれぞれ受信する個々の画素群４１０，４１５，４２０，４２５を含む。個々の画素群４１０，４１５，４２０，４２５が個々の制御信号を受信することにより、個々の画素群４１０，４１５，４２０，４２５がオフセットで、さらに制御されたタイミングシーケンスで画像データを捕捉することが可能になる。例えば、画素群４１０，４１５，４２０，４２５によって受信された制御信号が特定の値を有する場合、画素群４１０，４１５，４２０，４２５は、局所領域３０５からの光を捕捉し、制御信号が別の値を有する場合、画素群４１０，４１５，４２０，４２５は、局所領域３０５からの光を捕捉しない。検出器４００内の画素群４１０，４１５，４２０，４２５は、互いに最も近い画素群４１０，４１５，４２０，４２５が個々の時間で光を捕捉し、その結果、互いに最も近い画素群４１０，４１５，４２０，４２５によって捕捉された光の間に特定の位相シフトがもたらされるように互いに対して位置決めされている。図４Ａの例において、画素群４１０によって捕捉された光は、画素群４１５によって捕捉された光に対して９０度の位相シフトを有し、画素群４１５によって捕捉された光は、画素群４２０に対して９０度の位相シフト（及び画素群４１０に対して１８０度の位相シフト）を有するように、画素群４１０，画素群４１５，画素群４２０，画素群４２５は個々の時間に光を捕捉する。しかしながら、他の実施形態では、画素群４１０によって捕捉された光は、画素群４１０に最も近い他の画素群４１５，４２０，４２５によって捕捉された光に対して任意の適切な特定の位相シフトを有する（例えば、４５度の位相シフト、１０度の位相シフトなど）。図４の例では、画素群４２５は、画素群４２０に対して９０度の位相シフト（および画素群４１０に対して２７０度の位相シフト）を有する。同様に、画素群４１５、画素群４２０、および画素群４２５の各々は、他の画素群４１０，４１５，４２０，４２５に対して９０度の位相シフトを有する光を捕捉する。例えば、画素群４１０、画素群４１５、画素群４２０、および画素群４２５は、それぞれ０度の位相シフト、９０度の位相シフト、１８０度の位相シフト、および２７０度の位相シフトを有する光を捕捉する。様々な実施形態では、画素群４１０，４１５，４２０，４２５は、繰り返しパターンで検出器４００内に配置される。例えば、検出器４００は、図４Ａに示すように相互に配置された画素群４１０，４１５，４２０，４２５をそれぞれ含む複数の２×２の格子を含む。

撮像デバイス２２５に接続された（または撮像デバイス２２５に含まれる）プロセッサ３１０は、撮像デバイス２２５からデータを受け取り、以下にさらに説明するように、構造化光のパターンを時間的に変調したキャリア信号の位相を決定する。キャリア信号の決定された位相に基づいて、プロセッサ３１０は、構造化光の変調されたパターンが局所領域内の１つまたは複数の対象物によって反射されて、撮像デバイス２２５の検出器４００によって捕捉される時間を決定する。プロセッサ３１０は、局所領域内の個々の対象物による構造化光のパターンの反射に対して決定された時間から、検出器４００から局所領域内の１つまたは複数の対象物までの距離を決定し、検出器４００内の各画素群４１０，４１５，４２０，４２５によって捕捉された光から構造化光のパターンを含むフレームを生成する。

図４Ｂは、検出器４００内の個々の画素群４１０，４１５，４２０，４２５によって受信される制御信号の一例を示す。図４Ｂの例において、制御信号が最大値を有する場合、制御信号を受信する画素群４１０，４１５，４２０，４２５は光を捕捉し、個々の制御信号を受信する画素群４１０，４１５，４２０，４２５は光を捕捉しない。同様に、制御信号が最小値を有する場合、制御信号を受信する画素群４１０，４１５，４２０，４２５は光を捕捉しない。図４Ｂに示すように、個々の画素群４１０，４１５，４２０，４２５に対する制御信号は、個々の時間に最大値を有するので、単一の画素群４１０，４１５，４２０，４２５は特定の時間に光を捕捉する。例えば、画素群４１５で受信された制御信号が最大値を有する場合、画素群４１０，４２０，４２５で受信される制御信号は最小値を有するので、画素群４１０，４２０，４２５は光を捕捉せず、画素群４１５は光を捕捉する。個々の画素群４１０，４１５，４２０，４２５は、それらの制御信号に基づいて光を連続的に捕捉する。各画素群４１０，４１５，４２０，４２５から光が捕捉されると、検出器はフレームを生成する。様々な実施形態において、光が各画素群４１０，４１５，４２０，４２５から複数回捕捉され、検出器は、画素群４１０，４１５，４２０，４２５によって捕捉された蓄積光からフレームを生成して、フレームの信号対雑音比を改善する。個々の画素群４１０，４１５，４２０，４２５から光を個々の時間に捕捉することが、各フレームに対する全体的な積分時間および撮像デバイス２２５のフレームレートによって決定された１つのフレームに対して光が捕捉される時間で、次のフレームに対して繰り返される。

したがって、一実施形態では、個々の画素群４１０，４１５，４２０，４２５は、局所領域３０５からの光を、個々のオフセット時間で捕捉する。これらの捕捉は、空間パターンを変調するキャリア信号の周波数の往復時間の一部である。例えば、図４Ｃは、照明源２３０が構造化光パターンを変調する例示的な正弦波キャリア信号４３０を示す。図４Ｃは、キャリア信号４３０を含む光を個々の時間に捕捉する個々の画素群４１０，４１５，４２０，４２５を特定している。画素群４１０は、画素群４１０によって受信される制御信号が最大値を有する時間の間にキャリア信号４３０の一部を含む光を捕捉し、画素群４１５，４２０，４２５は、キャリア信号の一部を含む光を捕捉しない。残りの画素群４１５，４２０，４２５は同様に、対応する画素群４１５，４２０，４２５によって受信される制御信号が最大値を有する時間間隔の間にキャリア信号４３０の一部を捕捉する。図４Ｃは、キャリア信号４３０を正弦波として示しているが、他の実施形態では、キャリア信号４３０は、方形波であるか、または周波数と高調波の組合わせを有する他の信号であってもよい。図４Ａ〜４Ｃの例では、画素群４１０が光を捕捉するとき、残りの画素群４１５，４２０，２４５は光を捕捉しないので、単一の画素群が光を捕捉しているとき、残りの３つの画素群はその相対フレームの光を捕捉しない。各画素群４１０，４１５，４２０，４２５が単一の連続パターンの光を捕捉した後、撮像デバイス２２５によって捕捉されたフレームに対する積分時間中にシーケンスが繰り返される。

ＤＣＡ１２０は、画像捕捉デバイス３２０内の個々の画素群４１０，４１５，４２０，４２５によって受光された光の強度に基づいて、キャリア信号の位相を決定する。例えば、ＤＣＡ１２０は、画素群４２５によって捕捉された光と画素群４１５によって捕捉された光との間の差を決定する。さらに、ＤＣＡ１２０は、画素群４１０によって捕捉された光と画素群４２０によって捕捉された光との間の追加の差を決定する。（最小の直交配置である）図４Ａに示す検出器４００の構成例において、ＤＣＡ１２０は、キャリア信号の位相を、差と追加の差との比の逆正接として決定する。決定された位相を用いて、ＤＣＡ１２０は、照明源２３０から放射された光が局所領域３０５内の対象物によって反射されて撮像デバイス２２５に戻る時間を決定する。ＤＣＡ１２０は、決定された時間から、１つまたは複数のタイムオブフライト方法を使用して、ＤＣＡ１２０と局所領域３０５内の様々な対象物との間の距離を決定する。さらに、ＤＣＡ１２０は、決定された位相を使用して、個々の画素群４１０，４１５，４２０，４２５によって捕捉された光を、照明源３１０から放射された構造化光パターンが局所領域３０５に対するさらなる深度情報を提供することを可能にするフレームに合成する。１つまたは複数のタイムオブフライト方法によって決定された距離は、局所領域３０５内の対象物とＤＣＡ１２０との間の距離情報を提供し、撮像デバイス２２５によって捕捉された構造化光パターンの解析は、局所領域３０５内の対象物とＤＣＡ１２０との間に関連しているものの、固有の距離測定値を提供する。

図４Ｄは、デプスカメラ部品１２０の撮像デバイスに含まれる検出器４０５の別の例を示す。図４Ａ〜図４Ｃに関連して説明された検出器４００において、検出器４００内の個々の画素群４１０，４１５，４２０，４２５は、撮像デバイス２２５がフレームを生成するための積分時間の一部の光を捕捉するように示されている。図４Ｄの例において、検出器４０５の各画素群４１０，４１５，４２０，４２５は、サーキュレータまたはスイッチのようなソフトウェアまたはハードウェアを介して実施することができる、各画素ごとに複数の電荷格納領域を含む。これにより、各画素群４１０，４１５，４２０，４２５は積分時間中に光を連続的に捕捉し、捕捉された光から生成された電流がキャリア信号４３０の周波数および位相タイミングに基づいて結合される場所を動的に変化させることができる。個々の画素群４１０，４１５，４２０，４２５によって捕捉された光から蓄積される電荷は、（図４Ｄに強調表示された矩形として示される）個々のサブウィンドウを提供する、個々の場所（例えば、メモリまたはコンデンサ）に蓄積される。図４Ｄに示すように、サブウィンドウは互いに対して９０度の位相シフトを有するサブウィンドウを示す斜線に沿って合成される。各画素群４１０，４１５，４２０，４２５からのサブウィンドウは、信号対雑音比を増加させ、かつタイムオブフライト測定のためのフレームを生成するために位相が合成される。個々の時間に個々の画素群４１０，４１５，４２０，４２５によって捕捉された光は、前述した手法により合成され、キャリア信号４３０の位相が抽出される。図４Ｄの例では、各画素群４１０，４１５，４２０，４２５が連続的に光を捕捉し、捕捉された光からの電荷がキャリア周波数の位相で蓄積される場所を変化させるので、特定の最大積分時間内で強調表示されたサブウィンドウが合成される。例えば、図４Ｄの検出器４０５の各画素群４１０，４１５，４２０，４２５は、同時に光を捕捉し、かつキャリア周波数の位相を保持するためにキャリア信号４３０に基づいて画素群４１０，４１５，４２０，４２５によって蓄積される電荷が変化する場所を用いて、画素群４１，４１５，４２０，４２５に対応する場所に電荷を蓄積する。いくつかの実施形態では、図４Ｄに示す検出器４０５の各画素群４１０，４１５，４２０，４２５は、検出器４０５の複数の画素群４１０，４１５，４２０，４２５が、最大１００％のデューティサイクルにまで光を捕捉するように構成されて、いくつかの実施形態では、検出器４０５の複数の画素群４１０，４１５，４２０，４２５が複数の画素群４１０，４１５，４２０，４２５によって捕捉された光からの電荷を連続して同時に蓄積することを可能にする。前で説明したように、個々の画素群４１０，４１５，４２０，４２５によって決定された位相角は、構造的な光パターンを分析するために放射測定の差異の補正を可能にする。また、図４Ｄの例では、個々の画素群４１０，４１５，４２０，４２５による光の連続的な捕捉は、構造化光の画像解析のための受動的な補正を可能にする。各画素群４１０，４１５，４２０，４２５について全積分ウィンドウに亘って捕捉された全電荷を合計することにより、検出器４０５はカメラなどの画像捕捉デバイスとして動作する（画素レベルの積分タイミングにオフセットがないように見えるため）。したがって、図４Ｄに示す検出器４０５は、構造化光アルゴリズムに対する時間変調の影響を最小限に抑えることによって、相関する固定パターンノイズ、時間的ノイズ、または系統的ノイズの可能性を低減する。

図５Ａは、構造化光パターン（空間パターンとも呼ばれる）を局所領域に投影する、撮像デバイス２２５および照明源２３０の例示的な構成を示す。図５Ａにおいて、例示的な空間パターンは、照明源２３０の視野内に投影された垂直バーを含む。散乱反射または直接反射を介して、空間パターンは、撮像デバイス内の検出器によって捕捉されて、照明源２３０との三角測量により、構造光の手法が局所領域の３次元レイアウトを抽出することを可能にする。

図５Ｂは、撮像デバイス２３０および時間的に変調された照明源２３０からの構造化光パターン（空間パターンとも呼ばれる）を投影する照明源２３０の例示的な構成を示す。図５Ｂでは、時間変調は、局所領域に到達する前に照明源２３０からほぼ等しい距離にある矩形領域によって示されている。空間的なパターンが説明の便宜上、４つの垂直バーとして図５Ｂに示されている。したがって、図５Ｂにおける撮像デバイス２２５および照明源２３０は、空間パターンおよびタイムオブフライト情報を捕捉して、局所領域の深度を抽出するための空間的手法および時間的手法の両方をそれぞれ提供することを可能にする。図３〜図４Ｄに関連して前で説明したように、撮像デバイス２２５は、撮像デバイス２２５内の個々の画素群４１０，４１５，４２０，４２５の間の位相オフセットを制御することによって、空間的情報および時間的情報の両方を捕捉する共通の検出器を含む。

実施形態に関する前述の説明は、例示のために提示されたものであり、網羅的であること、または開示された正確な形態に特許権を限定することを意図するものではない。当業者であれば、上記の開示を参照して多くの変更および変形が可能であることを理解することができる。

本明細書で使用される用語は、主に、読みやすさおよび教示目的のために選択されたものであり、本発明の主題を画定または制限するために選択されていない。従って、特許権の範囲は、この詳細な説明ではなく、本明細書に基づいて出願時の任意の特許請求の範囲によって限定されることが意図される。従って、実施形態の開示は、特許権の範囲に限定するものではなく例示的なものとすることを意図する。

Claims (22)

1. 装置であって、
   発光体に接続されたコントローラを含む照明源であって、前記コントローラは、前記発光体によって放射された光をキャリア信号によって変調して、前記照明源から放射された変調された光パターンの強度が前記キャリア信号に基づいて空間的かつ経時的に変化するように構成されている、前記照明源と、
   変調された光パターンの反射を捕捉するように構成された撮像デバイスであって、前記撮像デバイスは、検出器を含み、前記検出器は、複数の画素群を含み、前記複数の画素群の各々は、１つまたは複数の画素を含み、各画素群は、画素群が光を捕捉する時期を決定する制御信号を受信するように構成され、前記制御信号は、各画素群に他の画素群とは異なる時間に光を捕捉させる、前記撮像デバイスと、
   前記撮像デバイスに接続されたプロセッサであって、前記プロセッサは、
   前記検出器の個々の画素群によって受光される光の強度に基づいてキャリア信号の位相を決定し、
   前記キャリア信号の決定された位相に基づいて、変調された光パターンが局所領域内の１つの対象物から反射されて前記検出器によって捕捉される時間を決定し、
   前記光の強度に基づいて空間的情報を決定し、
   前記時間および前記空間的情報に基づいて前記局所領域内の対象物に関する深度情報を決定するように構成されている、前記プロセッサと
   を備える装置。
2. 画素群は、前記画素群によって受信される前記制御信号が値を有するときに光を捕捉し、前記画素群によって受信される前記制御信号が別の値を有するときに光を捕捉しないように構成されている、請求項１に記載の装置。
3. 個々の画素群によって受信される複数の制御信号は、個々の時間に前記値を有する、請求項２に記載の装置。
4. 前記個々の時間に隣接する画素群によって受信される制御信号は、前記画素群によって捕捉される光が、前記画素群に隣接する他の画素群によって捕捉された光に対して特定の位相シフトを有するようにする、請求項２に記載の装置。
5. 前記特定の位相シフトは、９０度の位相シフトである、請求項４に記載の装置。
6. 画素群によって受信される制御信号は、特定の時間に前記値を有し、他の画素群によって受信される制御信号は、前記特定の時間に前記別の値を有する、請求項５に記載の装置。
7. 画素群によって受信される制御信号は、特定の時間に前記値を有し、前記画素群に隣接する各画素群によって受信される制御信号は、前記特定の時間に前記別の値を有する、請求項５に記載の装置。
8. 前記検出器の個々の画素群によって受光される光の強度に基づいて前記キャリア信号の位相を決定することは、
   画素群によって捕捉された光の強度と前記画素群に隣接する他の画素群によって捕捉された光の強度との間の差を決定すること、
   別の画素群によって捕捉された光の強度と、前記別の画素群に隣接するさらなる画素群によって捕捉された光の強度との間の追加の差を決定すること、ここで、前記別の画素群およびさらなる画素群は、前記画素群に隣接し、
   前記差と前記追加の差との比に基づいて前記キャリア信号の位相を決定することを含む、請求項５に記載の装置。
9. 前記差と前記追加の差との比に基づいて前記キャリア信号の位相を決定することは、
   前記追加の差に対する前記差の逆正接としてキャリア信号の位相を決定することを含む、請求項８に記載の装置。
10. 前記検出器に含まれる前記複数の画素群は、繰り返しパターンで配置される、請求項１に記載の装置。
11. 前記繰り返しパターンは、２×２の格子を含み、前記２×２の格子内の各画素群は、前記２×２の格子内の別の画素群によって捕捉される光に対して９０度の位相シフトを有する光を捕捉する、請求項１０に記載の装置。
12. 前記キャリア信号は正弦波を含む、請求項１に記載の装置。
13. 前記キャリア信号は方形波を含む、請求項１に記載の装置。
14. 方法であって、
    変調された光パターンの強度がキャリア信号に基づいて空間的かつ経時的に変化するように前記光パターンをキャリア信号によって変調するステップと、
    変調された光パターンを局所領域に放射するステップと、
    複数の画素群を含む検出器を使用して変調された光パターンの反射を捕捉するステップであって、各画素群は、他の画素群とは異なる時間に光を捕捉するように構成されている、前記放射するステップと、
    前記検出器の個々の画素群によって受光される光の強度に基づいて前記キャリア信号の位相を決定するステップと、
    前記キャリア信号の決定された位相に基づいて、前記変調された光パターンが局所領域内の１つの対象物から反射されて前記検出器によって検出される時間を決定するステップと、
    前記光の強度に基づいて空間的情報を決定するステップと、
    前記時間および前記空間的情報に基づいて前記局所領域内の対象物に関する深度情報を決定するステップと
    を含む方法。
15. 複数の画素群を含む前記検出器を使用して前記変調された光パターンを捕捉することは、個々の時間に個々の画素群を使用して光を捕捉することを含む、請求項１４に記載の方法。
16. 個々の画素群を使用して光を個々の時間に捕捉することは、
    画素群によって捕捉された光が前記画素群に隣接する他の画素群によって捕捉された光に対して特定の位相シフトを有するように個々の画素群を使用して光を捕捉することを含む、請求項１５に記載の方法。
17. 前記特定の位相シフトが９０度の位相シフトを含む、請求項１６に記載の方法。
18. 前記検出器の個々の画素群によって受光される光の強度に基づいて前記キャリア信号の位相を決定することは、
    前記検出器の画素群によって捕捉される光の強度と、前記画素群に隣接する画素群内の他の画素群によって捕捉される光の強度との間の差を決定すること、
    前記検出器の別の画素群によって捕捉された光の強度と、別の画素群に隣接する前記検出器のさらなる画素群によって捕捉された光の強度との間の追加の差を決定すること、
    前記差と前記追加の差との比に基づいて前記キャリア信号の位相を決定することを含む、請求項１７に記載の方法。
19. 差と追加の差との比に基づいて前記キャリア信号の位相を決定することは、
    前記キャリア信号の位相を前記追加の差に対する前記差の逆正接として決定することを含む、請求項１７に記載の方法。
20. 装置であって、
    変調された光パターンの強度がキャリア信号に基づいて空間的かつ経時的に変化するように前記光パターンをキャリア信号によって変調し、
    変調された光パターンを放射するように構成された照明源と、
    前記変調された光パターンの反射を捕捉するように構成された撮像デバイスであって、前記撮像デバイスは、検出器を含み、前記検出器は、複数の画素群を含み、各画素群は１つまたは複数の画素を含み、各画素群は、複数の電荷格納領域を含み、前記検出器は、画素群によって捕捉された光からの電荷を前記キャリア信号の周波数および位相に基づいて前記画素群に含まれる前記電荷格納領域のうちの１つに蓄積するように構成されている、前記撮像デバイスと、
    前記撮像デバイスに接続されたプロセッサであって、前記プロセッサは、
    前記検出器の個々の画素群によって受光される光の強度に基づいて前記キャリア信号の位相を決定し、
    前記キャリア信号の決定された位相に基づいて、変調された光パターンが局所領域内の１つの対象物から反射されて前記検出器により捕捉される時間を決定し、
    前記光の強度に基づいて空間的情報を決定し、
    前記時間および前記空間的情報に基づいて前記局所領域内の対象物に関する深度情報を決定するように構成されている、前記プロセッサと
    を備える装置。
21. 前記画素群は、光と、前記キャリア信号に基づいて変更された画素群に含まれる格納領域に蓄積された電荷とを同時に捕捉する、請求項２０に記載の装置。
22. 各画素群は、１００％のデューティサイクルまで光を捕捉するように構成される、請求項２１に記載の装置。