JP6866365B2 - ステレオカメラと構造化光とを用いたヘッドマウントディスプレイを伴う奥行きマッピング - Google Patents

Description

本開示は、概して、拡張現実システムまたは仮想現実システムに関し、より具体的には、ローカルエリアの奥行き情報を取得する仮想または拡張現実システム用のヘッドセットに関する。

拡張現実（AR : augmented reality）システムを含み得る仮想現実（VR : virtual reality）システムは、三次元（３Ｄ）でのユーザを取り囲む環境の取得を利用することができる。しかし、従来の奥行きカメラ撮像アーキテクチャは、比較的、大きく、重く、かつ、大量の電力を消費する。例えば、飛行時間型（time of flight）（直接検出パルスおよび符号化波形の両方）、構造化光（SL : structured light）、および、ステレオビジョンは、シーンの３Ｄ情報を取得するための、一般的に使用されるカメラアーキテクチャである。ＳＬアーキテクチャ内では、既知のベースライン距離を伴う単一カメラと単一ＳＬ源とを有する非対称カメラ構成は、３Ｄシーン情報を取得するための、一般的に使用されるフレームワークである。非対称カメラ構成では、シーンについての３Ｄ情報は、重複するカメラ視野への構造化光パターンのマッピングによって提供される。しかし、ＳＬ構成の測定結果は、撮像されるローカルエリアにおいて帯域内背景光レベル（in-band background light level）を有することによって影響を受ける。例えば、ローカルエリアの背景光の明るさが複数の桁にわたる（ＳＬ源の見かけの強度以上に明るい）場合、（関心対象の信号が最終的に背景光源の光子ノイズ限界で失われるので）ＳＬ解像度が劣化する。飛行時間型（ＴｏＦ）アーキテクチャは、増大した周囲明るさの下で同様の性能低下を経験する。しかし、制御または非制御周囲源を介した少なくとも最小の背景明るさ無くしては、ステレオビジョンは、３Ｄシーン情報を取得することができない。

拡張現実（ＡＲ）システムにまたは仮想現実（ＶＲ）システムに含まれるヘッドセットは、様々なダイナミックレンジの周囲光条件における視覚情報の取得を可能にする、奥行きカメラアセンブリ（DCA : depth camera assembly）を含む。ＤＣＡは、ＤＣＡを取り囲むローカルエリア（「ローカルエリア」とも称される）の画像を撮像するように構成された複数の画像撮像デバイス（例えば、カメラ、ビデオカメラ）と、ローカルエリア上にＳＬパターンを放射するように構成された構造化光（ＳＬ）源とを含む。ＳＬパターンは、対称的もしくは準ランダムグリッドまたは水平バーなどの指定パターンである。ローカルエリア内へと表面上に投影したときのＳＬパターンの変形に基づいて、ローカルエリアにおけるオブジェクトの奥行きおよび表面情報が決定される。画像撮像デバイスは、光の特定波長範囲（すなわち光の「帯域」）を取得および記録する。

ＤＣＡは、１つ以上の画像撮像デバイスを使用してローカルエリアの１つ以上の画像を撮像するように構成されている。ＤＣＡ内の異なる画像撮像デバイスは、照明源によって投影されたＳＬパターンの部分（すなわち「ＳＬ要素」）を含む画像を撮像するように、または、異なる画像撮像デバイスの視野内のローカルエリアの表現を取得するように構成されている。いくつかの実施形態では、少なくとも撮像された画像のセットは、１つ以上のＳＬ要素を含む。

ＤＣＡは、様々な撮像モードで動作する。これらのモードは、ローカルエリアの光条件に基づいて決定される。異なる撮像モードは、ＤＣＡの、ＳＬ照明器および様々な画像撮像デバイスの異なる動作に対応する。様々な実施形態では、ＤＣＡは、ＤＣＡの画像撮像デバイスによって撮像された１つ以上の画像の信号対雑音比（SNR : signal to noise ratio）を決定し、そのＳＮＲを、ＤＣＡによって維持されるＳＮＲの様々な範囲と比較する。ＳＮＲの各範囲は、異なる撮像モードに関連付けられる。ＤＣＡは、決定されたＳＮＲを含むＳＮＲの撮像モード範囲に基づいて、ＳＬ照明器の動作および１つ以上の画像撮像デバイスの動作を構成する。ＳＮＲに加えて、ＤＣＡはまた、１つまたはそれ以上の画像に関連付けられたコントラスト比を決定し得る。ある実施形態において、決定されたＳＮＲおよびコントラスト比の両方を使用して、撮像モードが決定される。いくつかの実施形態では、決定されたＳＮＲは、コントラスト比とＳＮＲとの組合せである。さらに他の実施形態では、ＤＣＡはまた、ＤＣＡの画像撮像デバイスによって取得された１つ以上の画像の空間的分散を決定し、それぞれが撮像モードに関連付けられている空間的分散の維持範囲と、決定された空間的分散と、を比較する。ＤＣＡは、決定されたＳＮＲを含むＳＮＲの範囲に関連付けられた、かつ、決定された空間的分散を含む空間的分散の範囲に関連付けられた撮像モードに基づいて、ＳＬ照明器の動作および１つ以上の画像撮像デバイスの動作を構成する。

ある実施形態では、ＤＣＡは、閾値と、その閾値未満の追加の閾値と、を維持する。決定されたＳＮＲが閾値以上である場合、ＤＣＡは、色空間における（例えば、赤、青、緑の色空間における）ローカルエリアの画像を撮像するように複数の画像撮像デバイスを構成し、ＳＬ照明器を非活性化する。両方のカメラからカラー画像またはローカル環境を撮像することにより、異なる画像撮像デバイスによって撮像された画像間の画素間相関に基づいてローカル環境の高解像度奥行き情報の決定が可能となる。

しかし、決定されたＳＮＲが閾値未満であり、かつ、追加の閾値よりも大きい場合、ＤＣＡは、ローカルエリア上にＳＬパターンを投影するようにＳＬ照明器を構成する。さらに、ＤＣＡは、（赤、青、緑などの）色空間におけるローカルエリアの画像を撮像するように画像撮像デバイスを構成し、ＳＬ照明器が投影する波長を含む波長範囲におけるローカルエリアの画像を撮像するように別のカメラを構成する。さらに、ＤＣＡは、画像撮像デバイスから、および、他の画像撮像デバイスから画像データを同期または非同期で取得して、画像撮像デバイスから取得された画像データをインターリーブし、ローカルエリアについての奥行き情報を取得する。異なる画像撮像デバイスから同時に、または、（動きに対する）時間または空間の閾値量内で画像データを取得することにより、異なる画像撮像デバイス間の分離に基づいて画像撮像デバイスにより撮像された画像データ内の画像データにおけるシャドウを埋めるための情報が提供される。

決定されたＳＮＲが追加の閾値以下である場合、ＤＣＡは、ローカルエリア上にＳＬパターンを投影するようにＳＬ照明器を構成する。さらに、ＤＣＡは、ＳＬ照明器によって投影された波長を含む波長範囲におけるローカルエリアの画像を撮像するように、画像撮像デバイスと追加の画像撮像デバイスとを構成する。例えば、ローカルエリアにおける周囲光が、決定されたＳＮＲについて追加の閾値未満であるように十分に低い場合、ＤＣＡは、約７５０〜９００ナノメートルの波長を取得するように、画像撮像デバイスと追加の画像撮像デバイスとを構成する。したがって、この構成では、ＤＣＡは、ＳＬ照明器により使用された波長におけるローカルエリアについての情報を撮像する。画像撮像デバイスから、および、追加の画像撮像デバイスから得られた、ローカルエリア上に投影されるＳＬパターンの画像データに基づいて、ＤＣＡは、ローカルエリアについての粗い奥行き情報を取得するために、粗いおよび細かいステレオマッチングを実行する。

一実施形態による、拡張現実システムを含むシステム環境のブロック図である。 一実施形態による、拡張現実ヘッドセットの図である。 一実施形態による、拡張現実ヘッドセットの前部剛体の断面図である。 一実施形態による、カメラにより撮像されたローカルエリアにより反射された光を伴う構造化光源によって照明された、ローカルエリアの例である。 一実施形態による、奥行きカメラアセンブリのブロック図である。 一実施形態による、シーンの奥行き情報を決定するための処理のフローチャートである。

図面は、例示目的のみのために、本開示の実施形態を示す。当業者は、本明細書に示す構造および方法の代替の実施形態を、本明細書に記載の開示の原理またはうたわれている利点から逸脱することなく採用し得ることを、以下の説明から容易に認識するであろう。

システムの概要
図１は、拡張現実（ＡＲ）コンソール１１０が動作するＡＲシステム環境１００の一実施形態のブロック図である。本明細書で使用する場合、ＡＲシステム環境１００はまた、ユーザが相互作用し得る仮想環境をユーザに提示する仮想現実システム環境も含み得る。図１により示すＡＲシステム環境１００は、ＡＲコンソール１１０にそれぞれ結合されているＡＲヘッドセット１０５およびＡＲ入出力（Ｉ／Ｏ）インタフェース１１５を含む。図１は、１つのＡＲヘッドセット１０５と１つのＡＲ Ｉ／Ｏインタフェース１１５とを含む例示的なシステム１００を示すが、他の実施形態では、任意の数のこれらの構成要素が、ＡＲシステム環境１００に含まれ得る。例えば、関連付けられたＡＲ Ｉ／Ｏインタフェース１１５をそれぞれ有する複数のＡＲヘッドセット１０５が存在し、各ＡＲヘッドセット１０５およびＡＲ Ｉ／Ｏインタフェース１１５は、ＡＲコンソール１１０と通信する。代替の構成では、異なる構成要素および追加の構成要素の両方または一方が、ＡＲシステム環境１００に含まれ得る。さらに、図１に示す１つ以上の構成要素に関連して説明された機能は、いくつかの実施形態では、図１に関連して説明したものとは異なる方法で、構成要素間で分散され得る。例えば、ＡＲコンソール１１０の機能の一部またはすべては、ＡＲヘッドセット１０５によって提供される。

ＡＲヘッドセット１０５は、コンピュータ生成要素（例えば、二次元（２Ｄ）または三次元（３Ｄ）画像、２Ｄまたは３Ｄ映像、音声等）を伴う物理的実世界環境の拡張ビューを含むコンテンツをユーザに提示する、ヘッドマウントディスプレイである。いくつかの実施形態では、提示コンテンツは、ＡＲヘッドセット１０５、ＡＲコンソール１１０またはその両方から音声情報を受信する外部デバイス（例えばスピーカおよびヘッドホンの両方または一方）を介して提示されるオーディオを含み、オーディオ情報に基づいて音声データを提示する。ＡＲヘッドセット１０５の実施形態は、図２および図３に関連して以下でさらに説明される。ＡＲヘッドセット１０５は、１つ以上の剛体（rigid body）を含み、該剛体は、剛性または非剛性で互いに結合され得る。剛体間の剛性結合により、結合された剛体が単一剛体エンティティとして作動する。対照的に、剛体間の非剛体結合により、剛体が互いに対して移動することが可能となる。

ＡＲヘッドセット１０５は、奥行きカメラアセンブリ（ＤＣＡ）１２０、電子ディスプレイ１２５、光学ブロック１３０、１つ以上の位置センサ１３５、および慣性測定ユニット（IMU : inertial measurement unit）１４０を含む。ＡＲヘッドセット１０５のいくつかの実施形態は、図１に関連して説明されたものとは異なる構成要素を有する。さらに、図１に関連して説明された様々な構成要素によって提供される機能は、他の実施形態においては、ＡＲヘッドセット１０５の構成要素間で、異なって分散され得る。

ＤＣＡ１２０は、様々なダイナミックレンジを伴う周囲光条件における視覚情報の取得を可能にする。ＤＣＡ１２０のいくつかの実施形態は、１つ以上の画像撮像デバイス（例えば、カメラ、ビデオカメラ）、および、構造化光（SL : structured light）パターンを放射するように構成されたＳＬ源を含み得る。以下にさらに説明するように、構造化光は、対称的もしくは準ランダムグリッドまたは水平バーなどの指定パターンをシーン上に投影する。表面上に投影したときのパターンの変形に基づいて、シーン内のオブジェクトの奥行きおよび表面情報が決定される。したがって、例示の照明源は、ＡＲヘッドセット１０５を取り囲む環境上にグリッドまたは一連の水平バーを放射する。画像撮像デバイスは、光の波長の特定範囲（すなわち、光の「帯域」）を撮像および記録する。画像撮像デバイスによって取得された光の帯域の例は、可視帯域（約３８０ｎｍ〜７５０ｎｍ）、赤外（ＩＲ）帯域（約７５０ｎｍ〜１５００ｎｍ）、紫外帯域（１０ｎｍ〜３８０ｎｍ）、電磁スペクトルの別の部分、または、それらの何らかの組合せを含む。１つ以上の画像撮像デバイスはまた、可視波長を有する光、および、ＩＲ波長または電磁スペクトルの他の部分における波長を有する光に対して高感度（sensitive）であり得る。例えば、画像撮像デバイスは、赤、緑、青、ＩＲ（ＲＧＢＩ）カメラである。いくつかの実施形態では、１つ以上の画像撮像デバイスは、電荷結合素子（CCD : charge coupled device）、相補型金属酸化膜半導体（CMOS : complementary metal-oxide-semiconductor）イメージャ（imager）、他の光感知デバイス、または、それらの何らかの組合せを含む。さらに、ＤＣＡ１２０は、１つ以上の画像撮像デバイスにより撮像された画像の信号対雑音比を決定するための、または、任意の他の適切な測定値を決定するための１つ以上のセンサを含み得る。

ＤＣＡ１２０は、ＤＣＡ１２０に含まれる１つ以上の画像撮像デバイスを使用して、「ローカルエリア（local area）」とも称される、ＡＲヘッドセット１０５に近接したエリアの１つ以上の画像を撮像するように構成されている。ＤＣＡ１２０内の異なる画像撮像デバイスは、照明源（すなわち、「ＳＬ要素」）によって投影されたＳＬパターンの部分を含む画像を撮像するように、または、異なる画像撮像デバイスの視野におけるローカルエリアの表現を撮像するように構成されている。いくつかの実施形態では、少なくとも撮像画像のセットは、１つ以上のＳＬ要素を含む。様々な実施形態では、図５および図６に関連してさらに説明するように、画像撮像デバイスによって撮像された画像は、ＤＣＡ１２０の撮像モードを選択するための光強度情報を提供する。さらに、ＤＣＡ１２０は、ローカルエリアの画像を撮像するための１つ以上の撮像パラメータ（例えば、焦点距離、フォーカス、フレームレート、ＩＳＯ、センサ温度、シャッター速度、絞り等）を調整するために、ＡＲコンソール１１０から１つ以上の入力を受信し得る。ある実施形態において、ＤＣＡ１２０は、周囲光レベルと視覚ダイナミックレンジとに基づいて複数の撮像モードのうちの１つで動作するようにそれぞれ構成された、２つのＲＧＢＩカメラと１つのＩＲレーザとを含み、図５および図６に関連して以下にさらに説明するように、ＤＣＡは、１つ以上の閾値条件に基づいて撮像モードを修正することができる。

電子ディスプレイ１２５は、ＡＲコンソール１１０から受信したデータに応じて、ユーザに２Ｄまたは３Ｄ画像を表示する。様々な実施形態において、電子ディスプレイ１２５は、単一の電子ディスプレイまたは複数の電子ディスプレイ（例えば、ユーザのそれぞれの眼についてのディスプレイ）を含む。電子ディスプレイ１２５の例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリクス有機発光ダイオードディスプレイ（AMOLED : active-matrix organic light-emitting diode display）、いくつかの他のディスプレイ、または、それらの何らかの組合せを含む。

光学ブロック１３０は、電子ディスプレイ１２５から受信した画像光を拡大し、画像光に伴う光学誤差を補正し、ＡＲヘッドセット１０５のユーザに、補正された画像光を提示する。様々な実施形態において、光学ブロック１３０は、１つ以上の光学素子を含む。光学ブロック１３０に含まれる例示の光学素子の例は、開口、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、または、画像光に影響を与える任意の他の適切な光学素子を含む。また、光学ブロック１３０は、異なる光学素子の組合せを含み得る。いくつかの実施形態では、光学ブロック１３０内の１つ以上の光学素子は、反射防止コーティングなどの１つ以上のコーティングを有し得る。

光学ブロック１３０による画像光の拡大およびフォーカシング（focusing）により、電子ディスプレイ１２５を、より物理的に小さく、軽量化して、より大きなディスプレイよりも少ない電力消費とすることが可能となる。また、拡大により、電子ディスプレイ１２５によって提示されるコンテンツの視野が増大され得る。例えば、表示コンテンツの視野は、ユーザの視野のほぼすべて（例えば、斜め方向約１１０度）、また、いくつかのケースではすべて、を用いて表示コンテンツが提示されるようなものである。さらに、いくつかの実施形態では、光学素子を追加または除去することによって、拡大の量を調整し得る。

いくつかの実施形態では、光学ブロック１３０は、１つ以上の種類の光学誤差を補正するように設計され得る。光学誤差の例としては、バレル歪み（barrel distortions）、ピンクッション歪み（pincushion distortions）、軸上色収差、または、横色収差が挙げられる。他の種類の光学誤差はさらに、球面収差、コマ収差（comaticaberrations）、または、レンズ像面湾曲、非点収差、もしくは任意の他の種類の光学誤差に起因する誤差を含み得る。いくつかの実施形態では、表示用に電子ディスプレイ１２５に提供されるコンテンツは、予め歪まされ、光学ブロック１３０は、コンテンツに基づいて生成された電子ディスプレイ１２５からの画像光を光学ブロック１３０が受けたときに、歪みを補正する。

ＩＭＵ１４０は、１つ以上の位置センサ１３５から受信した測定信号に基づいて、および、ＤＣＡ１２０から受信した周囲光レベルから、ＡＲヘッドセット１０５の位置を示すデータを生成する電子デバイスである。位置センサ１３５は、ＡＲヘッドセット１０５の動きに応答して、１つ以上の測定信号を生成する。位置センサ１３５の例には、１つ以上の加速度計、１つ以上のジャイロスコープ、１つ以上の磁力計、動きを検出する他の適切な種類のセンサ、ＩＭＵ１４０の誤差補正に使用されるある種のセンサ、または、それらの何らかの組合せが含まれる。位置センサ１３５は、ＩＭＵ１４０の外部に、ＩＭＵ１４０の内部に、または、それらの何らかの組合せで、配置され得る。

１つ以上の位置センサ１３５からの１つ以上の測定信号に基づいて、ＩＭＵ１４０は、ＡＲヘッドセット１０５の初期位置に対するＡＲヘッドセット１０５の推定現在位置を示すデータを生成する。例えば、位置センサ１３５は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計、および、回転運動（例えば、ピッチ、ヨー、ロール）を測定するための複数のジャイロスコープを含む。いくつかの実施形態では、ＩＭＵ１４０は、迅速に測定信号をサンプリングし、サンプリングされたデータからＡＲヘッドセット１０５の推定現在位置を計算する。例えば、ＩＭＵ１４０は、速度ベクトルを推定するために加速度計から経時的に受信した測定信号を積分し、ＡＲヘッドセット１０５上の基準点の推定現在位置を決定するために経時的に速度ベクトルを積分する。あるいは、ＩＭＵ１４０は、サンプリングされた測定信号をＡＲコンソール１１０に提供し、ＡＲコンソール１１０は誤差を低減するためにデータを解釈する。基準点は、ＡＲヘッドセット１０５の位置を示すために使用し得る点である。基準点は一般的に、ＡＲヘッドセット１０５の向きおよび位置に関連する、空間内の点、または位置として定義され得る。

ＩＭＵ１４０は、ＡＲコンソール１１０から１つ以上のパラメータを受信する。さらに後述するように、１つ以上のパラメータは、ＡＲヘッドセット１０５の追跡を維持するために使用される。受信したパラメータに基づいて、ＩＭＵ１４０は、１つ以上のＩＭＵパラメータ（例えば、サンプルレート）を調整し得る。いくつかの実施形態では、特定のパラメータが、ＩＭＵ１４０に、基準点の次の位置に対応するように基準点の初期位置を更新させる。基準点の次の較正位置として基準点の初期位置を更新することは、ＩＭＵ１４０により推定された現在位置に伴う累積誤差を低減するのに役立つ。ドリフト誤差とも称される累積誤差により、基準点の推定位置が、基準点の実際の位置から経時的に「ドリフト」されてしまう。ＡＲヘッドセット１０５のいくつかの実施形態では、ＩＭＵ１４０は、専用のハードウェア構成要素であり得る。他の実施形態では、ＩＭＵ１４０は、１つ以上のプロセッサに実装されたソフトウェア構成要素であり得る。

ＡＲ Ｉ／Ｏインタフェース１１５は、ユーザがアクション要求を送信し、かつ、ＡＲコンソール１１０から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、画像もしくは映像データの取得を開始もしくは終了するための命令、または、アプリケーション内の特定のアクションを実行するための命令であり得る。ＡＲ Ｉ／Ｏインタフェース１１５は、１つ以上の入力デバイスを含み得る。例示の入力デバイスは、キーボード、マウス、ゲームコントローラ、または、アクション要求を受信してＡＲコンソール１１０にアクション要求を通信するための任意の他の適切なデバイスを含む。ＡＲ Ｉ／Ｏインタフェース１１５によって受信されたアクション要求は、ＡＲコンソール１１０に通信され、ＡＲコンソール１１０は、アクション要求に対応するアクションを実行する。いくつかの実施形態では、ＡＲ Ｉ／Ｏインタフェース１１５は、ＩＭＵ１４０を含み、ＩＭＵ１４０は、上述のように、ＡＲ Ｉ／Ｏインタフェース１１５の初期位置に対するＡＲ Ｉ／Ｏインタフェース１１５の推定位置を示す較正データを取得する。いくつかの実施形態では、ＡＲ Ｉ／Ｏインタフェース１１５は、ＡＲコンソール１１０から受信した命令に応じてユーザに触覚フィードバックを提供し得る。例えば、アクション要求が受信されたときに、触覚フィードバックが提供され、または、ＡＲコンソール１１０がアクションを実行したときに、ＡＲコンソール１１０が命令をＡＲ Ｉ／Ｏインタフェース１１５に通信してＡＲ Ｉ／Ｏインタフェース１１５に触覚フィードバックを生成させる。

ＡＲコンソール１１０は、ＤＣＡ１２０、ＡＲヘッドセット１０５およびＡＲ Ｉ／Ｏインタフェース１１５のうちの１つ以上から受信した情報に応じて、処理用に、ＡＲヘッドセット１０５にコンテンツを提供する。図１に示す例では、ＡＲコンソール１１０は、アプリケーションストア１５０、追跡モジュール１５５およびＡＲエンジン１４５を含む。ＡＲコンソール１１０のいくつかの実施形態は、図１に関連して説明したものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、図１に関連して説明したものとは異なる方法で、ＡＲコンソール１１０の構成要素間で分散され得る。

アプリケーションストア１５０は、ＡＲコンソール１１０による実行用の１つ以上のアプリケーションを格納する。アプリケーションは、プロセッサによって実行されたときにユーザに提示するためのコンテンツを生成する命令群である。アプリケーションによって生成されたコンテンツは、ユーザからＡＲヘッドセット１０５またはＡＲ Ｉ／Ｏインタフェース１１５の動きを介して受信した入力に応答し得る。アプリケーションの例には、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の適切なアプリケーションが含まれる。

追跡モジュール１５５は、１つ以上の較正パラメータを使用してＡＲシステム環境１００を較正し、ＡＲヘッドセット１０５またはＡＲ Ｉ／Ｏインタフェース１１５の位置の決定における誤差を低減するために、１つ以上の較正パラメータを調整し得る。例えば、追跡モジュール１５５は、ＤＣＡ１２０により取得されたＳＬ要素の位置をより正確に決定するために、ＤＣＡ１２０の焦点を調整するようＤＣＡ１２０に較正パラメータを通信する。追跡モジュール１５５によって実行される較正はまた、ＡＲヘッドセット１０５内のＩＭＵ１４０およびＡＲ Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０の両方または一方から受信した情報も考慮する。さらに、ＡＲヘッドセット１０５の追跡が失われる（例えば、ＤＣＡ１２０が、少なくとも閾値数のＳＬ要素の視線（line of sight）を失う）と、追跡モジュール１４０は、ＡＲシステム環境１００の一部または全体を再較正し得る。

追跡モジュール１５５は、ＤＣＡ１２０、１つ以上の位置センサ１３５、ＩＭＵ１４０またはそれらの何らかの組合せからのセンサデータ情報を使用して、ＡＲヘッドセット１０５またはＡＲ Ｉ／Ｏインタフェース１１５の動きを追跡する。例えば、追跡モジュール１５５は、ＡＲヘッドセット１０５からの情報に基づいてローカルエリアのマッピングにおけるＡＲヘッドセット１０５の基準点の位置を決定する。追跡モジュール１５５はまた、ＩＭＵ１４０からの、ＡＲヘッドセット１０５の位置を示すデータを使用して、または、ＡＲ Ｉ／Ｏインタフェース１１５に含まれるＩＭＵ１４０からの、ＡＲ Ｉ／Ｏインタフェース１１５の位置を示すデータを使用して、それぞれ、ＡＲヘッドセット１０５の基準点またはＡＲ Ｉ／Ｏインタフェース１１５の基準点の位置を決定し得る。さらに、いくつかの実施形態では、追跡モジュール１５５は、ＩＭＵ１４０からの、位置またはＡＲヘッドセット１０５を示すデータの部分、および、ＤＣＡ１２０からのローカルエリアの表現を使用して、ＡＲヘッドセット１０５の将来位置を予測する。追跡モジュール１５５は、ＡＲヘッドセット１０５またはＡＲ Ｉ／Ｏインタフェース１１５の推定または予測将来位置を、ＡＲエンジン１４５に提供する。

ＡＲエンジン１４５は、ＡＲヘッドセット１０５から受信された、投影した複数のＳＬ要素の画像の立体情報または変形に基づいて、ローカルエリアの３Ｄマッピングを生成する。いくつかの実施形態において、ＡＲエンジン１４５は、ＡＲヘッドセット１０５のＤＣＡ１２０内の画像撮像デバイスによって撮像された立体画像に基づいて、ローカルエリアの３Ｄマッピング用の奥行き情報を決定する。追加的にまたは代替的に、ＡＲエンジン１４５は、ＡＲヘッドセット１０５のＤＣＡ１２０により撮像された、変形されたＳＬ要素の画像に基づいて、ローカルエリアの３Ｄマッピング用の奥行き情報を決定する。ＤＣＡ１２０から受信した情報からのローカルエリアの奥行きマッピングは、図５に関連して以下にさらに説明される。

ＡＲエンジン１４５はまた、ＡＲシステム環境１００内でアプリケーションを実行し、ＡＲヘッドセット１０５の、位置情報、加速度情報、速度情報、予測将来位置、または、それらの何らかの組合せを追跡モジュール１５５から受信する。受信した情報に基づいて、ＡＲエンジン１４５は、ユーザに提示するためにＡＲヘッドセット１０５に提供するコンテンツを決定する。例えば、ユーザが左を見たことを受信情報が示す場合、ＡＲエンジン１４５は、仮想環境において、または、追加コンテンツでローカルエリアを拡張させる環境において、ユーザの動きをミラーリングする、ＡＲヘッドセット１０５用のコンテンツを生成する。さらに、ＡＲエンジン１４５は、ＡＲ Ｉ／Ｏインタフェース１１５から受信したアクション要求に応答して、ＡＲコンソール１１０上で実行されるアプリケーション内のアクションを実行し、アクションが実行されたことのフィードバックをユーザに提供する。提供されるフィードバックは、ＡＲヘッドセット１０５を介した視覚的または聴覚的フィードバックまたはＡＲ Ｉ／Ｏインタフェース１１５を介した触覚フィードバックであり得る。

図２は、ＡＲヘッドセット２００の一実施形態の線図である。ＡＲヘッドセット２００は、ＡＲヘッドセット１０５の実施形態であり、前部剛体２０５、バンド２１０、基準点２１５、左側２２０Ａ、上側２２０Ｂ、右側２２０Ｃ、下側２２０Ｄ、および、前側２２０Ｅを含む。図２に示すＡＲヘッドセット２００はまた、図３および図４に関連して以下にさらに説明される、カメラ２２５と、追加のカメラ２２７と、構造化光（ＳＬ）照明器２３０とを含む奥行きカメラアセンブリ（ＤＣＡ）１２０の実施形態も含む。前部剛体２０５は、電子ディスプレイ１２５（図示せず）のうちの１つ以上の電子ディスプレイ素子、ＩＭＵ１３０、１つ以上の位置センサ１３５、および、基準点２１５を含む。

図２で示した実施形態では、ＡＲヘッドセット２００は、既知の距離だけ離れているとともに共通の視野を有するカメラ２２５と追加のカメラ２２７とを含むＤＣＡ１２０、ならびに、ローカルエリア上に既知パターン（例えば、グリッド、一連のライン、対称的または準ランダムに配向されたドットのパターン）を投影するように構成されたＳＬ照明器２３０を含む。カメラ２２５と追加のカメラ２２７とが撮像したローカルエリアの画像は、図３〜図６に関連してさらに以下で説明されるように、ローカルエリアの奥行き画像を計算するために使用される。

図３は、図２に示すＡＲヘッドセット２００の前部剛体２０５の断面図である。図３に示すように、前部剛体２０５は、カメラ３１５およびＳＬ照明器３２５を含む。前部剛体２０５は、光が前部剛体２０５を通って伝搬する経路に対応する光軸３２０を有する。図３の例では、カメラ３１５は、光軸３２０に沿って配置され、カメラ３１５の視野内で前部剛体２０５を取り囲む環境の一部であるローカルエリア３０５の画像を撮像する。さらに、前部剛体２０５は、図１に関連してさらに上述した電子ディスプレイ１２５と光学ブロック１３０とを含む。前部剛体２０５はまた、ユーザの眼３４０が配置される射出瞳３３５も含む。説明の目的のために、図３は、片方の眼３４０に係る前部剛体２０５の断面を示す。

ローカルエリア３０５は、入射した周囲光とＳＬ照明器３２５によって投影された光とを反射する。図３に示すように、ＳＬ照明器３２５は、光軸３２０に平行な軸に沿って配置される一方、カメラ３１５は、光軸３２０に沿って配置される。図２および図３に示すように、ＳＬ照明器３２５は、（カメラ３１５を含む）光軸３２０に平行な面とは異なる、光軸３２０に平行な面内に配置されている。ＳＬ照明器３２５およびカメラ３１５は、図１のＤＣＡ１２０と関連してさらに上述されている。

図１に関連して上述したように、電子ディスプレイ素子１２５は、画像を形成する光を光学ブロック１３０に向けて放射し、光学ブロック１３０は、電子ディスプレイ素子１２５から受けた光を変化させる（alter）。光学ブロック１３０は、変化された画像光（image light）を射出瞳３３５に向け、射出瞳３３５は、ユーザの眼３４０が位置している前部剛体２０５の位置である。上述したように、図３は、ユーザの片方の眼３４０について前部剛体２０５の断面を示しており、別の電子ディスプレイ１２５と光学ブロック１３０とを含み、これらは、図３に示したものとは別個で前部剛体２０５に含まれ、ユーザの他方の眼にローカルエリア３０５の拡張表現または他のコンテンツを提示する。

図４は、ＤＣＡ４００を含むＡＲヘッドセット１０５の実施形態によって撮像される画像の例である。図４の例では、ＤＣＡ４００は、特定の撮像モードで動作し、ＡＲヘッドセット１０５を取り囲むローカルエリア４１０の画像を撮像する。図１および図３に関連してさらに上述したように、図４のＤＣＡ４００は、構造化光（ＳＬ）照明器４２０、カメラ４３０および追加のカメラ４３５を含み、カメラ４３０および追加のカメラ４３５は、既知の距離で離間されているとともに、重複する視野を有している。ＳＬ照明器４２０は、カメラ４３０と追加のカメラ４３５とに含まれるレンズに垂直な面の中点、または、カメラ４３０と追加のカメラ４３５とに含まれるレンズに垂直な面内の別の場所などの、カメラ４３０と追加のカメラ４３５との間に配置される（これにより、ＳＬ照明器４２０をカメラ４３０または追加のカメラ４３５のより近くに配置することができる）。別の実施形態では、ＳＬ照明器４２０と、カメラ４３０と、追加のカメラ４３５とが略正三角形を形成して配置されるように、ＳＬ照明器４２０が配置される。ＳＬ照明器４２０と、カメラ４３０と、追加のカメラ４３５との間の正確な離間距離は、３Ｄ感度と視点オフセットからの三角測量による推定横画像シフトとを定義するのに役立つが、異なる実施形態においては様々な基準を最適化するように別の態様に修正され得る。

ＤＣＡ４００は、ＳＬ照明器４２０がローカルエリア４１０を照明していない場合に、カメラ４３０によって、または追加のカメラ４３５によって撮像された画像における信号対雑音比（ＳＮＲ）などのパラメータに基づいて動作についての撮像モードを選択することにより、様々な撮像モードで動作し、ＳＮＲは、ローカルエリア４１０における周囲光レベルによって影響を受ける。図５および図６に関連してさらに以下に説明するように、ＤＣＡ４００は、カメラ４３０と追加のカメラ４３５とのうちの１つ以上によって撮像された画像のＳＮＲを決定し、決定されたＳＮＲに基づいて撮像モードを決定する。例えば、ＤＣＡ４００は、決定されたＳＮＲを含む範囲を決定し、決定されたＳＮＲを含む範囲に関連付けられている撮像モードを選択する。例えば、ＳＬ照明器４２０がローカルエリア４１０を照射していない場合にカメラ４３０によって撮像されたローカルエリア４１０の画像のＳＮＲが閾値を超えた場合、ＤＣＡ４００は、カメラ４３０によっておよび追加のカメラ４３５によって撮像されたステレオマッチング画像（stereo matching images）によってローカルエリア４１０の奥行き情報を決定する。前述の例では、ＳＮＲが閾値未満であり、かつ、追加の閾値未満である場合、ＤＣＡ４００は、ＳＬ照明器４２０でローカルエリア４１０を照明し、ＳＬ照明器４２０によってローカルエリア４１０上に投影されたパターンの画像からローカルエリア４１０についての奥行き情報を決定する。さらに、ローカルエリア４１０にわたる変動する周囲光レベルに基づいて、ＤＣＡ４００は、ステレオおよび非対称ＳＬについての撮像画像をインターリーブして、異種のデータセットをマージし得る。この例では、ＤＣＡ４００は、カメラ４３０と追加のカメラ４３５とを含むベースステレオペア（base stereo pair）、ＳＬ照明器４２０とカメラ４３０とを含む右のＳＬペア、ＳＬ照明器４２０と追加のカメラ４３５とを含む左のＳＬペア、または、カメラ４３０と追加のカメラ４３５とからのステレオデータを収集しつつＳＬ照明器４２０を動作させるアシストされたステレオの組合せを動作させ得る。ローカルエリア４１０における空間周波数または放射輝度動的変動が、ステレオマッチング入力を一意に解決するほどには周囲照明下で十分にユニークではない場合に、アシストされたステレオの組合せを動作させ得る。しかし、ＤＣＡ４００は、図５および図６に関連して以下にさらに説明するように、様々な実施形態において任意の数の撮像モードから選択し得る。

図５は、ＤＣＡ１２０の一実施形態のブロック図である。図５で示す例では、ＤＣＡ１２０は、ＳＬ照明器５１０、カメラ５２０、追加のカメラ５２５、ＳＮＲモジュール５３０およびモード選択モジュール５４０を含む。他の実施形態では、ＤＣＡ１２０は、図５に示されているものとは異なる構成要素および追加の構成要素の両方または一方を含み得る。図１および図４に関連してさらに上述したように、カメラ５２０および追加のカメラ５２５は、重複視野を有しており、既知の距離によって離間されている。カメラ５２０および追加のカメラ５２５はそれぞれ、カメラ５２０と追加のカメラ５２５との視野内にあるＤＣＡ１２０を含むＡＲヘッドセット１０５を取り囲む環境のローカルエリアの画像を撮像する。構造化光（ＳＬ）照明器５１０は、擬似ランダムドットパターン、グリッドまたは水平バーなどのＳＬパターンを、ローカルエリア上に投影する。例えば、ＳＬパターンは、既知の幅および高さの１つ以上の幾何学的要素を含み、これにより、ローカルエリアにおけるオブジェクトに関する情報を提供するためにＳＬのパターンがローカルエリア上に投影されるときに、様々な幾何学的要素の変形の計算が可能となる。

ＤＣＡ１２０は、ローカルエリアの画像を異なって撮像する、異なる撮像モードで動作することが可能である。様々な実施形態では、ＤＣＡ１２０が動作する撮像モードは、カメラ５２０と追加のカメラ５２５とのうちの１つ以上によって撮像された１つ以上の画像の信号対雑音比（ＳＮＲ）に少なくとも部分的に基づいて決定される。ＤＣＡ１２０はまた、カメラ５２０と追加のカメラ５２５とによって撮像されたローカルエリアの１つ以上の画像のうちの少なくとも１つに関連付けられたコントラスト比も決定し得る。例えば、ＳＮＲに加えて、ＤＣＡ１２０はまた、ローカルエリアにおける最も暗い色（例えば、黒）に対する、最も明るい色（例えば、白）の輝度の比であるコントラスト比も決定する。一実施形態において、ＤＣＡ１２０により決定されたＳＮＲは、決定されたＳＮＲと決定されたコントラスト比との組合せである。

いくつかの実施形態では、ＤＣＡ１２０は、カメラ５２０と追加のカメラ５２５とによって撮像された１つ以上の画像のＳＮＲならびに１つ以上の画像の空間的分散（spatial variance）の測定値に基づいて撮像モードを決定する。画像の空間的分散は、画像内の異なる位置における画素の大きさまたは強度の分散に基づいており、かつ、ローカルエリアの空間周波数成分に基づく。ＳＮＲは、ローカルエリアにおける周囲光条件に部分的に依存するので、ＤＣＡ１２０は、ローカルエリアにおける周囲光に基づいて異なる撮像モードで動作する。撮像モードを選択するためにＳＮＲおよび空間的分散を使用する場合、ＤＣＡ１２０が動作する撮像モードは、ローカルエリアにおける周囲光と空間周波数成分との両方に基づく。様々な実施形態では、ＳＮＲモジュール５３０は、カメラ５２０によって、または、追加のカメラ５２５によって撮像された画像（例えば、ＳＬ照明器５１０がローカルエリアを照明していない間に撮像された画像）から画像データを受信し、受信した画像データからＳＮＲを決定する。空間的分散はまた、様々な実施形態において、受信画像データからＳＮＲモジュール５３０によっても決定され得る。代替的にまたは追加的に、ＳＮＲモジュール５３０は、１つ以上の光強度センサ（例えば、ＤＣＡ１２０に含まれるか、ＡＲヘッドセット１０５に含まれるか、または他の形でＡＲシステム環境１００内の構成要素へ情報を通信する、光強度センサ）からデータを受信し、光強度センサからのデータに基づいてＳＮＲを決定する。いくつかの実施形態では、ＳＮＲモジュール５３０は、定期的な間隔でＳＮＲを決定する。例えば、ＳＮＲモジュール５３０は、原画像を１つ以上の補正フィルタ（フィールドバランシング、パワー補正、ケラレ補正等）に通すこと、および、最小値よりも低い周囲輝度周波数成分（例えば、ＳＬ照明器よりも低い周波数成分）を画像から除去するためにローカル信号スロープ微分フィルタ（local signal slope derivative filters）を適用することによって、画像についてのＳＮＲを決定する。最小値よりも低い周波数成分を除去した後、閾値以上の信号の測定値は、光強度データを撮像するデバイス（例えば、カメラ、追加のカメラ、光強度センサ）の最小値信号（暗）フロアと比較され、画像のＳＮＲが決定される。画像についてのＳＮＲおよび空間的分散の決定は、図６に関連してさらに以下に説明される。

モード選択モジュール５４０は、ＳＮＲモジュール５３０によって決定されるＳＮＲに少なくとも部分的に基づいて、複数のモードから撮像モードを選択する。ＳＮＲモジュール５３０が空間的分散を決定する実施形態では、モード選択モジュール５４０はまた、空間的分散に少なくとも部分的に基づいて撮像モードを選択する。選択された撮像モードに基づいて、モード選択モジュール５４０は、カメラ５２０、追加のカメラ５２５およびＳＬ照明器５１０のうちの１つ以上に命令を通信し、カメラ５２０、追加のカメラ５２５およびＳＬ照明器５１０を構成する。いくつかの実施形態では、モード選択モジュール５４０は、閾値ＳＮＲと追加の閾値ＳＮＲとで境界決定された各範囲で、ＳＮＲの複数の範囲を維持する。異なる範囲は、異なる撮像モードに関連付けられ、モード選択モジュール５４０は、いくつかの実施形態において、決定されたＳＮＲを含む範囲に関連付けられている撮像モードを選択する。モード選択モジュール５４０はまた、閾値分散と追加の閾値分散とにより境界決定されて撮像モードに関連付けられている各範囲で、空間的分散の複数の範囲を維持し、これにより、モード選択モジュール５４０は、ＳＮＲモジュール５３０によって決定されるＳＮＲと空間的分散とを含むＳＮＲの範囲と、空間的分散の範囲と、に対応する撮像モードを選択する。

一実施形態では、モード選択モジュール５４０は、各範囲に関連付けられた異なる撮像モードで、ＳＮＲの３つの範囲を特定するために、閾値と、閾値とは異なり閾値未満である追加の閾値とを維持する。ＳＮＲモジュール５３０からのＳＮＲが閾値以上である場合、モード選択モジュール５４０は、カメラ５２０におよび追加のカメラ５２５に、色空間において（例えば、赤、青、緑の色空間において）ローカルエリアの画像をともに撮像するための命令を通信する。さらに、ＳＮＲモジュール５３０はまた、ＳＮＲモジュール５３０からのＳＮＲが閾値以上である場合、ＳＬ照明器５１０を非活性化するための命令をＳＬ照明器５１０に通信する。両方のカメラからカラー画像またはローカル環境を取得することにより、カメラ５２０によって、および、追加のカメラ５２５によって撮像された異なる画像間の画素間相関に基づいて、ローカル環境の高解像度奥行き情報の決定が可能となる。

しかし、ＳＮＲモジュール５３０からの受信ＳＮＲが閾値未満であり、かつ、追加の閾値よりも大きい場合、モード選択モジュール５４０は、ＳＬ照明器５１０に、ローカルエリア上にＳＬパターンを投影するための命令を通信する。さらに、モード選択モジュール５４０は、カメラ５２０に、（赤、青、緑などの）色空間におけるローカルエリアの画像を撮像するための命令を通信し、追加のカメラ５２５に、ＳＬ照明器５１０が投影する波長を含む波長の範囲におけるローカルエリアの画像を撮像するための命令を通信する。例えば、赤外光を介してＳＬ照明器５１０がＳＬパターンを投影する場合、命令は、赤外波長を検出し、検出された赤外波長の画像を撮像するように、追加のカメラ５２５を構成する。さらに、ＤＣＡ１２０は、カメラ５２０から、および、追加のカメラ５２５から同期または非同期で画像データを取得し、カメラ５２０から、および、追加のカメラ５２５から取得した画像データをインターリーブして、ローカルエリアについての奥行き情報を取得する。カメラ５２０から、および、追加のカメラ５２５から同時に、または、（動きに対する）時間もしくは空間における閾値量内で画像データを取得することにより、既知の距離でのカメラ５２０と追加のカメラ５２５との離間に基づいてカメラ５２０により撮像された画像データ内で画像データにおけるシャドウ（shadows）を埋めて、同様の重複視野を持たせるための情報が提供される。

ＳＮＲモジュール５３０から受信したＳＮＲが追加の閾値以下である場合、モード選択モジュール５４０は、ＳＬ照明器５１０に、ローカルエリア上にＳＬパターンを投影するための命令を通信する。さらに、モード選択モジュール５４０は、カメラ５２０におよび追加のカメラ５２５に、ＳＬ照明器５１０が投影する波長を含む波長の範囲におけるローカルエリアの画像を撮像するための命令を通信する。例えば、ＳＬ照明器５１０が光の赤外波長を介してＳＬパターンを投影する場合、カメラ５２０と追加のカメラ５２５とに通信された命令により、カメラ５２０および追加のカメラ５２５が、赤外波長の画像を検出および撮像する。例えば、ローカルエリアにおける周囲光が、モード選択モジュール５４０がこの撮像モードを選択するのに十分低い場合、（カメラ５２０によってまたは追加のカメラ５２５によって使用され得るほとんどの赤、青、緑ベイヤーフィルタ（Bayer filters）により、ほぼ同量の赤外光を通過させることができるので）カメラ５２０および追加のカメラ５２５は、約７５０〜９００ナノメートルの波長を取得する。したがって、この撮像モードは、周囲光条件が所定閾値未満であると通知されると、ＳＬ照明器５１０で赤外波長におけるローカルエリアについての情報を取得する。カメラ５２０からおよび追加のカメラ５２５から得られたローカルエリア上に投影されたＳＬパターンの画像データに基づいて、ＤＣＡ１２０は、ローカルエリアについての粗い奥行き情報を得るために、粗いおよび細かいステレオマッチングを実行する。さらに、モード選択モジュール５４０は、ＳＬ照明器５１０、カメラ５２０および追加のカメラ５２５に、ＳＬ照明器５１０およびとカメラ５２０とに「右」データペアを形成するように動作させ得る一方、ＳＬ照明器５１０と追加のカメラ５２５とに「左」データペアを形成するように動作させ得る命令を通信し得る。ＳＬ照明器５１０とカメラ５２０との組合せ（pairing）と、ＳＬ照明器５１０と追加のカメラ５２５との組合せとは、非対称であり、これにより、三次元情報の抽出と、オーバーレイ比較（overlay comparisons）を介した画像データにおける位置欠落の補正とが可能となる。他の実施形態では、モード選択モジュール５４０は、任意の数の撮像モードから選択し、撮像モードを選択するために、任意の適切な基準を使用し得る。

他の実施形態では、モード選択モジュール５４０は、最小ＳＮＲおよび最小空間的分散を維持し、ＳＮＲモジュール５３０によって決定されたＳＮＲと空間的分散とを、最小ＳＮＲおよび最小空間的分散と比較する。ＳＮＲモジュール５３０からのＳＮＲが最小ＳＮＲ以上であり、ＳＮＲモジュール５３０からの空間的分散が最小空間的分散を超える場合、モード選択モジュール５４０は、カメラ５２０におよび追加のカメラ５２５に、色空間における（例えば、赤、青、緑の色空間における）ローカルエリアの画像をともに撮像するための命令を通信する。さらに、ＳＮＲモジュール５３０は、ＳＮＲモジュール５３０からのＳＮＲが最小ＳＮＲ以上であり、ＳＮＲモジュール５３０からの空間的分散が最小空間的分散以上である場合、ＳＬ照明器５１０に、ＳＬ照明器５１０を非活性化するための命令を通信する。ＳＮＲモジュール５３０からのＳＮＲが最小ＳＮＲ未満であり、ＳＮＲモジュール５３０からの空間的分散が最小空間的分散以上である場合、モード選択モジュール５４０は、ＳＬ照明器５１０に、ローカルエリア上にＳＬパターンを投影するための命令を通信し、カメラ５２０にまたは追加のカメラ５２５に、ＳＬ照明器５１０とカメラ５２０との組合せ、およびＳＬ照明器５１０と追加カメラ５２５との組合せからデータを取得するための命令を通信する。ＳＮＲモジュール５３０からのＳＮＲが最小ＳＮＲ以上であり、ＳＮＲモジュール５３０からの空間的分散が最小空間的分散未満である場合、モード選択モジュール５４０は、ＳＬ照明器５１０に、ローカルエリア上にＳＬパターンを投影するための命令を通信する。さらに、モード選択モジュール５４０は、カメラ５２０におよび追加のカメラ５２５に、ＳＬ照明器５１０が投影する波長を含む波長の範囲におけるローカルエリアの画像を撮像するための命令を通信する。

図６は、奥行きカメラアセンブリ１２０についての撮像モードを選択するための処理の一実施形態のフローチャートである。図６に関連して説明される機能は、いくつかの実施形態においてＤＣＡ１２０またはＡＲヘッドセット１０５内の他の構成要素によって実行され得る。あるいは、図６に関連して説明される機能は、ＡＲシステム環境１００内の他の構成要素により実行され得る。さらに、いくつかの実施形態において、処理は、図６に関連して説明されたものとは異なるステップ、または追加のステップを含む。また、特定の実施形態は、図６に関連して説明される順序とは異なる順序で、図６に関連して説明されるステップを実行し得る。

ＤＣＡ１２０は、ＤＣＡ１２０における画像撮像デバイス（例えば、カメラ）の視野内でＡＲヘッドセット１０５を取り囲む環境を含むローカルエリアにおける周囲光強度の測定値を取得する（６１０）。いくつかの実施形態では、ＤＣＡ１２０は、ＤＣＡ１２０に含まれるＳＬ照明器によってローカルエリアが照明されていない間、画像撮像デバイスによって撮像された１つ以上の画像を分析することにより、周囲光強度の測定値を取得する（６１０）。いくつかの実施形態では、１つ以上の画像撮像デバイスにより撮像された画像は、複数の領域にセグメント化され、各領域は指定の寸法を有する。ＤＣＡ１２０は、代替的にまたは追加的に、ＤＣＡ１２０にまたはＡＲシステム環境１００の他の構成要素に含まれる１つ以上の光強度センサから周囲光強度の測定値を取得し得る（６１０）。

ＤＣＡ１２０は、１つ以上の画像撮像デバイスにより撮像された画像の平均信号対雑音比（ＳＮＲ）を計算する（６２０）。撮像された画像をＤＣＡ１２０が複数の領域にセグメント化する場合、ＤＣＡ１２０は、撮像された画像の様々な領域についての平均ＳＮＲを計算する（６２０）。様々な実施形態では、ＤＣＡ１２０は、撮像された画像をバランシング（balancing）または補正すること、および、バランシングまたは補正された画像に適応的平均値フィルタを適用することにより、撮像された画像の領域について平均ＳＮＲを計算する（６２０）。いくつかの実施形態では、ＤＣＡ１２０は、領域内の画素をそれらのデジタルカウントに基づいてランク付けし、ランキング内の少なくとも閾値位置を有する画素の平均デジタルカウント、および、ランキング内の追加の閾値位置未満である画素の追加の平均デジタルカウントを決定する。ＤＣＡ１２０は、平均デジタルカウントと追加の平均デジタルカウントとの比較に基づいて、領域についての平均ＳＮＲを計算する（６２０）。

図６に示す実施形態などのいくつかの実施形態では、ＤＣＡ１２０はまた、画像のまたは画像の領域の空間的分散も計算する（６３０）。例えば、ＤＣＡ１２０は、適応フィルタまたは他のフィルタを適用する前に、撮像された画像の空間的変換（例えば、フーリエ変換）を決定し、撮像された画像の空間的変換から周波数成分および分散を特定する。いくつかの実施形態では、ＤＣＡ１２０は、撮像された画像の空間的変換から、特定の周波数成分および分散を特定する。ＤＣＡ１２０は、ＳＮＲを計算し（６２０）、撮像された画像の空間的分散、または、いくつかの実施形態においては並列に撮像された画像の領域の空間的分散を計算し得る（６３０）。他の実施形態では、ＤＣＡ１２０は、撮像された画像の空間的分散、または、撮像された画像の領域のＳＮＲを計算する（６２０）前に、撮像された画像の空間的分散、または、撮像された画像の領域の空間的分散を計算し得る（６３０）。

いくつかの実施形態では、図５に関連してさらに上述したように、ＤＣＡ１２０は、撮像された画像のＳＮＲ、または、撮像された画像の領域のＳＮＲを、１つ以上の閾値と比較し（６４０）、比較に基づいて撮像モードを選択する（６５０）。あるいは、図５に関連してもさらに上述したように、ＤＣＡ１２０は、撮像された画像のＳＮＲ、または、撮像された画像の領域のＳＮＲを、最小ＳＮＲと比較し（６４０）、撮像された画像の空間的分散、または、撮像された画像の領域の空間的分散を比較する（６４０）。比較に基づいて、ＤＣＡ１２０は、図５に関連してさらに上述したように、撮像モードを選択する（６３０）。選択された撮像モードを使用して、ＤＣＡ１２０は、ローカルエリアの画像を撮像し、ローカルエリアについての奥行き情報を決定する。ＤＣＡ１２０は、撮像された画像の様々な領域についての上述のステップを実行し得、定期的な間隔で、または、撮像モードを修正するための、および、より正確にローカルエリアについての奥行き情報を決定するための様々な条件が満たされた場合に、上述のステップを実行し得る。

実施形態の前述の説明は、例示の目的のために提示されており、網羅的であること、または、開示された正確な形態に特許権を限定することを意図するものではない。関連技術の当業者は、上記の開示に照らして多くの修正および変形が可能であることを理解することができる。

本明細書で使用される言語は、主として読みやすさおよび説明を目的として選択されており、本発明の主題を線引きまたは画定するように選択されていない可能性がある。したがって、特許権の範囲は、この詳細な説明によってではなく、むしろ、これに基づいて本願について発行される任意の特許請求の範囲によって限定されるものである。したがって、実施形態の開示は、特許権の範囲を例示することを意図しているが、特許権の範囲を限定するものではない。

Claims (18)

1. ヘッドセットであって、該ヘッドセットは、
   ローカルエリア上に構造化光パターンを放射するように構成された構造化光照明器と、
   前記構造化光パターンによって照明された前記ローカルエリアの１組の画像を撮像するように構成された画像撮像デバイスと、
   既知の距離で前記画像撮像デバイスから離間され、前記画像撮像デバイスと共通の視野を有する追加の画像撮像デバイスであって、前記構造化光パターンによって照明された前記ローカルエリアの追加の１組の画像を撮像するように構成された前記追加の画像撮像デバイスと、
   前記画像撮像デバイスに結合され、かつ、前記追加の画像撮像デバイスに結合されたモード選択モジュールであって、前記画像撮像デバイスによって、または前記追加の画像撮像デバイスによって撮像された１つ以上の画像の信号対雑音比に基づいて、前記画像撮像デバイス、前記追加の画像撮像デバイス、および、前記構造化光照明器の撮像モードを決定するように構成され、前記画像撮像デバイス、前記追加の画像撮像デバイス、および、前記構造化光照明器のうちの１つ以上に、決定された前記撮像モードを構成するための命令を通信するように構成された前記モード選択モジュールと、を備え、
   前記モード選択モジュールは、前記信号対雑音比の閾値と前記信号対雑音比の追加の閾値とを維持し、前記追加の閾値は、前記閾値とは異なっているとともに前記閾値未満であり、前記モード選択モジュールは、
   前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された１つ以上の画像の前記信号対雑音比が前記閾値以上であるとの決定に応答して、前記画像撮像デバイスおよび前記追加の画像撮像デバイスがともに色空間における前記ローカルエリアの画像を撮像するとともに前記構造化光照明器が非活性化される撮像モードを決定し、
   前記画像撮像デバイスにおよび前記追加の画像撮像デバイスに、前記色空間における前記ローカルエリアの画像を撮像するための命令を通信し、
   前記構造化光照明器に、前記構造化光照明器を非活性化するための命令を通信するように構成されている、ヘッドセット。
2. 前記モード選択モジュールは、複数の範囲の信号対雑音比を維持し、異なる範囲の信号対雑音比が、異なる撮像モードに関連付けられている、請求項１に記載のヘッドセット。
3. 前記モード選択モジュールは、前記画像撮像デバイスによって、および、前記追加の画像撮像デバイスによって撮像された１つ以上の画像の前記信号対雑音比を含む信号対雑音比の範囲に関連付けられている撮像モードとして、前記画像撮像デバイス、前記追加の画像撮像デバイス、および、前記構造化光照明器の前記撮像モードを決定するように構成されている、請求項２に記載のヘッドセット。
4. 前記モード選択モジュールは、
   前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された１つ以上の画像の前記信号対雑音比が前記閾値未満であり、かつ、前記追加の閾値よりも大きいとの決定に応答して、前記画像撮像デバイスが前記色空間における前記ローカルエリアの画像を撮像し、前記追加の画像撮像デバイスが、前記構造化光照明器によって放射された波長を含む波長範囲で前記ローカルエリアの画像を撮像し、前記構造化光照明器が、前記ローカルエリア上に前記構造化光パターンを放射する代替の撮像モードを決定し、
   前記画像撮像デバイスに、前記色空間における前記ローカルエリアの画像を撮像するための命令を通信し、
   前記追加の画像撮像デバイスに、前記構造化光照明器によって放射された波長を含む前記波長範囲における前記ローカルエリアの画像を撮像するための命令を通信し、
   前記構造化光照明器に、前記ローカルエリア上に前記構造化光パターンを放射するための命令を通信するようにさらに構成されている、請求項３に記載のヘッドセット。
5. 前記構造化光照明器が、赤外波長で前記構造化光パターンを放射し、前記追加の画像撮像デバイスが、赤外波長における前記ローカルエリアの画像を撮像する、請求項４に記載のヘッドセット。
6. 前記ヘッドセットは、前記追加の画像撮像デバイスによって撮像された画像の取得から時間閾値量内で前記画像撮像デバイスによって撮像された画像を取得するように構成されている、請求項４に記載のヘッドセット。
7. 前記モード選択モジュールは、
   前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された１つ以上の画像の前記信号対雑音比が前記追加の閾値以下であるとの決定に応答して、前記画像撮像デバイスおよび前記追加の画像撮像デバイスが、前記構造化光照明器によって放射された波長を含む波長範囲における前記ローカルエリアの画像を撮像し、前記構造化光照明器が、前記ローカルエリア上に前記構造化光パターンを放射する追加の撮像モードを決定し、
   前記画像撮像デバイスに、前記構造化光照明器によって放射された波長を含む前記波長範囲における前記ローカルエリアの画像を撮像するための命令を通信し、
   前記追加の画像撮像デバイスに、前記構造化光照明器によって放射された波長を含む前記波長範囲における前記ローカルエリアの画像を撮像するための命令を通信し、
   前記構造化光照明器に、前記ローカルエリア上に前記構造化光パターンを放射するための命令を通信するようにさらに構成されている、請求項４に記載のヘッドセット。
8. 前記構造化光照明器は、赤外波長で前記構造化光パターンを放射し、前記画像撮像デバイスおよび前記追加の画像撮像デバイスは、赤外波長における前記ローカルエリアの画像を撮像する、請求項７に記載のヘッドセット。
9. 前記モード選択モジュールは、前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された１つ以上の画像の前記信号対雑音比および空間的分散に基づいて、前記画像撮像デバイス、前記追加の画像撮像デバイス、および、前記構造化光照明器の撮像モードを決定するように構成されている、請求項１に記載のヘッドセット。
10. 前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された１つ以上の画像の前記信号対雑音比および前記空間的分散に基づいて、前記画像撮像デバイス、前記追加の画像撮像デバイス、および、前記構造化光照明器の撮像モードを決定することは、
    前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された１つ以上の画像の前記信号対雑音比が最小の信号対雑音比以上であることに応答して、および、前記空間的分散が最小の空間的分散以上であることに応答して、前記画像撮像デバイスおよび前記追加の画像撮像デバイスがともに色空間における前記ローカルエリアの画像を撮像するとともに前記構造化光照明器が非活性化される撮像モードを決定すること、
    前記信号対雑音比が前記最小の信号対雑音比未満であることに応答して、および、前記空間的分散が前記最小の空間的分散以上であることに応答して、前記構造化光照明器が、前記ローカルエリア上に前記構造化光パターンを放射し、前記画像撮像デバイスと前記構造化光照明器との組合せが、前記ローカルエリアの画像を撮像し、前記追加の画像撮像デバイスと前記構造化光照明器との組合せが、前記ローカルエリアの画像を撮像した代替の撮像モードを決定すること、
    前記信号対雑音比が前記最小の信号対雑音比以上であることに応答して、および、前記空間的分散が前記最小の空間的分散未満であることに応答して、前記画像撮像デバイスおよび前記追加の画像撮像デバイスが、前記構造化光照明器によって放射された波長を含む波長範囲における前記ローカルエリアの画像を撮像し、前記構造化光照明器が、前記ローカルエリア上に前記構造化光パターンを放射する追加の撮像モードを決定すること、を含む、請求項９に記載のヘッドセット。
11. 方法であって、該方法は、
    構造化光照明器と、画像撮像デバイスと、追加の画像撮像デバイスとを含む奥行きカメラアセンブリを取り囲むローカルエリアにおける周囲光の強度の測定値を取得すること、
    前記周囲光の強度の測定値に基づいて、前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された画像の信号対雑音比を計算すること、
    信号対雑音比の各範囲が、前記構造化光照明器、前記画像撮像デバイスおよび前記追加の画像撮像デバイスの動作を指定する前記画像撮像デバイスの異なる撮像モードに関連付けられた複数の範囲の信号対雑音比を維持すること、
    計算された信号対雑音比を含む信号対雑音比の範囲に関連付けられている撮像モードを決定すること、
    決定された撮像モードに基づいて、前記構造化光照明器、前記画像撮像デバイスおよび前記追加の画像撮像デバイスを構成すること、を備え、
    前記計算された信号対雑音比を含む信号対雑音比の前記範囲に関連付けられている前記撮像モードを決定することは、
    前記計算された信号対雑音比が閾値以上であるとの決定に応答して、前記画像撮像デバイスおよび前記追加の画像撮像デバイスがともに色空間における前記ローカルエリアの画像を撮像するとともに前記構造化光照明器が非活性化される撮像モードを決定すること
    を含む、方法。
12. 前記計算された信号対雑音比を含む信号対雑音比の前記範囲に関連付けられている前記撮像モードを決定することは、
    前記計算された信号対雑音比が前記閾値未満であり、かつ、前記追加の閾値よりも大きいとの決定に応答して、前記画像撮像デバイスが前記色空間における前記ローカルエリアの画像を撮像し、前記追加の画像撮像デバイスが、前記構造化光照明器によって放射された波長を含む波長範囲における前記ローカルエリアの画像を撮像し、前記構造化光照明器が、前記ローカルエリア上に構造化光パターンを放射する代替の撮像モードを決定すること、を含み、
    前記追加の閾値は、前記閾値未満であり、前記閾値とは異なっている、請求項１１に記載の方法。
13. 前記計算された信号対雑音比を含む信号対雑音比の前記範囲に関連付けられている前記撮像モードを決定することは、
    前記計算された信号対雑音比が前記追加の閾値以下であることに応答して、前記画像撮像デバイスおよび前記追加の画像撮像デバイスが、前記構造化光照明器によって放射された波長を含む波長範囲における前記ローカルエリアの画像を撮像し、前記構造化光照明器が、前記ローカルエリア上に前記構造化光パターンを放射する追加の撮像モードを決定すること、を含む、請求項１２に記載の方法。
14. 前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された前記画像の前記信号対雑音比を計算することは、
    前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された前記画像の前記信号対雑音比を計算すること、
    前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された前記画像の空間的分散を計算すること、を含む、請求項１１に記載の方法。
15. 信号対雑音比の各範囲が異なる撮像モードに関連付けられた、複数の範囲の信号対雑音比を維持することは、
    信号対雑音比および空間的分散の各範囲が、前記構造化光照明器、前記画像撮像デバイスおよび前記追加の画像撮像デバイスの動作を指定する前記画像撮像デバイスの異なる撮像モードに関連付けられた、複数の範囲の信号対雑音比および空間的分散を維持すること
    を含む、請求項１４に記載の方法。
16. 前記計算された信号対雑音比を含む信号対雑音比の前記範囲に関連付けられている前記撮像モードを決定することは、
    計算された空間的分散を含む空間的分散の範囲に関連付けられ、かつ前記計算された信号対雑音比を含む信号対雑音比の前記範囲に関連付けられている撮像モードを決定することを含む、請求項１５に記載の方法。
17. 前記奥行きカメラアセンブリを取り囲む前記ローカルエリアにおける周囲光の強度の前記測定値を取得することは、
    前記構造化光照明器が前記ローカルエリアを照明しない場合に、前記画像撮像デバイスによって、または、前記追加の画像撮像デバイスによって撮像された１つ以上の画像に基づいて、周囲光の強度の前記測定値を決定することを含む、請求項１１に記載の方法。
18. 周囲光の強度の前記測定値に基づいてコントラスト比を計算すること、
    コントラスト比の複数の範囲を維持することであって、コントラスト比の各範囲は、前記構造化光照明器、前記画像撮像デバイス、および、前記追加の画像撮像デバイスの動作を指定する前記画像撮像デバイスの異なる撮像モードに関連付けられている、前記コントラスト比の複数の範囲を維持すること、をさらに備え、
    信号対雑音比の前記範囲に関連付けられている前記撮像モードを決定することは、
    計算されたコントラスト比を含む、請求項１１に記載の方法。

Images