JP2023535538A - 構造光を使用した深度マッピングのための赤外線・非赤外線チャネルブレンダ - Google Patents

Abstract

電子デバイスは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによる実行のための命令を記憶するメモリと、を含む。記憶された命令は、三次元エリアに関する赤外画像情報を受信するための命令と、同じ三次元エリアに関する非赤外画像情報を受信するための命令と、受信された赤外画像情報に対して非線形強度調節を実施するための命令と、受信された非赤外画像情報に対して非線形強度調節を実施するための命令と、強度調節された赤外画像情報および強度調節された非赤外画像情報をブレンドして、マージされた画像情報を取得するための命令と、深度マップを決定するため、マージされた画像情報を提供するための命令と、を含む。また、電子デバイスによって実施される、対応する方法、および電子デバイスの１つまたは複数のプロセッサによる実行のための命令を記憶する、コンピュータ可読ストレージ媒体が開示される。
【選択図】図７Ｂ

Description

本出願は、一般に、画像処理デバイスに関し、より具体的には、深度マッピングのための画像処理デバイスに関する。

モバイルディスプレイデバイスは、視覚情報を収集しユーザに提供するのに広く使用されている。例えば、携帯電話は、写真を撮り、映像を記録するのに使用されている。ヘッドマウントディスプレイデバイスは、仮想現実および拡張現実情報を提供する能力によって人気を得るようになっている。

深度検知は、カメラ操作（例えば、写真の撮影および映像の記録）、拡張現実操作、およびセキュリティ用途（例えば、顔認証など）などの様々な用途にとって重要な技法である。

しかしながら、従来の深度検知技法は、著しい計算資源を必要とし、低テクスチャの、または低光量条件下の領域に関して深度を検出するのが困難である。

したがって、正確、軽量、コンパクトで、計算効率が良い、深度検知システムが必要とされている。

本出願において開示されるデバイスおよび方法は、赤外画像情報および非赤外画像情報をマージするブレンダを使用し、それによって深度マッピングに対する計算負荷を低減するとともに、深度マッピングの精度を改善する。

本開示の第１の態様によれば、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによる実行のための命令を記憶するメモリと、を備える、電子デバイスが提供され、記憶された命令は、三次元エリアに関する赤外画像情報を受信するための命令と、同じ三次元エリアに関する非赤外画像情報を受信するための命令と、受信された赤外画像情報に対して非線形強度調節を実施するための命令と、受信された非赤外画像情報に対して非線形強度調節を実施するための命令と、強度調節された赤外画像情報および強度調節された非赤外画像情報をブレンドして、マージされた画像情報を取得するための命令と、深度マップを決定するため、マージされた画像情報を提供するための命令と、を含む。

強度調節された赤外画像情報および強度調節された非赤外画像情報をブレンドすることは、強度調節された赤外画像情報および強度調節された非赤外画像情報の重み付き合計を取得することを含んでよい。

記憶された命令は、マージされた画像情報から深度マップを決定するための命令を含んでよい。

記憶された命令は、赤外画像情報をノイズ除去するための命令を含んでよい。

非赤外画像情報をノイズ除去することは、赤外画像情報に対してガウスぼかしを実施することを含んでよい。

記憶された命令は、マージされた画像情報を圧縮するための命令を含んでよい。

記憶された命令は、マージされた画像情報のクロップまたはスケーリングの少なくとも１つを実施するための命令を含んでよい。

記憶された命令は、マージされた画像情報を平坦化するための命令を含んでよい。

受信された赤外画像情報および受信された非赤外画像情報は、同じ数のピクセルに対応してよい。

デバイスは、１つまたは複数のカメラをさらに備えてよく、それぞれのカメラは複数のピクセルを含み、複数のピクセルのそれぞれのピクセルは、少なくとも１つの赤外光検出器と、少なくとも１つの赤外光検出器に隣接して位置付けられた少なくとも１つの非赤外光検出器とを含む。

それぞれのピクセルの少なくとも１つの赤外光検出器および少なくとも１つの非赤外光検出器は、共通のマイクロレンズと結合されてよい。

少なくとも１つの赤外光検出器は、赤外線フィルタと結合された光検出器を含んでよく、少なくとも１つの非赤外光検出器は、非赤外線フィルタと結合された光検出器を含んでよい。

本開示の第２の態様によれば、画像を処理するための方法が提供され、方法は、三次元エリアに関する赤外画像情報を受信することと、同じ三次元エリアに関する非赤外画像情報を受信することと、受信された赤外画像情報に対して非線形強度調節を実施することと、受信された非赤外画像情報に対して非線形強度調節を実施することと、強度調節された赤外画像情報および強度調節された非赤外画像情報をブレンドして、マージされた画像情報を取得することと、深度マップを決定するため、マージされた画像情報を提供することと、を含む。

強度調節された赤外画像情報および強度調節された非赤外画像情報をブレンドすることは、強度調節された赤外画像情報および強度調節された非赤外画像情報の重み付き合計を取得することを含んでよい。

方法は、マージされた画像情報から深度マップを決定することをさらに含んでよい。

方法は、赤外画像情報をノイズ除去することをさらに含んでよい。

非赤外画像情報をノイズ除去することは、赤外画像情報に対してガウスぼかしを実施することを含んでよい。

方法は、マージされた画像情報を圧縮することをさらに含んでよい。

受信された赤外画像情報および受信された非赤外画像情報は、同じ数のピクセルに対応してよい。

本開示の第３の態様によれば、命令を記憶するコンピュータ可読記憶媒体が提供され、命令は、電子デバイスの１つまたは複数のプロセッサによって実行されると、三次元エリアに関する赤外画像情報を受信することと、同じ三次元エリアに関する非赤外画像情報を受信することと、受信された赤外画像情報に対して非線形強度調節を実施することと、受信された非赤外画像情報に対して非線形強度調節を実施することと、強度調節された赤外画像情報および強度調節された非赤外画像情報をブレンドして、マージされた画像情報を取得することと、深度マップを決定するため、マージされた画像情報を提供することと、を電子デバイスに行わせる。

様々な記載される実施例をより良く理解するため、以下の発明を実施するための形態を以下の図面と併せて参照すべきである。図面全体を通して、同様の参照番号は対応する部分を指す。

ニアアイディスプレイの一例の図である。 ニアアイディスプレイの一例の図である。 ニアアイディスプレイの断面の一例を示す図である。 単一のソースアセンブリを有する導波路ディスプレイの一例の等角図である。 導波路ディスプレイの一例の断面を示す図である。 ニアアイディスプレイを含むシステムの一例のブロック図である。 立体画像化のための画像化デバイスおよび照明源を示す概略図である。 イメージセンサおよびホストデバイスの例のブロック図である。 イメージセンサおよびホストデバイスの例のブロック図である。 図６Ａの例示のイメージセンサによって異なる範囲の光強度を判定するための動作を示す図である。 図６Ａの例示のイメージセンサによって異なる範囲の光強度を判定するための動作を示す図である。 図６Ａの例示のイメージセンサによって異なる範囲の光強度を判定するための動作を示す図である。 図６Ａの例示のイメージセンサの例示のピクセルセルの内部構成要素の例を示す図である。 図６Ａの例示のイメージセンサの例示のピクセルセルの内部構成要素の例を示す図である。 図６Ａの例示のイメージセンサの例示のピクセルセルの内部構成要素の例を示す図である。 図６Ａの例示のイメージセンサの例示のピクセルセルの内部構成要素の例を示す図である。 画像処理装置を示すブロック図である。 画像を処理する方法を示すフロー図である。

図は、例証のためだけに本開示の例を描写する。本開示の原理、または勧められた利益から逸脱することなく、示した構造および方法の代替例が採用されてもよいということを、当業者は以下の説明から容易に認識するであろう。

添付の図では、類似の構成要素および／または特徴は、同じ参照ラベルを有することがある。さらに、同じタイプの様々な構成要素は、類似の構成要素の間で区別するダッシュおよび第２のラベルが参照ラベルに続くことによって区別することがある。第１の参照ラベルだけが本明細書で使用される場合、説明は、第２の参照ラベルに関係なく、同じ第１の参照ラベルを有する類似の構成要素のうちの任意の１つに適用することができる。

以下の説明では、説明のために、一定の発明の例を完全に理解するために、具体的詳細が示される。しかし、これらの具体的詳細がなくても、様々な例を実践できるということが明らかであろう。図および説明は、限定的であることを意図するものではない。

場合によっては、深度検知は、１つもしくは複数の画像から深度（または深度マップ）を決定することを伴う。画像は画像センサを使用して収集される。

典型的なイメージセンサはピクセルセルのアレイを含む。それぞれのピクセルセルは、光子を電荷（電子または正孔）に変換することによって入射光の強度を測定するためのフォトダイオードを含む。フォトダイオードによって生成される電荷は、浮遊ドレインノードを含むことができる電荷検知ユニットによって電圧に変換可能である。電圧は、アナログデジタルコンバータ（ＡＤＣ）によってデジタル値に量子化可能である。デジタル値は、ピクセルセルが受光した光の強度を表すことができ、かつシーンのスポットから受光した光に対応し得るピクセルを形成できる。ピクセルのアレイを含む画像は、ピクセルセルのアレイのデジタル出力から得ることができる。

２Ｄ検知および３Ｄ検知など、画像化の異なるモードを実行するために、イメージセンサを使用することができる。２Ｄ検知および３Ｄ検知は、異なる波長範囲の光に基づいて行うことができる。例えば、可視波長範囲内の光は２Ｄ検知に使用可能であるのに対し、可視波長範囲外の光（例えば、赤外光）は３Ｄ検知に使用可能である。イメージセンサは、異なる可視波長範囲および色（例えば、赤、緑、青、単色など）の光が２Ｄ検知のために割り当てられたピクセルセルの第１のセットに達することを可能にし、かつ、不可視波長範囲の光が３Ｄ検知のために割り当てられたピクセルセルの第２のセットに達することを可能にするための光学フィルタアレイを含んでよい。

２Ｄ検知を行うために、ピクセルセルのフォトダイオードは、可視光成分（例えば、赤、緑、青、単色など）の強度に比例した割合で電荷を生成することができ、露光期間に蓄積された電荷の量は、可視光（または、可視光の一定の色成分）の強度を表すために使用可能である。電荷は、フォトダイオードに一時的に蓄え、次に、キャパシタ（例えば、浮遊拡散）に移動させて、電圧を生じることができる。電圧は、アナログデジタルコンバータ（ＡＤＣ：ａｎａｌｏｇ－ｔｏ－ｄｉｇｉｔａｌ ｃｏｎｖｅｒｔｅｒ）でサンプリングして量子化し、可視光の強度に相当する出力を生成することができる。可視光の異なる色成分（例えば、赤色、緑色、および青色）を検知するように構成された複数のピクセルセルからの出力に基づいて、画像のピクセル値を生成することができる。

さらに、３Ｄ検知を実行するために、異なる波長範囲の光（例えば、赤外光）をオブジェクトに投射することができ、反射した光は、ピクセルセルによって検出することができる。光は、構造光、光パルス、等を含むことができる。ピクセルセルからの出力は、例えば、反射した構造光のパターンの検出、光パルスの飛行時間の測定、等に基づいて、深度検知動作を実行するために使用することができる。反射した構造光のパターンを検出するために、露光時間中にピクセルセルによって生成された電荷の量の分布を判定することができ、電荷の量に相当する電圧に基づいてピクセル値を生成することができる。飛行時間測定のために、ピクセルセルのフォトダイオードでの電荷の生成のタイミングは、反射した光パルスをピクセルセルで受光した時間を表すように決定することができる。光パルスをオブジェクトに投射した時間と、反射した光パルスをピクセルセルで受光した時間との間の時間差を、飛行時間測定を行うために使用することができる。

ピクセルセルアレイを使用して、シーンの情報を生成可能である。いくつかの例では、アレイ内のピクセルセルのサブセット（例えば、第１のセット）は、シーンの２Ｄ検知を行うために光の可視成分を検出でき、アレイ内のピクセルセルの別のサブセット（例えば、第２のセット）は、シーンの３Ｄ検知を行うために光の赤外線成分を検出できる。２Ｄ画像化データと３Ｄ画像化データの融合は、仮想現実（ＶＲ：ｖｉｒｔｕａｌ－ｒｅａｌｉｔｙ）体験、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ－ｒｅａｌｉｔｙ）体験、および／または複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）体験をもたらす多くの用途に有用である。例えば、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、システムのユーザがいる環境のシーンを再現することができる。再現したシーンに基づいて、ＶＲ／ＡＲ／ＭＲは、双方向体験をもたらすための表示効果を生成することができる。シーンを再現するために、ピクセルセルアレイ内のピクセルセルのサブセットは、３Ｄ検知を実行して、例えば、環境内の物理オブジェクトのセットを識別し、物理オブジェクトとユーザとの間の距離を判定することができる。ピクセルセルアレイ内のピクセルセルの別のサブセットは、２Ｄ検知を実行して、例えば、これらの物理オブジェクトのテクスチャ、色、および反射率を含む視覚属性をキャプチャすることができる。シーンの２Ｄ画像データおよび３Ｄ画像データは、次に、例えば、オブジェクトの視覚属性を含むシーンの３Ｄモデルを作成するためにマージすることができる。別の例として、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、２Ｄ画像データと３Ｄ画像データの融合に基づいて、頭部追跡動作も実行することができる。例えば、２Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＡＲシステムは、一定の画像特徴を抽出して、オブジェクトを識別することができる。３Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＡＲシステムは、ユーザが身に付けているウェアラブルデバイスに対する識別したオブジェクトの位置を追跡することができる。ＶＲ／ＡＲ／ＡＲシステムは、例えば、ユーザの頭が動くときの、識別したオブジェクトのウェアラブルデバイスに対する位置の変化を追跡することに基づいて、頭の動きを追跡することができる。

２Ｄ画像データおよび３Ｄ画像データの相互関係を改善するために、ピクセルセルのアレイは、シーンのスポットからの入射光の異なる成分を並べて画像化できるように構成可能である。具体的には、それぞれのピクセルセルは、複数のフォトダイオード、および複数の対応する電荷検知ユニットを含むことができる。複数のフォトダイオードのそれぞれのフォトダイオードは、入射光の異なる光成分を電荷に変換するように構成される。フォトダイオードが入射光の種々の光成分を受けることができるように、フォトダイオードは、種々のフォトダイオードに対する入射光に種々の吸収距離を提供するスタックで形成可能である、または光学フィルタのアレイの下面に形成可能である。それぞれの電荷検知ユニットは、電荷を電圧に変換することによって対応するフォトダイオードの電荷を検知するための１つまたは複数のキャパシタを含み、この電圧は、それぞれのフォトダイオードによって変換された入射光成分の強度のデジタル表現を生成するためにＡＤＣによって量子化可能である。ＡＤＣは比較器を含む。量子化動作の一部として、比較器は、判定を出力するために電圧を基準値と比較することができる。比較器の出力は、メモリが自走カウンタからの値を記憶する時を制御することができる。この値は、電圧の量子化の結果を提供できる。

ダイナミックレンジ、電力、フレームレートなど、イメージセンサの様々な性能測定基準がある。ダイナミックレンジはイメージセンサによって測定可能な光強度の範囲を指すことができる。ダイナミックレンジについて、上限は、イメージセンサによって提供される光強度測定動作の直線性に基づいて定められ得るのに対し、下限は、光強度測定動作に影響するノイズ信号（例えば、暗電荷、熱雑音など）に基づいて定められ得る。他方では、様々な要因がフレームレートに影響する可能性がある。フレームレートは、イメージセンサが画像フレームを生成するのにかかる時間を指すことができる。該要因は、例えば、量子化動作の完了時間、量子化動作にもたらされる様々な遅延などを含んでよい。

光強度測定動作のダイナミックレンジを増大させるために、ＡＤＣは、種々の強度範囲に関連付けられる種々の量子化動作に基づいて電圧を量子化することができる。具体的には、それぞれのフォトダイオードは、露光期間内の、入射光強度を表す電荷の量を生成可能である。それぞれのフォトダイオードは、残留電荷として電荷の少なくとも一部を蓄えるための量子井戸も有する。量子井戸容量は、フォトダイオードと電荷検知ユニットとの間のスイッチ上のバイアス電圧に基づいて設定可能である。低い光強度範囲に対して、フォトダイオードは電荷全体を残留電荷として量子井戸に蓄えることができる。ＰＤ ＡＤＣ量子化動作では、ＡＤＣは、低い光強度のデジタル表現を提供するために残留電荷の量を検知することから電荷検知ユニットによって生成される第１の電圧を量子化することができる。残留電荷は典型的には、フォトダイオードにおける暗電流の影響をはるかに受けにくいため、低い光強度測定のノイズフロアを低下させることができ、これによって、ダイナミックレンジの下限をさらに拡張させることができる。

さらに、中間の光強度範囲について、量子井戸は残留電荷によって飽和可能であり、フォトダイオードは、オーバーフロー電荷としての残留電荷を電荷検知ユニットに移動させることができ、電荷検知ユニットはオーバーフロー電荷の量を検知することから第２の電圧を生成可能である。ＦＤ ＡＤＣ量子化動作では、ＡＤＣは中間の光強度のデジタル表現を提供するために第２の電圧を量子化できる。低い光強度および中間の光強度両方について、電荷検知ユニットにおける１つまたは複数のキャパシタはまだ飽和しておらず、第１の電圧および第２の電圧の大きさは光強度と相関する。それに応じて、低い光強度および中間の光強度両方について、ＡＤＣの比較器は、判定を生成するためにランプ電圧に対して第１の電圧または第２の電圧を比較することができる。この判定によって、残留電荷またはオーバーフロー電荷の量を表すことができるカウンタ値を記憶するようにメモリを制御することができる。

高い光強度範囲について、オーバーフロー電荷は電荷検知ユニットで１つまたは複数のキャパシタを飽和させることが可能である。結果として、第２の電圧の大きさはもはや光強度をたどらず、非直線性が光強度測定にもたらされ得る。キャパシタの飽和によって引き起こされた非直線性を低減させるために、ＡＤＣは、判定を生成するために第２の電圧を静的閾値と比較することによって飽和時間（ＴＴＳ）測定動作を行うことができ、この判定によって、メモリでカウンタ値を記憶するように制御可能である。カウンタ値は、第２の電圧が飽和閾値に達する時間を表すことができる。飽和時間は、電荷検知ユニットが飽和する範囲の光の強度を表すことができ、第２の電圧の値はもはや光の強度を反映しない。このような配置で、ダイナミックレンジの上限は拡張可能である。

他方では、イメージセンサの動作速度は、上述されるように、特に、複数の量子化動作がダイナミックレンジを改善するためにフォトダイオードによって生成される電荷に対して行われる場合に、ピクセルセルのフォトダイオード全てに対する量子化動作の完了時間を総体的に低減するなど、様々な技法に基づいて改善可能である。量子化動作の完了時間を総体的に低減するための１つのやり方は、例えば、ピクセルセルのそれぞれのフォトダイオードが複数の量子化動作を行うためにこれ自体の専用の比較器を有するように、ピクセルセルにおけるそれぞれのフォトダイオードに比較器を提供することによってそれぞれのフォトダイオードに対する並列量子化動作を可能にすることである。

イメージセンサのそれぞれのピクセルセルにおける複数の比較器を含むことによって、それぞれのピクセルセルに対する量子化動作の完了時間を総体的に低減し、かつイメージセンサの動作速度を改善することができるが、このような配置によって実質的に、電力消費およびピクセルセルのサイズを増大させる可能性があり、これら両方共は、特にウェアラブルアプリケーションには望ましくない。具体的には、比較器は典型的には、多量の静電流を消費するアナログ回路（例えば、差動対、バイアス回路、出力段など）を含む。また、これらのアナログ回路は典型的には、デジタル回路と異なるプロセスノードのトランジスタデバイス、およびピクセルセルのフォトダイオードデバイスを使用し、かつデジタル回路およびフォトダイオードデバイスよりはるかに多くの空間を占有する。プロセス技術の進歩によってフォトダイオードのサイズはさらに縮小し、分解能を改善するためにより多くのフォトダイオードをイメージセンサに含ませることができるため、比較器が必要とする電力および空間は、特に、それぞれのフォトダイオードが専用の比較器を有することになる場合に、どれくらいのフォトダイオードをイメージセンサに含むことができるかを限定するような障害になり得る。

ピクセルセルにおけるそれぞれのフォトダイオードに対する量子化動作を並列化することに加えて、イメージセンサの動作速度を改善するための別のやり方は、量子化動作にもたらされる様々な遅延を低減することである。遅延の１つの原因は、イメージセンサからの量子化結果（例えば、ピクセルデータ）を、量子化結果を消費するアプリケーションのホストデバイスに移動させる時間である可能性がある。例えば、後続の量子化動作は、ホストデバイスに移動させる先の量子化動作の量子化結果を待つために保留される場合がある。イメージセンサの動作速度は、後続の量子化動作のホールド時間が低減または最小化可能である場合に改善できる。

本開示は、上記の問題の少なくともいくつかに対処することによって、並べて行う２Ｄおよび３Ｄ画像化動作を改善し、かつグローバルシャッター動作を改善可能であるイメージセンサに関する。具体的には、イメージセンサは、第１のフォトダイオード、第２のフォトダイオード、量子化器、第１のメモリバンク、第２のメモリバンク、およびコントローラを含んでよい。第１のフォトダイオードは、入射光に応答して第１の電荷を生成可能であるのに対し、第２のフォトダイオードは、入射光に応答して第２の電荷を生成可能である。量子化器は、第１のフォトダイオードと第２のフォトダイオードとの間で共有される比較器を含む。コントローラは、量子化器で、第１のデジタル出力および第２のデジタル出力をそれぞれ生成するために第１の電荷の第１の量子化動作および第２の量子化動作を行うように制御することであって、第１の量子化動作および第２の量子化動作は異なる強度範囲に関連付けられる、制御すること、および第１のデジタル出力または第２のデジタル出力のうちの１つを第１のメモリバンクに記憶することを行うことができる。さらに、コントローラは、量子化器で、第２の電荷の第３の量子化動作を行って第３のデジタル出力を生成するように制御し、かつ第３のデジタル出力を第２のメモリバンクに記憶することができる。第３の量子化動作は、第１の量子化動作または第２の量子化動作のうちの少なくとも１つと異なる強度範囲に関連付けられる。

１つの例では、イメージセンサは、第１のフォトダイオードと第２のフォトダイオードとの間で共有される電荷検知ユニットを含んでよく、量子化器は電荷検知ユニットの出力を量子化可能である。電荷検知ユニットは、第１の電荷および第２の電荷を、第１の電圧および第２の電圧にそれぞれ変換するためのキャパシタを含んでよく、これら電圧は量子化器によって量子化可能である。具体的には、露光時間内に、コントローラは、最初に、電荷検知ユニットを第１のフォトダイオードに接続して、第１の電荷の一部として第１のフォトダイオードから第１のオーバーフロー電荷を受け取ることができ、第１のフォトダイオードおよび第２のフォトダイオード１５は、（第１の電荷の一部として）第１の残留電荷を、および（第２の電荷の一部として）第２の残留電荷をそれぞれ蓄積する。露光期間の間、キャパシタに蓄えられる第１のオーバーフロー電荷は、第１の電圧を生じさせてよく、量子化器は、第１のデジタル出力を生成するために第１の電圧においてＴＴＳ動作またはＦＤ ＡＤＣ動作のうちの少なくとも１つを行うことができる。

露光期間が終了した後、ＰＤ ＡＤＣ動作は第１のフォトダイオードに対して行われ得る。この場合、第１のフォトダイオードで蓄積された第１の残留電荷は新しい第１の電圧を得るために電荷検知ユニットに移動させる。新しい第１の電圧は第２のデジタル出力を生成するために量子化器によって量子化可能である。電荷検知ユニットのキャパシタが第１のオーバーフロー電荷によって飽和するかどうか、および第１のフォトダイオードが第１の残留電荷によって飽和するかどうかに基づいて、（ＴＴＳ動作またはＦＤ ＡＤＣ動作どちらかからの）第１のデジタル出力または（ＰＤ ＡＤＣ動作からの）第２のデジタル出力のうちの１つは第１のメモリバンクに記憶され得る。第１のフォトダイオードに対するＰＤ ＡＤＣ動作が完了した後、コントローラは、第２のフォトダイオードが、第２の残留電荷を電荷検知ユニットに移動させて第２の電圧を生成するように制御し、かつ量子化器で、第２の電圧でＰＤ ＡＤＣ動作を行って第３のデジタル出力を生成するように制御することができる。第３のデジタル出力は第２のメモリバンクに記憶可能である。

第１のフォトダイオードおよび第２のフォトダイオードは、イメージセンサの同じピクセルセルまたは異なるピクセルセルの一部とすることができる。第１のフォトダイオードおよび第２のフォトダイオードは、入射光の異なる成分を検出するように構成可能である。１つの例では、第１のフォトダイオードは、入射光の可視成分を検出して２Ｄ画像化のためのピクセルデータを生成するように構成可能であるのに対して、第２のフォトダイオードは、入射光の赤外線成分を検出して３Ｄ画像化のためのピクセルデータを生成するように構成可能である。第１のメモリバンクは２Ｄ画像フレームを記憶するための第１のメモリの一部とすることができるのに対し、第２のメモリバンクは３Ｄ画像フレームを記憶するための第２のメモリの一部とすることができる。

上記の配置によって、イメージセンサの性能が改善され、かつサイズおよび電力が低減され得る。具体的には、完了済みの量子化動作から生成される２Ｄ画像フレームおよび３Ｄ画像フレームを記憶するためにさらなるメモリバンクを提供することによって、２Ｄ画像フレームおよび３Ｄ画像フレームはメモリから読み出され、かつホストデバイスに移動させることができる一方、次のフレームに対する後続の量子化動作は進行中である。単一のメモリバンクが複数のフォトダイオードによって共有され、かつ１つのフォトダイオードの出力の量子化が、メモリバンクに記憶された量子化結果が読み出されかつ消去可能になるまで保留される必要がある場合と比較して、上記の配置によって、量子化動作によってもたらされる遅延は低減可能であり、かつイメージセンサの動作速度は改善可能である。また、フォトダイオードの間で比較器を共有することによって、典型的には、比較器のアナログ回路によって独占されるイメージセンサの電力およびサイズが低減可能である。他方では、メモリバンクが典型的には比較器よりはるかに少ない空間を占有しかつはるかに少ない電力を消費するデジタル回路として実装されると仮定して、さらなるメモリバンクを含むことによって、典型的には、特に、メモリバンクが進歩したプロセス技術で製作されるとき、イメージセンサのサイズおよび電力消費の実質的な増加は生じない。

イメージセンサは、さらなる電荷検知ユニットおよびさらなるメモリバンクを含むことができ、フォトダイオードとメモリバンクとの間のマッピングは、種々の応用に基づいて変化し得る。１つの例では、イメージセンサは２つのピクセルセルを含んでよく、それぞれのピクセルセルは、フォトダイオードおよび電荷検知ユニットの対を含む。（２つのピクセルセルの）２つの電荷検知ユニットは比較器を共有できる。第１のフォトダイオードは第１のピクセルセルとすることができるのに対し、第２のフォトダイオードは第２のピクセルセルとすることができる。比較器は、最初に、第１のピクセルセルの電荷検知ユニットに接続されて、第１のフォトダイオードに対するＴＴＳ動作、ＦＤ ＡＤＣ動作、およびＰＤ ＡＤＣ動作を行い、かつ該動作のうちの１つの出力を第１のメモリバンクに記憶することができる。比較器はさらにまた、第２のピクセルセルの電荷検知ユニットに接続されて、第２のフォトダイオードに対するＦＤ ＡＤＣ動作およびＰＤ ＡＤＣ動作を行い、かつ該動作のうちの１つの出力を第２のメモリバンクに記憶することができる。ピクセルセルにおける他のフォトダイオードに対して、ＰＤ ＡＤＣ動作のみが行われ、ＰＤ ＡＤＣ動作の結果は、第１のフォトダイオードおよび第２のフォトダイオードの出力が読み出された後に第１のメモリバンクおよび第２のメモリバンクに記憶可能である。

別の例として、イメージセンサのそれぞれのピクセルセルは、電荷検知ユニットを共有する４つのフォトダイオードを含んでよく、イメージセンサは４つのメモリバンクを含んでよい。いくつかの例では、メモリバンクは、第１のピクセルセルの出力を記憶するための２つのメモリバンク、および第２のピクセルセルの出力を記憶させるための他の２つのメモリバンクを有するなど、ピクセルセルの間で均等に分布させることができる。いくつかの例では、メモリバンクは、例えば、ピクセルセルが関心領域の一部であることに基づいてピクセルセルの出力を記憶するために優先的に割り当て可能であり、ピクセルセルの出力は、例えば、他のピクセルセルの露光時間を設定する、他のピクセルセルのある特定の量子化動作を有効／無効にするなど、他のピクセルセルの量子化動作を動的に変更するために、他のピクセルセルの前に読み出される必要がある。別の例として、複数のメモリバンクは、フォトダイオードの出力を記憶するために割り当て可能である。このような配置を使用して、残留電荷／オーバーフロー電荷の蓄積から生じる電荷検知ユニットにおける電圧の複数のサンプリングを可能にすることができ、これによって、量子化の分解能を改善することができる。このような例では、メモリバンクのそれぞれは、電圧のデジタルサンプルを記憶することができ、デジタルサンプルは、残留電荷／オーバーフロー電荷を表すデジタル出力を生成するために平均化して（あるいは後処理で）読み出し可能である。

開示された技法は、人工現実システムを含んでよい、またはこれと併せて実行可能である。人工現実は、ユーザに提示する前に何らかの方法で調節された現実の形であり、例えば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッドリアリティ、または、これらのいくつかの組合せおよび／もしくは派生物を含むことができる。人工現実のコンテンツは、完全に生成したコンテンツ、または、キャプチャした（例えば、現実世界の）コンテンツと組み合わせて生成したコンテンツを含むことができる。人工現実のコンテンツは、動画、音声、触感フィードバック、または、これらのいくつかの組合せを含むことができ、これらのいずれかは、単一のチャネルで、または、（視聴者に対して３次元効果を生み出すステレオ動画などの）複数のチャネルで提示することができる。さらに、いくつかの例では、アプリケーション、製品、アクセサリ、サービス、または、これらのいくつかの組合せに人工現実をさらに関連付けることができ、これらは、例えば、人工現実においてコンテンツを作成するために使用され、および／または、そうでなければ、人工現実において使用される（例えば、人工現実において活動を行う）。人工現実のコンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンのＨＭＤ、モバイルデバイスもしくはコンピューティングシステム、または、他の任意のハードウェアプラットフォームを含む様々なプラットフォームで実現することができ、１人または複数の視聴者に人工現実のコンテンツを提供することができる。

図１Ａは、ニアアイディスプレイ１００の例の図である。ニアアイディスプレイ１００は、ユーザに媒体を提示する。ニアアイディスプレイ１００によって提示される媒体の例は、１つまたは複数の画像、動画、および／または音声を含む。いくつかの例では、音声は、ニアアイディスプレイ１００、コンソール、または両方から音声情報を受け取り、音声情報に基づいて音声データを提示する外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示される。ニアアイディスプレイ１００は、一般に、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの例では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。

ニアアイディスプレイ１００は、フレーム１０５およびディスプレイ１１０を含む。フレーム１０５は、１つまたは複数の光学素子に連結される。ディスプレイ１１０は、ニアアイディスプレイ１００によって提示されたコンテンツをユーザが見えるように構成される。いくつかの例では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの目に向けるための導波路ディスプレイアセンブリを備える。

ニアアイディスプレイ１００は、イメージセンサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。イメージセンサ１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄのそれぞれは、ピクセルのアレイを備え、異なる方向に沿った異なる視界に相当する画像データを生成するように構成されたピクセルアレイを含むことができる。例えば、センサ１２０ａおよび１２０ｂは、Ｚ軸に沿って方向Ａに向いた２つの視界に相当する画像データを提供するように構成することができ、その一方で、センサ１２０ｃは、Ｘ軸に沿って方向Ｂに向いた視界に相当する画像データを提供するように構成することができ、センサ１２０ｄは、Ｘ軸に沿って方向Ｃに向いた視界に相当する画像データを提供するように構成することができる。

いくつかの例では、センサ１２０ａ～１２０ｄは、ニアアイディスプレイ１００を着用したユーザに対話式ＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００の表示コンテンツを制御する、または影響を与えるための入力デバイスとして構成することができる。例えば、センサ１２０ａ～１２０ｄは、ユーザがいる実際の環境の実際の画像データを生成することができる。実際の画像データは、実際の環境におけるユーザの動きの位置および／または経路を追跡するための位置追跡システムに提供することができる。システムは、次に、双方向体験を提供するために、例えば、ユーザの位置および方向に基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの例では、位置追跡システムは、ＳＬＡＭアルゴリズムを動作させて、実際の環境の中をユーザが動くときの、実際の環境における、また、ユーザのフィールドのビュー内の、オブジェクトのセットを追跡することができる。位置追跡システムは、オブジェクトのセットに基づいて、実際の環境のマップを構築して更新し、マップ内のユーザの位置を追跡することができる。複数の視界に対応する画像データを提供することによって、センサ１２０ａ～１２０ｄは、実際の環境のより全体的な景色を位置追跡システムに提供することができ、マップの構築および更新時に、より多くのオブジェクトが含まれるようにすることができる。このような配置により、実際の環境内のユーザの位置の追跡の正確さおよび堅牢性を改善することができる。

いくつかの例では、ニアアイディスプレイ１００は、実際の環境に光を投射するための１つまたは複数のアクティブ照射器１３０をさらに含むことができる。投射した光は、異なる周波数スペクトル（例えば、可視光、赤外光、紫外光など）に関連付けることができ、様々な目的を満たすことができる。例えば、照射器１３０は、例えば、ユーザの場所追跡を可能にするように、暗い環境内の異なるオブジェクトの画像をセンサ１２０ａ～１２０ｄがキャプチャするのを支援するために、暗い環境に（または、赤外光、紫外光などの低強度の環境に）光を投射することができる。照射器１３０は、場所追跡システムがマップ構成／更新のためにオブジェクトを識別するのを支援するために、環境内のオブジェクトにある特定のマーカを投射してよい。

いくつかの例では、照射器１３０は立体画像化を可能にすることもできる。例えば、センサ１２０ａまたは１２０ｂの１つまたは複数は、可視光検知のための第１のピクセルアレイおよび赤外（ＩＲ）光検知のための第２のピクセルアレイ両方を含むことができる。第１のピクセルアレイは、色フィルタ（例えば、ベイヤーフィルタ）を被せることができ、第１のピクセルアレイのそれぞれのピクセルは特定の色（例えば、赤色、緑色、または青色のうちの１つ）に関連付けられる光の強度を測定するように構成される。（ＩＲ光検知のための）第２のピクセルアレイも、ＩＲ光のみを通すことを可能にするフィルタを被せることができ、第２のピクセルアレイのそれぞれのピクセルはＩＲ光の強度を測定するように構成される。ピクセルアレイは、オブジェクトのＲＧＢ画像およびＩＲ画像を生成可能であり、ＩＲ画像のそれぞれのピクセルは、ＲＧＢ画像のそれぞれのピクセルにマッピングされる。照射器１３０は、オブジェクト上にＩＲマーカのセットを投射してよく、この画像はＩＲピクセルアレイによってキャプチャ可能である。画像に示されるようなオブジェクトのＩＲマーカの分布に基づいて、システムは、ＩＲピクセルアレイからのオブジェクトの異なる部分の距離を推定し、かつ、この距離に基づいてオブジェクトの立体画像を生成することができる。オブジェクトの立体画像に基づいて、システムは、例えば、ユーザに対するオブジェクトの相対位置を決定することができ、かつ双方向体験を提供するために相対位置情報に基づいてディスプレイ１００に提供される画像データを更新することができる。

上で論じられるように、ニアアイディスプレイ１００は、光強度の非常に広い範囲に関連付けられた環境で動作させてよい。例えば、ニアアイディスプレイ１００は、屋内環境もしくは屋外環境で、および／または１日のうち異なる回数で動作させてよい。ニアアイディスプレイ１００はまた、アクティブ照射器１３０をオンにしてまたはオンにせずに動作させてよい。結果として、イメージセンサ１２０ａ～１２０ｄは、ニアアイディスプレイ１００に対する異なる動作環境に関連付けられた光強度の非常に広い範囲にわたって正しく動作する（例えば、入射光の強度と相関する出力を生成する）ことができるように広いダイナミックレンジを有する必要がある場合がある。

図１Ｂは、ニアアイディスプレイ１００の別の例の図である。図１Ｂは、ニアアイディスプレイ１００を着用したユーザの眼球１３５に面したニアアイディスプレイ１００の側面を示す。図１Ｂに示したように、ニアアイディスプレイ１００は、複数の照射器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含むことができる。ニアアイディスプレイ１００は、複数のイメージセンサ１５０ａおよび１５０ｂをさらに含む。照射器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａとは逆の）方向Ｄに向けて一定の周波数範囲の光（例えば、ＮＩＲ）を放つことができる。放った光は、一定のパターンに関連付けたものであってもよく、ユーザの左の眼球で反射させることができる。センサ１５０ａは、反射した光を受光し、反射パターンの画像を生成するためのピクセルアレイを含むことができる。同様に、照射器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを運ぶＮＩＲ光を放つことができる。ＮＩＲ光は、ユーザの右の眼球で反射させることができ、センサ１５０ｂで受光することができる。センサ１５０ｂは、反射パターンの画像を生成するためのピクセルアレイをさらに含むことができる。センサ１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を判定し、判定した注視点に基づいて、ディスプレイ１００に提供された画像データを更新して、ユーザに双方向体験を提供することができる。

上で論じられるように、ユーザの眼球への損傷を回避するために、照射器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆは典型的には、非常に低い強度の光を出力するように構成される。イメージセンサ１５０ａおよび１５０ｂが、図１Ａのイメージセンサ１０ １２０ａ～１２０ｄと同じセンサデバイスを含む場合、イメージセンサ１２０ａ～１２０ｄは、入射光の強度が非常に低いときに入射光の強度と相関する出力を生成できるようにする必要がある場合があり、これによって、イメージセンサのダイナミックレンジ要件がさらに増大する場合がある。

また、イメージセンサ１２０ａ～１２０ｄは、眼球の動きを追跡するために出力を高速で生成できるようにする必要があり得る。例えば、ユーザの眼球は、１つの眼球位置から別の眼球位置への急速な移行がある可能性がある非常に急速な動き（例えば、サッケード運動）を行うことができる。ユーザの眼球の急速な動きを追跡するために、イメージセンサ１２０ａ～１２０ｄは、眼球の画像を高速で生成する必要がある。例えば、イメージセンサが画像フレームを生成する速度（フレームレート）は、眼球の動きの速度に少なくとも一致する必要がある。高いフレームレートは、画像フレームを生成するのに関与したピクセルセルの全てに対して短い総露光時間を、および、画像生成のためにセンサ出力をデジタル値に変換するために高速を必要とする。また、上で論じられるように、イメージセンサは、低い光強度の環境で動作できるようにする必要もある。

図２は、図１Ａおよび図１Ｂに示したニアアイディスプレイ１００の横断面２００の例である。ディスプレイ１１０は、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ニアアイディスプレイ１００をユーザが着用したとき、アイボックス領域にユーザの片方の眼球２２０がある位置である。例証のために、図２は、眼球２２０および単一の導波路ディスプレイアセンブリ２１０に関連付けられた横断面２００を示すが、ユーザの第２の目のために、第２の導波路ディスプレイを使用する。

導波路ディスプレイアセンブリ２１０は、射出瞳２３０にあるアイボックスに、また、眼球２２０に、画像光を向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率を有する１つまたは複数の材料（例えば、プラスチック、ガラスなど）から成ることができる。いくつかの例では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学素子を含む。

いくつかの例では、導波路ディスプレイアセンブリ２１０は、１つまたは複数の導波路ディスプレイのスタックを含み、スタック型導波路ディスプレイ、可変焦点導波路ディスプレイ、等を含むがこれらに限定されない。スタック型導波路ディスプレイは、それぞれの単色源が異なる色のものである導波路ディスプレイをスタックすることによって作り出された多色ディスプレイ（例えば、赤－緑－青（ＲＧＢ）ディスプレイ）である。また、スタック型導波路ディスプレイは、複数の平面に投射できる多色ディスプレイ（例えば、マルチプラナー着色ディスプレイ（ｍｕｌｔｉ－ｐｌａｎａｒ ｃｏｌｏｒｅｄ ｄｉｓｐｌａｙ））である。いくつかの構成では、スタック型導波路ディスプレイは、複数の平面に投射できる単色ディスプレイ（例えば、マルチプラナー単色ディスプレイ（ｍｕｌｔｉ－ｐｌａｎａｒ ｍｏｎｏｃｈｒｏｍａｔｉｃ ｄｉｓｐｌａｙ））である。可変焦点導波路ディスプレイは、導波路ディスプレイから放たれた画像光の焦点位置を調節できるディスプレイである。代替例では、導波路ディスプレイアセンブリ２１０は、スタック型導波路ディスプレイおよび可変焦点導波路ディスプレイを含むことができる。

図３は、導波路ディスプレイ３００の例の等角図を示す。いくつかの例では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（例えば、導波路ディスプレイアセンブリ２１０）である。いくつかの例では、導波路ディスプレイ３００は、他のいくつかのニアアイディスプレイ、または、画像光を特定の位置に向ける他のシステムの一部である。

導波路ディスプレイ３００は、ソースアセンブリ３１０、出力導波路３２０、およびコントローラ３３０を含む。例証のために、図３は、片方の眼球２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの例では、導波路ディスプレイ３００とは別個の、または部分的に別個の、別の導波路ディスプレイが、ユーザのもう一方の目に画像光を提供する。

ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０－１にある連結要素３５０に出力する。出力導波路３２０は、ユーザの眼球２２０に拡大した画像光３４０を出力する光導波路である。出力導波路３２０は、第１の側面３７０－１にある１つまたは複数の連結要素３５０で画像光３５５を受光し、受光した入力画像光３５５を配向要素（ｄｉｒｅｃｔｉｎｇ ｅｌｅｍｅｎｔ）３６０に誘導する。いくつかの例では、連結要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。連結要素３５０は、例えば、回折格子、ホログラフィック格子、１つもしくは複数のカスケード型反射器、１つもしくは複数の角柱面要素、および／または、ホログラフィ反射器のアレイであってもよい。

配向要素３６０は、受光した入力画像光３５５の向きを分離要素３６５の方に変え、その結果、受光した入力画像光３５５は、分離要素３６５を介して出力導波路５ ３２０から分離される。配向要素３６０は、出力導波路３２０の第１の側面３７０－１の一部である、または、第１の側面３７０－１に貼られる。分離要素３６５は、出力導波路３２０の第２の側面３７０－２の一部である、または、第２の側面３７０－２に貼られ、その結果、配向要素３６０は、分離要素３６５と向かい合う。配向要素３６０および／または分離要素３６５は、例えば、回折格子、ホログラフィック格子、１つもしくは複数のカスケード型反射器、１つもしくは複数の角柱面要素、および／または、ホログラフィ反射器のアレイであってもよい。

第２の側面３７０－２は、ｘ次元およびｙ次元に沿った平面に相当する。出力導波路３２０は、画像光３５５の全内部反射を助長する１つまたは複数の材料から成ることができる。出力導波路３２０は、例えば、シリコン、プラスチック、ガラス、および／またはポリマーから成ることができる。出力導波路３２０は、比較的小さいフォームファクタを有する。例えば、出力導波路３２０は、およそ、ｘ次元に沿って５０ｍｍ広く、ｙ次元に沿って３０ｍｍ長く、また、ｚ次元に沿って０．５ｍｍ～１ｍｍ厚くてもよい。

コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０に対するスキャン命令を決定する。いくつかの例では、出力導波路３２０は、視界（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）が広いユーザの眼球２２０に、拡大した画像光３４０を出力する。例えば、拡大した画像光３４０は、（ｘおよびｙにおける）対角線ＦＯＶが６０度以上、および／または、１５０度以下のユーザの眼球２２０に提供される。出力導波路３２０は、長さ２０ｍｍ以上および／もしくは５０ｍｍ以下、ならびに／または、幅１０ｍｍ以上および／または５０ｍｍ以下のアイボックスを提供するように構成される。

さらに、コントローラ３３０は、イメージセンサ３７０によって提供された画像データに基づいて、ソースアセンブリ３１０によって生成された画像光３５５も制御する。イメージセンサ３７０は、第１の側面３７０－１にあってよく、例えば、（例えば、場所決定のために）ユーザの正面の物理的環境の画像データを生成するために図１Ａのイメージセンサ１２０ａ～１２０ｄを含んでよい。イメージセンサ３７０は、第２の側面３７０－２にあってもよく、ユーザの（例えば、注視点判定のために）眼球２２０の画像データを生成するために図１Ｂのイメージセンサ１５０ａおよび１５０ｂを含んでよい。イメージセンサ３７０は、導波路ディスプレイ３００内にないリモートコンソールとインターフェース接続してよい。イメージセンサ３７０は、例えば、ユーザの場所、ユーザの注視点などを判定し、かつユーザに表示される画像のコンテンツを判定することができるリモートコンソールに画像データを提供してよい。リモートコンソールは、決定したコンテンツに関する命令をコントローラ３３０に伝送することができる。命令に基づいて、コントローラ３３０は、ソースアセンブリ３１０による画像光３５５の生成および出力を制御することができる。

図４は、導波路ディスプレイ３００の横断面４００の例を示す。横断面４００は、ソースアセンブリ３１０、出力導波路３２０、およびイメージセンサ３７０を含む。図４の例では、イメージセンサ３７０は、ユーザの前にある実際の環境の画像を生成するための、第１の側面３７０－１にあるピクセルセル４０２のセットを含むことができる。いくつかの例では、ピクセルセル４０２のセットと実際の環境との間に介在する機械シャッター４０４が存在することができ、ピクセルセル４０２のセットの露光を制御することができる。いくつかの例では、機械シャッター４０４は、下記で論じるように、電子シャッターゲートで置き替えることができる。ピクセルセル４０２のそれぞれは、画像の１つのピクセルに対応させることができる。図４に示されていないが、ピクセルセル４０２のそれぞれは、ピクセルセルによって検知されることになる光の周波数範囲を制御するためにフィルタをさらに被せてもよいということがわかる。

リモートコンソールから命令を受け取った後、機械シャッター４０４が開き、露光期間内にピクセルセル４０２のセットを露光させることができる。露光期間中、イメージセンサ３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。イメージセンサ３７０は、次に、リモートコンソールに画像データを送り、リモートコンソールは、表示コンテンツを決定し、表示コンテンツ情報をコントローラ３３０に送ることができる。コントローラ３３０は、次に、表示コンテンツ情報に基づいて画像光３５５を決定することができる。

ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、発光源４１０および光学システム４１５を含む。発光源４１０は、干渉性の、または部分的に干渉性の、光を生成する光源である。発光源４１０は、例えば、レーザダイオード、垂直キャビティ面発光レーザ、および／または発光ダイオードであってもよい。

光学システム４１５は、発光源４１０からの光を調整する１つまたは複数の光学部品を含む。発光源４１０からの光を調整することは、例えば、コントローラ３３０からの命令に従って方向を拡大すること、コリメートすること、および／または調節することを含むことができる。１つまたは複数の光学部品は、１つまたは複数のレンズ、液体レンズ、ミラー、開口部、および／または回折格子を含むことができる。いくつかの例では、光学システム４１５は、スキャン角度の閾値で光のビームをスキャンして、液体レンズの外側の領域に光のビームをシフトさせることができる複数の電極を有する液体レンズを含む。光学システム４１５（および、さらにソースアセンブリ３１０）から放たれた光は、画像光３５５と呼ばれる。

出力導波路３２０は、画像光３５５を受光する。連結要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に連結する。連結要素３５０が回折格子である例では、出力導波路３２０内で全内部反射が発生し、（例えば、全内部反射によって）出力導波路３２０の内部で画像光３５５が分離要素３６５に向けて伝搬するように、回折格子のピッチを選ぶ。

配向要素３６０は、出力導波路３２０から分離させるために画像光３５５の向きを分離要素３６５の方に変える。配向要素３６０が回折格子である例では、分離要素３６５の表面に対する傾斜角で、入射した画像光３５５が出力導波路３２０を出るように、回折格子のピッチを選ぶ。

いくつかの例では、配向要素３６０および／または分離要素３６５は構造的に似ている。出力導波路３２０を出た拡大した画像光３４０は、１つまたは複数の次元に沿って拡大される（例えば、ｘ次元に沿って延びてもよい）。いくつかの例では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０、および、複数の出力導波路３２０を含む。ソースアセンブリ３１０のそれぞれは、原色（例えば、赤、緑、または青）に対応する特定の波長帯域の単色画像光を放つ。出力導波路３２０のそれぞれは、多色の拡大した画像光３４０を出力するための分離距離で一緒にスタックすることができる。

図５Ａは、ニアアイディスプレイ１００を含むシステム５００の例のブロック図である。システム５００は、ニアアイディスプレイ１００、画像化デバイス５３５、入出力インターフェース５４０、ならびにイメージセンサ１２０ａ～１２０ｄおよび１５０ａ～１５０ｂを備え、これらは、制御回路５１０にそれぞれ連結される。システム５００は、ヘッドマウントデバイス、ウェアラブルデバイス、等として構成することができる。

ニアアイディスプレイ１００は、ユーザに媒体を提示するディスプレイである。ニアアイディスプレイ１００によって提示される媒体の例は、１つまたは複数の画像、動画、および／または音声を含む。いくつかの例では、音声は、ニアアイディスプレイ１００および／または制御回路５１０から音声情報を受け取り、音声情報に基づく音声データをユーザに提示する外部デバイス（例えば、スピーカおよび／またはヘッドホン）を介して提示される。いくつかの例では、ニアアイディスプレイ１００は、ＡＲ眼鏡（ＡＲ ｅｙｅｗｅａｒ ｇｌａｓｓ）としてさらに機能させることができる。いくつかの例では、ニアアイディスプレイ１００は、コンピュータ生成要素（例えば、画像、動画、音など）で実際の現実世界環境の景色を拡大する。

ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、深度カメラアセンブリ（ＤＣＡ）５２０、１つもしくは複数のポジションセンサ５２５、および／または慣性計測ユニット（ＩＭＵ）５３０を含む。ニアアイディスプレイ１００のいくつかの例は、図５Ａに関して記載されるものとは異なる構成要素を有する。加えて、図５Ａに関して記載される様々な構成要素によって提供される機能性は、他の例におけるニアアイディスプレイ１００の構成要素の間では異なるように分配されてよい。

いくつかの例では、導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。

ＤＣＡ１２０は、ニアアイディスプレイ１００を取り囲むエリアの深度情報を説明するデータをキャプチャする。ＤＣＡ１２０のいくつかの例は、１つまたは複数の画像化デバイス（例えば、カメラ、ビデオカメラ）と、構造光（ＳＬ）パターンを放つように構成された照明源とを含む。下記でさらに論じるように、構造光は、対称もしくは疑似ランダムドットパターン、グリッド、または水平バーなどの指定されたパターンをシーン上に投射する。例えば、照明源は、グリッドまたは一連の水平バーを、ニアアイディスプレイ１００を取り囲む環境上に放つ。三角測量に基づいて、または表面上に投射されたときのパターンの知覚された変形に基づいて、シーン内のオブジェクトの深度および表面情報が決定される。

いくつかの例では、ニアアイディスプレイ１００を取り囲むエリアの深度情報をより良くキャプチャするため、ＤＣＡ１２０は、照明源から放たれた光がニアアイディスプレイ１００を取り囲むエリア内のオブジェクトから反射されて、１つまたは複数の画像化デバイスに戻るまでの時間を説明する、飛行時間情報もキャプチャする。様々な実現例では、ＤＣＡ１２０は、構造光情報と同時またはほぼ同時に飛行時間情報をキャプチャする。放たれた光が１つまたは複数の画像化デバイスによってキャプチャされる時間に基づいて、ＤＣＡ１２０は、ＤＣＡ１２０と、照明源からの光を反射するニアアイディスプレイ１００を取り囲むエリア内のオブジェクトとの間の距離を決定する。飛行時間情報ならびに構造光情報をキャプチャするため、照明源は、放たれたＳＬパターンを、３０ＭＨｚなどの特定の周波数を有するキャリア信号を用いて変調する（様々な例では、周波数は、５ＭＨｚ～５ＧＨｚの周波数の範囲から選択されてよい）。

画像化デバイスは、光の波長（例えば、光の「帯域」）の特定の範囲をキャプチャし記録する。画像化デバイスによってキャプチャされる光の帯域の例は、可視帯域（約３８０ｎｍ～７５０ｎｍ）、赤外（ＩＲ）帯域（約７５０ｎｍ～２，２００ｎｍ）、紫外帯域（１００ｎｍ～３８０ｎｍ）、電磁スペクトルの別の部分、または前述の何らかの組合せを含む。いくつかの例では、画像化デバイスは、可視帯域および赤外帯域内の光を含む画像をキャプチャする。ニアアイディスプレイ１００を取り囲むエリア内のオブジェクトから反射された構造光パターンからの光を共同でキャプチャし、照明源からのキャリア信号がエリア内のオブジェクトからＤＣＡ１２０へと反射される時間を決定するため、画像化デバイスは、ピクセル群のアレイを備える検出器を含む。各ピクセル群は１つまたは複数のピクセルを含み、異なるピクセル群は、キャリア信号の位相に対する異なる位相シフトと関連付けられる。様々な例では、異なるピクセル群は、照明源によって放たれたキャリア信号によって変調されたパターンの異なる時間位相をキャプチャするため、互いに対して異なる時間に活性化される。例えば、隣接するピクセル群が、互いに対して約９０度、１８０度、または２７０度の位相シフトを有する光をキャプチャするように、ピクセル群は異なる時間に活性化される。ＤＣＡ１２０は、ＤＣＡ１２０からの深度と同等である、キャリア信号の位相を、異なるピクセル群によってキャプチャされた信号データから導き出す。キャプチャされたデータはまた、時間ドメインにわたる総ピクセル電荷の合計によって、またはキャリア位相信号に対する補正後に、空間パターンの画像フレームを生成する。

ＩＭＵ５３０は、ポジションセンサ５２５の１つまたは複数から受け取った測定信号に基づいて、ニアアイディスプレイ１００の最初の位置に対するニアアイディスプレイ１００の推定位置を示す高速較正データを生成する電子デバイスである。

画像化デバイス５３５は、様々な用途のための画像データを生成することができる。例えば、画像化デバイス５３５は、制御回路５１０から受け取った較正パラメータに従って低速較正データを提供するための画像データを生成することができる。画像化デバイス５３５は、ユーザの位置追跡を実行するために、ユーザがいる実際の環境の画像データを生成するための、例えば、図１Ａのイメージセンサ１２０ａ～１２０ｄを含むことができる。画像化デバイス５３５は、ユーザの関心のあるオブジェクトを識別するために、ユーザの注視点を決定するための画像データを生成するための、例えば、図１Ｂのイメージセンサ１５０ａ～１５０ｂをさらに含むことができる。

入出力インターフェース５４０は、制御回路５１０にアクション要求をユーザが送ることができるデバイスである。アクション要求は、特定のアクションを実行するための要求である。例えば、アクション要求は、アプリケーションを開始もしくは終了させること、または、アプリケーション内の特定のアクションを実行することであってもよい。

制御回路５１０は、画像化デバイス５３５、ニアアイディスプレイ１００、および入出力インターフェース５４０の１つまたは複数から受け取った情報に従ってユーザに提示するために、ニアアイディスプレイ１００に媒体を提供する。いくつかの例では、制御回路５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収納することができる。いくつかの例では、制御回路５１０は、システム５００の他の構成要素と通信連結されたスタンドアロンのコンソールデバイスであることが可能である。図５に示した例では、制御回路５１０は、アプリケーション記憶装置５４５、追跡モジュール５５０、およびエンジン５５５を含む。

アプリケーション記憶装置５４５は、制御回路５１０による実行のための１つまたは複数のアプリケーションを記憶する。アプリケーションは命令のグループであり、プロセッサによって実行されると、ユーザへの提示のためのコンテンツを生成する。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、動画再生アプリケーション、または他の適切なアプリケーションを含む。

追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、１つまたは複数の較正パラメータを調節して、ニアアイディスプレイ１００の位置を決定する際の誤差を減らすことができる。

追跡モジュール５５０は、画像化デバイス５３５からの低速較正情報を使用して、ニアアイディスプレイ１００の動きを追跡する。追跡モジュール５５０は、高速較正情報からの位置情報を使用して、ニアアイディスプレイ１００の基準点の位置をさらに決定する。

エンジン５５５は、システム５００内のアプリケーションを実行し、ニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または、将来の予測位置を、追跡モジュール５５０から受け取る。いくつかの例では、エンジン５５５によって受け取った情報は、導波路ディスプレイアセンブリ２１０への信号（例えば、表示命令）を生み出すために使用することができ、ユーザに提示されるコンテンツの種類を決定する。例えば、双方向体験を提供するために、エンジン５５５は、（例えば、追跡モジュール５５０によって提供された）ユーザの位置、または（例えば、画像化デバイス５３５によって提供された画像データに基づく）ユーザの注視点、（例えば、画像化デバイス５３５によって提供された画像データに基づく）オブジェクトとユーザとの間の距離に基づいて、ユーザに提示されることになるコンテンツを決定することができる。

図５Ｂは、１つまたは複数の画像化デバイス５６５（例えば、立体計測のための２つの画像化デバイス５６５）、およびＤＣＡ５２０の照明源５６０の配置例を示し、照明源５６０は、構造光パターン（空間パターンとも呼ばれる）をローカルエリア上に投射する。図５Ｂでは、空間パターン例は、照明源５６０の視野内に投射されるグリッドパターンを含む。散乱反射または直接反射を通して、空間パターンは画像化デバイス５６５によってキャプチャされる。いくつかの例では、キャプチャされた空間パターンはＤＣＡ５２０のメモリ５７０に記憶される。ＤＣＡ５２０の１つまたは複数のプロセッサ５７５は、三角測量を通して、投射された構造光のキャプチャされた画像に基づいて、ローカルエリアの三次元レイアウトを決定する。

図６Ａは、イメージセンサ６００の例を示す。イメージセンサ６００は、ニアアイディスプレイ１００の一部であることが可能であり、ニアアイディスプレイ１００の表示コンテンツを制御するために、図５の制御回路５１０に２Ｄ画像データおよび３Ｄ画像データを提供することができる。図６Ａに示されるように、イメージセンサ６００は、ピクセルセル６０２ａを含むピクセルセル６０２のアレイを含んでよい。ピクセルセル６０２ａは、例えば、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄを含む複数のフォトダイオード６１２と、１つまたは複数の電荷検知ユニット６１４と、１つまたは複数のアナログデジタルコンバータ６１６とを含むことができる。複数のフォトダイオード６１２は、入射光の異なる成分を電荷に変換できる。例えば、フォトダイオード６１２ａ～６１２ｃは、異なる可視光チャネルに対応することができ、ここでフォトダイオード６１２ａは、可視青色成分（例えば、４５０～４９０ナノメートル（ｎｍ）の波長範囲）を電荷に変換できる。フォトダイオード６１２ｂは、可視緑色成分（例えば、５２０～５６０ｎｍの波長範囲）を電荷に変換できる。フォトダイオード６１２ｃは、可視赤色成分（例えば、６３５～７００ｎｍの波長範囲）を電荷に変換できる。また、フォトダイオード６１２ｄは、赤外線成分（例えば、７００～１０００ｎｍ）を電荷に変換できる。１つまたは複数の電荷検知ユニット６１４のそれぞれは、フォトダイオード６１２ａ～６１２ｄによって生成された電荷を電圧に変換するために電荷貯蔵デバイスおよびバッファを含むことができ、該電圧は１つまたは複数のＡＤＣ６１６によってデジタル値に量子化可能である。フォトダイオード６１２ａ～６１２ｃから生成されたデジタル値は、ピクセルの異なる可視光成分を表すことができ、それぞれは、特定の可視光チャネルにおける２Ｄ検知に使用可能である。さらに、フォトダイオード６１２ｄから生成されたデジタル値は、同じピクセルの赤外光成分を表すことができ、かつ３Ｄ検知に使用可能である。図６Ａはピクセルセル６０２ａが４つのフォトダイオードを含むことを示すが、ピクセルセルが異なる数のフォトダイオード（例えば、２つ、３つなど）を含むことができることは理解されたい。

さらに、イメージセンサ６００は、照射器６２２、光学フィルタ６２４、画像化モジュール６２８、および検知コントローラ６４０も含む。照射器６２２は、３Ｄ検知のために赤外光を投射することができる、レーザ、発光ダイオード（ＬＥＤ）などの赤外線照射器であってよい。投射した光は、例えば、構造光、光パルスなどを含むことができる。光学フィルタ６２４は、ピクセルセル６０６ａを含むそれぞれのピクセルセルの複数のフォトダイオード６１２ａ～６１２ｄに被せられるフィルタエレメントのアレイを含んでよい。それぞれのフィルタエレメントは、ピクセルセル６０６ａのそれぞれのフォトダイオードが受光した入射光の波長範囲を設定することができる。例えば、フォトダイオード６１２ａ上のフィルタエレメントは、可視青色光成分を伝送する一方、他の成分を遮断してよく、フォトダイオード６１２ｂ上のフィルタエレメントは可視緑色光成分を伝送してよく、フォトダイオード６１２ｃ上のフィルタエレメントは可視赤色光成分を伝送してよく、その一方で、フォトダイオード６１２ｄ上のフィルタエレメントは赤外光成分を伝送してよい。

イメージセンサ６００は画像化モジュール６２８およびメモリ６３０をさらに含む。画像化モジュール６２８は、２Ｄ画像化動作を行うための２Ｄ画像化モジュール６３２、および３Ｄ画像化動作を行うための３Ｄ画像化モジュール６３４をさらに含んでよい。これらの動作は、ＡＤＣ６１６によって提供されるデジタル値に基づくことができる。例えば、フォトダイオード６１２ａ～６１２ｃのそれぞれからのデジタル値に基づいて、２Ｄ画像化モジュール６３２は、それぞれの可視カラーチャネルに対する入射光成分の強度を表すピクセル値のアレイを生成し、かつそれぞれの可視カラーチャネルに対する画像フレームを生成することができる。また、３Ｄ画像化モジュール６３４は、フォトダイオード６１２ｄからのデジタル値に基づいて３Ｄ画像を生成することができる。いくつかの例では、デジタル値に基づいて、３Ｄ画像化モジュール６３４は、オブジェクトの表面で反射した構造光のパターンを検出し、かつ検出したパターンを照射器６２２によって投射した構造光のパターンと比較して、ピクセルセルアレイに対する表面の種々のポイントの深度を決定することができる。反射した光のパターンの検出のために、３Ｄ画像化モジュール６３４は、ピクセルセルで受光した赤外光の強度に基づいてピクセル値を生成することができる。別の例として、３Ｄ画像化モジュール６３４は、照射器６２２によって伝送されかつオブジェクトで反射した赤外光の飛行時間に基づいてピクセル値を生成することができる。メモリ６３０は、２Ｄ画像化モジュール６３２および３Ｄ画像化モジュール６３４それぞれによって生成される２Ｄ画像および３Ｄ画像のピクセルデータの少なくとも一部を記憶できる。

イメージセンサ６００は、イメージセンサ６００の種々の構成要素を制御して、オブジェクトの２Ｄ画像化および３Ｄ画像化を実行するための検知コントローラ６４０をさらに含む。ここで、図７Ａ～図７Ｃを参照し、２Ｄ画像化および３Ｄ画像化のためのイメージセンサ６００の動作の例を示す。図７Ａは、２Ｄ画像化のための動作の例を示す。２Ｄ画像化のために、ピクセルセルアレイ６０２は、オブジェクトで反射した可視光を含む、環境内の可視光を検出することができる。例えば、図７Ａを参照すると、可視光源７００（例えば、電球、太陽、または、周囲の可視光の他の発生源）は、可視光７０２をオブジェクト７０４に投射することができる。可視光７０６は、オブジェクト７０４のスポット７０８で反射させることができる。可視光７０６は、周囲の赤外光成分を含むこともできる。可視光７０６は、光学フィルタアレイ６２４でフィルタにかけて、波長範囲ｗ０、ｗ１、ｗ２、およびｗ３の可視光７０６の異なる成分を、ピクセルセル６０２ａのフォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄにそれぞれ通すことができる。波長範囲ｗ０、ｗ１、ｗ２、およびｗ３は、青、緑、赤、および赤外線にそれぞれ対応することができる。図７Ａに示されるように、赤外線照射器６２２はオンにされないため、赤外線成分（ｗ３）の強度は、環境赤外光によるものであり、非常に低い可能性がある。さらに、可視光７０６の異なる可視成分は異なる強度を有することもできる。電荷検知ユニット６１４は、フォトダイオードによって生成された電荷を電圧に変換でき、該電圧は、スポット７０８を表すピクセルの赤、青、および緑の成分を表すデジタル値にＡＤＣ６１６により量子化可能である。図７Ｃを参照すると、デジタル値が生成された後、検知コントローラ６４０は２Ｄ画像化モジュール６３２が、デジタル値に基づいて、それぞれが、同じフレーム期間７１４でキャプチャされたシーンの赤色、青色、または緑色画像のうちの１つを表す、赤画像フレーム７１０ａ、青画像フレーム７１０ｂ、および緑画像フレーム７１０ｃを含む画像のセット７１０を含む画像のセットを生成するように制御可能である。赤画像（例えば、ピクセル７１２ａ）、青画像（例えば、ピクセル７１２ｂ）、および緑画像（例えば、ピクセル７１２ｃ）からのそれぞれのピクセルは、シーンの同じスポット（例えば、スポット７０８）からの光の可視成分を表すことができる。異なる画像のセット７２０は、後続のフレーム期間７２４で２Ｄ画像化モジュール６３２によって生成可能である。赤画像７１０ａ、青画像７１０ｂ、および緑画像７１０ｃのそれぞれは、特定のカラーチャネルにおけるシーンを表すことができ、かつ例えば、特定のカラーチャネルからの画像特徴を抽出するためのアプリケーションに提供可能である。それぞれの画像は同じシーンを表し、かつ画像のそれぞれの対応するピクセルはシーンの同じスポットからの光を表すため、異なるカラーチャネル間の画像の対応関係は改善可能である。

さらに、イメージセンサ６００は、オブジェクト７０４の３Ｄ画像化をさらに実行することができる。図７Ｂを参照すると、検知コントローラ６１０は、オブジェクト７０４に赤外光７３２を投射するように照射器６２２を制御することができ、赤外光７３２は、光パルス、構造光、等を含むことができる。赤外光７３２は、７００ナノメートル（ｎｍ）から１ミリメートル（ｍｍ）の波長範囲を有することができる。赤外光７３４は、オブジェクト７０４のスポット７０８に反射することができ、ピクセルセルアレイ６０２の方へ伝搬しかつ光学フィルタ６２４を通ることができ、これによって、（波長範囲ｗ３の）赤外線成分をフォトダイオード６１２ｄに与えて電荷に変換することができる。電荷検知ユニット６１４は、電荷を電圧に変換でき、この電圧はＡＤＣ６１６によってデジタル値に量子化可能である。図７Ｃを参照すると、デジタル値が生成された後、検知コントローラ６４０は、３Ｄ画像化モジュール６３４が、デジタル値に基づいて、露光期間７１４内にキャプチャされた画像７１０の一部としてシーンの赤外線画像７１０ｄを生成するように制御可能である。赤外線画像７１０ｄは赤外線チャネルにおいて同じシーンを表すことができ、かつ赤外線画像７１０ｄのピクセル（例えば、ピクセル７１２ｄ）は画像７１０内の他の画像における他の対応するピクセル（ピクセル７１２ａ～７１２ｃ）と同じシーンのスポットからの光を表すため、２Ｄ画像化と３Ｄ画像化との間の対応関係も改善可能である。

いくつかの例では、図６Ｂに示されるように、イメージセンサ６００は、相互接続６５０を介して、アプリケーション６５４をホストするホストデバイス６５２に通信可能に連結可能である。イメージセンサ６００およびホストデバイス６５２は、ウェアラブルＶＲ／ＡＲ／ＭＲシステムの一部とすることができるのに対し、アプリケーション６５４は、システムのユーザがイメージセンサ６００によって提供される２Ｄおよび３Ｄ画像データに基づいて位置し、かつ、再現したシーンに基づいて双方向体験をもたらすための表示効果を生成することができる環境のシーン再現を行うことができる。いくつかの例では、相互接続６５０は、Ｍｏｂｉｌｅ Ｉｎｄｕｓｔｒｙ Ｐｒｏｃｅｓｓｏｒ Ｉｎｔｅｒｆａｃｅ（ＭＩＰＩ）のＣａｍｅｒａ Ｓｅｒｉａｌ Ｉｎｔｅｒｆａｃｅ（ＣＳＩ）規格に準拠しているシリアル相互接続とすることができる。イメージセンサ６００は、メモリ６３０からの２Ｄおよび／または３Ｄ画像データの読み出しを行い、かつ２Ｄおよび３Ｄ画像データを相互接続６５０を介してホストデバイス６５２に送信することができる。

図８Ａ～図８Ｄは、ピクセルセルにおけるフォトダイオード６１２の配置の例を示す。図８Ａに示されるように、ピクセルセル６０２ａにおけるフォトダイオード６１２ａ～６１２ｄは、ピクセルセル６０２ａがスポット８０４ａから入射光８０２を受光する受光面８００に垂直である軸に沿ってスタックを形成できる。例えば、フォトダイオード６１２ａ～６１２ｄは、受光面８００がｘ軸およびｙ軸と平行であるときに垂直軸（例えば、ｚ軸）に沿ってスタックを形成することができる。それぞれのフォトダイオードは受光面８００から異なる距離を有することができ、この距離は、入射光８０２の成分が、それぞれのフォトダイオードによって吸収されかつ電荷に変換されるように設定可能である。例えば、フォトダイオード６１２ａは、受光面８００に最も近く、かつ青成分を吸収しかつ電荷に変換可能であり、これは他の成分の中で最も短い波長範囲を有する。光８１２は、光８０２の残りの成分（例えば、緑、赤、および赤外線）を含み、かつ緑成分を吸収しかつ変換できるフォトダイオード６１２ｂに伝搬可能である。光８２２は、光８１２の残りの成分（例えば、赤および赤外線）を含み、かつ、赤成分を吸収しかつ変換できるフォトダイオード６１２ｃに伝搬可能である。残りの赤外線成分８３２は、電荷に変換されるフォトダイオード６１２ｄに伝搬可能である。

フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄはそれぞれ、イメージセンサ６００を形成するためにスタック可能である別個の半導体基板に設けられ得る。例えば、フォトダイオード６１２ａは半導体基板８４０に設けられ得、フォトダイオード６１２ｂは半導体基板８４２に設けられ得、フォトダイオード６１２ｃは半導体基板８４４に設けられ得、その一方で、フォトダイオード６１２ｄは半導体基板８４６に設けられ得る。それぞれの半導体基板は、スポット８０４ｂから光を受光するためのピクセルセル６０２ｂなど、他のピクセルセルの他のフォトダイオードを含むことができる。イメージセンサ６００は、例えば、電荷検知ユニット６１４、ＡＤＣ６１６などを含むことができる、ピクセルセル処理回路８４９を含み得る別の半導体基板８４８を含むことができる。それぞれの半導体基板は、それぞれのフォトダイオードで生成された電荷を処理回路８４９に移動させるために、金属相互接続８５０、８５２、８５４、および８５６などの金属相互接続に接続可能である。

図８Ｂ～図８Ｄは、フォトダイオード６１２の他の配置例を示す。図８Ｂ～図８Ｄに示されるように、複数のフォトダイオード６１２は、受光面８００と平行に横方向に配置可能である。図８Ｂの上段はピクセルセル６０２ａの一例の側面図を示すのに対し、図８Ｂの下段はピクセルセル６０２ａを含むピクセルアレイ６０２の上面図を示す。図８Ｂに示されるように、受光面８００がｘ軸およびｙ軸と平行であることで、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄは、半導体基板８４０においてまたｘ軸およびｙ軸に沿って互いに隣接して配置可能である。ピクセルセル６０２ａは、フォトダイオードに被せられる光学フィルタアレイ８６０をさらに含む。光学フィルタアレイ８６０は光学フィルタ６２４の一部とすることができる。光学フィルタアレイ８６０は、対応するフォトダイオードが受光した入射光成分の波長範囲を設定するためにフォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄのそれぞれに被せられるフィルタエレメントを含むことができる。例えば、フィルタエレメント８６０ａは、フォトダイオード６１２ａに被せられ、かつ可視青色光のみがフォトダイオード６１２ａに入ることを可能にすることができる。また、フィルタエレメント８６０ｂは、フォトダイオード６１２ｂに被せられ、かつ可視緑色光のみがフォトダイオード６１２ｂに入ることを可能にすることができる。さらに、フィルタエレメント８６０ｃは、フォトダイオード６１２ｃに被せられ、かつ可視赤色光のみがフォトダイオード６１２ｃに入ることを可能にすることができる。フィルタエレメント８６０ｄは、フォトダイオード６１２ｄに被せられ、かつ赤外光のみがフォトダイオード６１２ｄに入ることを可能にすることができる。ピクセルセル６０２ａは、光学フィルタアレイ８６０を介して受光面８００の異なる横位置にシーンのスポット（例えば、スポット８０４ａ）から光８６４を投射することができる１つまたは複数のマイクロレンズ８６２をさらに含み、これによって、それぞれのフォトダイオードは、ピクセルセル６０２ａのサブピクセルになることが可能になり、かつピクセルに対応する同じスポットから光の成分を受光することが可能になる。ピクセルセル６０２ａは、フォトダイオードによって生成される電荷からデジタル値を生成するための回路８４９（例えば、電荷検知ユニット６１４、ＡＤＣ６１６など）を含むことができる半導体基板８４８も含むことができる。半導体基板８４０および８４８は、スタックを形成可能であり、かつ相互接続８５６に接続可能である。

フォトダイオードが横方向に配置され、かつ光学フィルタアレイを使用してフォトダイオードが受光する光成分を制御する図８Ｂの配置は、多数の利点をもたらす可能性がある。例えば、スタックの数および半導体基板の数を減らすことができ、これによって、鉛直高さだけでなく、半導体基板の間の相互接続も減らすことができる。また、それぞれのフォトダイオードによって吸収される成分の波長範囲を設定するために光の伝搬距離ではなくフィルタエレメントに頼ることで、波長範囲を選択する際の柔軟性をもたらすことができる。図８Ｃの上段に示されるように、ピクセルセルアレイ６０２は異なるピクセルセルに対する異なる光学フィルタアレイ８６０を含むことができる。例えば、ピクセルセルアレイ６０２のそれぞれのピクセルセルは、フォトダイオード６１２ａおよび６１２ｂに対する（「Ｍ」のラベルを付けた）３８０～７４０ｎｍの波長範囲の単色チャネル、および、フォトダイオード６１２ｄに対する（「ＮＩＲ」のラベルを付けた）７００～１０００ｎｍの波長範囲の赤外線チャネルをもたらす光学フィルタアレイを有することができる。しかしながら、光学フィルタアレイは、異なるピクセルセルに対する異なる可視カラーチャネルももたらす場合がある。例えば、ピクセルセルアレイ６０２ａ、６０２ｂ、６０２ｃ、および６０２ｄに対する光学フィルタアレイ８６０は、（「Ｇ」のラベルを付けた）可視緑チャネル、（「Ｒ」のラベルを付けた）可視赤チャネル、（「Ｂ」のラベルを付けた）可視青チャネル、およびピクセルセルアレイのフォトダイオード６１２ｃに対する可視緑チャネルをそれぞれもたらすことができる。別の例として、図８Ｃの下段に示されるように、それぞれの光学フィルタアレイ８６０は、それぞれのピクセルセルアレイのフォトダイオード６１２ｂに対する３８０～１０００ｎｍの波長範囲に及ぶ（「Ｍ＋ＮＩＲ」のラベルを付けた）単色および赤外線チャネルをもたらすことができる。

図８Ｄは、図８Ｃに示されるチャネル例を提供するための光学フィルタアレイ８６０の例を示す。図８Ｄに示されるように、光学フィルタアレイ８６０は、ピクセルセルアレイ内のそれぞれのフォトダイオードが受光した光の波長範囲を選択するために光学フィルタのスタックを含むことができる。例えば、図８Ｄの上段を参照すると、光学フィルタ８６０ａは、全通過エレメント（ａｌｌ－ｐａｓｓ ｅｌｅｍｅｎｔ）８７０（例えば、可視光および赤外光両方を通す透明ガラス）、およびフォトダイオード６１２ａに単色チャネルをもたらすためにスタックを形成する赤外線遮断要素８７２を含むことができる。光学フィルタ８６０ｂも、さらにまたフォトダイオード６１２ｂに単色チャネルをもたらすために全通過エレメント８７４および赤外線遮断要素８７６を含むことができる。さらに、光学フィルタ８６０ｃは、フォトダイオード６１２ｃに緑チャネルをもたらすために、緑色可視光を通す（が他の可視光成分を阻止する）緑通過エレメント８７６、および赤外線遮断要素８７８を含むことができる。最後に、光学フィルタ８６０ｄは、フォトダイオード６１２ｄに赤外線チャネルをもたらすために、全通過エレメント８８０、および（可視光を遮断することができるが、赤外光を通過させることを可能にする）可視光遮断フィルタ８８２を含むことができる。別の例では、図８Ｄの下段に示されるように、光学フィルタ８６０ｂは、フォトダイオード６１２ｂに単色および赤外線チャネルをもたらすために全通過エレメント８７２のみを含むことができる。

図９は、画像処理装置９００を示すブロック図である。いくつかの例では、画像処理装置９００は、ＤＣＡ５２０の１つまたは複数のプロセッサ５７５に含まれる。いくつかの例では、画像処理装置９００は、専用回路（例えば、特定用途向け集積回路）またはデバイスとして実装される。いくつかの例では、画像処理装置９００は、１つまたは複数のプロセッサおよびメモリを有するデバイスに実装される。

画像処理装置９００は、三次元エリアに関する赤外画像情報（例えば、赤外線センサのアレイによって検出される赤外光の強度）を受信する、受信機９０２を含む。いくつかの例では、受信された赤外画像情報は、赤外画像センサのエリア全体に対応する。いくつかの例では、受信された赤外画像情報は、赤外画像センサのエリア全体の全てよりも少ないサブセットに対応する（例えば、赤外画像センサのエリア全体に対応する赤外画像情報は、等しいサイズの長方形など、同じサイズを有してよい複数の重なり合わないブロックに分割されてよく、受信された赤外画像は単一のブロックに対応する）。いくつかの例では、受信機９０２は８ビット～１０ビットのエンコーダを含む。

画像処理装置９００はまた、同じ三次元エリアに関する非赤外画像情報（例えば、非赤外線センサのアレイによって検出される非赤外光の強度であり、その場合、非赤外線センサは、赤、緑、もしくは青などの特定の色を検出するように構成され、または非赤外線センサは、単色センサを含むかもしくは単色センサである）を受信する受信機９０４を含む。いくつかの例では、受信された非赤外画像情報は、非赤外画像センサのエリア全体に対応する。いくつかの例では、受信された非赤外画像情報は、非赤外画像センサのエリア全体の全てよりも少ないサブセットに対応する（例えば、非赤外画像センサのエリア全体に対応する非赤外画像情報は、等しいサイズの長方形など、同じサイズを有してよい複数の重なり合わないブロックに分割されてよく、受信された非赤外画像は単一のブロックに対応する）。いくつかの例では、受信機９０４は８ビット～１０ビットのエンコーダを含む。

いくつかの例では、画像処理装置９００は、受信された画像情報（例えば、受信機９０２によって受信された赤外画像情報、または受信機９０４によって受信された非赤外画像情報）におけるノイズを低減する、デノイザ９１２を含む。いくつかの例では、画像処理装置９００は、受信された画像情報のノイズを低減するため、受信された画像情報にぼかし（例えば、ガウスぼかし）を適用する。

画像処理装置９００はまた、受信された赤外画像情報（もしくはノイズ除去された赤外画像情報）の強度を調節する強度調節器９２２、または受信された非赤外画像情報（もしくはノイズ除去された非赤外画像情報）の強度を調節する強度調節器９２４の少なくとも１つを含む。いくつかの例では、画像処理装置９００は、強度調節器９２２および強度調節器９２４の両方を含む。いくつかの例では、強度調節器９２２および強度調節器９２４の少なくとも１つは、ガンマ補正などの非線形強度調節を実施する。

画像処理装置９００は、赤外画像情報（例えば、強度調節された赤外画像情報）および非赤外画像情報（例えば、強度調節された非赤外画像情報）を組み合わせて、マージされた画像情報を取得する、ブレンダ９３０を含む。いくつかの例では、ブレンダ９３０は、赤外画像情報（例えば、強度調節された赤外画像情報）および非赤外画像情報（例えば、強度調節された非赤外画像情報）の合計（例えば、ｘ×ｙピクセルの赤外画像およびｘ×ｙピクセルの非赤外画像の合計がｘ×ｙピクセルのマージされた画像を提供するような、ピクセルごとの合計）を決定する。いくつかの例では、ブレンダ９３０は、赤外画像情報（例えば、強度調節された赤外画像情報）および非赤外画像情報（例えば、強度調節された非赤外画像情報）の重み付き合計を決定して、マージされた画像情報を取得する。

いくつかの例では、画像処理装置９００は、マージされた画像を圧縮する圧縮器９４０を含む。いくつかの例では、画像処理装置９００は、単一のクロッパ／スケーラ９５０として実装されてよい、クロッパまたはスケーラの少なくとも１つを含む。クロッパ／スケーラ９５０は、マージされた画像をクロップしスケーリングする。いくつかの例では、画像処理装置９００は、マージされた画像（またはクロップされスケーリングされた画像）を平坦化するフラットナ９６０を含む。図９は、画像処理装置９００の構成を示すが、その際、圧縮器９４０、クロッパ／スケーラ９５０、およびフラットナ９６０は特定の順序で配置される。しかしながら、画像処理装置９００の他の構成では、圧縮器９４０、クロッパ／スケーラ９５０、およびフラットナ９６０は異なる順序で配置されてよい。画像処理装置９００のいくつかの構成では、圧縮器９４０、クロッパ／スケーラ９５０、およびフラットナ９６０の１つまたは複数が省略されてよい。

画像処理装置９００は、深度検知のため、マージされた画像情報（圧縮、クロップ／スケーリング、または平坦化などのさらなる処理を含むもしくは含まない）を出力する。

図１０は、画像を処理する方法１０００を示すフロー図である。

方法１０００は、（１０１０）三次元エリアに関する赤外画像情報を受信すること（例えば、受信機９０２による）と、（１０２０）同じ三次元エリアに関する非赤外画像情報を受信すること（例えば、受信機９０４による）と、を含む。

いくつかの例では、受信された赤外画像情報および受信された非赤外画像情報は同じ数のピクセルに対応する。いくつかの例では、受信された赤外画像情報は特定の数の赤外線センサから取得され、受信された非赤外画像情報は同じ特定の数の非赤外線センサから取得される。いくつかの例では、受信された赤外線情報は第１の数のピクセルに対応し、受信された非赤外線情報は、第１の数のピクセルとは異なる第２の数のピクセルに対応する。そのような場合、いくつかの例では、受信された赤外線情報および受信された非赤外線情報の少なくとも１つが、処理後に赤外線情報および非赤外線情報が同じ数のピクセルに対応するように、処理（例えば、クロップ、マージ、ビンなど）される。

いくつかの例では、受信された赤外画像情報は、三次元エリア上への構造化された赤外線照射に基づいたパターンを包含する。

いくつかの例では、方法１０００は、（１０１２）赤外画像情報をノイズ除去すること（例えば、デノイザ９１２による）を含む。いくつかの例では、非赤外画像情報をノイズ除去することは、（１０１４）赤外画像情報に対してガウスぼかしを実施すること（例えば、デノイザ９１２による）を含む。例えば、３×３ピクセルまたは５×５ピクセルにわたるガウスぼかしが適用されてよい。

方法１０００はまた、（１０３０）受信された赤外画像情報に対して非線形強度調節を実施すること（例えば、強度調節器９２２による）と、（１０４０）受信された非赤外画像情報に対して非線形強度調節を実施すること（例えば、強度調節器９２４による）と、を含む。いくつかの例では、非線形強度調節を実施することは、ガンマ補正を適用することを含む。

方法１０００はさらに、（１０５０）強度調節された赤外画像情報および強度調節された非赤外画像情報をブレンドして、マージされた画像情報を取得すること（例えば、ブレンダ９３０による）を含む。

いくつかの例では、強度調節された赤外画像情報および強度調節された非赤外画像情報をブレンドすることは、（１０５２）強度調節された赤外画像情報および強度調節された非赤外画像情報の重み付き合計を取得すること（例えば、ブレンダ９３０による）を含む。

いくつかの例では、方法１０００は、（１０５４）マージされた画像情報を圧縮すること（例えば、圧縮器９４０による）を含む。

いくつかの例では、方法１０００は、（１０５６）：マージされた画像情報のクロップまたはスケーリングの少なくとも１つを実施すること（例えば、クロッパ／スケーラ９５０による）を含む。

いくつかの例では、方法１０００は、（１０５８）マージされた画像情報を平坦化すること（例えば、フラットナ９６０による）を含む。

方法１０００は、（１０６０）深度マップを決定するため、マージされた画像情報を（例えば、画像処理装置９００の出力として）提供すること（例えば、深度マッピング）を含む。マージされた画像情報を、別個の赤外画像情報および非赤外画像情報の代わりに利用することによって、深度検知をより高速でより効率良く完了することができる。加えて、構造化された赤外線照明は、正確な深度マップを取得できるように、深度検知の精度を改善する。

いくつかの例では、方法１０００は、（１０６２）マージされた画像情報から深度マップを決定すること（例えば、ＤＣＡ５２０の１つまたは複数のプロセッサ５７５による）を含む。例えば、図５Ｂに関して上述されるように、２つ以上の画像センサによって取得された立体画像に対して三角測量を適用することによって、深度検知を実施することができる。

本説明の部分の中には、情報に対する動作のアルゴリズムおよび記号表現の観点から本開示の例を説明するものもある。これらのアルゴリズム的説明および表現は、当業者の作業の実体を効果的に当業者に伝えるために、当業者によって全体的に使用される。これらの動作は、機能的に、演算的に、または論理的に説明するが、コンピュータプログラム、または、同等の電気回路、マイクロコード、もしくは同様のものによって実現されることがわかる。さらに、一般性を失うことなく、動作のこれらの配置をモジュールと呼ぶことが時に便利であることも証明されてきた。説明した動作、および、これらに関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアで具体化することができる。

説明したステップ、動作、または処理は、１つまたは複数のハードウェアまたはソフトウェアモジュール単独で、または、他のデバイスと組み合わせて実行すること、または実現することができる。いくつかの例では、ソフトウェアモジュールは、コンピュータプログラムコードを収めるコンピュータ可読媒体を備えるコンピュータプログラム製品で実現され、コンピュータプログラムコードは、説明したステップ、動作、または処理のいずれかまたは全てを実行するために、コンピュータプロセッサで実行することができる。

また、本開示の例は、説明した動作を実行するための装置に関するものであってもよい。装置は、必要な目的のために特に構築することができ、および／または、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブにされた、または再構成された汎用コンピューティングデバイスを備えることができる。このようなコンピュータプログラムは、非一時的な有形のコンピュータ可読ストレージ媒体、または、電子的な命令を記憶するのに適した任意のタイプの媒体に記憶することができ、これらの媒体は、コンピュータシステムバスに連結することができる。さらに、本明細書で引用したいずれかのコンピューティングシステムは、単一のプロセッサを含むことができ、または、計算能力を向上させるために複数のプロセッサ設計を採用したアーキテクチャであってもよい。

また、本開示の例は、本明細書で説明した計算処理によって生み出された製品に関するものであってもよい。このような製品は、計算処理から生じた情報を含むことができ、ここで、情報は、非一時的な有形のコンピュータ可読ストレージ媒体に記憶し、本明細書で説明したコンピュータプログラム製品、または、他のデータの組合せのいずれかの例を含むことができる。

本明細書で使用した言葉は、可読性および指示目的のために主に選択してきたが、発明の主題を正確に描写するため、または制限するために選択してこなかった可能性がある。したがって、本開示の範囲は、この「発明を実施するための形態」によってではなく、むしろ、本明細書に基づく用途に対して発行するいずれかの請求項によって限定されることを意図するものである。したがって、例の本開示は、本開示の範囲を例証するためのものであるが、限定するものではなく、以下の特許請求の範囲に示す。

Claims (15)

1. １つまたは複数のプロセッサと、
   前記１つまたは複数のプロセッサによる実行のための命令を記憶するメモリと、を備える電子デバイスであって、記憶された前記命令が、
   三次元エリアに関する赤外画像情報を受信するための命令と、
   同じ三次元エリアに関する非赤外画像情報を受信するための命令と、
   受信された前記赤外画像情報に対して非線形強度調節を実施するための命令と、
   受信された前記非赤外画像情報に対して非線形強度調節を実施するための命令と、
   強度調節された前記赤外画像情報および強度調節された前記非赤外画像情報をブレンドして、マージされた画像情報を取得するための命令と、
   深度マップを決定するため、前記マージされた画像情報を提供するための命令と、を含む、電子デバイス。
2. 前記強度調節された赤外画像情報および前記強度調節された非赤外画像情報をブレンドすることが、前記強度調節された赤外画像情報および前記強度調節された非赤外画像情報の重み付き合計を取得することを含む、請求項１に記載のデバイス。
3. 前記記憶された命令が、
   前記マージされた画像情報から深度マップを決定するための命令を含む、請求項１または２に記載のデバイス。
4. 前記記憶された命令が、
   前記赤外画像情報をノイズ除去するための命令を含み、
   好ましくは、前記非赤外画像情報をノイズ除去することが、前記赤外画像情報に対してガウスぼかしを実施することを含む、請求項１から３のいずれか一項に記載のデバイス。
5. 前記記憶された命令が、
   前記マージされた画像情報を圧縮するための命令を含む、請求項１から４のいずれか一項に記載のデバイス。
6. 前記記憶された命令が、
   前記マージされた画像情報のクロップまたはスケーリングの少なくとも１つを実施するための命令を含む、請求項１から５のいずれか一項に記載のデバイス。
7. 前記記憶された命令が、
   前記マージされた画像情報を平坦化するための命令を含む、請求項１から６のいずれか一項に記載のデバイス。
8. 前記受信された赤外画像情報および前記受信された非赤外画像情報が、同じ数のピクセルに対応する、請求項１から７のいずれか一項に記載のデバイス。
9. １つまたは複数のカメラをさらに備え、それぞれのカメラが複数のピクセルを含み、前記複数のピクセルのそれぞれのピクセルが、少なくとも１つの赤外光検出器と、前記少なくとも１つの赤外光検出器に隣接して位置付けられた少なくとも１つの非赤外光検出器とを含み、
   好ましくは、
   前記それぞれのピクセルの前記少なくとも１つの赤外光検出器および前記少なくとも１つの非赤外光検出器のいずれもが、共通のマイクロレンズと結合され、
   さらに好ましくは、
   前記少なくとも１つの赤外光検出器が、赤外線フィルタと結合された光検出器を含み、前記少なくとも１つの非赤外光検出器が、非赤外線フィルタと結合された光検出器を含む、請求項１から８のいずれか一項に記載のデバイス。
10. 画像を処理するための方法であって、
    三次元エリアに関する赤外画像情報を受信することと、
    同じ三次元エリアに関する非赤外画像情報を受信することと、
    受信された前記赤外画像情報に対して非線形強度調節を実施することと、
    受信された前記非赤外画像情報に対して非線形強度調節を実施することと、
    強度調節された前記赤外画像情報および強度調節された前記非赤外画像情報をブレンドして、マージされた画像情報を取得することと、
    深度マップを決定するため、前記マージされた画像情報を提供することと、を含む、方法。
11. 前記強度調節された赤外画像情報および前記強度調節された非赤外画像情報をブレンドすることが、前記強度調節された赤外画像情報および前記強度調節された非赤外画像情報の重み付き合計を取得することを含む、請求項１０に記載の方法。
12. 前記マージされた画像情報から深度マップを決定することをさらに含む、請求項１０または１１に記載の方法。
13. 前記赤外画像情報をノイズ除去することをさらに含み、
    好ましくは、前記非赤外画像情報をノイズ除去することが、前記赤外画像情報に対してガウスぼかしを実施することを含む、請求項１０から１２のいずれか一項に記載の方法。
14. 前記マージされた画像情報を圧縮することをさらに含み、
    好ましくは、前記受信された赤外画像情報および前記受信された非赤外画像情報が、同じ数のピクセルに対応する、請求項１０から１３のいずれか一項に記載の方法。
15. 命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記命令が、電子デバイスの１つまたは複数のプロセッサによって実行されると、
    三次元エリアに関する赤外画像情報を受信することと、
    同じ三次元エリアに関する非赤外画像情報を受信することと、
    受信された前記赤外画像情報に対して非線形強度調節を実施することと、
    受信された前記非赤外画像情報に対して非線形強度調節を実施することと、
    強度調節された前記赤外画像情報および強度調節された前記非赤外画像情報をブレンドして、マージされた画像情報を取得することと、
    深度マップを決定するため、前記マージされた画像情報を提供することと、を前記電子デバイスに行わせる、非一時的コンピュータ可読記憶媒体。

Images