JP6695440B2 - 深度感知システム - Google Patents

Description

（関連出願の相互参照）
本願は、米国仮出願第６２／３０１，８４７号，出願日２０１６年３月１日、代理人管理番号ＭＬ．３００６６．００、発明の名称“ＤＥＰＴＨ ＳＥＮＳＩＮＧ ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ”に対する優先権を主張するものである。本願は、米国仮特許出願第６２／０１２，２７３号，出願日２０１４年６月１４日（代理人管理番号ＭＬ．３００１９．００）および米国特許出願第１４／７３８，８７７号、出願日２０１３年６月１３日（代理人管理番号ＭＬ．２００１９．００）に関連している。上記特許出願の内容は、完全に記載されているかのように、それらの全体が参照により本明細書中に明示的かつ完全に援用される。特許出願第６２／０１２，２７３号および第１４／７３８，８７７号に記載されているのは、仮想現実および拡張現実システムの実施形態であり、そこでは、投影された光が深度感知において用いられる。本明細書中に記載されているのは、投影光深度感知システムおよび深度感知のための光センサのさらなる実施形態である。

本開示は、深度感知システムおよび方法に関する。

深度感知は、３次元（「３Ｄ」）空間（例えば、センサ）内の既知の点とオブジェクトの表面上の着目点（「ＰＯＩ」）との間の距離の判定である。深度感知は、表面上の複数のＰＯＩの個別の距離を判定することが、その表面のテクスチャを判定するため、テクスチャ感知としても知られる。深度またはテクスチャ感知は、複合現実システムを含む、多くのコンピュータビジョンシステムのために有用である。

現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、現実であるように見える、もしくはそのように知覚され得る様式においてユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のための複合現実システムの開発を促進している。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透明性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化の拡張として、デジタルまたは仮想画像情報の提示を伴う（すなわち、他の実際の実世界視覚的入力に対して透過性）。故に、ＡＲシナリオは、他の実際の実世界の視覚的入力に対して透明性を伴うデジタルまたは仮想画像情報の提示を伴う。

種々の光学システムは、複合現実（ＶＲおよびＡＲ）シナリオを表示するために、画像を種々の深度に生成する。いくつかのそのような光学システムは、米国特許出願第１４／７３８，８７７号（代理人管理番号第ＭＬ．２００１９．００号）に説明されており、その内容は、参照することによって本明細書の前述に組み込まれている。複合現実シナリオを表示するための他のそのような光学システムは、２０１４年１１月２７日に出願された米国特許出願第１４／５５５，５８５号（代理人管理番号第ＭＬ．２００１１．００号）に説明されており、その内容は、全体として記載される場合と同様に参照することによってその全体として明示的に完全に本明細書に組み込まれる。

ＡＲシナリオは、多くの場合、実世界オブジェクトに関連して仮想画像要素の提示を含む。例えば、図１を参照すると、拡張現実場面１００が、描写されており、ＡＲ技術のユーザには、背景における人々、木々、建物を特徴とする実世界公園状設定１０２と、コンクリートプラットフォーム１０４とが見える。これらのアイテムに加え、ＡＲ技術のユーザはまた、実世界プラットフォーム１０４上に立っているロボット像１０６と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１０８とを「見ている」と知覚するが、これらの要素１０６、１０８は、実世界には存在しない。真実味があるまたは満足のゆくＡＲ場面１００を提示するために、実世界オブジェクト（例えば、プラットフォーム１０４）の深度は、仮想オブジェクト（例えば、ロボット像１０６）を実世界オブジェクトに関連して提示するように判定されなければならない。

実世界環境の一部の再現を含む、ＶＲシナリオはまた、実世界環境のそれらの部分の深度およびテクスチャの判定から利益を享受し得る。正確な深度およびテクスチャ情報は、より正確なＶＲシナリオをもたらすであろう。ＡＲおよびＶＲシナリオは両方ともまた、外向きに指向されるカメラを含み、実世界環境の一部を捕捉してもよい（例えば、分析または伝送のために）。これらの外向きに指向されるカメラを集束させることは、実世界環境のそれらの部分の深度の判定によって補助されることができる。

深度感知に対する１つのアプローチは、表面上の単一ＰＯＩおよび個別の画像上のＰＯＩの２つの画像（既知の配向において既知の距離だけ分離される）の光学軸間の個別の角度を測定することを含む。次いで、測定された角度および画像捕捉場所間の既知の距離を三角測量することによって、表面の深度を判定する。本アプローチに関する問題は、（１）第１の画像内のＰＯＩの識別（特に、均質表面上）（「識別問題」）と、（２）第２の画像内の対応するＰＯＩの識別（「対応問題」）とを含む。本明細書に説明されるシステムおよび方法は、これらの課題に対処するように構成される。

米国特許出願第１４／７３８，８７７号明細書 米国特許出願第１４／５５５，５８５号明細書

本発明の実施形態は、１人またはそれを上回るユーザのための仮想現実および／または拡張現実相互作用を促進するためのデバイス、システム、および方法を対象とする。

一実施形態では、深度感知システムは、光を表面から受信するための第１および第２のセンサピクセルを有する、センサを含む。本システムはまた、赤外線光を第２のセンサピクセルに伝送することを防止しながら、フルスペクトル光を第１のセンサピクセルに、可視光を第２のセンサピクセルに伝送することを可能にするためのフィルタを含む。本システムはさらに、フルスペクトル光および可視光を分析し、表面の深度を判定するためのプロセッサを含む。フィルタは、センサと表面との間に配置される。

１つまたはそれを上回る実施形態では、センサは、第２のセンサピクセルを含む、複数の第２のセンサピクセルを有し、複数の第２のセンサピクセルはそれぞれ、第１のセンサピクセルに隣接し、フィルタは、赤外線光を複数の第２のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を複数の第２のセンサピクセルのそれぞれに伝送することを可能にする。フルスペクトル光および可視光を分析することは、複数の第２のセンサピクセルに対応する複数の検出された可視光値に基づいて、第１のセンサピクセルに関して推定される可視光値を計算することを含んでもよい。推定される可視光値を計算することは、複数の検出された可視光値を平均化することを含んでもよい。推定される可視光値を計算することは、縁検出を複数の検出された可視光値に行うことを含んでもよい。

１つまたはそれを上回る実施形態では、センサは、第１のセンサピクセルを含む、複数の第１のセンサピクセルを有し、複数の第１のセンサピクセルはそれぞれ、第１のセンサピクセルに隣接し、フィルタは、赤外線光を複数の第２のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を複数の第２のセンサピクセルのそれぞれに伝送することを可能にする。フルスペクトル光および可視光を分析することは、複数の第１のセンサピクセルの各々に対し、複数の推定される可視光値を計算することと、複数の推定される可視光値の少なくともいくつかに基づいて、第１のセンサピクセルに関して推定される可視光値を計算することとを含んでもよい。

１つまたはそれを上回る実施形態では、本システムはまた、光を表面に向かって投影するための空間変調光投影デバイスを含み、光は、表面からセンサに向かって反射される。フルスペクトル光および可視光を分析することは、表面の赤外線光画像を生成することを含んでもよい。フルスペクトル光および可視光を分析することは、表面の赤外線光画像内のＰＯＩを三角測量することを含んでもよい。

別の実施形態では、深度感知システムは、光を表面に向かって投影するための空間変調光投影デバイスを含む。本システムはまた、表面から反射された光を受信するためのセンサを含む。本システムはさらに、光投影デバイスの空間変調を制御し、光情報をセンサから受信するためのアクチュエータを含む。さらに、本システムは、表面から反射された光を分析し、表面の深度を判定するためのプロセッサを含む。光は、波長約７００ｎｍ〜約１ｍｍを有する、赤外線光を含む。

１つまたはそれを上回る実施形態では、光は、波長約３９０ｎｍ〜約７００ｎｍを有する、可視光を含む。アクチュエータは、光投影デバイスの空間変調を制御し、赤外線光および可視光を含む、パターンを形成してもよい。アクチュエータは、光投影デバイスの空間変調を制御し、２つの交差する線セグメントを表面上に形成してもよい。アクチュエータは、光投影デバイスの空間変調を制御し、２つの交差する線セグメントを含む静的パターンを表面上に形成してもよい。アクチュエータは、光投影デバイスの空間変調を制御し、２つの交差する線セグメントを含む動的パターンを表面上に形成してもよい。アクチュエータは、光投影デバイスの空間変調を制御し、複数の離散交差線セグメントを含むパターンを表面上に形成してもよい。

１つまたはそれを上回る実施形態では、光投影デバイスの空間変調を制御することは、光投影デバイスの少なくとも一部の移動を制御することを含む。光投影デバイスの空間変調を制御することは、光投影デバイスによって光の投影を制御することを含んでもよい。空間変調光投影デバイスは、ファイバ走査ディスプレイを含んでもよい。空間変調光投影デバイスは、レーザ光源を含んでもよい。空間変調光投影デバイスは、レーザ走査ディスプレイを含んでもよい。

さらに別の実施形態では、深度感知システムは、光を表面から受信するための第１および第２のセンサピクセルを有する、センサを含む。本システムはまた、第１の割合の可視光および第２の割合の赤外線光を第１のセンサピクセルに伝送し、第３の割合の可視光および第４の割合の赤外線光を第２のセンサピクセルに伝送することを可能にするためのフィルタを含む。第１の割合の可視光および第２の割合の赤外線光は、第１の感知された値を第１のセンサピクセルにもたらす。第３の割合の可視光および第４の割合の赤外線光は、第２の感知された値を第２のセンサピクセルにもたらす。本システムはさらに、第１および第２の感知された値を分析し、表面の深度を判定するためのプロセッサを含む。フィルタは、センサと表面との間に配置される。

１つまたはそれを上回る実施形態では、第１および第２の感知された値を分析することは、表面の赤外線光画像を生成することを含む。第１および第２の感知された値を分析することは、表面の赤外線光画像内のＰＯＩを三角測量することを含んでもよい。

本発明の付加的および他の目的、特徴、ならびに利点は、詳細な説明、図、および請求項に説明される。
本発明は、例えば、以下を提供する。
（項目１）
深度感知システムであって、
光を表面から受信する第１および第２のセンサピクセルを有するセンサと、
赤外線光を前記第２のセンサピクセルに伝送することを防止しながら、フルスペクトル光を前記第１のセンサピクセルに伝送し、可視光を前記第２のセンサピクセルに伝送することを可能にするフィルタと、
前記フルスペクトル光および前記可視光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記フィルタは、前記センサと前記表面との間に配置される、システム。
（項目２）
前記センサは、前記第２のセンサピクセルを含む複数の第２のセンサピクセルを有し、
前記複数の第２のセンサピクセルのそれぞれは、前記第１のセンサピクセルに隣接し、
前記フィルタは、赤外線光を前記複数の第２のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を前記複数の第２のセンサピクセルのそれぞれに伝送することを可能にする、項目１に記載のシステム。
（項目３）
前記フルスペクトル光および前記可視光を分析することは、前記複数の第２のセンサピクセルに対応する複数の検出された可視光値に基づいて、前記第１のセンサピクセルに関して推定される可視光値を計算することを含む、項目２に記載のシステム。
（項目４）
前記推定される可視光値を計算することは、前記複数の検出された可視光値を平均化することを含む、項目３に記載のシステム。
（項目５）
前記推定される可視光値を計算することは、縁検出を前記複数の検出された可視光値に行うことを含む、項目３に記載のシステム。
（項目６）
前記センサは、前記第１のセンサピクセルを含む複数の第１のセンサピクセルを有し、前記複数の第１のセンサピクセルのそれぞれは、前記第１のセンサピクセルに隣接し、
前記フィルタは、赤外線光を前記複数の第２のセンサピクセルのそれぞれに伝送することを防止しながら、可視光を前記複数の第２のセンサピクセルのそれぞれに伝送することを可能にする、項目２に記載のシステム。
（項目７）
前記フルスペクトル光および前記可視光を分析することは、
前記複数の第１のセンサピクセルの各々に対し、複数の推定される可視光値を計算することと、
前記複数の推定される可視光値の少なくともいくつかに基づいて、前記第１のセンサピクセルに関して推定される可視光値を計算することと
を含む、項目６に記載のシステム。
（項目８）
前記光を前記表面に向かって投影する空間変調光投影デバイスをさらに備え、
前記光は、前記表面から前記センサに向かって反射される、項目１に記載のシステム。
（項目９）
前記フルスペクトル光および前記可視光を分析することは、前記表面の赤外線光画像を生成することを含む、項目１に記載のシステム。
（項目１０）
前記フルスペクトル光および前記可視光を分析することは、前記表面の赤外線光画像内のＰＯＩを三角測量することを含む、項目９に記載のシステム。
（項目１１）
深度感知システムであって、
光を表面に向かって投影する空間変調光投影デバイスと、
前記表面から反射された光を受信するセンサと、
前記光投影デバイスの空間変調を制御し、光情報を前記センサから受信するアクチュエータと、
前記表面から反射された光を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記光は、波長約７００ｎｍ〜約１ｍｍを有する赤外線光を含む、システム。
（項目１２）
前記光は、波長約３９０ｎｍ〜約７００ｎｍを有する可視光を含む、項目１１に記載のシステム。
（項目１３）
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、前記赤外線光および前記可視光を含むパターンを形成する、項目１２に記載のシステム。
（項目１４）
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、２つの交差する線セグメントを前記表面上に形成する、項目１１に記載のシステム。
（項目１５）
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、２つの交差する線セグメントを含む静的パターンを前記表面上に形成する、項目１４に記載のシステム。
（項目１６）
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、２つの交差する線セグメントを含む動的パターンを前記表面上に形成する、項目１４に記載のシステム。
（項目１７）
前記アクチュエータは、前記光投影デバイスの空間変調を制御し、複数の離散交差線セグメントを含むパターンを前記表面上に形成する、項目１４に記載のシステム。
（項目１８）
前記光投影デバイスの空間変調を制御することは、前記光投影デバイスの少なくとも一部の移動を制御することを含む、項目１１に記載のシステム。
（項目１９）
前記光投影デバイスの空間変調を制御することは、前記光投影デバイスによって前記光の投影を制御することを含む、項目１８に記載のシステム。
（項目２０）
前記空間変調光投影デバイスは、ファイバ走査ディスプレイを備える、項目１１に記載のシステム。
（項目２１）
前記空間変調光投影デバイスは、レーザ光源を備える、項目１１に記載のシステム。
（項目２２）
前記空間変調光投影デバイスは、レーザ走査ディスプレイを備える、項目１１に記載のシステム。
（項目２３）
深度感知システムであって、
光を表面から受信する第１および第２のセンサピクセルを有するセンサと、
第１の割合の可視光および第２の割合の赤外線光を前記第１のセンサピクセルに伝送し、第３の割合の可視光および第４の割合の赤外線光を前記第２のセンサピクセルに伝送することを可能にするフィルタであって、
前記第１の割合の可視光および前記第２の割合の赤外線光は、第１の感知された値を前記第１のセンサピクセルにもたらし、
前記第３の割合の可視光および前記第４の割合の赤外線光は、第２の感知された値を前記第２のセンサピクセルにもたらす、
フィルタと、
前記第１および第２の感知された値を分析し、前記表面の深度を判定するプロセッサと
を備え、
前記フィルタは、前記センサと前記表面との間に配置される、システム。
（項目２４）
前記第１および第２の感知された値を分析することは、前記表面の赤外線光画像を生成することを含む、項目２３に記載のシステム。
（項目２５）
前記第１および第２の感知された値を分析することは、前記表面の赤外線光画像内のＰＯＩを三角測量することを含む、項目２４に記載のシステム。

図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同一参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点ならびに目的を得る方法をより深く理解するために、上記で簡単に説明された詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して付加的な具体性および詳細とともに記載ならびに説明されるであろう。

図１は、一実施形態による、ウェアラブルＡＲユーザデバイスを通した拡張現実（ＡＲ）のユーザのビューを描写する。

図２−４は、種々の先行技術の深度感知システムによって投影された線セグメントおよびパターンの詳細図である。図３および４はまた、種々の先行技術の深度感知システムの走査面積を描写する。 図２−４は、種々の先行技術の深度感知システムによって投影された線セグメントおよびパターンの詳細図である。図３および４はまた、種々の先行技術の深度感知システムの走査面積を描写する。 図２−４は、種々の先行技術の深度感知システムによって投影された線セグメントおよびパターンの詳細図である。図３および４はまた、種々の先行技術の深度感知システムの走査面積を描写する。

図５−９は、種々の実施形態による、深度感知システムによって投影された線セグメントおよびパターンの詳細図である。 図５−９は、種々の実施形態による、深度感知システムによって投影された線セグメントおよびパターンの詳細図である。 図５−９は、種々の実施形態による、深度感知システムによって投影された線セグメントおよびパターンの詳細図である。 図５−９は、種々の実施形態による、深度感知システムによって投影された線セグメントおよびパターンの詳細図である。 図５−９は、種々の実施形態による、深度感知システムによって投影された線セグメントおよびパターンの詳細図である。

図１０は、一実施形態による、深度感知システムの詳細な概略図である。

図１１は、使用時の図１０に描写される深度感知システムの詳細な斜視図である。

図１２は、別の実施形態による、深度感知システムの詳細な概略図である。

図１３は、先行技術の深度感知システムの詳細な概略図である。

図１４および１５は、２つの実施形態による、深度感知システムの詳細な概略図である。 図１４および１５は、２つの実施形態による、深度感知システムの詳細な概略図である。

図１６−１８は、種々の実施形態による、深度感知システムのための光センサの詳細な概略図である。 図１６−１８は、種々の実施形態による、深度感知システムのための光センサの詳細な概略図である。 図１６−１８は、種々の実施形態による、深度感知システムのための光センサの詳細な概略図である。

図１９および２１は、２つの実施形態による、画像処理方法を描写するフローチャートである。

図２０は、別の実施形態による、深度感知システムのための光センサの詳細な概略図である。 図１９および２１は、２つの実施形態による、画像処理方法を描写するフローチャートである。

本発明の種々の実施形態は、単一実施形態または複数の実施形態における深度感知システムのためのシステム、方法、および製造品を対象とする。本発明の他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。

ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知の構成要素（または方法もしくはプロセス）を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知の構成要素（または方法もしくはプロセス）のそれらの一部のみが、説明され、そのような公知の構成要素（または方法もしくはプロセス）の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照される構成要素の現在および将来的公知の均等物を包含する。

深度感知システムは、複合現実システムから独立して実装されてもよいが、以下の多くの実施形態は、例証目的のためだけにＡＲシステムに関係して説明される。

（問題および解決策の概要）
表面の深度（すなわち、３Ｄ空間内の既知の点と表面上の点との間の距離）を光学的に推定または感知するための種々の方法が、存在する。深度感知方法は、２つの主要モード、すなわち、受動および能動に分類されることができる。受動システムは、表面によって反射されたシステム外の光源（例えば、頭上光または太陽）からの周囲光を検出する。能動システムは、光を表面上に投影し、表面によって反射された投影された光を検出する。

受動システムは、典型的には、既知の距離だけ分離される異なる場所において捕捉された２つの画像を使用して、深度を判定する。いくつかの受動システムは、複数のカメラを使用して、２つの画像を捕捉する（双眼構成におけるように）。他の受動システムは、異なる時間および場所において、同一センサを使用して２つの画像を捕捉する。２つの画像が異なる場所において捕捉された後、システムは、画像を処理し、１つの画像内のＰＯＩを他の画像内の対応するＰＯＩに合致させる。次いで、システムは、２つの画像の光学軸間の角度、表面上の単一ＰＯＩ、および２つの画像捕捉場所間の距離を三角測量し、システムに既知の２つの画像捕捉場所に対して３Ｄ空間内のＰＯＩの場所を判定する。

受動システムは、３Ｄ空間内のＰＯＩの場所を判定するが、１つの画像内で識別され（「識別問題」）、他の画像内のその対応物と合致され（「対応問題」）得る適切なＰＯＩの欠如を含む、複数の不具合モードを有し得る。本不具合モードの実施例は、ブランク白色壁の撮像であって、（１）１つの画像内の壁上の点の識別と、（２）他の画像内の対応する点の識別とが、非常に困難である。同様に、暗い部屋の場合、単に、十分な周囲光が存在せず、オブジェクトが明確に見えず、したがって、それらを識別および合致させることがまた、非常に困難である。

いくつかの能動システムは、パターン化またはテクスチャ化された光（例えば、万華鏡からの光）を投影させることによって、これらの２つの問題（すなわち、光の欠如および区別可能特徴の欠如）に対処する。そのようなシステムは、表面を照明し、パターンを均質表面（例えば、白色壁）にわたって投影する。２つの画像が、静的照明パターンを伴うそのような能動システムを使用して捕捉される場合、（同時捕捉または定常投影を伴う２つのカメラのいずれかによって）、１つの画像から他の画像に表面上のパターン（またはその一部）を合致させることがはるかに単純である。したがって、３Ｄ空間内のＰＯＩの場所の三角測量も、対応して、より単純となる。実際、タイトな機械的公差を伴う高度なシステムを使用することによって、３Ｄ空間内のＰＯＩの場所が、観察される反射の角度とカメラおよび光プロジェクタの場所との両方を三角測量することによって計算され得るため、単一カメラによって捕捉された単一画像が、ＰＯＩの場所を判定するために使用されることができる。

しかしながら、能動システムを用いる場合でも、可視光の使用は、表面の近傍におけるユーザまたは他者の気を散らせる、またはその方向感覚を失わせ得るため、多くの場合、準最適である。いくつかの能動システムは、現代のｒａｗカメラセンサが、（例えば、近赤外線光子）を検出することができるが、ヒト眼には見えない、赤外線（「ＩＲ」）光を投影させることによって、本問題に対処する。

赤外線能動システムを使用しても、場面内の他のパターンが、深度感知に干渉する、または他の深度感知問題を生じさせ得る。他のシステムは、可視光がセンサに到達しないように、センサ（本来、可視光および赤外線光の両方を感知することができる）にわたって配置される波長フィルタを含む。フィルタの追加は、典型的には、システム（赤外線）プロジェクタ、太陽、およびいくつかの他の赤外線光源（例えば、保温電球および遠隔制御）によってのみ照明される、赤外線のみの画像の検出をもたらす。

最も正確（すなわち、真の値に最も近い）かつ精密な（すなわち、再現可能な）深度情報を得るために、超高分解能センサが、所望される。視認面積にわたるより多数のセンサピクセルは、各センサピクセルの角度分解能の低減をもたらし、より高い精度の角度入力を三角測量の計算に効果的に提供する。本願で使用されるように、「センサピクセル」は、限定ではないが、光強度の測定のためのセンサ上の区別可能点を含む。

赤外線能動システムは、外向きに指向されるカメラを含む、システム内の可視光を検出する、センサ／センサピクセルに加え、赤外線を検出する、センサ／センサピクセルを要求する。本アプローチに関する問題は、（１）ハイブリッド赤色／緑色／青色／赤外線センサを含む、システム内の可視光分解能の低減と、（２）別個の可視および赤外線センサを含む、システム内の座標位置合わせとを含む。本明細書に開示される実施形態は、以下に説明されるように、拡張された深度感知を伴う改良された画像センサを使用することによって、これらおよび他のセンサ問題に対処する。

付加的処理を伴わずに、ＰＯＩのための最大限の角度精度が、単一センサピクセルの角度分解能を用いて達成される。しかしながら、画像処理アルゴリズムが、「サブピクセル分解能」を提供することができる。例えば、システムは、いくつかのセンサピクセルにわたっていくつかの特徴（例えば、机の角縁を構成する線）を観察し、単一センサピクセルのものより高い精度で直線の方程式を再構築することができる。

深度感知方法は、それらが信号処理方法であるため、システムのナイキスト限界を被る。したがって、信号周波数に基づく最小量のサンプリング点（および点密度）が、信号を再構築するために要求される。したがって、より雑音のある信号は、「より単純な」（より低い帯域幅）信号よりサンプリングおよび再構築が困難である。本明細書に開示される実施形態は、以下に説明されるように、非エイリアシングパターンプロジェクタ／発生器を使用し、投影された光の高周波数雑音を低減させることによって、ナイキスト限界関連問題および他のプロジェクタ関連問題に対処する。

（動的非エイリアシングパターンプロジェクタ／発生器）
ファイバ走査プロジェクタ（「ＦＳＰ」）は、ファイバ光学先端を高周波数で選択的に振動させることによって、光を投影する。ＦＳＰは、ファイバ走査型ディスプレイ（「ＦＳＤ（ｆｉｂｅｒ ｓｃａｎｎｅｄ ｄｉｓｐｌａｙｓ）」）、ファイバ走査式ディスプレイ（「ＦＳＤ（ｆｉｂｅｒ ｓｃａｎｎｉｎｇ ｄｉｓｐｌａｙｓ）」）、走査型ファイバディスプレイ、および走査式ファイバディスプレイとしても知られる。ＦＳＰは、動的画像をヒト観察のための表示として投影することができる。その超小型サイズおよび低潜在的電力消費は、複合現実システム等のある用途に理想的である。例示的ＦＳＰは、米国特許出願第１４／７３８，８７７号（代理人管理番号第ＭＬ．２００１９．００号）および第１４／５５５，５８５号（代理人管理番号第ＭＬ．２００１１．００号）に説明されており、その内容は、参照することによって本明細書の前述で組み込まれている。

本明細書に開示される実施形態は、典型的「パネル」タイプディスプレイ（例えば、ＬＣＯＳまたはＤＬＰ）とは対照的に、テクスチャ化された、パターン化された、または構造化された光を深度再構成において使用するためのＦＳＰを用いて投影することを説明する。既存の能動深度感知システムの大部分は、ピクセル化パターン（例えば、正方形または長方形）で光を投影する、ＬＣＯＳおよびＤＬＰ等の光子源を使用する。これらのシステムは、フレーム全体を同時に照明し、投影された画像は、一度に投影された複数の直線（または固定形状）表示ピクセルから成る。その結果、これらの画像は、鮮明な線の代わりに、複数の繰り返される（概して、直線／正方形）形状から成る。

図２は、投影された線２００内の不完全性を示すために十分な拡大率における、パネルタイプディスプレイによって投影された「線」２００を描写する。本拡大率では、投影された線２００は、ステップのセットを形成する一連の直角として現れる。しかしながら、より低い拡大率では、投影された線２００は、視認者に線形に現れるであろう。直角の辺のそれぞれは、線形の一連の表示ピクセルによって形成される。

投影された線２００の不規則性の結果、投影された線２００を検出する同等の（またはより高い）分解能のセンサは、高周波数雑音を投影されたパターン内で観察するために十分な感度を有し、画像再構成労力を複雑にするであろう。図３は、プロジェクタより低い分解能を伴うセンサからのオーバーレイされた正方形形状の走査面積２０２を伴う、図２からの投影された線２００を示す。図３に示されるように、投影された線２００に沿った走査面積２０２は、同じ量の投影された線２００を含有しない。したがって、センサからの信号は、非常に雑音があり、エイリアシング、すなわち、細い黒色線の代わりに、太い灰色線をもたらす。

本雑音信号問題は、図４に示されるように、２つの投影された線２００ａ、２００ｂの交差部２０４を特定するタスクを複雑にする。本交差部２０４は、深度感知システムのＰＯＩであり得る。しかしながら、投影された線２００ａ、２００ｂ内の高周波数雑音は、交差部２０４が点の代わりに線セグメントとなる結果をもたらす。さらに、走査面積２０２は、交差部２０４を高正確度で識別するために十分な詳細で線２００ａ、２００ｂを分解不可能である。

既存のシステムは、対応するセンサよりはるかに高い分解能を伴うプロジェクタを使用することによって、または付加的信号処理アルゴリズムを使用して、このより雑音の多い信号をサブピクセル（またはさらにピクセル）精度マッピングに適切なものに再構築することによってのいずれかで本問題に対処する。

本明細書に開示される実施形態は、ＦＳＰを使用して光を投影させ、より高い品質の動的パターンを生産し、画像再構成を促進することを説明する。ＦＳＰを使用するとき、光は、単一進行ビーム（例えば、レーザ）によって投影される。ビームは、比較的に高い周波数において場面を横断して機械的に走査される。光を場面の実質的に全てのピクセル上に投影させるのではなく（パネルタイプディスプレイのように）、ＦＳＰは、投影された光がエイリアシング（例えば、画像歪曲またはぎざぎざ）および高周波数雑音（両方とも再構成労力に干渉する）を最小限にするように、狭分散角度を伴うビームパターンを表面上に投影させることによって、光学的に明確に異なるパターンを作成する。

パネルタイプディスプレイは、固定照明パターンを有するが、ＦＳＰは、動的である。ＦＳＰの効果的走査周波数は、２００の別個のＸおよびＹ進行経路（例えば）のみを可能にし得るが、位相オフセット、照明パターン、および走査周波数は、変動され、超高分解能プロジェクタを要求せずに、クリアな非エイリアシング縁、交差部、したがって、容易に識別可能なＰＯＩを提供する、動的パターンを可能にすることができる。

例えば、図５は、ＦＳＰによって投影されたパターン３００を描写する。パターンは、ＦＳＰを変調し（例えば、アクチュエータを用いて）、位相オフセットされた正弦波３０２ａ、３０２ｂの２つのインスタンス／パスを「描く」ことによって生成される。したがって、第１および第２の正弦波３０２ａ、３０２ｂは、周期的に交差し、交差部３０４の規則的セットを形成する。ＦＳＰは、光をタイトなビーム光源（例えば、レーザ）から投影し、図５に描写されるパターン３００を形成し得る。故に、光からの信号は、最小限の高周波数雑音および無視可能なエイリアシングを有する。交差部３０４は、交差部が、点の中心の推定を要求する光が拡散するにつれて直径が増加するであろう点より、画像分析によって、正確かつ精密に識別可能であるため、特に望ましいＰＯＩを形成する。離散交差部を形成する、別のＦＳＰパターンは、リサジューパターンである。

図６は、ＦＳＰによって投影された別のパターン３００’を描写する。図６に描写されるパターン３００’は、図５に描写され、上記に説明される、パターン３００に類似する。実際、図６に描写されるパターン３００’は、ＦＳＰを変調し、図５に示される正確に同一の第１および第２の正弦波３０２ａ、３０２ｂを形成することによって形成される。しかしながら、ＦＳＰはさらに、第１および第２の正弦波３０２ａ、３０２ｂが交差し、交差部３０４を形成するときのみ、その内部の光源をアクティブ化することによって変調される。ＦＳＰを用いた本パターン３００’の投影は、（１）より明確に異なりかつ識別可能な交差部３０４（ＰＯＩ）と、（２）光源を非アクティブ化することから低減されたシステムエネルギー使用とをもたらす。

図７は、ＦＳＰによって投影されたさらに別のパターン３００’’を描写する。図７に描写されるパターン３００’’は、図６に描写され、上記に説明される、パターン３００’とほぼ同じである。図７に示される第１および第２の正弦波３０２ａ’、３０２ｂ’は、図６に示される第１および第２の正弦波３０２ａ、３０２ｂと比較して、位相偏移される（同一量だけ）。故に、図７に示される第１および第２の正弦波３０２ａ’、３０２ｂ’によって形成される交差部３０４’もまた、図６に示される第１および第２の正弦波３０２ａ、３０２ｂによって形成される交差部３０４と比較して、位相偏移される。

交差部３０４と比較した交差部３０４’の変位は、図８に描写されており、これは、陰影で示される第１および第２の正弦波３０２ａ、３０２ｂおよび交差部３０４（図６から）を伴う、図７である。図６に描写されるパターン３００’（および図８では陰影）と図７に描写されるパターン３００’’（および図８では実線）との間の時間的連続切替は、交差部３０４／３０４’を移動するように現れさせる。本移動は、より明確に異なりかつ識別可能な交差部３０４／３０４’（ＰＯＩ）を伴う動的パターンをもたらす。

図９は、ＦＳＰによって投影された別のパターン３００’’’を描写する。図９に描写されるパターン３００’’’は、図６に描写され、上記に説明される、パターン３００に類似する。図９に示される第１および第２の正弦波３０２ａ’’、３０２ｂ’’は、図６に示される第１および第２の正弦波３０２ａ、３０２ｂと比較して修正される。故に、図９に示される第１および第２の正弦波３０２ａ’’、３０２ｂ’’によって形成される、交差部３０４’’は、図６に示される第１および第２の正弦波３０２ａ、３０２ｂによって形成される交差部３０４と比較して、修正された形状を有する。図９における交差部３０４’’の形状は、＋である一方、図６における交差部３０４の形状は、Ｘである。しかしながら、図６および９における交差部３０４、３０４’’の場所は、同一である。故に、図６に描写されるパターン３００’と図９に描写されるパターン３００’’’との間の時間的連続切替は、交差部３０４／３０４’’に形状を変化させるように現れさせる（Ｘと＋との間で）。本形状変化は、より明確に異なりかつ識別可能な交差部３０４／３０４’’（ＰＯＩ）を伴う動的パターンをもたらす。

図５−９に描写される、パターン３００、３００’、３００’’、３００’’’は、パターン３００、３００’、３００’’、３００’’’内の各交差部３０４、３０４’、３０４’’（ＰＯＩ）に対して同一の変化を描写する。他の実施形態では、交差部３０４、３０４’、３０４’’のサブセットが、変化してもよい（例えば、位置、形状、波長等）。さらに他の実施形態では、交差部３０４、３０４’、３０４’’の種々のサブセットは、異なる変化を有してもよい。例えば、深度感知のために使用される交差部３０４、３０４’、３０４’’のみが、変化してもよい。他の実施形態では、交差部３０４、３０４’、３０４’’の数は、高密度から低密度に動的に変化してもよい。さらに他の実施形態では、光源（例えば、レーザ）は、パルシングされ、パターン３００、３００’、３００’’、３００’’’を動的に変動させることができる。

図１０は、一実施形態による、上記に説明されるパターン３００、３００’、３００’’を投影可能な能動深度感知システム４００を描写する。システム４００は、空間変調光投影デバイス４０２（例えば、ＦＳＰ）と、２つの光センサ４０４ａ、４０４ｂ（例えば、カメラ）と、他のコンポーネント４０２、４０４ａ、４０４ｂに動作可能に結合される、プロセッサ４０６とを含む。空間変調光投影デバイス４０２（例えば、ＦＳＰ）、光センサ４０４ａ、４０４ｂ（例えば、カメラ）、およびプロセッサ４０６は、システム４００内のバス（図示せず）によって、結合されてもよい。代替として、これらのコンポーネント４０２、４０４ａ、４０４ｂ、４０６の一部または全部は、ネットワーク（例えば、無線ネットワーク）によって、相互に結合されてもよい。

図１１は、使用時の図１０に描写される能動深度感知システム４００を描写する。空間変調光投影デバイス４０２は、変調され、パターン４０８（例えば、＋）を略均質表面４１０（例えば、ブランク壁）上に投影する。パターン４０８は、ＰＯＩとして使用され、光投影デバイス４０２と表面４１０との間の距離Ｙを判定することができる。光投影デバイス４０２は、光４１２を表面４１０上に投影し、パターン４０８を形成する。反射光４１２’、４１２’’は、第１および第２の光センサ４０４ａ、４０４ｂから検出される。

システム４００は、パターン４０８が第１および第２の光センサ４０４ａ、４０４ｂの個別の光学軸４１４ａ、４１４ｂから変位される、角度α、βを測定する。測定された角度α、βと、光投影デバイス４０２と個別の第１および第２の光センサ４０４ａ、４０４ｂを分離する既知の距離Ｘ１、Ｘ２とのうちの１つを使用して、システム４００は、光投影デバイス４０２と表面４１０との間の距離Ｙを計算することができる。角度α、βが測定されると、システム４００は、より正確かつ精密に計算された距離Ｙを提供することができる。

図１２は、別の実施形態による、能動深度感知システム４００を描写する。図１２に描写されるシステム４００は、図１０および１１に描写されるものに類似する。空間変調光投影デバイス４０２、２つの光センサ４０４ａ、４０４ｂ、およびプロセッサ４０６に加え、図１２に描写されるシステム４００はまた、アクチュエータ４１６を含み、光投影デバイス４０２を変調する。図１２に描写されるシステム４００のプロセッサ４０６は、その上で起動する、パターン設計器４１８と、パターン検出器４２０とを含む。パターン設計器４１８は、パターンを生成し、生成されたパターンを規定するデータをアクチュエータ４１６に送信し、これは、光投影デバイス４０２を変調し、生成されたパターンを表示する。パターン検出器４２０は、光学データを第１および第２の光センサ４０４ａ、４０４ｂから受信し、パターンに関する情報を受信された光学データから抽出する。

さらに、ＦＳＰは、単に、光ビームのための空間変調導管として作用するため、異なる波長を有する光ビームは、同時に、ＦＳＰを辿って通過されることができる。これは、非可視赤外線光のみではなく、また、種々の色の可視光が伝送されることも可能にする。複数の光ビームの使用は、ＦＳＰが、赤外線パターンを可視パターンで拡張することを可能にし、通常類似波長では見えないであろう、カメラセンサ間の対応を可能にする。これは、カメラセンサと共通座標系の位置合わせを補助し、付加的深度再構成情報を提供することができる（１つのセンサからの特徴が補完情報を別のセンサに提供することに役立つことを可能にする）。そのようなシステムはまた、目標を示すための補助照明、集束において使用するための領域、警告等の他の機能を行うことができる。

ＦＳＰを含む、能動深度感知システムは、以下の特性を有する。ＦＳＰは、明確に異なりかつ動的な（すなわち、経時的に変動する）パターンを投影し、経時的に深度判定のための補完または改良された情報を提供する。さらに、ＦＳＰは、集束される面積へのエネルギー放出を調整し、それによって、電力を低減させ、所与の面積に送達されるエネルギーを増加させ、高周波数雑音を克服することができる。ＦＳＰはまた、最小限の量の高周波数画像雑音を有し、それによって、深度判定計算を簡略化する。さらに、ＦＳＰは、同時に、光を２つの光源（例えば、赤外線および非可視光源）から投影可能である。

さらに、本明細書に説明される能動深度感知システムは、ＦＳＰを含むが、他の空間変調光投影デバイスもまた、望ましいシステム特性を留保しながら、能動深度感知システムにおいて使用されることができる。例えば、能動深度感知システムは、微小電気機械システム（「ＭＥＭＳ」）ミラースキャナと、レーザ光源とを含むことができる。ＦＳＰを含むシステムのように、ＭＥＭＳミラースキャナを含むシステムは、ビームパターンを表面にわたって投影および走査することができる。他の実施形態では、システムはまた、パターンを投影および走査し、可変照明コンピュータ生成ホログラムの一部を形成することができる。全ての空間変調光投影デバイス（例えば、ＦＳＰおよびＭＥＭＳミラースキャナ）が、表示ピクセルではなく、光の「ビーム」または「弧」を投影し、それらのビームの経路およびタイミングを変動させる能力を有する。

（拡張深度感知を伴う画像センサ）
受動および能動深度感知システムは両方とも、少なくとも１つのセンサ（例えば、カメラ）を含み、表面から反射された光を検出する。上記に説明されるように、いくつかの深度感知システムは、可視光（例えば、周囲光）を検出する一方、その他は、投影された光パターン（例えば、投影された赤外線光）を検出する。

既存の深度感知システム（受動および能動）は、典型的には、２つのカメラセンサを使用して、可視光および投影された赤外線光を検出する。これらのカメラセンサはそれぞれ、１つのカメラセンサが可視光（可能性として、ＲＧＢカラーフィルタを用いて）を検出し、他のカメラセンサが赤外線光（可視光をフィルタ処理することによって）を検出するように、異なるフィルタと関連付けられる。本センサ配列は、図１３に描写されており、これは、可視光センサ５０２と、赤外線光センサ５０４とを含む、受動深度感知システム５００を描写しており、両方とも、プロセッサ５０６に動作可能に結合される。赤外線光センサ５０４は、光カットフィルタ５０８を含み、これは、赤外線光を除く全ての光が、赤外線光センサ５０４に到達することを防止する。可視光および赤外線光センサ５０２、５０４からのデータが、ともに使用され得る前に、センサ５０２、５０４の座標系が、位置合わせされなければならない。座標系の位置合わせは、深度感知システム５００が表面に対して移動しているとき、特に困難である。

本明細書に開示される実施形態は、深度感知システムにおいて使用するためのハイブリッド可視／フルスペクトル光センサを説明する。本願で使用されるように、「フルスペクトル光」は、可視光および赤外線光（波長約３９０ｎｍ〜約１ｍｍ）を含む。例えば、図１４は、一実施形態による、受動深度感知システム６００を描写する。受動深度感知システム６００は、プロセッサ６０４に動作可能に結合される、ハイブリッド可視／フルスペクトル光センサ６０２を含む。可視／フルスペクトル光センサ６０２は、以下に詳細に説明されるように、ハイブリッドフィルタ６０６を含む。ハイブリッドフィルタ６０６は、可視光のみが可視／フルスペクトル光センサ６０２のいくつかの部分（すなわち、センサピクセル）に到達することを可能にするが、フルスペクトル光が可視／フルスペクトル光センサ６０２の他の部分（すなわち、センサピクセル）に到達することを可能にする。

図１５は、別の実施形態による、受動深度感知システム６００を描写する。受動深度感知システム６００は、プロセッサ６０４に動作可能に結合される、ハイブリッド可視／フルスペクトル光センサ６０２を含む。可視／フルスペクトル光センサ６０２は、以下に詳細に説明されるように、ハイブリッドフィルタ６０６を含む。プロセッサ６０４は、その上で起動する、画像プロセッサ６０８を含む。

図１６は、図１４および１５に描写されるもののような受動深度感知システム６００において使用するためのハイブリッド可視／フルスペクトル光センサ６０２およびそのハイブリッドフィルタ６０６の一部を図式的に描写する。図１６に描写されるハイブリッド可視／フルスペクトル光センサ６０２の部分は、５つのセンサピクセル６１０を含む。下層センサピクセル６１０は、それらがそれぞれ、フルスペクトル光、すなわち、可視光（波長約３９０ｎｍ〜約７００ｎｍ）と、赤外線光（波長約７００ｎｍ〜約１ｍｍ）とを検出することができる限りにおいて同じである。しかしながら、いくつかのセンサピクセル６１０に到達する光は、光源（例えば、反射表面）とセンサ６０２との間に配置される、フィルタ６０６によって修正される。

図１６に示されるように、フィルタ６０６は、対応するセンサピクセル６１０にわたって配置されるサブフィルタまたは「キャップ」Ｆ１と、Ｖ１−Ｖ４とを含む。フルスペクトル光（「Ｆ−タイプ」）キャップは、フルスペクトル光がＦ−タイプキャップの下層のセンサピクセル６１０に到達することを可能にする。実際、Ｆ−タイプキャップは、任意のフィルタ処理能力を全く有していなくてもよい。可視光（「Ｖ−タイプ」）キャップは、可視光のみがＶ−タイプキャップの下層のセンサピクセル６１０に到達することを可能にする。センサピクセル／キャップ６１０Ｆ１は、東西南北位置における４つのセンサピクセル／キャップ６１０Ｖ１−６１０Ｖ４によって囲繞され、「＋」記号を形成し、センサピクセル／キャップ６１０Ｆ１を中央に伴う。故に、ハイブリッド可視／フルスペクトル光センサ６０２は、フルスペクトル光センサピクセルに対して東西南北位置における４つの可視光（「Ｖ−タイプ」）センサピクセルによって囲繞されるフルスペクトル光（「Ｆ−タイプ」）センサピクセルを含む。ハイブリッド可視／フルスペクトル光センサ６０２は、１つのセンサにおける可視光およびフルスペクトル光センサピクセルの組み合わせおよびそれらのセンサピクセルの配列のため、他のセンサと異なる。

図１６に描写されるセンサ６０２およびフィルタ６０６は、十字形状の構成に配列される５つのセンサピクセル６１０を含むが、他の実施形態は、異なる数のピクセルおよび／または異なる形状を伴う構成を含む。本明細書に説明されるセンサデータ分析方法は、異なる構成を伴うセンサおよびフィルタからのデータを分析するように修正されることができる。

図１７および１８は、図１６に描写されるハイブリッド可視／フルスペクトル光センサ６０２およびそのハイブリッドフィルタ６０６のより大きい部分を図式的に描写する。図１７および１８に示されるように、Ｖ−タイプおよびＦ−タイプセンサピクセルは、各センサピクセル（Ｖ−タイプまたはＦ−タイプ）に対し、それの東西南北近隣の全４つが相補的タイプであるように、交互パターンで配置される。

そのような構成では、Ｐ個の総センサピクセル（例えば、６４０×４８０＝３０７，２００）を伴うハイブリッド可視／フルスペクトル光センサ６０２に関して、センサピクセルの半分は、Ｖ−タイプであり、半分は、Ｆ−タイプとなるであろう。各タイプのセンサピクセルが、さらなる画像処理を伴わずに独立して検討されるとき、本センサピクセル配列は、センサピクセルタイプおよび用途のために低減された有効分解能をもたらす。全分解能センサを増加させ、本問題を補償することは、電力消費、センササイズ、および他のシステムコストを増加させるであろう。

種々の実施形態による、ハイブリッド可視／フルスペクトル光センサ６０２を含む、深度感知システム６００は、画像処理によって低減された有効分解能を補償する（図１５に描写される画像プロセッサ６０８を使用して）。これらの方法は、同等のサイズの別個の可視または赤外線センサの分解能の１００％を復元し得ないが、これらの方法は、事実上、ハイブリッド可視／フルスペクトル光センサ６０２の実際のセンサピクセル分解能から予期されるであろう、より高い分解能を復元することができる（例えば、５０％可視センサピクセルおよび５０％フルスペクトルセンサピクセル）。ハイブリッド可視／フルスペクトル光センサと併用するための画像処理方法の実施形態は、別個のセンサの分解能の約５０％〜約１００％を復元することができる。他の実施形態は、分解能の約６６％〜約９０％を復元することができる。さらに他の実施形態は、分解能の約７５％を復元することができる。

深度感知システム６００内で使用される光は、全てのセンサピクセル６１０が可視光を検出するため、可視スペクトル内で重複する波長を含む。Ｆ−タイプセンサピクセル６１０Ｆはまた、赤外線光を検出する。図１６−１８に示される実施形態では、各センサピクセル６１０は、各タイプ４つの８つの隣り合った近隣を有する。例えば、図１７に示されるように、６１０Ｆ１は、４つの隣り合ったＶ−タイプセンサピクセル６１０Ｖ１−６１０Ｖ４を東西南北方向に有する。６１０Ｆ１はまた、４つの隣り合ったＦ−タイプセンサピクセル６１０Ｆ２−６１０Ｆ５を東西南北方位の間の方向に有する。

以下は、一実施形態による、画像処理方法の一般的説明である。全てのＦ−タイプセンサピクセル６１０ＦのＦ値が、最初に、計算された可視値（「ＣＶ」）および計算された赤外線値（「ＣＩ」）の２つの値から成るように概算されることができる。第１の通過では、Ｆ−タイプセンサピクセル６１０Ｆに隣接するＶ−タイプセンサピクセル６１０Ｖに関する測定された可視光値（「Ｖ」）が、Ｆ−タイプセンサピクセル６１０Ｆに関する第１の通過ＣＶを推定するために使用される。次いで、第１の通過ＣＶは、Ｆ−タイプセンサピクセル６１０Ｆに関する第１の通過ＣＩを推定するために使用される。第２の通過では、第１の通過ＣＩが、Ｆ−タイプセンサピクセル６１０Ｆに関する第２の通過ＣＶを（より正確に）推定するために使用される。

実質的に均質または十分に理解されているＣＩを伴う表面に関して、第２の通過ＣＶは、第１の通過ＣＩをＦ−タイプセンサピクセル６１０Ｆに関するＦから減算し、それによって、Ｖ−タイプセンサピクセル６１０Ｖ単独から利用不可能な情報を提供することによって推定されることができる。実質的に均質または十分に理解されているＣＩを伴う表面は、付加的赤外線光源を伴わず、かつシステム内の任意の赤外線光プロジェクタが無効にされている、屋内の部屋に見出され得る。同様に、屋外環境でも、周囲太陽光は、典型的には、著しく拡散する照明を各表面上に提供し（その表面の赤外線反射に基づいて）、したがって、表面毎の赤外線照明は、主として均質または予測可能である。

変調された赤外線プロジェクタ（上記に説明されるように）の場合、投影された赤外線パターンに関する情報が、センサ６０２内のＶ−タイプセンサピクセル６１０Ｖの数（例えば、Ｐ／２）より多い可視光画像の有効分解能を計算するために使用されることができる。表面のある領域内の投影された赤外線パターンを動的に改変することに関する情報（上記に説明されるように）もまた、増加される有効可視光画像分解能を計算するために使用されることができる。さらに、センサ６０２は、全て赤外線光源が環境から排除されるとき（例えば、赤外線源を伴わない屋内）、フル分解能可視光センサとして使用されてもよい。

種々の実施形態による、他の方法は、２回を上回る通過を含み、推定されるＣＶおよびＣＩの正確度を増加させることができる。さらに他の実施形態は、値を計算した他の測定をＦ−タイプセンサピクセル６１０Ｆに関する推定されたＣＶおよびＣＩに使用する。例えば、図１７に描写されるハイブリッド可視／フルスペクトル光センサ６０２によって取得されたデータを使用して、６１０Ｆ１のＣＶおよびＣＩは、６１０Ｖ１−６１０Ｖ４のＶに加え、６１０Ｆ２−６１０Ｆ５のＣＶおよびＣＩを使用して推定されることができる。図１８は、６１０Ｆ１が、６１０Ｆ１のＣＶおよびＣＩの推定のために、さらにより多い光学データを提供することができる、さらにより多いＦ−タイプおよびＶ−タイプセンサピクセルによって囲繞されることを示す。全てのＦ−タイプおよびＶ−タイプセンサピクセルを使用する推定方法の１つのファクターは、全てのＦ−タイプセンサピクセル６１０Ｆに関するＦの和が、全てのＶ−タイプセンサピクセル６１０Ｖに関するＶの和と少なくとも同程度に明るい（より明るくないまでも）はずであるということである。

類似プロセスは、専用の赤外線のみのピクセルを有していないにもかかわらず、センサ６０２内のＦ−タイプセンサピクセル６１０ＦのＣＩを計算し、推定される赤外線光のみの画像を生成するために使用されることができる。例えば、図１９は、一実施形態による、別個の可視および赤外線画像を単一ハイブリッド可視／フルスペクトル光センサ６０２によって取得された光学データから生成するための画像処理方法７００を描写する。

ステップ７０２では、深度感知システム６００が、表面から反射された光を受信する。ハイブリッド可視／フルスペクトル光センサ６０２は、同時に、可視光を各Ｖ−タイプセンサピクセル６１０Ｖにおいて、フルスペクトル光を各Ｆ−タイプセンサピクセル６１０Ｆにおいて受信する。

ステップ７０４では、深度感知システム６００は、ピクセル６１０Ｖによって受信された可視光に基づいて、各Ｖ−タイプセンサピクセル６１０Ｖに対し、可視光値（「Ｖ」）を判定する。ステップ７０４では、深度感知システム６００はまた、ピクセル６１０Ｖによって受信されたフルスペクトル光に基づいて、各Ｆ−タイプセンサピクセル６１０Ｆに対し、フルスペクトル光値（「Ｆ」）を判定する。

ステップ７０６では、深度感知システム６００（例えば、画像プロセッサ６０８）は、各Ｆ−タイプセンサピクセル６１０Ｆに対して計算される可視光値（「ＣＶ」）を計算する。画像プロセッサ６０８は、各Ｆ−タイプセンサピクセル６１０Ｆに隣接するＶ−タイプセンサピクセル６１０Ｖに関するＶを使用して、ＣＶを計算することができる。単純実施形態では、Ｆ−タイプセンサピクセル６１０Ｆに隣接する４つのＶ−タイプセンサピクセル６１０ＶのＶが、平均され、ＣＶを生成する。例えば、図１６に描写される、ハイブリッド可視／フルスペクトル光センサ６０２では、６１０Ｖ１−６１０Ｖ４のＶが、平均され、６１０Ｆ１に関するＣＶを生成する。本実施形態は、均質表面（例えば、白色壁）に関して最も正確であるが、正確度は、表面がより非均質になるにつれて降下する。

別の実施形態では、縁検出および勾配検出が、反対に面する近隣上で行われ、縁を含む、非均質表面を考慮することによって、より正確なＣＶを判定することができる。例えば、図１６に描写されるハイブリッド可視／フルスペクトル光センサ６０２では、縁検出および勾配検出は、６１０Ｖ１／６１０Ｖ３および６１０Ｖ２／６１０Ｖ４のＶに行われることができる。大きな勾配が、６１０Ｖ１／６１０Ｖ３のＶ間に見出される場合、それらのＶは、６１０Ｆ１に関するＣＶを生成するとき、より少ない加重が与えられ得る。本実施形態は、非均質表面（例えば、縁を含む角）に関してより正確である。

ステップ７０８では、深度感知システム６００（例えば、画像プロセッサ６０８）は、各Ｆ−タイプセンサピクセル６１０Ｆに対して計算される赤外線光値（「ＣＩ」）を計算する。画像プロセッサ６０８は、Ｆ−タイプセンサピクセル６１０Ｆに関するＣＶを使用して、ＣＩを計算することができる。単純実施形態では、ＣＩは、ＣＶをＦ−タイプセンサピクセル６１０Ｆに関するＦから減算することによって計算される。

ステップ７１０では、深度感知システム６００（例えば、画像プロセッサ６０８）は、Ｖ−タイプセンサピクセル６１０ＶからのＶおよびＦ−タイプセンサピクセル６１０Ｆに関して計算されるＣＶを使用して、可視光画像を生成する。ステップ７１２では、深度感知システム６００（例えば、画像プロセッサ６０８）は、Ｆ−タイプセンサピクセル６１０Ｆに関して計算されるＣＩを使用して、赤外線光画像を生成する。可視光画像、赤外線光画像、または両方が、深度感知のために使用されることができる。

さらに、デモザイク処理および／または縁鮮鋭化アルゴリズムが、随意に、ステップ７０４に先立って、画像データに適用され、Ｖ−タイプセンサピクセル６１０Ｖの可視光値およびＦ−タイプセンサピクセル６１０Ｆのフルスペクトル光値を分解することができる。これらの光値Ｖ、Ｆの分解は、方法７００の正確度を増加させる。

本明細書に説明されるシステム６００は、単一ハイブリッド可視／フルスペクトル光センサ６０２からの光学データを使用して、Ｐ／２より高い有効分解能を伴う可視光画像と、同様に、概してより低い分解能における赤外線光画像とを同一物理的センサ６０２上で生成する。したがって、可視光および赤外線光画像を生成するために使用される光は、同一レンズスタックを通して通過し、したがって、任意のマイナーな不完全性が、可視光および赤外線光画像の両方に反映される。本配列は、既存のシステムに優る２つのさらなる利点を有する。第１には、可視光および赤外線光画像は、正確に同一の光学視点から撮影され、個別の画像の焦点に関する完璧な６−ＤＯＦ対応を与えるであろう。これは、カメラが同一較正標的を検出可能であり得ないため、異なる波長スペクトルで動作する別個のカメラを含むシステムにとって特に困難である問題である、位置合わせおよび較正の必要性を排除する。さらに、位置合わせおよび較正は、画像データに行われる任意の後の段階の動作のサブピクセル正確度を減少させる、誤差の付加的な原因を導入する。第２には、正確に同一のセンサが、使用され、したがって、２つの画像上の暴露時間は、完璧に同期される。（センサ、表面、または両方の）相対的運動における表面の画像に関して、可視光および赤外線光画像は、時間的に（マイクロ秒時間スケールでさえ）ならびに幾何学的に合致し、画像のより精密かつ詳細な分析を可能にする。

図２０に描写される別の実施形態では、ハイブリッド可視／フルスペクトル光センサ８０２は、２つのタイプのセンサピクセル８１０、すなわち、Ａ−タイプおよびＢ−タイプを含む。Ａ−タイプおよびＢ−タイプセンサピクセル８１０Ａ、８１０Ｂは両方とも、可視光および赤外線光の両方を検出するが、異なる割合においてである。一実施形態では、Ａ−タイプセンサピクセル８１０Ａは、ピクセル８１０Ａに衝突する可視光の７５％（「ｐＶ＿Ａ」）および赤外線光の２５％（「ｐＩ＿Ａ」）を検出してもよい。その実施形態では、Ｂ−タイプセンサピクセル８１０Ｂは、ピクセル８１０Ａに衝突する可視光の６０％（「ｐＶ＿Ｂ」）および赤外線光の４０％（「ｐＩ＿Ｂ」）を検出してもよい。本実施形態におけるｐＶおよびｐＩ成分は、合計１００％であるが、他の実施形態では、ｐＶおよびｐＩ成分は、合計１００％を上回るまたはそれ未満であることができる。例えば、図１６−１８に描写され、上記に説明される、ハイブリッド可視／フルスペクトル光センサ６０２内のＦ−タイプ（フルスペクトル）センサピクセル６１０Ｆは、ｐＶ＝１００％およびｐＩ＝１００％を有する。

そのようなセンサ８０２では、各センサピクセル８１０は、検出された可視光および赤外線光に対応する感知された値（「ＳＶ」）を有する。特定のＡ−タイプセンサピクセル８１０Ａ（「ＳＶ＿Ａ」）に関するＳＶは、２つの寄与因子（すなわち、センサピクセル８１０Ａによって検出された光の各タイプの割合によって修正されるような総可視光値「Ｖ」および総赤外線光値「Ｉ」）から成るため、ＳＶ＿Ａ＝（Ｖ^＊ｐＶ＿Ａ）＋（Ｉ^＊ｐＩ＿Ａ）であることが分かる。

各Ａ−タイプセンサピクセル８１０Ａはまた、隣接するセンサピクセル８１０（例えば、東西南北近隣）からの光学データを使用して計算される、推定された値（「ＥＶ＿Ａ」）を有する。例えば、８１０Ａ１は、８１０Ｂ１−８１０Ｂ４に関してＳＶから計算されるＥＶを有する。言い換えると、８１０Ｂ１−８１０Ｂ４に関して、ＥＶ＿Ａ＝ｆ（（Ｖ^＊ｐＶ＿Ｂ）＋（Ｉ^＊ｐＩ＿Ｂ））となる。関数ｆは、平均と同程度に単純であることができる。他の実施形態では、関数ｆは、上記に説明されるように、縁検出および勾配検出を含んでもよい。

ＳＶ＿Ａは、センサピクセル８１０Ａによって判定され、ＥＶ＿Ａは、推定される。ｐＶ＿Ａ、ｐＩ＿Ａ、ｐＶ＿Ｂ、ｐＩ＿Ｂは、センサ８０２の設計から既知である。これらの判定、推定、および既知の値を用いて、２つの方程式ＳＶ＿Ａ＝（Ｖ^＊ｐＶ＿Ａ）＋（Ｉ^＊ｐＩ＿Ａ）およびＥＶ＿Ａ＝ｆ（（Ｖ^＊ｐＶ＿Ｂ）＋（Ｉ^＊ｐＩ＿Ｂ））が、各Ａ−タイプセンサピクセル８１０Ａに対し、ＶおよびＩに関して解かれることができる。類似プロセスは、各Ｂ−タイプセンサピクセル８１０Ａに対し、ＶおよびＩを判定するために使用されることができる。

図２１は、一実施形態による、単一ハイブリッド可視／フルスペクトル光センサ８０２によって取得された光学データから別個の可視および赤外線画像を生成するための画像処理方法９００を描写する。

ステップ９０２では、深度感知システムが、表面から反射された光を受信する。ハイブリッド可視／フルスペクトル光センサ８０２は、同時に、各センサピクセル８１０（Ａ−タイプおよびＢ−タイプの両方）においてフルスペクトル光を受信し、検出される可視光および赤外線光のパーセンテージは、各Ａ−タイプおよびＢ−タイプセンサピクセル８１０のｐＶおよびｐＩに依存する。

ステップ９０４では、深度感知システムは、各センサピクセル８１０に対し、感知される光値（「ＳＶ」）を判定する。

ステップ９０６では、深度感知システムは、各センサピクセル８１０に対し、総可視光値（「Ｖ」）および総赤外線光値（「Ｉ」）を計算する。例えば、深度感知システムは、上記に説明されるように、既知のｐＶおよびｐＩ値および検出されたＳＶおよび推定されたＥＶ値、を使用して、同時に、上記に説明される一対の方程式（すなわち、ＳＶ＿Ａ＝（Ｖ^＊ｐＶ＿Ａ）＋（Ｉ^＊ｐＩ＿Ａ）およびＥＶ＿Ａ＝ｆ（（Ｖ^＊ｐＶ＿Ｂ）＋（Ｉ^＊ｐＩ＿Ｂ）））を解くことによって、各センサピクセルに対し、ＶおよびＩを計算することができる。

ステップ９０８では、深度感知システムは、センサピクセル８１０に関する計算されたＶを使用して、可視光画像を生成する。ステップ９１０では、深度感知システムは、センサピクセル８１０に関して計算されたＩを使用して、赤外線光画像を生成する。可視光画像、赤外線光画像、または両方が、深度感知のために使用されることができる。

図２１に描写される方法９００は、最初に、可視光画像、次いで、赤外線光画像を生成するが、他の実施形態では、深度感知システムは、最初に、赤外線光画像、次いで、可視光画像を生成してもよい。さらに他の実施形態では、深度感知システムは、他の画像を生成することなしに、可視光画像または赤外線光画像のいずれかを生成してもよい。

拡張深度感知を伴う動的非エイリアシングパターンプロジェクタおよび画像センサは、１つのシステムの一部として説明されるが、いくつかの実施形態では、プロジェクタおよびセンサは、独立し、それぞれが、他方を伴わずに、説明される利点の全てを有して機能することができる。

前述のセンサは、深度感知として説明されるが、実施形態によるセンサは、カメラ集束システム等の他の可視／赤外線光システム内でも使用されることができる。前述の深度感知システムは、ハイブリッドセンサからの利点を享受し得る、種々の光学システムの実施例として提供される。故に、本明細書に説明される光学システムの使用は、開示される深度感知システムに限定されず、むしろ、任意の光学システムに適用可能である。

種々の本発明の例示的実施形態が、本明細書で説明される。非限定的な意味で、これらの実施例が参照される。それらは、本発明のより広く適用可能な側面を例証するように提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が置換されてもよい。加えて、特定の状況、材料、物質組成、プロセス、プロセス行為、またはステップを本発明の目的、精神、もしくは範囲に適合させるように、多くの修正が行われてもよい。さらに、当業者によって理解されるように、本明細書で説明および例証される個々の変形例のそれぞれは、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され、またはそれらと組み合わせられ得る、離散構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内にあることを意図されている。

本発明は、対象デバイスを使用して行われ得る方法を含む。方法は、そのような適切なデバイスを提供するという行為を含んでもよい。そのような提供は、エンドユーザによって行われてもよい。換言すれば、「提供する」行為は、単に、エンドユーザが、対象方法において必須デバイスを提供するように、取得し、アクセスし、接近し、位置付けし、設定し、起動し、電源を入れ、または別様に作用することを要求する。本明細書で記載される方法は、論理的に可能である記載された事象の任意の順番で、ならびに事象の記載された順番で実行されてもよい。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記で記載されている。本発明の他の詳細に関しては、これらは、上記で参照された特許および出版物と関連して理解されるとともに、概して、当業者によって既知または理解され得る。一般的または論理的に採用されるような付加的な行為の観点から、本発明の方法ベースの側面に関して、同じことが当てはまり得る。

加えて、本発明は、種々の特徴を随意的に組み込むいくつかの実施例を参照して説明されているが、本発明は、本発明の各変形例に関して考慮されるような説明および指示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物（本明細書に記載されようと、いくらか簡単にするために含まれていなかろうと）が置換されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値、およびその規定範囲内の任意の他の規定または介在値が、本発明内に包含されることを理解されたい。

また、説明される本発明の変形例の任意の随意的な特徴が、独立して、または本明細書で説明される特徴のうちのいずれか１つまたはそれを上回るものと組み合わせて、記載および請求されてもよいことが考慮される。単数形のアイテムへの参照は、複数形の同一のアイテムが存在するという可能性を含む。より具体的には、本明細書で、および本明細書に関連付けられる請求項で使用されるように、「１つの（「ａ」、「ａｎ」）」、「該（ｓａｉｄ、ｔｈｅ）」という単数形は、特に規定がない限り、複数形の指示対象を含む。換言すれば、冠詞の使用は、上記の説明ならびに本開示と関連付けられる請求項において、対象アイテムの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意的な要素を除外するように起草され得ることに留意されたい。したがって、この記述は、請求項の要素の記載と関連して、「単に（ｓｏｌｅｌｙ）」、「のみ（ｏｎｌｙ）」、および同等物等のそのような排他的用語の使用、または「否定的」制限の使用のために、先行詞としての機能を果たすことを目的としている。

そのような排他的用語を使用することなく、本開示と関連付けられる請求項での「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、所与の数の要素がそのような請求項で列挙されるか、または特徴の追加をそのような請求項に記載される要素の性質の変換として見なすことができるかにかかわらず、任意の付加的な要素を含むことを可能にするものとする。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の有効性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるものである。

本発明の範疇は、提供される実施例および／または対象の明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の言葉の範囲のみによって限定されるものである。

前述の明細書では、本発明は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなくそこに成されてもよいことは、明白となるであろう。例えば、前述のプロセスフローは、プロセス作用の特定の順序を参照して説明される。しかしながら、説明されるプロセス作用の多くの順序は、本発明の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証的と見なされるべきである。

Claims (12)

1. 深度感知システムであって、
   光を表面から受信する第１のセンサピクセルおよび第２のセンサピクセルを有するセンサと、
   第１の数値割合の全波長にわたる強度の総可視光および第２の数値割合の総赤外線光を前記第１のセンサピクセルに伝送すること、および、第３の数値割合の全波長にわたる強度の総可視光および第４の数値割合の総赤外線光を前記第２のセンサピクセルに伝送することを可能にするフィルタであって、
   前記第１の数値割合の全波長にわたる強度の総可視光および前記第２の数値割合の総赤外線光は、第１の感知された値を前記第１のセンサピクセルにもたらし、
   前記第３の数値割合の全波長にわたる強度の総可視光および前記第４の数値割合の総赤外線光は、第２の感知された値を前記第２のセンサピクセルにもたらす、
   フィルタと、
   前記第１の感知された値および前記第２の感知された値を分析し、前記表面の深度を判定するプロセッサと
   を備え、
   前記フィルタは、前記センサと前記表面との間に配置される、システム。
2. 前記第１の感知された値および前記第２の感知された値を分析することは、前記表面の赤外線光画像を生成することを含む、請求項１に記載のシステム。
3. 前記第１の感知された値および前記第２の感知された値を分析することは、前記表面の前記赤外線光画像内のＰＯＩを三角測量することを含む、請求項２に記載のシステム。
4. 前記センサは、前記第２のセンサピクセルを含む複数の第２のセンサピクセルを有し、
   前記複数の第２のセンサピクセルのそれぞれは、前記第１のセンサピクセルに隣接し、
   前記フィルタは、前記第３の数値割合の全波長にわたる強度の総可視光を前記複数の第２のセンサピクセルのそれぞれに伝送すること、および、前記第４の数値割合の総赤外線光を前記複数の第２のセンサピクセルのそれぞれに伝送することを可能にする、請求項１に記載のシステム。
5. 前記第１の感知された値および前記第２の感知された値を分析し、前記表面の深度を判定することは、前記複数の第２のセンサピクセルに対応する複数の検出された光値に基づいて、前記第１のセンサピクセルに関する推定される光値を計算することを含み、
   前記複数の第２のセンサピクセルに対応する前記検出された複数の光値は、前記第２の感知された値を含む、請求項４に記載のシステム。
6. 前記第１のセンサピクセルに関する前記推定される光値を計算することは、前記複数の第２のセンサピクセルに対応する前記複数の検出された光値を平均化することを含む、請求項５に記載のシステム。
7. 前記第１のセンサピクセルに関する前記推定される光値を計算することは、前記複数の第２のセンサピクセルに対応する前記複数の検出された光値に縁検出を行うことを含む、請求項５に記載のシステム。
8. 前記センサは、前記第１のセンサピクセルを含む複数の第１のセンサピクセルを有し、
   前記複数の第１のセンサピクセルのそれぞれは、前記第２のセンサピクセルに隣接し、
   前記フィルタは、前記第１の数値割合の全波長にわたる強度の総可視光を前記複数の第１のセンサピクセルのそれぞれに伝送すること、および、前記第２の数値割合の総赤外線光を前記複数の第１のセンサピクセルのそれぞれに伝送することを可能にする、請求項１に記載のシステム。
9. 前記第１の感知された値および前記第２の感知された値を分析し、前記表面の深度を判定することは、
   前記複数の第１のセンサピクセルに対応する複数の検出された光値に基づいて、前記第２のセンサピクセルに関する推定される光値を計算すること
   を含み、
   前記複数の第１のセンサピクセルに対応する前記複数の検出された光値は、前記第１の感知された値を含む、請求項８に記載のシステム。
10. 前記第２のセンサピクセルに関する前記推定される光値を計算することは、前記複数の第１のセンサピクセルに対応する前記複数の検出された光値を平均化することを含む、請求項９に記載のシステム。
11. 前記第２のセンサピクセルに関する前記推定される光値を計算することは、前記複数の第１のセンサピクセルに対応する前記複数の検出された光値に縁検出を行うことを含む、請求項９に記載のシステム。
12. 前記光を前記表面に向かって投影する空間変調光投影デバイスをさらに備え、
    前記光は、前記表面から前記センサに向かって反射される、請求項１に記載のシステム。