JP6193390B2 - 構造化された光のアクティブ深度検知システムにおける光源電力の動的調整 - Google Patents

Description

関連出願の相互参照
［０００１］本出願は、米国仮特許出願第６１／７２６，３８７号（出願日：２０１２年１１月１４日）に対する３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）に基づく優先権を主張し、及び、米国非仮特許出願第１３／７２３，８９１号（出願日：２０１２年１２月２１日）に対する優先権を主張するものであり、それらの内容は、ここにおける引用によって明示でここに組み入れられている。

［０００２］様々な特徴がアクティブ深度検知に関するものであり、より具体的には、構造化された光を用いるアクティブ深度検知システムを実行するときにシーン内のオブジェクトの異なる反射率／吸収係数を補償するための技法に関するものである。

［０００３］アクティブ検知においては、“構造化された光”（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）としばしば呼ばれるプロセスにおいてシーン又はオブジェクトを照明するために既知のパターン（例えば、コードマスク）が使用される。シーン又はオブジェクト上に投影されるパターンの構造は、シーン又はオブジェクトに関する深度情報を符号化する。受信された画像においてパターンが見つけられた時点で、三次元のシーン又はオブジェクトを再構築することができる。既知の投影されたパターンと復号されたそれとの間の関係は、キャプチャされたシーンに関する深度情報を導き出すために使用することができる。

［０００４］受光器（ｒｅｃｅｉｖｅｒ）／カメラセンサは、シーン（例えば、人、オブジェクト、位置、等）における光源の反射から来る入射光からシーンの画像をキャプチャすることができる。入射光の強度は、（ａ）シーン内の表面の反射率特性、（ｂ）投影されたパターンを生成する光の電力、及び／又は環境光に依存することができる。カメラセンサに対する入射光が強すぎる場合は、それは、センサを飽和させる。それが弱すぎる場合は、カメラセンサは、シーンの反射率の変動をキャプチャしない。シーン内においても、画像内でキャプチャ中の表面のタイプに依存して、両方の状況（例えば、キャプチャされた光が強すぎる及び弱すぎる）が同時に生じる可能性がある。入射光の強度の調整がシステム内に含まれていなければ、広範な状況（異なる環境光、光源の異なる予め設定された電力、異なる表面のタイプ）に関する投影されたパターン（例えば、コードマスク）の照明の変動をキャプチャすることは不可能である。

［０００５］従って、構造化された光システムを用いてシーンの深度検知を行うときに入射光の強度の変動を補償するための解決方法が必要である。

［０００６］以下は、本開示の１つ以上の態様についての基本的な理解を提供することを目的として該態様の単純化された概要を示すものである。この概要は、本開示のすべての企図される特徴の広範な概略ではなく、又、本開示の全態様の主要な又は非常に重要な要素を特定するわけではないこと、及び本開示の態様のいずれの態様の適用範囲も詳述はせず及び全態様の適用範囲を詳述するわけではないことが意図される。それの唯一の目的は、後述されるより詳細な発明を実施するための形態の準備段階として、本開示の１つ以上の態様の幾つかの概念を簡略化された形で提示することである。

［０００７］構造化された光を用いるアクティブ深度検知システムにおける表面反射率の違いを補償するのに好適するデバイスが提供される。デバイスは、受光器センサ（ｒｅｃｅｉｖｅｒ ｓｅｎｓｏｒ）と処理回路とを含むことができる。受光器センサは、コードマスクが投影されるシーンの画像をキャプチャするために働くことができる。処理回路は、（ａ）キャプチャされた画像から１つ以上のパラメータを確認し、（ｂ）後続してキャプチャされる画像におけるコードマスクの復号を向上させるために１つ以上のパラメータに従って投影光源に関して光源電力を動的に調整し、及び／又は（ｃ）コードマスクに基づいてキャプチャされた画像内のシーンに関する深度情報を確認するのに好適することができる。

［０００８］１つの典型的な実装においては、光源電力が特定の照明において固定され、受光器センサに関する露出時間が調整される。他の典型的な実装においては、受光器センサに関する露出時間が固定値において維持され、光源電力が調整される。

［０００９］１つ以上のパラメータは、コードマスクに基づいてキャプチャされた画像内の領域と相関させることができる。

［００１０］一例においては、投影光源は、複数の光素子を含むことができ、投影光源に関する光源電力を動的に調整することは、対応する１つ以上のパラメータに基づいて各々の光素子に関して光源電力を個々に制御することを含む。受光器センサは、コードマスクが投影されるシーンの新しい画像をキャプチャするのにさらに好適することができ、新しい画像は、個々に調整される複数の光素子の動作に起因して領域ごとに光補償される。

［００１１］受光器センサは、複数の個々に制御されるセンサシャッタを含むことができ、処理回路は、受光器センサによってキャプチャされた光を調整するために対応する１つ以上のパラメータに基づいて複数のセンサシャッタを個々に制御するのにさらに好適することができる。センサシャッタは、１つ以上のパラメータによって示されるように所定の領域おける多すぎる又は少なすぎる光を補償するためにそれらの間を通る光を減少又は増加させるように制御することができる。

［００１２］受光器センサは、コードマスクが投影されるシーンの新しい画像をキャプチャするのにさらに好適することができ、新しい画像は、個々に調整される複数のセンサシャッタの動作に起因して領域ごとに光補償される。

［００１３］構造化された光を用いるアクティブ深度検知システムにおける表面反射率の違いを補償するための方法も提供される。例えば、受光器センサは、コードマスクが投影されるシーンの画像をキャプチャすることができる。処理回路は、キャプチャされた画像から１つ以上のパラメータを確認することができる。投影光源のための電力は、後続してキャプチャされる画像におけるコードマスクの復号を向上させるために１つ以上のパラメータにより動的に調整することができる。コードマスクに基づいてキャプチャされた画像においてシーンに関する深度情報を確認することができる。

［００１４］本開示のこれらの及びその他の態様例が、後続する詳細な発明を実施するための形態において、及び添付される図面において説明される。
［００１５］二次元（２Ｄ）画像又は情報から三次元（３Ｄ）シーンが構築されるアクティブ検知システムを例示した図である。 ［００１６］二次元画像及び／又は情報から三次元情報を生成するために用いるシーン又はオブジェクトを照明し及び深度情報を入手するために既知のパターンが使用されるアクティブ検知を例示した図である。 ［００１７］オブジェクト又はシーンに関して深度がどのようにして検知されるかを例示した図である。 ［００１８］３つのグレースケールレベル（例えば、黒、白、及び灰色）を使用する典型的なコードマスク４００を例示した図である。 ［００１９］構造化された光を用いるアクティブ深度検知システムにおいて受光器センサによって受け取られた光エネルギーを調整するための少なくとも２つの方法を例示した図である。 ［００２０］構造化された光を用いるアクティブ深度検知システムにおいて受光器センサによって受け取られた光エネルギーを調整するための少なくとも２つの方法を例示した図である。 ［００２１］構造化された光を用いるアクティブ深度検知システムにおいて受光器センサによって受け取られた光エネルギーを調整するための他の方法を例示した図である。 ［００２２］キャプチャ中のシーン内のオブジェクトの表面の異なる反射率／吸収係数に関して動的に調整する構造化された光を用いる典型的な深度検知システムを例示した図である。 ［００２３］形状変調搬送波内においてバイナリコードワードをどのようにして表現することができるかを例示した図である。 ［００２４］搬送波層及びコード層を用いるコードミクロ構造のさらなる詳細を例示した図である。

［００２５］次の説明では、実施形態についての徹底的な理解を提供することを目的して具体的な詳細が示されている。しかしながら、実施形態はこれらの具体的な詳細なしで実践可能であることが当業者によって理解されるであろう。例えば、回路は、実施形態を不必要に詳細にして曖昧にするのを回避するためにブロック図形で示すことができる。その他の例では、非常によく知られた回路、構造及び技法は、実施形態を曖昧にしないようにするために示さないようにすることができる。

［００２６］語句“典型的な”は、“１つの例、事例、又は実例を提供すること”を意味するためにここにおいて用いられる。ここにおいて“典型的な”として説明されるいずれの実装又は実施形態も、本開示のその他の実施形態よりも好ましい又は有利であるとは必ずしも解釈されるべきではない。同様に、用語“実施形態”は、すべての実施形態が説明される特徴、利点又は動作モードを含むことを要求するわけではない。

総論
［００２７］構造化された光を用いてアクティブ深度検知を行うときにシーン内のオブジェクトの異なる反射率／吸収数を補償するための技法が提供される。キャプチャ中のシーン内のオブジェクトの反射率／吸収の変動に合わせて動的に調整する、及び補償する様々な特徴が提供される。

［００２８］第１の特徴は、コードマスクが投影されるシーンの画像をキャプチャする受光器センサを提供する。キャプチャされた画像から１つ以上のパラメータが確認される。次に、後続してキャプチャされる画像内のコードマスクの復号を向上させるために１つ以上のパラメータに従って投影光源のための光源電力が動的に調整される。次に、コードマスクに基づいてキャプチャされた画像に基づいてシーンに関する深度情報が確認される。一例においては、光源電力が特定の照明において固定され、受光器センサに関する露出時間が調整される。他の典型的な例においては、受光器センサに関する露出時間が固定値において維持され、光源電力が調整される。

［００２９］第２の特徴は、コードマスクが投影されるシーンの複数の画像を２つ以上の（異なる）露出時間にキャプチャする受光器センサを提供する。複数の画像のうちの２つ以上が、結合された画像を生成するためにコードマスクの復号可能な部分を各画像から抽出することによって結合される。次に、結合された画像に基づいておよびコードマスクを用いてシーンに関する深度情報を確認することができる。

［００３０］第３の特徴は、シーン又はオブジェクトをキャプチャするために異なる露出時間に各々２つの受光器センサを使用することを提供する。第１の受光器センサは、コードマスクが投影されるシーンの第１の画像を第１の露出時間にキャプチャする。第２の受光器センサは、コードマスクが投影されるシーンの第２の画像を第２の露出時間にキャプチャする。次に、第１及び第２の画像は、結合された画像を生成するためにコードマスクの復号可能な部分を各画像から抽出することによって結合される。次に、結合された画像に基づいておよびコードマスクを用いてシーンに関する深度情報を確認することができる。

アクティブ深度検知
［００３１］図１は、二次元（２Ｄ）画像又は情報から三次元（３Ｄ）シーンが構築されるアクティブ検知システムを例示する。構造化された光を用いるアクティブ深度検知システムを実行するときにシーン内のオブジェクトの異なる反射率／吸収係数を補償するための１つ以上の特徴。符号器／形状変調器１００は、送光チャネル１０４を通じて送光デバイス１０２によって投影されるコードマスクを生成する働きをすることができる。コードマスクは、ターゲット（例えば、シーン又はオブジェクト）上に投影することができ、反射された光は画像（例えば、コードマスク画像）として受光器センサ１０５によってキャプチャされる。この受信された画像は、復号することができ１０６、ターゲットの三次元バージョン１１０ａ−ｅを提示、生成、及び／又は提供するために使用することができる。アクティブ検知は、ターゲット上に投影中のコードマスクからすべての空間コード（すなわち、コードワード）を認識することができることに依存する。ここにおいて説明される様々な特徴及び態様は、ここにおいて例示されるシステム及びデバイスの一部として実装することができる。

［００３２］図２は、二次元画像及び／又は情報から三次元情報を生成するために用いられるシーン又はオブジェクトに照明し及び深度情報を入手するために既知のパターンが使用されるアクティブ検知を例示する。ここでは、送光器（ｔｒａｎｓｍｉｔｔｅｒ）２０２が、オブジェクト又はシーン２０６上にコードワードを投影するためにコードマスク２０４（例えば、コードを有する画像）を通じて光場を投影する。受光器２０８（例えば、カメラセンサ）は、投影されたコードマスク２１０及びその中のコードワードをキャプチャする。この例は、コードマスク２０４のセクション／一部分／ウィンドウ２１２がオブジェクト又はシーン２０６の表面（例えば、投影されたセクション／一部分／ウィンドウ２１６）上に（セクション／一部分／ウィンドウ２１２として）どのようにして投影されるかを例示する。次に、投影されたセクション／一部分／ウィンドウ２１６は、キャプチャされたセグメント２１８として受光器１０８によってキャプチャすることができる。セクション／一部分／ウィンドウ２１２は、一意で識別することができるコードワードして使用することができる。従って、このようにしてシーン又はオブジェクト２０６を一意のコードワードでカバーすることによって、シーン又はオブジェクト２０６のセクション／一部分を識別する／タグを付ける）ことができ、この情報を深度検知のために使用することができる。

［００３３］受光器２０８（カメラセンサ）によってキャプチャされた画像から、シーン又はオブジェクト２０６にわたって複数のセグメントを識別することができる。各セグメント２１８は、受光器１０８において一意で識別することができ、その他のセグメントに対するその位置をコーディングされたマスク２０４の既知のパターンから確認することができる。各セグメント／一部分／ウィンドウからのコードの識別は、（例えば、歪みに対処するための）パターンセグメンテーションと、知覚されたセグメント／一部分／ウィンドウの対応するコードへの復号と、を含むことができる。さらに、方位及び／又は深度を確認するために各々のキャプチャされたセグメント／一部分／ウィンドウにわたって三角測量を適用することができる。キャプチャされた画像パターンをひとつにまとめてスティッチ（ｓｔｉｔｃｈ）するために複数の該セグメント／一部分／ウィンドウを結合することができる。このようにして、シーン、ターゲット、又はオブジェクト２０６に関して深度マップ２０７を生成することができる。

［００３４］図３は、オブジェクト又はシーンに関して深度をどのようにして検知することができるかを例示する。ここで、送光器３０２は、受光器３０４と同じ基準参照面上にある。送光器は、開口又はレンズを通じてシーン又はオブジェクト上にコードマスク３１０を投影する。ここで、例示を目的として、投影されたセグメント／一部分／ウィンドウ３１２は、送信されたコードマスク３１０の一部として示される。このコードセグメント／一部分／ウィンドウ３１２は、第１の距離又は第２の距離におけるシーン又はオブジェクト３０６上に投影することができる。受光器３０４は、受光器開口を通じて投影されたコードマスク３１０をキャプチャする。シーン又はオブジェクト３０６がより近くに（例えば、送光器から第１の距離に）位置するときには、投影されたセグメント３１２は、最初の位置からｄ１の距離において現れることを評価することができる。他方、シーン又はオブジェクト３０８がより遠くに（例えば、送光器から第２の距離に）位置するときには、投影されたセグメント／一部分／ウィンドウ３１２は、最初の位置からｄ２の距離において現れる（ここで、ｄ２＜ｄ１）。すなわち、オブジェクトが送光器／受光器から遠く離れるほど（例えば、送光器３０２からシーン又はオブジェクト３０８まで）、受信される投影されたセグメント／一部分／ウィンドウは、受光器におけるオリジナルの位置により近くなる（例えば、出て行く投影及び入って来る投影がより平行になる）。逆に、オブジェクトが送光器／受光器から近いほど（例えば、送光器３０２からシーン又はオブジェクト３０６まで）、受信される投影されたセグメント／一部分／ウィンドウは、受光器におけるオリジナルの位置から遠く離れる。従って、受信されたコードワードの位置と送信されたコードワードの位置との間の違いが、シーン又はオブジェクトの深度を与える。一例においては、該深度（例えば、相対的深度）は、各ピクセル又はグループに分けられたピクセルの部分組（例えば、２つ以上のピクセルの領域）に関する深度を提供する。

［００３５］コードマスクを生成するために様々なタイプの変調及びコーディング方式が構想されている。これらの変調及びコーディング方式は、時間的コーディングと、空間的コーディングと、直接コード化と、を含む。

［００３６］図４は、３つのグレースケールレベル（例えば、黒、白、及び灰色）を使用する典型的なコードマスク４００を例示する。この例では、黒は、ガード間隔のために使用され、白／灰色は、コード／基準ストライプのために使用される。

［００３７］受光器センサ２０８（例えば、カメラ）によって得られた画像は、シーン上への光源の反射からやって来る入射光によって形成される。入射光の強度は、（ａ）シーン内の表面の反射率特性、（ｂ）投影されたパターンを生成する光の電力、及び／又は（ｃ）環境光に依存することができる。カメラセンサに対する入射光が強すぎる場合は、それは、センサを飽和させる。それが弱すぎる場合は、受光器２０８（例えば、カメラセンサ）は、シーンの反射率の変動をキャプチャしない。シーン内においても、画像内でキャプチャ中の表面のタイプに依存して、両方の状況（例えば、キャプチャされた光が強すぎる及び弱すぎる）が同時に生じる可能性がある。入射光の強度の調整がシステム内に含まれていなければ、広範な状況（異なる環境光、光源の異なる予め設定された電力、異なる表面のタイプ）に関する投影されたパターン（例えば、コードマスク）の照明の変動をキャプチャすることは困難である。

［００３８］受け取られた光エネルギーを（ａ）カメラセンサ露出時間、及び／又は（ｂ）投影された光源の電力に基づいて調整することができる様々な解決方法が提供される。予め設定された又は１つの範囲の露出時間（例えば、シャッタ時間）及び／又は投影された光源の電力（例えば、照明強度）において得られた１つ以上のキャプチャされた画像から１つ以上のパラメータが測定される（例えば、ピクセル飽和、復号不能なピクセル、ピクセル照明平均、偏差、及び／又はエントロピー、等）。次に、露出時間及び／又は投影された光源の電力が、シーンに関する追加画像をキャプチャするためにキャプチャされた１つ以上のパラメータに基づいて調整される。

第１の典型的な解決方法−受け取られた光エネルギーの調整
［００３９］第１の典型的な解決方法により、受光器／カメラセンサによって受け取られた光エネルギーは、取得された画像から測定された幾つかのパラメータに従って制御される。

［００４０］図５は、構造化された光を用いるアクティブ深度検知システムにおいて受光器センサによって受け取られた光エネルギーを調整するための２つの方法を例示する。これらの方法は、例えば、図２及び／又は８のアクティブ検知システムの１つ以上のコンポーネントにおいて実装することができる。

［００４１］第１の方法（方法Ａ）により、アクティブ深度検知のために使用される画像における露出過剰及び／又は露出不足を補償するために受光器センサ（カメラ）の露出時間が調整される。このアプローチ法では、受光器センサに関する露出時間が調整され、光源電力が固定される。

［００４２］受光器センサ５０２ａに関して予め定義された露出時間が得られる。次に、投影光源が、キャプチャされるべきシーン（例えば、ターゲット）上にコードマスクの少なくとも一部分を投影する５０４ａ。受光器センサは、予め定義された露出時間に、コードマスクが投影されるシーンの画像をキャプチャする５０６ａ。

［００４３］キャプチャされた画像５０８から１つ以上のパラメータを確認することができる。例えば、これらのパラメータは、（ａ）情報関連の統計、すなわち、ピクセル照明平均、偏差、エントロピー、（ｂ）受光器センサにおける飽和ピクセル数、及び／又は（ｃ）投影されたコードマスクを復号することができなかったピクセル数を含むことができる。

［００４４］次に、センサ受光器の露出時間を１つ以上のパラメータに従って大きくすること又は小さくすることができる５１０ａ。すなわち、１つ以上のパラメータが受光器センサピクセルの過剰飽和を示す場合は、光源電力が下げられる。他方、１つ以上のパラメータが受光器センサピクセルの露出不足を示す場合は、光源電力が増大される。

［００４５］投影光源は、（それのオリジナルの光源電力において）キャプチャされるべきシーン上へのコードマスクの少なくとも一部分の投影を続ける５１２ａ。受光器センサは、調整された露出時間において、コードマスク３１０が投影されるシーンの新しい画像をキャプチャする５１４ａ。次に、新しい画像内のコードマスクからシーンに関する深度情報を確認することができる５１６。

［００４６］第２の方法（方法Ｂ）により、（コードマスクの）プロジェクタのための光源電力が、アクティブ深度検知のために使用される画像における照明不足及び／又は過剰照明を補償するために調整される。このアプローチ法では、受光器センサに関する露出時間が固定され、光源電力が調整される。

［００４７］光源に関して予め定義された光源電力が得られる５０２ｂ。次に、投影光源が、キャプチャされるべきシーン上にコードマスクの少なくとも一部分を投影する５０４ｂ。次に、受光器センサは、コードマスクが投影されるシーンの画像をキャプチャする５０６ｂ。

［００４８］次に、キャプチャされた画像から１つ以上のパラメータを確認することができる５０８。例えば、これらのパラメータは、（ａ）情報関連の統計、すなわち、平均、偏差、エントロピー、（ｂ）受光器センサにおける飽和ピクセル数、及び／又は（ｃ）投影されたコードマスクを復号することができなかったピクセル数を含むことができる。

［００４９］次に、１つ以上のパラメータに従って光源電力を調整する（例えば、大きくする又は小さくする）ことができる５１０ｂ。すなわち、１つ以上のパラメータが受光器センサピクセルの過剰飽和を示す場合は、光源電力が下げられる。他方、１つ以上のパラメータが受光器センサピクセルの露出不足を示す場合は、光源電力が増大される。

［００５０］投影光源は、キャプチャされるべきシーン上にコードマスクの少なくとも一部分を投影することができる５１２ｂ。受光器センサは、コードマスクが投影されるシーンの新しい画像をキャプチャする５１４ｂ。次に、新しい画像内のコードマスクからシーンに関する深度情報を確認することができる５１６。

［００５１］様々な実装により、受光器センサ露出時間及び／又は光源電力を単独で又は組み合わせて調整することができる。例えば、受光器センサの飽和ピクセル数がある一定のスレショルドを上回る場合は、受光器センサの露出時間が短くされるか又は光源の電力が低減される。他の例では、キャプチャされた画像内のコードマスクにおいて測定された黒コード数がある一定のスレショルドを上回る場合は、受光器センサの露出時間が長くされるか又は光源の電力が増大される。

［００５２］代替アプローチにより、（例えば、複数の受光器センサによって同時に取得された又は同じ受光器センサによって幾つかの例において取得された）２つ以上の画像にわたって１つ以上のパラメータを入手することができる。一例では、複数の異なる受光器センサ（例えば、カメラ）において異なる露出時間を使用することができる。

［００５３］他の代替アプローチ法により、飽和画像にわたって‘飽和領域’又は‘黒い領域’を追跡することができ、１つ以上のパラメータの測定のためにこれらの領域のみを使用することができる。この変形は、パラメータが入手される領域を減少させるという点で幾つかの計算上の利点を提供することができる。

［００５４］幾つかの実装においては、図５において例示される方法を実行するために受光器センサ及び投影光源に受光器デバイスを結合することができる。該実装においては、受光器デバイスは、キャプチャされた画像から１つ以上のパラメータを確認することができる。次に、それは、後続してキャプチャされる画像におけるコードマスクの復号を向上させるために投影光源のための光源電力を調整させることができる。

第２の典型的な解決方法−受光器ダイナミックレンジ調整
［００５５］第２の典型的な解決方法により、受光器／カメラセンサによって受け取られた光エネルギーが、異なる露出時間に取得された画像から測定された一定のパラメータに基づいて制御され及び結合される。

［００５６］図６は、構造化された光を用いるアクティブ深度検知システムにおいて受光器センサによって受け取られた光エネルギーを調整するための少なくとも２つの方法を例示する。これらの方法は、例えば、図２及び／又は８のアクティブ検知システムの１つ以上のコンポーネントにおいて実装することができる。これらの方法は、図５において例示されるそれらと類似するが、異なる露出時間及び光源電力において複数の画像が最初にキャプチャされる。複数の画像のうちの２つ以上からの一部分を、高ダイナミックレンジ（ＨＤＲ）アルゴリズムに従って結合することができる。結合された画像は、投影されたコードマスク内のコードワードを知覚することができる（例えば、コードマスク内のパターンを認識することができる）複数の画像のうちの２つ以上の一部分を抽出することができる。

［００５７］第３の方法（方法Ｃ）により、アクティブ深度検知のために使用される画像における露出過剰及び／又は露出不足を補償するために１つ以上の受光器センサ（カメラ）の露出時間が調整される。このアプローチ法では、受光器センサに関する露出時間が調整され、光源電力が固定される。

［００５８］受光器センサ６０２ａに関して複数の予め定義された露出時間が得られる。次に、投影光源が、キャプチャされるべきシーン上にコードマスクの少なくとも一部分を投影する６０４ａ。受光器センサは、予め定義された露出時間に、コードマスクが投影されるシーンの複数の画像（例えば、各々の予め定義された露出時間に関して１つ）をキャプチャする６０６ａ。

［００５９］キャプチャされた画像６０８の各々に関して１つ以上のパラメータを確認することができる。例えば、これらのパラメータは、（ａ）情報関連の統計、すなわち、平均、偏差、エントロピー、（ｂ）受光器センサにおける飽和ピクセル数、及び／又は（ｃ）投影されたコードマスクを復号することができなかったピクセル数を含むことができる。

［００６０］高ダイナミックレンジ（ＨＤＲ）アルゴリズムに関係する画像の組の取得のための受光器センサ設定は、１つ以上のパラメータに基づいて動的に変更することができる。例えば、各画像の取得のために使用される受光センサのうちの１つ以上の露出時間を、任意選択で、測定されたパラメータに従って調整することができる６１２ａ。次に、キャプチャされた画像のうちの２つ以上を、コードマスクの復号可能な部分を各画像から抽出することによって（例えば、ＨＤＲアルゴリズムに従って）結合することができる６１４。結合された画像内のコードマスクからシーンに関する深度情報を確認することができる６１６。

［００６１］異なる反射率／吸収係数のオブジェクト表面を含むシーンにおいて、異なる露出時間に撮られた画像の組み合わせは、受光器センサに関する異なる露出時間において、これらのオブジェクトを適切にキャプチャするために働くことができる。例えば、第１の露出時間に撮られた第１の画像は、シーンの幾つかのオブジェクト上に投影されたコードマスクを適切にキャプチャすることができるが、同じシーンのその他のオブジェクト上に投影されたコードマスクは適切にキャプチャすることができない。第２の露出時間において受光器センサ（又は異なる受光器センサ）によって撮られた第２の画像は、同じシーンのそれらのその他のオブジェクト上に投影されたコードマスクを適切にキャプチャすることができる。従って、異なる露出時間に撮られた２つ以上の画像の一部分を結合することによって、２つ以上の画像から取られたコードマスクの復号可能な部分から成る結合された画像を入手することができる。

［００６２］第４の方法（方法Ｄ）により、アクティブ深度検知のために使用される画像における露出過剰及び／又は露出不足を補償するために１つ以上の受光器センサ（カメラ）の光源電力制御が調整される。このアプローチ法は、方法Ｃとほぼ同じであるが、ステップ６１２ｂにおいて、１つ以上のパラメータに従って（露出時間の代わりに）光源電力が調整される。

第３の典型的な解決方法−選択的光源電力調整
［００６３］第３の典型的な解決方法により、シーン内の表面の変化する反射率／吸収係数に好適するように異なる領域にわたって光源電力がローカルで／選択的に制御される。すなわち、光源は、シーンの異なる領域をシーン内の表面の反射率／吸収に依存して異なる形で照明することができるように独立して制御することができる複数の光素子を含むことができる。従って、シーンの各領域内の光度は、シーンの各々の該領域内のオブジェクトの表面の反射率／吸収係数により調整することができる。

［００６４］図７は、構造化された光を用いるアクティブ深度検知システムにおいて受光器センサによって受け取られた光エネルギーを調整するための他の方法を例示する。この方法は、例えば、図２及び／又は８のアクティブ検知システムの１つ以上のコンポーネントにおいて実装することができる。第１の例（方法Ｅ）は、投影光源はその強度を個々に制御することができる複数の光素子（例えば、行列構成で配置された発光ダイオード、等）から成ると仮定する。第２の例（方法Ｆ）は、各々の対応する受光器センサが受け取る光の量を調整するために複数の受光器センサシャッタを個々に制御することができると仮定する。

［００６５］投影光源のための均一の（予め定義された）光源電力が得られる７０２。第１の典型的な方法（方法Ｅ）により、投影光源は、複数の光素子を備え、均一の光源電力を用いて、キャプチャされるべきシーン上にコードマスクの少なくとも一部分を投影する７０４ａ。第２の方法（方法Ｆ）により、投影光源は、複数の光素子を備え、均一の光源電力を用いて、キャプチャされるべきシーン上にコードマスクの少なくとも一部分を投影する７０４ｂ。次に、受光器センサは、コードマスクが投影されるシーンの画像をキャプチャする７０６。

［００６６］次に、キャプチャされた画像７０８内の複数の領域の各々に関して１つ以上のパラメータを確認することができる。該領域は、単一の光素子又は光素子の部分組によって網羅されるエリアに対応することができる。該光素子は、高度に平行化された光ビームを提供することができ、従って、光素子間には最小限のクロスオーバー（ｃｒｏｓｓ−ｏｖｅｒ）しか存在しない。得られたパラメータは、（ａ）情報関連の統計、すなわち、平均、偏差、エントロピー、（ｂ）受光器センサにおける飽和ピクセル数、及び／又は（ｃ）投影されたコードマスクを復号することができなかったピクセル数を含むことができる。

［００６７］第１の例（方法Ｅ）により、光源電力の各素子を対応する１つ以上のパラメータ７１０ａに基づいて個々に調整／制御する（例えば、大きくする又は小さくする）ことができる。すなわち、１つ以上のパラメータが第１の領域に対応する受光器センサピクセルの過剰飽和を示す場合は、対応する光素子のための光源電力が下げられる。同様に、１つ以上のパラメータが第２の領域に関する受光器センサピクセルの露出不足を示す場合は、対応する光素子のための光源電力が増大される。各光素子電力を個々に調整／制御後は、投影光源によってコードマスクを再度投影することができる７１２ａ。

［００６８］代替の第２の例（方法Ｆ）により、均一の光源電力において投影光源を用いてキャプチャされるべきシーンの複数の異なる領域上にコードマスクの少なくとも一部分を投影することができる７１０ｂ。受光器センサによってキャプチャされた光を調整するために対応する１つ以上のパラメータに基づいて複数の受光器センサシャッタを個々に制御することができる７１２ｂ。これは、複数の領域の各々に関して受光器センサによってキャプチャされる光の量を変化させるのを可能にすることができる。

［００６９］受光器センサは、コードマスクが投影されるシーンの新しい画像をキャプチャすることができる７１４。次に、新しい画像内のコードマスクからシーンに関する深度情報を確認することができる７１６。

［００７０］これらのアプローチ法は、非常に異なる反射材料が同じシーンの一部である場合に関して入射光の強度の変動に合わせて調整する。方法Ｅにおいて、投影光源の各光素子の強度／電力は個々に制御されるため、シーンの個々の領域を異なる光度で同時並行して照明することができる。これは、シーンの特定の要求に合わせた投影光（及び電力消費量の調整）においてより良い粒度（ｇｒａｎｕｌａｒｉｔｙ）を提供する。幾つかの画像を結合する必要なしにＨＤＲを達成することができ、従って、より高いフレームレートが可能である。同様に、投影された光の電力／強度を調整するのではなく、方法Ｆにおいて、受光器センサによって受け取られる光の量は、複数の受光器シャッタを個々に制御することによって調整することができる。これは、幾つかの領域において受け取られた光の量を低減させること及び／又はその他の領域において受け取られた光の量を増大させることを可能にする。

典型的な深度検出システム
［００７１］図８は、キャプチャ中のシーン内のオブジェクトの表面の異なる反射率／吸収係数に関して動的に調整する、構造化された光を用いる典型的な深度検出システム８００を例示する。コードマスク投影デバイス８０８は、対象となるシーン８０２上に（例えば、光源を用いて）コードマスクを投影するために働くことができる。受光器センサ８０６（例えば、カメラ）は、シーン８０２によって反射されたコードマスクの少なくとも一部分を含む画像を得るためにシーン８０２上への光源の反射から来る入射光をキャプチャする。アクティブ深度検知デバイス８０４は、光投影デバイス（光源）８０８及び／又は受光器センサ８０６に結合することができ及び投影デバイス８０８に関する受光器センサ８０６及び／又は光源電力に関して露出時間を動的に調整するように構成することができる。アクティブ深度検知デバイス８０４は、処理回路８０５及び／又は記憶デバイス８０９を含むことができる。処理回路８０５は、パラメータ計算モジュール／回路８１０、露出時間調整モジュール／回路８１２、光電力調整モジュール／回路８１４、及び／又は深度計算モジュール／回路８１６を含むこと又は実装することができる。これらのモジュール／回路は、図５、６、及び／又は７において説明される及び／又は例示される１つ以上の機能を実行するのに好適することができる。記憶デバイス８０９は、例えば、受光器センサ８０６及び／又はコードマスク投影デバイス８０８に関する１つ以上の調整パラメータを格納するために働くことができる。

［００７２］パラメータ計算モジュール／回路８１０は、受光器センサ８０６から１つ以上のキャプチャされた画像（例えば、コードマスクが投影されたシーン又はオブジェクトの画像）を受信することができる入力インタフェースを含むことができる。パラメータ計算モジュール／回路８１０は、受信された１つ以上のキャプチャされた画像の各々に関する絶対的又は相対的ピクセル飽和、復号不能なピクセル、ピクセル照明平均、偏差、及び／又はエントロピー、等を確認する１つ以上の画像処理回路も含むことができる。これらの１つ以上のパラメータは、各画像の画像全体に関して及び／又は領域（例えば、セクタ、ピクセル）に関して計算することができる。これらの１つ以上のパラメータは、露出時間調整モジュール／回路８１２及び／又は光電力調整モジュール／回路８１４に対する入力として働くことができる。

［００７３］露出時間調整モジュール／回路８１２は、受光器センサ８０６に関する露出時間を調整すべきかどうか及びそれはどのようにして調整すべきかを確認するために１つ以上のパラメータを使用することができる。例えば、スレショルドの比率よりも大きいピクセルの比率が過剰飽和している（すなちわ、多すぎる照明）ことを１つ以上のパラメータが示す場合は、露出時間調整モジュール／回路８１２は、受光器センサ８０６に関するシャッタ時間を短くする。逆に、スレショルドの比率よりも大きいピクセルの比率が露出不足である（すなちわ、少なくすぎる照明）ことを１つ以上のパラメータが示す場合は、露出時間調整モジュール／回路８１２は、受光器センサ８０６に関するシャッタ時間を長くする。同様に、受光器センサを調整すべきであるかどうか及び／又はどのようにして調整すべきであるかを確認するために復号不能なピクセル、ピクセル照明平均、偏差、及び／又はエントロピー、等に関するその他のスレショルドを使用することができる。露出時間調整モジュール／回路８１２は、該調整を受光器センサ８０６に通信するのを可能にする出力インタフェースを含むことができる。

［００７４］光電力調整モジュール／回路８１４は、コードマスク投影デバイス８０８に関する照明電力を調整すべきであるかどうか及びそれはどのようにして調整すべきであるかを確認するために１つ以上のパラメータを使用することができる。例えば、スレショルドの比率よりも大きいピクセルの比率が過剰飽和している（すなちわ、多すぎる照明）ことを１つ以上のパラメータが示す場合は、光電力調整モジュール／回路８１４は、投影デバイス８０８に関する光源（照明）電力を低減させる。逆に、スレショルドの比率よりも大きいピクセルの比率が露出不足である（すなちわ、少なくすぎる照明）ことを１つ以上のパラメータが示す場合は、光電力調整モジュール／回路８１４は、投影デバイス８０８に関する光源（照明）電力を増大させる。同様に、受光器センサを調整すべきであるかどうか及び／又はどのようにして調整すべきであるかを確認するために復号不能なピクセル、ピクセル照明平均、偏差、及び／又はエントロピー、等に関するその他のスレショルドを使用することができる。光電力調整モジュール／回路８１４は、該調整を受光器センサ８０６に通信するのを可能にする出力インタフェースを含むことができる。

［００７５］深度計算モジュール／回路８１６は、深度を確認するために受光器センサ８０６から１つ以上のキャプチャされた画像（例えば、コードマスクが投影されたシーン又はオブジェクトの画像）においてシーン又はオブジェクト上に投影されるコードマスクを使用することができる。深度計算モジュール／回路８１６は、例えば図２及び３において例示されるように、画像のピクセルの異なる領域又はグループに関する深度を確認するために１つ以上の計算を行うことができる。画像に関するこの深度情報は、画像とともに格納することができる。

［００７６］他の代替の特徴により、光電力を制御するために第１の受光器デバイスを使用することができ及び深度マップが得られる画像をキャプチャするために別個の第２の受光器デバイスを使用することができる。例えば、第１の受光器デバイスは、増大された／より高いフレームレートで走る（第２の受光器デバイスと比較して）より低い解像度のセンサであることができる。

［００７７］幾つかの実装においては、コードマスク投影デバイス８０８は、人間によって見ることができない光スペクトル（例えば、赤外線）においてコードマスクを投影することができる。例えば、シーン又はオブジェクト上に投影されたコードマスクをキャプチャするために第１の受光器を使用することができ、コードマスクのないシーン又はオブジェクトの画像をキャプチャするために第２の受光器を使用することができる。

［００７８］幾つかの実装においては、深度検知システム８００は、フィードバックシステムであるとみなすことができ、コードマスクが投影された時点で、コードマスク（又はその一部分）の反射は、投影デバイス８０８に関する投影光源電力を調整することができる受光器センサ８０６によって画像としてキャプチャされる。従って、コードマスクの最初の投影は、深度検知システム８００を調整するためのフィードバックとして働くことができ、このため、投影された及び反射されたコードマスク内のコードワードを正確に確認することができる。受光器センサ８０６による最初のキャプチャされた画像が飽和（例えば、光電力が受光器センサにとって強すぎる）を示すパラメータを有する場合は、光電力調整モジュール／回路８１４は、投影デバイス８０８の投影光源電力を低減させることができる。同様に、受光器センサ８０６による最初のキャプチャされた画像が露出不足（例えば、光電力が受光器センサにとって弱すぎる）を示すパラメータを有する場合は、光電力調整モジュール／回路８１４は、投影デバイス８０８の投影光源電力を増大させることができる。このプロセスは、許容可能な投影電力が達成され、その結果、キャプチャされた画像に関するパラメータがある範囲又はスレショルド内にあるようになるまで複数回繰り返すことができる。一例においては、フィードバックプロセスは、繰り返すことができ、投影デバイス８０８の投影光電力を増大させる／低減させるために増分的ステップ（例えば、固定された又は可変の調整ステップ）を使用することができる。他の例では、最初の（前の）キャプチャされた画像に関して得られた３つのパラメータが、投影デバイス８０８を調整するために使用される特定の電力調整を計算又は推定するために役立つことができる。

［００７９］代替実装においては、このフィードバックシステムは、受光器センサ８０６に関する露出時間を調整する働きをすることができる。すなわち、投影光電力を調整するのではなく、受光器センサ８０６は、最初のキャプチャされた画像から露出不足が確認された場合はシャッタ時間を長くし、最初のキャプチャされた画像から露出過剰（飽和）が確認された場合はシャッタ時間を短くすることによって、それ自体のシャッタ露出時間を調整することができる。

これは、反復的プロセスであり、シャッタ露出時間は、固定された／可変のステップサイズによって、又はキャプチャされた画像のパラメータから確認された推定値に基づいて増分的に調整することができる。

キャプチャされた画像に関するパラメータの確認
［００８０］図５、６、及び／又は７において、受光器センサ及び／又は投影光源を調整するために、キャプチャされた画像が処理され、コードマスク（及びその中のコードワード）がキャプチャされた画像に関して復号可能であるかどうかが確認される。コードマスクの一例が図４において示される。図９及び１０は、コードマスク内においてコードワードがどのように定義されるかをさらに例示する。

［００８１］図９は、形状変調された搬送波９０４内においてバイナリコードワード９０２をどのようにして表現するかができるかを例示する。変調された搬送波９０４は、コード／基準ストライプ９０６（例えば、アクティブストライプ）と、ガード間隔９０８と、を含むことができる。搬送波層９０２は、アクティブストライプ幅ｗ１及びガード間隔ｗ２によって定義することができる。アクティブストライプ幅ｗ１は、送光器における電力要求によって決定することができる。ガード間隔ｗ２は、送光器／受光器ポイントスプレッド関数（ＰＳＦ）によって決定することができる。ここで、ガード、“０”及び“１”を表すために３状態グレースケールシステムが使用され、“０”及び“１”レベル比は、５０％であることができる。

［００８２］図１０は、搬送波層及びコード層を用いるコードミクロ構造１００２のさらなる詳細を例示する。この例では、コードマスクのサイズはｎ１×ｎ２であることができ、ここで、ｎ１＝７（垂直）、ｎ２＝５８５（水平）であり、従って、合計４０９５の一意のコードワードが可能である。これらのコードワードの部分組を使用することによってより小さいコードブックが可能である。それは、コードワードのマッチが見つかるかどうかを確認するために行わなければならない比較数を減少させるという点でより小さいコードブックが望ましいことがある。すなわち、受信／キャプチャされたコードマスクを、その中の各コードワードを確認するために使用されるコードブックと比較することができる。該比較は、マッチ（例えば、最も近いマッチ）を確認するために受信／キャプチャされたコードマスクの領域をコードブックにおいて定義される各コードワードとマッチングすることを含むことができる。従って、（例えば、少数のコードワードを用いて）コードブックのサイズを小さくすることは、コードワードのマッチを見つけるために必要な比較数を減少させ及び受信／キャプチャされたコードマスクに関するコードワードのマッチを見つけるための処理リソースを減少させ及び／又は時間を短縮する。

［００８３］コードワードに関して使用されるコードマスクウィンドウ（例えば、ｋ１×ｋ２のウィンドウ）のサイズは、探索される最小の検出可能なオブジェクトに依存することができる。例えば、コードマスクウィンドウは、ｋ_１×ｋ_２＝３×４シンボルウィンドウであることができる。従って、ウィンドウサイズは、最小の検出可能なオブジェクトのサイズ（例えば、検出可能なオブジェクト又は特徴）及び該オブジェクトの検出が発生する距離によって定義される。さらに、深度分解能は、搬送波スペースと等しいことができる。ガード間隔は、未知のスプレッドに関する対策である。選択されたパラメータは、分解能と検出との間のバランスを提供することができる。

［００８４］特定の画像を生成するためにシーン上に投影されるコードマスクは既知であるため、これは、平均二乗誤差、ハミング（Ｈａｍｍｉｍｇ）距離、及び／又は、露出時間及び／又は光源電力を調整する方法を示す働きをすることができるその他のメトリック／パラメータを得るために使用することができる。

［００８５］幾つかの実装においては、コードワードの慎重な選択は、画像内のキャプチャされたコードワードの誤差訂正を行うために役立つこともできる。

［００８６］図において示されるコンポーネント、ステップ、特徴、及び／又は機能のうちの１つ以上は、再編すること及び／又は単一のコンポーネント、ステップ、特徴又は機能に結合すること、又は幾つかのコンポーネント、ステップ、又は機能において具現化することができる。ここにおいて開示される新規の特徴から逸脱することなしに追加の要素、コンポーネント、ステップ、及び／又は機能を加えることもできる。図において例示される装置、デバイス、及び／又はコンポーネントは、図において説明される方法、特徴、又はステップのうちの１つ以上を実行するように構成することができる。ここにおいて説明される新規のアルゴリズムは、ソフトウェアにおいて効率的に実装すること及び／又はハードウェア内に埋め込むこともできる。

［００８７］さらに、実施形態は、フローチャート、流れ図、構造図、又はブロック図として描かれるプロセスとして説明できることが注目される。フローチャートは、作業を順次のプロセスとして説明しているが、それらの作業の多くは、並行して又は同時並行して行うことができる。さらに、作業の順序は、組み替えることができる。プロセスは、その作業が完了されたときに終了される。プロセスは、メソッド、関数、プロシージャ、サブルーチン、サブプログラム、等に対応することができる。プロセスが関数に対応するときには、それの終了は、呼び出し関数又は主関数に戻ることに対応する。

［００８８］さらに、記憶媒体は、データを格納するための１つ以上のデバイス、例えば、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス及び／又は情報を格納するためのその他の機械によって読み取り可能な媒体、プロセッサによって読み取り可能な媒体、及び／又はコンピュータによって読み取り可能な媒体を表すことができる。用語“機械によって読み取り可能な媒体”、“コンピュータによって読み取り可能な媒体”、及び／又は“プロセッサによって読み取り可能な媒体”は、ポータブルの又は固定された記憶デバイス、光学記憶デバイス、及び命令及び／又はデータを格納、含有又は搬送することが可能な様々なその他の媒体等の非一時的な媒体を含み、ただしこれらに限定されない。従って、ここにおいて説明される様々な方法は、“機械によって読み取り可能な媒体”、“コンピュータによって読み取り可能な媒体”、及び／又は“プロセッサによって読み取り可能な媒体”内に格納することができ及び１つ以上のプロセッサ、機械及び／又はデバイスによって実行することができる命令及び／又はデータによって完全に又は部分的に実装することができる。

［００８９］さらに、実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、又はそれらのあらゆる組み合わせによって実装することができる。ソフトウェア、ファームウェア、ミドルウェア又はマイクロコードにおいて実装されるときには、必要なタスクを実行するためのプログラムコード又はコードセグメントは、機械によって読み取り可能な媒体、例えば、記憶媒体又はその他の記憶装置、において格納することができる。プロセッサは、必要なタスクを実行することができる。コードセグメントは、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、又は、命令、データ構造、又はプログラム文のあらゆる組み合わせを表すことができる。コードセグメントは、情報、データ、引数、パラメータ、又はメモリ内容を渡す及び／又は受け取ることによって他のコードセグメント又はハードウェア回路に結合することができる。情報、引数、パラメータ、データ、等は、メモリシェアリング、メッセージ渡し、トークン渡し、ネットワーク送信、等を含むあらゆる適切な手段を介して渡すこと、転送すること、又は送信することができる。

［００９０］ここにおいて開示される例と関係させて説明される様々な例示的な論理ブロック、モジュール、回路、要素、及び／又はコンポーネントは、ここにおいて説明される機能を果たすように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、その他のプログラマブル論理デバイス、ディスクリートゲートロジック、ディスクリートトランジスタロジック、ディスクリートハードウェアコンポーネント、又はそれらのあらゆる組合せ、を用いて実装又は実行することが可能である。汎用プロセッサはマイクロプロセッサであることができるが、代替においては、プロセッサは、従来のどのようなプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサは、コンピューティングコンポーネントの組合せ、例えば、ＤＳＰと、１つのマイクロプロセッサとの組合せ、複数のマイクロプロセッサとの組合せ、ＤＳＰコアと関連する１つ以上のマイクロプロセッサとの組合せ、又はあらゆるその他の該構成、として実装することも可能である。

［００９１］ここにおいて開示される例と関係させて説明される方法又はアルゴリズムは、ハードウェアにおいて直接、プロセッサによって実行可能なソフトウェアモジュールにおいて、又は両方の組み合わせにおいて、処理ユニット、プログラミング命令、又はその他の指示の形態で具現化することができ、及び、単一のデバイス内に入れること又は複数のデバイス間で分散させることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、取り外し可能なディスク、ＣＤ−ＲＯＭ又は当業において知られるあらゆるその他の形態の記憶媒体、内に常駐することができる。記憶媒体は、プロセッサが記憶媒体から情報を読み出すこと及び記憶媒体に情報を書き込むことができるようにプロセッサに結合することができる。代替においては、記憶媒体は、プロセッサと一体化させることができる。

［００９２］ここにおいて開示される実施形態と関係させて説明される様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムのステップは、電子ハードウェア、コンピュータソフトウェア、又は両方の組み合わせとして実装可能であることを当業者はさらに評価するであろう。ハードウェアとソフトウェアのこの互換性を明確に例示するため、上記においては、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップが、それらの機能の観点で一般的に説明されている。該機能がハードウェアとして又はソフトウェアとして実装されるかは、特定の用途及び全体的システムに対する設計上の制約事項に依存する。

［００９３］ここにおいて説明される本発明の様々な特徴は、本発明を逸脱することなしに異なるシステムにおいて実装することができる。上記の実施形態は、単なる例であるにすぎず、本発明を限定するものであるとは解釈されるべきでないことが注目されるべきである。実施形態に関する説明は、例示的なものであり、請求項の範囲を限定しないことが意図される。従って、本教示は、その他のタイプの装置に対しても容易に適用可能であり、数多くの代替方法、修正、及び変形が当業者にとって明らかになるであろう。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[Ｃ１]
構造化された光を用いるアクティブ深度検知システムにおいて表面の反射率の違いを補償するのに好適するデバイスであって、
コードマスクが投影されるシーンの画像をキャプチャするための受光器センサと、
前記キャプチャされた画像から１つ以上のパラメータを確認し、及び
後続してキャプチャされる画像内における前記コードマスクの復号を向上させるために前記１つ以上のパラメータに従って投影光源のための光源電力を動的に調整するのに好適する処理回路と、を備える、デバイス。
[Ｃ２]
前記処理回路は、
前記コードマスクに基づいて前記キャプチャされた画像内の前記シーンに関する深度情報を確認するのにさらに好適するＣ１に記載のデバイス。
[Ｃ３]
前記処理回路は、
前記光源電力を特定の照明において固定し、前記受光器センサに関する露出時間が調整するのにさらに好適するＣ１に記載のデバイス。
[Ｃ４]
前記処理回路は、
前記受光器センサに関する露出時間を固定値に維持し、前記光源電力を調整するのにさらに好適するＣ１に記載のデバイス。
[Ｃ５]
前記１つ以上のパラメータは、前記コードマスクに基づいて前記キャプチャされた画像内の領域と相関されるＣ１に記載のデバイス。
[Ｃ６]
前記投影光源は、複数の光素子を含み、前記投影光源のための前記光源電力を動的に調整することは、前記対応する１つ以上のパラメータに基づいて前記光素子の各々に関して前記光源電力を個々に制御することを含むＣ１に記載のデバイス。
[Ｃ７]
前記受光器センサは、
前記コードマスクが投影される前記シーンの新しい画像をキャプチャするのにさらに好適し、前記新しい画像は、前記個々に調整される複数の光素子の動作に起因して領域ごとに光補償されるＣ６に記載のデバイス。
[Ｃ８]
前記受光器センサは、複数の個々に制御されるセンサシャッタを含み、前記処理回路は、前記受光器センサによってキャプチャされた前記光を調整するために前記対応する１つ以上のパラメータに基づいて前記複数のセンサシャッタを個々に制御するのにさらに好適するＣ１に記載のデバイス。
[Ｃ９]
前記センサシャッタは、前記１つ以上のパラメータによって示される所定の領域における多すぎる又は少なすぎる光を補償するために中を通る前記光を減少又は増加させるように制御されるＣ８に記載のデバイス。
[Ｃ１０]
前記受光器センサは、
前記コードマスクが投影される前記シーンの新しい画像をキャプチャするのにさらに好適し、前記新しい画像は、前記個々に調整される複数のセンサシャッタの前記動作に起因して領域ごとに光補償されるＣ８に記載のデバイス。
[Ｃ１１]
構造化された光を用いるアクティブ深度検知システムにおいて表面の反射率の違いを補償するための方法であって、
受光器センサにおいて、コードマスクが投影されるシーンの画像をキャプチャすることと、
処理回路において、前記キャプチャされた画像から１つ以上のパラメータを確認することと、
後続してキャプチャされる画像内における前記コードマスクの復号を向上させるために前記１つ以上のパラメータに従って投影光源のための光源電力を動的に調整することと、を備える、方法。
[Ｃ１２]
前記コードマスクに基づいて前記キャプチャされた画像内の前記シーンに関する深度情報を確認することをさらに備えるＣ１１に記載の方法。
[Ｃ１３]
前記光源電力を特定の照明において固定し、前記受光器センサに関する露出時間が調整されることをさらに備えるＣ１１に記載の方法。
[Ｃ１４]
前記受光器センサに関する露出時間を固定値に維持し、前記光源電力が調整されることをさらに備えるＣ１１に記載の方法。
[Ｃ１５]
前記１つ以上のパラメータは、前記コードマスクに基づいて前記キャプチャされた画像内の領域と相関されるＣ１１に記載の方法。
[Ｃ１６]
前記投影光源は、複数の光素子を含み、前記投影光源のための前記光源電力を動的に調整することは、前記対応する１つ以上のパラメータに基づいて前記光素子の各々に関して前記光源電力を個々に制御することを含むＣ１１に記載の方法。
[Ｃ１７]
前記コードマスクが投影される前記シーンの新しい画像をキャプチャすることをさらに備え、前記新しい画像は、前記個々に調整される複数の光素子の前記動作に起因して領域ごとに光補償されるＣ１６に記載の方法。
[Ｃ１８]
前記受光器センサは、複数の個々に制御されるセンサシャッタを含み、前記受光器センサによってキャプチャされた前記光を調整するために前記対応する１つ以上のパラメータに基づいて前記複数のセンサシャッタを個々に制御することをさらに備えるＣ１１に記載の方法。
[Ｃ１９]
前記１つ以上のパラメータによって示される所定の領域における多すぎる又は少なすぎる光を補償するために中を通る前記光を減少又は増加させるように前記センサシャッタを制御することをさらに備えるＣ１８に記載の方法。
[Ｃ２０]
前記コードマスクが投影される前記シーンの新しい画像をキャプチャすることをさらに備え、前記新しい画像は、前記個々に調整される複数のセンサシャッタの前記動作に起因して領域ごとに光補償されるＣ１８に記載の方法。
[Ｃ２１]
構造化された光を用いるアクティブ深度検知システムにおいて表面の反射率の違いを補償するのに好適するデバイスであって、
受光器センサにおいて、コードマスクが投影されるシーンの画像をキャプチャするための手段と、
処理回路において、前記キャプチャされた画像から１つ以上のパラメータを確認するための手段と、
後続してキャプチャされる画像内における前記コードマスクの復号を向上させるために前記１つ以上のパラメータに従って投影光源のための光源電力を動的に調整するための手段と、を備える、デバイス。
[Ｃ２２]
前記コードマスクに基づいて前記キャプチャされた画像内の前記シーンに関する深度情報を確認するための手段をさらに備えるＣ２１に記載のデバイス。
[Ｃ２３]
前記光源電力を特定の照明において固定し、前記受光器センサに関する露出時間が調整されるための手段をさらに備えるＣ２１に記載のデバイス。
[Ｃ２４]
前記受光器センサに関する露出時間を固定値に維持し、前記光源電力が調整されるための手段をさらに備えるＣ２１に記載のデバイス。
[Ｃ２５]
前記１つ以上のパラメータは、前記コードマスクに基づいて前記キャプチャされた画像内の領域と相関されるＣ２１に記載のデバイス。
[Ｃ２６]
前記投影光源は、複数の光素子を含み、前記投影光源のための前記光源電力を動的に調整するための前記手段は、前記対応する１つ以上のパラメータに基づいて前記光素子の各々に関して前記光源電力を個々に制御するための手段を含むＣ２１に記載のデバイス。
[Ｃ２７]
前記コードマスクが投影される前記シーンの新しい画像をキャプチャするための手段をさらに備え、前記新しい画像は、前記個々に調整される複数の光素子の前記動作に起因して領域ごとに光補償されるＣ２６に記載のデバイス。
[Ｃ２８]
前記受光器センサは、複数の個々に制御されるセンサシャッタを含み、前記受光器センサによってキャプチャされた前記光を調整するために前記対応する１つ以上のパラメータに基づいて前記複数のセンサシャッタを個々に制御するための手段をさらに備えるＣ２１に記載のデバイス。
[Ｃ２９]
前記１つ以上のパラメータによって示される所定の領域における多すぎる又は少なすぎる光を補償するために中を通る前記光を減少又は増加させるように前記センサシャッタを制御するための手段をさらに備えるＣ２８に記載のデバイス。
[Ｃ３０]
前記コードマスクが投影される前記シーンの新しい画像をキャプチャするための手段をさらに備え、前記新しい画像は、前記個々に調整される複数のセンサシャッタの前記動作に起因して領域ごとに光補償されるＣ２８に記載の方法。
[Ｃ３１]
構造化された光を用いるアクティブ深度検知システムにおいて表面の反射率の違いを補償するための命令を有するプロセッサによって読み取り可能な記憶媒体であって、それらの命令は、１つ以上のプロセッサによって実行されたときに、
受光器センサにおいて、コードマスクが投影されるシーンの画像をキャプチャし、
前記キャプチャされた画像から１つ以上のパラメータを確認し、及び
後続してキャプチャされる画像内における前記コードマスクの復号を向上させるために前記１つ以上のパラメータに従って投影光源のための光源電力を動的に調整することを前記１つ以上のプロセッサに行わせる、プロセッサによって読み取り可能な記憶媒体。
[Ｃ３２]
１つ以上のプロセッサによって実行されたときに、
前記コードマスクに基づいて前記キャプチャされた画像内の前記シーンに関する深度情報を確認することを前記１つ以上のプロセッサに行わせる１つ以上の命令を有するＣ３１に記載のプロセッサによって読み取り可能な記憶媒体。
[Ｃ３３]
１つ以上のプロセッサによって実行されたときに、
前記光源電力を特定の照明において固定し、前記受光器センサに関する露出時間が調整されることを前記１つ以上のプロセッサに行わせる１つ以上の命令を有するＣ３１に記載のプロセッサによって読み取り可能な記憶媒体。
[Ｃ３４]
１つ以上のプロセッサによって実行されたときに、
前記受光器センサに関する露出時間を固定値に維持し、前記光源電力が調整されることを前記１つ以上のプロセッサに行わせる１つ以上の命令を有するＣ３１に記載のプロセッサによって読み取り可能な記憶媒体。
[Ｃ３５]
前記１つ以上のパラメータは、前記コードマスクに基づいて前記キャプチャされた画像内の領域と相関されるＣ３１に記載のプロセッサによって読み取り可能な記憶媒体。
[Ｃ３６]
前記投影光源は、複数の光素子を含み、１つ以上のプロセッサによって実行されたときに、
前記投影光源のための前記光源電力を動的に調整することを前記１つ以上のプロセッサに行わせる１つ以上の命令を有し、前記投影光源のための前記光源電力を動的に調整することは、前記対応する１つ以上のパラメータに基づいて前記光素子の各々に関して前記光源電力を個々に制御することを含むＣ３１に記載のプロセッサによって読み取り可能な記憶媒体。
[Ｃ３７]
１つ以上のプロセッサによって実行されたときに、
前記コードマスクが投影される前記シーンの新しい画像をキャプチャすることを前記１つ以上のプロセッサに行わせる１つ以上の命令を有し、前記新しい画像は、前記個々に調整される複数の光素子の動作に起因して領域ごとに光補償されるＣ３７に記載のプロセッサによって読み取り可能な記憶媒体。
[Ｃ３８]
前記受光器センサは、複数の個々に制御されるセンサシャッタを含み、
１つ以上のプロセッサによって実行されたときに、
前記受光器センサによってキャプチャされた前記光を調整するために前記対応する１つ以上のパラメータに基づいて前記複数のセンサシャッタを個々に制御することを前記１つ以上のプロセッサに行わせる１つ以上の命令をさらに有するＣ３６に記載のプロセッサによって読み取り可能な記憶媒体。
[Ｃ３９]
１つ以上のプロセッサによって実行されたときに、
前記１つ以上のパラメータによって示される所定の領域における多すぎる又は少なすぎる光を補償するために中を通る前記光を減少又は増加させるように前記センサシャッタを制御することを前記１つ以上のプロセッサに行わせる１つ以上の命令を有するＣ３８に記載のプロセッサによって読み取り可能な記憶媒体。
[Ｃ４０]
１つ以上のプロセッサによって実行されたときに、
前記コードマスクが投影される前記シーンの新しい画像をキャプチャすることを前記１つ以上のプロセッサに行わせる１つ以上の命令を有し、前記新しい画像は、前記個々に調整される複数のセンサシャッタの前記動作に起因して領域ごとに光補償されるＣ３６に記載のプロセッサによって読み取り可能な記憶媒体。

Claims (13)

1. 構造化された光を用いるアクティブ深度検知システムにおいて表面の反射率の違いを補償するための方法であって、
   １つ以上の受光器センサにおいて、コードマスクが投影されるシーンの第１の画像および第２の画像をキャプチャすることと、前記第１の画像は、第１の露出時間中にキャプチャされ、前記第２の画像は、前記第１の露出時間とは異なる持続時間の第２の露出時間中にキャプチャされる、
   処理回路において、前記第１のキャプチャされた画像およびキャプチャされた第２の画像の各々から１つ以上のパラメータを確認することと、
   前記確認されたパラメータに基づいて、少なくとも投影光源のための光源電力を動的に調整することと、
   後続してキャプチャされる画像内における前記コードマスクの復号すること、を備える、方法。
2. 前記コードマスクに基づいて少なくとも前記第１のキャプチャされた画像内の前記シーンに関する深度情報を確認することをさらに備える請求項１に記載の方法。
3. 前記確認されたパラメータに基づいて、少なくとも前記第１の露出時間を動的に調整することをさらに備える、請求項１に記載の方法。
4. 少なくとも前記第１のキャプチャされた画像の過飽和を示す前記確認されたパラメータに応答して、少なくとも前記第１の露出時間が低減すること、または
   少なくとも前記第１のキャプチャされた画像の不飽和を示す前記確認されたパラメータに応答して、少なくとも前記第１の露出時間を増大すること、をさらに備える請求項１に記載の方法。
5. 少なくとも前記キャプチャされた第１の画像の飽和ピクセルの数が飽和閾値を満たすことを示す前記１つ以上のパラメータに応答して、前記光源電力を減少すること、または
   少なくとも前記キャプチャされた第１の画像の飽和ピクセルの数が前記飽和閾値を満たさないことを示す前記１つ以上のパラメータに応答して、前記光源電力を増大すること、をさらに備える請求項１乃至４のうちのいずれか１項に記載の方法。
6. 確認されたパラメータは、前記コードマスクに基づいて前記キャプチャされた画像内の領域と相関され、前記後続してキャプチャされる画像内における前記コードマスクを復号することは前記光源電力、少なくとも前記第１の露出時間、またはその両方を動的に調整することに応じて向上する、請求項１に記載の方法。
7. 前記投影光源は、複数の光素子を含み、前記投影光源のための前記光源電力を動的に調整することは、前記対応する確認されたパラメータに基づいて前記複数の光素子の各々に関して前記光源電力を個々に制御することを含む請求項１に記載の方法。
8. 前記コードマスクが投影される前記シーンの新しい画像をキャプチャすることをさらに備え、前記新しい画像は、前記個々に調整される複数の光素子の前記動作に起因して領域ごとに光補償される請求項７に記載の方法。
9. 前記１つ以上の受光器センサの前記各々は、複数の個々に制御されるセンサシャッタを含み、前記１つ以上の受光器センサによってキャプチャされた光の量を調整するために前記対応する確認されたパラメータに基づいて前記複数のセンサシャッタを個々に制御することをさらに備える請求項１に記載の方法。
10. 前記１つ以上のパラメータによって示されるように少なくとも前記キャプチャされた第１の画像の所定の領域における多すぎる又は少なすぎる光を補償するために中を通る前記光の量を減少又は増加させるように前記複数のセンサシャッタを制御することをさらに備える請求項９に記載の方法。
11. 前記コードマスクが投影される前記シーンの新しい画像をキャプチャすることをさらに備え、前記新しい画像は、前記個々に調整される複数のセンサシャッタの前記動作に起因して領域ごとに光補償される請求項９に記載の方法。
12. 構造化された光を用いるアクティブ深度検知システムにおいて表面の反射率の違いを補償するのに好適するデバイスであって、
    １つ以上の受光器センサにおいて、コードマスクが投影されるシーンの第１の画像および第２の画像をキャプチャするための手段と、前記第１の画像は、第１の露出時間中にキャプチャされ、前記第２の画像は、前記第１の露出時間とは異なる持続時間の第２の露出時間中にキャプチャされる、
    処理回路において、前記第１のキャプチャされた画像およびキャプチャされた第２の画像の各々から１つ以上のパラメータを確認するための手段と、
    前記確認されたパラメータに基づいて、少なくとも投影光源のための光源電力を動的に調整するための手段と、
    後続してキャプチャされる画像内における前記コードマスクを復号するための手段、を備える、デバイス。
13. 構造化された光を用いるアクティブ深度検知システムにおいて表面の反射率の違いを補償するための１つ以上の命令を有するプロセッサによって読み取り可能な記憶媒体であって、それらの命令は、１つ以上のプロセッサによって実行されたときに、請求項１乃至１１のうちのいずれか１項に記載の方法を前記１つ以上のプロセッサに行わせる、プロセッサによって読み取り可能な記憶媒体。