JP6816097B2 - 画像についての奥行きマップを決定するための方法及び装置 - Google Patents

Description

本発明は、画像についての奥行きマップを決定するための方法及び装置に関し、詳細には、複数の奥行きセンサに基づいて、奥行きマップを決定することに関する。

３次元画像のレンダリング及び処理は、近年ますます普及している。これは、かなりの部分、３次元（３Ｄ）ディスプレイの開発によるものであり、３次元ディスプレイは、見ているシーンの異なるビューをビューアの２つの目に提供することによって、視覚体験に３次元を加える。これは、ユーザに眼鏡をかけさせて、ディスプレイされている２つのビューを分けることによって達成することができる。しかしながら、これは、ユーザにとっては面倒であると考えられることから、多くのシナリオでは、（レンチキュラーレンズ又はバリアなどの）ディスプレイにおける手段を使用したオートステレオスコピックディスプレイを使ってビューを分け、それを異なる方向に送り、ユーザの眼に個々に届くようにすることが好まれている。ステレオディスプレイでは、２つのビューを要するのに対し、オートステレオスコピックディスプレイは、通常、より多くのビュー（例えば、９つのビュー）を要する。

提示される３次元画像の質は、受信した画像データの質に依存し、とりわけ、３次元知覚は、受信した奥行き情報の質に依存する。

３次元画像の情報は、シーンについて異なるビュー方向に対応した複数の画像によってしばしば提供される。とりわけ、映画又はテレビプログラムなどのビデオコンテンツは、なんらかの３Ｄ情報を含むようにますます生成されている。そのような情報は、わずかにオフセットされたカメラ位置から２つの同時画像を取り込む、専用の３Ｄカメラを使用して取り込むことができる。

しかしながら、多くの用途において、提供された画像が所望の方向に直接対応していない、又はより多くの画像を要することがある。例えば、オートステレオスコピックディスプレイの場合、２つよりも多い画像を要し、実際には、しばしば９〜２６のビュー画像が使用される。

異なるビュー方向に対応した画像を生成するために、ビューポイントシフト処理が使用される。これは通常、単一ビュー方向用の画像を関連付けられた奥行き情報と共に使用する、ビューシフトアルゴリズムによって行われる。しかしながら、著しいアーチファクトなしに新しいビュー画像を生成するためには、提供された奥行き情報が十分に正確でなければならない。

残念ながら、多くの用途及び使用シナリオにおいて、奥行き情報が、所望通りに正確ではないことがある。

従来の２次元画像に基づいた３次元撮像がさまざまな奥行き推定技法を使用して可能である一方で、これらは複雑且つ不正確になりがちで、しばしば実質的な人間の入力を要する。しかしながら、ますますコンテンツが取り込まれれば、奥行き情報もまた取り込まれる。例えば、あるシーンを撮影する、又はビデオ記録するとき、ビジュアル画像と奥行きとの両方を反映する組み合わせた出力を生成するために、奥行きもまた記録される。

そのような奥行きの取り込みは、通常、シーンの奥行き特性を推定するように構成された奥行きセンサを使用して行われる。さまざまな奥行きセンサが知られている。

しばしば使用されるアプローチは、ステレオカメラの形態での受動型奥行きセンサを使用することである。そのようなステレオカメラは、２つのわずかに異なるビュー方向に対応した２つの画像を単純に記録する。このようにして、３次元シーンは、わずかに異なる位置での２つのカメラを使用したステレオ画像として取り込まれる。次いで、２つの画像において対応した画像オブジェクト間の視差を推定することによって、特定の奥行き値が生成される。

別のアプローチは、能動型奥行きセンサを使用することである。とりわけ、記録されるシーン上に赤外光パターンを投影する赤外発光体を備える能動型奥行きセンサが知られている。その場合、赤外線カメラが、赤外線画像を取り込み、予想されるパターンにおける歪みを検出する。これらの歪みに基づいて、奥行きセンサが奥行き情報を生成する。

さらに別の例では、能動型奥行きセンサが、異なる方向に赤外光を発する発光体を備える。異なる方向に反射した光の到着時間が検出されて、奥行き情報を引き出すのに使用される。

しかしながら、そのような奥行きセンサは、単一の２次元画像に基づいた推定と比較すれば、生成された奥行き情報の質を改善することが多いものの、やはり最適とはいえない性能を持つ傾向にある。通常、生成された奥行き情報は、すべてのシナリオにおいて最適ではなく、例えば、生成された奥行きマップは、なんらかの不正確な、又は誤った奥行き値を含むことがある。これが、画像処理又は画像レンダリングがこの奥行き情報に基づいて行われるときに、再びアーチファクト及び劣化した３次元画質をもたらすことがある。

さらに、奥行き推定値を改善するには、専用の、とりわけ修正された奥行きセンサの使用をしばしば必要とする。しかしなから、これは、標準的な又は市販の奥行きセンサを使用することに比較して、柔軟性に欠け、コストを上昇させる。

したがって、好適な奥行きを決定するための改善されたアプローチが有利である。特に、柔軟性を増し、実施を容易にし、複雑さを削減し、３Ｄ体験を改善し、結果としての知覚画質を改善し、標準的機能を使用する適性を改善し、及び／又は、生成される奥行き情報を改善することを可能にするアプローチが有利である。

したがって、本発明は、単独で、又は任意の組合せにおいて上述した欠点のうちの１つ又は複数を、好ましく軽減し、緩和し、又はなくそうと努める。

本発明の一態様によれば、シーンの画像についての奥行きマップを決定するための装置が提供される。装置は、画像についての第１の奥行きマップを決定するための能動型奥行きセンサであって、第１の奥行きマップが、能動型奥行きセンサによって決定される画像のピクセルについての奥行き値を含む、能動型奥行きセンサと、画像についての第２の奥行きマップを決定するための受動型奥行きセンサであって、第２の奥行きマップが、受動型奥行きセンサによって決定される画像のピクセルについての奥行き値を含む、受動型奥行きマップと、シーンについての光表示を決定するための光決定器であって、光表示がシーンについての赤外光レベルを示す第１の赤外光表示を含む、光決定器と、第１の奥行きマップと第２の奥行きマップとを組み合わせることによって、画像についての出力奥行きマップを決定するための奥行きマッププロセッサとを備える。奥行きマッププロセッサは、第１の奥行きマップの奥行き値と第２の奥行きマップの奥行き値との組合せとして、出力奥行きマップのための奥行き値を決定するように構成される。組合せは、第１の赤外光表示に依存する。光決定器は、可視光スペクトルの周波数帯域における光レベルを示す可視光表示を決定し、可視光表示から第１の赤外光表示を推定するように構成される。

本アプローチは、多くの実施形態において、画像処理のために使用されるときに改善された質を提供する、改善された奥行きマップの生成を可能にする。この改善は、例えば、修正された奥行きマップが画像ビューシフトに使用されるとき、及び／又は、オートステレオスコピックディスプレイ上で３次元画像を提示するときに、特に重要である。

本アプローチは、多くの用途及びシナリオにおいて、より信頼できる、及び／又は、より正確な奥行き値の生成を提供する。特に、発明者らは、能動型及び受動型の奥行きセンサが、相補的な性能を呈すること、且つ異なるタイプのセンサ及び奥行き感知によって生成される奥行き値の組合せが、改善された奥行き値を提供することを認識した。特に、発明者らは、その組合せを制御するためにシーンについての光特性を示す赤外光表示を使用することが、異なるタイプの奥行きセンサの相補的な挙動及び特性の活用を可能にして、改善された奥行き値を提供すること、及び／又は、より幅広い用途及びシーン環境のための奥行き値の生成を可能にすることを認識した。

さらに本アプローチは、多くの実施形態において、容易な実施を可能にし、特に、多くの実施形態において、標準又は市販の奥行きセンサの使用を可能にする。本アプローチは、例えば、赤外光表示の決定を可能にし、それにより、例えば能動的な奥行き感知を行う目的で装置（又は他の場所）から送信される赤外光ではなくて、例えば周囲赤外光を十分正確に反映する。例えば、本アプローチは、多くの実施形態において、いかなる追加又は専用の機器を要することなく、周囲赤外光表示の生成を可能にする。とりわけ、多くの実施形態において、これは、専用の赤外線測定機能を要することなく実現され、同時に、いかなる周囲光表示も提供しない標準的な奥行きセンサの使用を可能にする。

赤外光表示は、とりわけ、周囲赤外光表示である。この表示は、能動的な奥行き決定の目的で赤外光の発光がないときに、装置に（センサのうちの少なくとも１つに）入射する赤外光のレベルを示す。

赤外光表示は、赤外光レベルなどの、シーンについての赤外光特性を示す。赤外光表示は、とりわけ、周囲赤外光の特性を示す周囲赤外光表示である。周囲赤外光は、とりわけ、能動型奥行きセンサの発光体からの発光から生じたのではない赤外光に対応する。

多くのシナリオにおいて、周囲光表示は、受動型及び能動型の奥行きセンサの相対的性能の特に良好な指標である。例えば、それは、考えられる信号対雑音比を反映し、したがって能動型奥行きセンサについての信頼性を反映する。

多くの実施形態において、光決定器は、可視光カメラによって検出された測定光レベルに応答して、周囲赤外光レベルを推定する。

多くの実施形態において、光決定器は、可視光カメラからの画像データから、及び可視光カメラの取り込み時間長から、赤外光表示を推定するように構成される。

可視光表示は、とりわけ、可視光スペクトルの周波数帯域における光レベルを示す。

マップは、フルマップであっても、部分的なマップであってもよい。例えば、第１の奥行きマップ及び／又は第２の奥行きマップは、画像のピクセルのサブセットのみについての奥行き値を含む。いくつかの実施形態において、第１の奥行きマップ及び第２の奥行きマップの各々は、画像の各ピクセルについての奥行き値を含む。奥行き値のうちのいくつか又は全部が、例えば、複数のピクセル間で共有される。例えば、画像のピクセルは、例えば、４×４又は８×８のピクセルグループに分割され、１つの奥行き値が、奥行きマップにおいてグループごとに提供される。奥行きマップ同士は、同じ解像度を有しても、異なる解像度を有してもよい。奥行きマップの各々は、画像の解像度と同じ解像度を有しても、異なる解像度を有してもよい。

奥行きマップに含まれる奥行き値は、とりわけ、奥行き座標（ｚ）値、又は異なるビュー方向の画像間でのシフトを表す視差値などの、奥行きの任意の好適な表現である。

奥行き値の組合せは、とりわけ、共通の座標系に対して／共通のビュー方向について、同じ場所にある奥行き値を含む、又はそのような奥行き値からなる。組み合わされる奥行き値（又はそれらのうちの少なくともいくつか）は、とりわけ、共通の座標系に対して出力データ値と同じ場所にある。とりわけ、多くの実施形態において、第１の出力奥行き値は、第１の奥行きマップからの第１の奥行き値と、第２の奥行きマップからの第２の奥行き値との組合せに応答して（又は組合せとして）生成され、出力奥行き値、第１の奥行き値、及び第２の奥行き値は、共通の座標系／共通のビュー方向を基準にして、対応する位置を有する（又は同じ場所にある）。同じ場所にある出力奥行き値、第１の奥行き値、及び第２の奥行き値の位置は、各奥行きマップにおいて、奥行きマップがそれぞれ異なるビュー方向についての場合は、異なる位置に関する。しかしながら、奥行き値は、共通のビュー方向については対応する位置を有し、とりわけ、それらの位置が共通の座標系に変換された場合に同じ位置に対応することになるという意味において、それらの奥行き値は同じ場所にある。共通の座標系は、とりわけ、出力奥行きマップ及び／又は画像の座標系／ビュー方向である。

いくつかの実施形態において、組合せは、選択組合せである。したがって、いくつかの実施形態において、奥行きマッププロセッサは、光表示に応答して／光表示に依存して、第１の奥行きマップの（同じ場所にある）奥行き値と、第２の奥行きマップの（同じ場所にある）奥行き値との間で選択をすることによって、出力奥行きマップのための奥行き値を生成するように構成される。

能動型奥行きセンサは、第１の奥行きマップのための奥行き値を決定するために、能動型奥行きセンサによって使用される特性を有する赤外光を発する発光体を備える。特性は、とりわけ、空間的特性であり、能動型奥行きセンサは、その空間的特性に基づいて、第１の奥行きマップのための奥行き値を決定するように構成される。能動型奥行きセンサは、所定の（通常）空間的特性を有する光によって照明されるシーンの想定に基づいて、第１の奥行きマップのための奥行き値を決定するように構成される。能動型奥行きセンサは、赤外光信号の感知に応答して、第１の奥行きマップを決定するように構成される。能動型奥行きセンサは、とりわけ、発せられた赤外光のプロパティと比較した、取り込まれた赤外光のプロパティに応答して、第１の奥行きマップを決定する。例えば、プロパティは、空間的パターンであっても、時間のプロパティであってもよい。

受動型センサは、所定の空間的特性及び／又はシーンを照明する光の所定の特性のいかなる想定もせずに、第２の奥行きマップのための奥行き値を決定するように構成される。受動型奥行きセンサは、いかなる発光体も備えない。受動型奥行きセンサは、周囲光にのみ基づいて、第２の奥行きマップのための奥行き値を決定するように構成される。

光表示は、したがって、多くの実施形態において、シーンについての赤外光レベルを示す。光表示は、複数の表示を含む複合表示であり、とりわけ、光表示は、各値が例えば異なる周波数帯域における光レベルなどの異なる光特性を示す、複数の値によって形成される。特定の例として、光表示は、シーンについての可視光の度合い又はレベルを示す可視光表示と、シーンについての赤外光の度合い又はレベルを示す赤外光表示とを含む。

組合せは、第１の奥行きマップの奥行き値と、第２の奥行きマップの奥行き値との重み付けした組合せに応答して、出力奥行きマップのための奥行き値を決定することを含む。奥行き値のうちの少なくとも１つに対する重みは、第１の赤外光表示に依存する。

これは、多くの実施形態及びシナリオにおいて、改善された奥行きマップを提供する。特にこれは、異なるタイプの奥行きセンサによって生成される奥行きのより段階的な重み付けを提供し、多くの実施形態において、より正確な奥行き値をもたらす。

いくつかの実施形態において、能動型奥行きセンサは、赤外発光体を備え、赤外光の測定値に応答して、第１の奥行きマップのための奥行き値を生成するように構成される。受動型奥行きセンサは、少なくとも１つの可視光カメラを備え、可視光の測定値に応答して、第２の奥行きマップのための奥行き値を生成するように構成される。

これにより、多くの実施形態において、改善された奥行き値の生成が可能になる、及び／又は、より広範囲の用途及びシナリオにわたって奥行き情報が（自動的に）生成されることが可能になる。特に、本アプローチは、赤外線ベースの能動型奥行きセンサと、可視光周波数レンジにおいて画像を取り込むことに基づいた奥行きセンサとの、相補的な挙動及び特性を活用する。

いくつかの実施形態において、少なくとも１つの可視光カメラは、異なるビュー方向での複数の光カメラを備える。とりわけ、受動型奥行きセンサは、ステレオカメラを備える。そのような実施形態において、受動型奥行きセンサは、異なるビュー方向を有するカメラによって取り込まれた画像間の視差推定に応答して、奥行き値を決定するように構成される。

いくつかの実施形態において、光表示は、可視光表示をさらに含み、組合せは、可視光表示に応答する。

これにより、多くの実施形態及びシナリオにおいて、改善された奥行き値を提供する。周波数帯域は、例えばフル可視周波数レンジに対応しても（又はこれを含んでも）よいし、例えばフル可視周波数レンジのサブセットのみであってもよい。

多くの実施形態において、第２の奥行きマップの奥行きレベルの重み付けは、光の増加するレベルを示す可視光表示に対して増加する。

可視光表示は、可視光レベルなどの、シーンについての可視光特性を示す。

多くのシナリオにおいて、可視光表示は、受動型及び能動型の奥行きセンサの相対的性能の特に良好な指標である。

本発明のオプションの特徴に従って、第１の赤外光表示は、装置による赤外光の発光がないときの赤外光のレベルを示す周囲赤外光表示である。

これにより、多くの実施形態において、改善された動作及び／又は性能を提供する。これにより、例えば、能動型奥行きセンサの相対的性能をより正確に反映するように、システムが、奥行きマップの生成を適合させるのを可能にする。例えば、これにより、能動的な奥行き感知を行うときの干渉条件の推定及び考慮を可能にする。

本発明のオプションの特徴に従って、光決定器は、可視光カメラからのデータに基づいて、可視光表示を生成するように構成される。

これにより、多くの実施形態において、改善された性能を可能にし、及び／又は、複雑さを削減する。これにより、多くのシステムにおいて、局所的な光表示の生成を可能にし、それにより、より効率的で、局所的に最適化された奥行き値の生成を可能にする。

本発明のオプションの特徴に従って、データは、画像取り込み時間長を含む。

これにより、多くの実施形態において、改善された性能を可能にし、及び／又は、複雑さを削減する。これにより、多くのシステムにおいて、局所的な光表示の生成を可能にし、それにより、より効率的で、局所的に最適化された奥行き値の生成を可能にする。

画像取り込み時間は、とりわけ、カメラのためのシャッター時間であり、カメラの光記録素子（例えば、ＣＣＤ）によって光が収集される積分時間に対応する。

本発明のオプションの特徴に従って、データは、可視光カメラによって取り込まれた画像を含み、光決定器は、画像データ値に応答して、可視光表示を決定するように構成される。

これにより、多くの実施形態において、改善された性能を可能にし、及び／又は、複雑さを削減する。これにより、多くのシステムにおいて、局所的な光表示の生成を可能にし、それにより、より効率的で、局所的に最適化された奥行き値の生成を可能にする。本アプローチは、例えば、可視光表示が、個々のピクセルごとに光レベルを反映するのを可能にし、それにより、組合せがピクセルごとに最適化されるのを可能にする。このことは、改善された可視光表示に基づくので、本アプローチは、改善された赤外光表示の生成をさらに可能にする。

いくつかの実施形態において、光決定器は、画像データ値及び画像取り込み時間長に応答して、可視光表示を決定するように構成される。

いくつかの実施形態において、可視光表示は、画像の異なる領域に対して異なる値を含み、光決定器は、第１の領域に対応した領域において可視光カメラによって取り込まれた画像の画像データ値に応答して、画像の第１の領域のための可視光表示を生成するように構成される。同様に、赤外光表示は、異なる領域間で相異する可視光表示に基づくので、個々の領域について生成される。

これにより、光表示が、画像及び奥行きマップについての局所的な特徴を反映するのを可能にし、それに応じて、奥行き値の生成の局所的な最適化を可能にする。本アプローチは、例えば、可視光表示が、個々のピクセルごとに光レベルを反映するのを可能にし、それにより、組合せがピクセルごとに最適化されるのを可能にする。

本発明のオプションの特徴に従って、光表示は、赤外光スペクトルの周波数帯域における光測定値に応答して決定される、第２の赤外光表示を含む。

これにより、多くの実施形態及びシナリオにおいて、改善された奥行き値を提供する。周波数帯域は、例えば赤外線周波数レンジに対応しても（又はこれを含んでも）よいし、例えば赤外線周波数レンジのサブセットのみであってもよい。特に、直接測定した赤外光レベルと推定した赤外光レベルとの組合せは、第１の奥行きマップのために決定された奥行き値の信頼性及び精度の改善された推定を可能にする。

本発明のオプションの特徴に従って、第２の赤外光表示は、能動型奥行きセンサによる奥行き決定を行うために、シーンが照明されているときの赤外光レベルを示す。

これにより、多くの実施形態及びシナリオにおいて、改善された奥行き値を提供する。特に、これは、能動的な奥行き決定の信頼性のより正確な推定を可能にする。

本発明のオプションの特徴に従って、第１の赤外光表示は、能動型奥行きセンサによる奥行き決定を行うための、シーンの照明がされていないときの赤外光レベルを示す。

これにより、多くの実施形態及びシナリオにおいて、改善された奥行き値を提供する。特に、（発光がないときの）周囲光レベルを示す赤外光レベルと、能動的な奥行き感知の目的で光を発するときの赤外光レベルを示す光表示との組合せは、能動的な奥行き感知の性能の改善された推定をもたらす。特に、これにより、有効信号対干渉比又は干渉条件を推定することが可能になる。

本発明のオプションの特徴に従って、奥行きマッププロセッサは、赤外光の増加するレベルを示す第１の赤外光表示に対し、第２の奥行きマップの奥行き値と比べて第１の奥行きマップの奥行き値の重み付けを減少させるように構成される。奥行きマッププロセッサは、赤外光の増加するレベルを示す第２の赤外光表示に対し、第２の奥行きマップの奥行き値と比べて第１の奥行きマップの奥行き値の重み付けを増加させるように構成される。

これにより、多くの実施形態及びシナリオにおいて、改善された奥行き値を提供する。

本発明のオプションの特徴に従って、光表示は、画像の異なる領域についての個々の光表示値を含み、奥行きマッププロセッサは、個々の領域の光表示値に応答して、個々の領域ごとに奥行き値を組み合わせるように構成される。

これにより、奥行き値の生成の局所的な最適化を可能にする。本アプローチは、例えば、可視光表示が個々のピクセルごとに光レベルを反映するのを可能にし、それにより、組合せがピクセルごとに最適化されるのを可能にする。

本発明のオプションの特徴に従って、奥行きマッププロセッサは、可視光の増加するレベルを示す可視光表示に対し、第１の奥行きマップの奥行き値と比べて第２の奥行きマップの奥行き値の重み付けを増加させるように構成される。

これにより、多くの実施形態において、より正確な、及び／又はより信頼できる決定を提供する。

いくつかの実施形態において、奥行きマッププロセッサは、赤外光の増加するレベルを示す可視光表示に対し、第２の奥行きマップの奥行き値と比べて第１の奥行きマップの奥行き値の重み付けを増加させるように構成される。

これにより、多くの実施形態において、より正確な、及び／又はより信頼できる決定を提供する。

いくつかの実施形態において、光決定器は、受動型奥行きセンサの可視光カメラの画像データから、赤外光表示を推定するように構成される。光決定器は、可視光カメラによって取り込まれた画像の色チャンネルの第２のサブセットの画像データと、可視光カメラによって取り込まれた画像の色チャンネルの第１のサブセットの画像データとの比較に応答して、赤外光表示を決定するように構成される。

これにより、多くの実施形態において、より正確な、及び／又はより信頼できる決定を提供する。多くの実施形態において、第１のサブセットは、赤色チャンネルを含む。そのような多くの実施形態において、第２のサブセットは、すべての非赤色チャンネルを含む。例えば、ＲＧＢ値の場合、第１のサブセットはＲ色チャンネルを含み、第２のサブセットはＧ色及びＢ色チャンネルを含む。

第１のサブセットと第２のサブセットとは、異なるサブセットであり、とりわけ（しかし必ずしもではないが）、互いに素なサブセットである。

いくつかの実施形態において、可視光カメラは、赤外線減衰フィルタを備え、赤外線減衰フィルタは、第１のサブセットの少なくとも１つの色チャンネルと比べて、第２のサブセットの少なくとも１つの色チャンネルのために、より高い赤外線減衰を有するように構成される。

赤外線減衰フィルタは、とりわけ、赤外線遮断フィルタである。これにより、多くの実施形態において、より正確な、及び／又はより信頼できる決定を提供する。

本発明のオプションの特徴に従って、奥行きマッププロセッサは、可視光表示及び赤外光表示の両方に応答して、第２の奥行きマップの奥行き値に対する第１の奥行きマップの奥行き値の組合せ重み付けを決定するように構成される。

これにより、多くの実施形態において、より正確な、及び／又はより信頼できる決定を提供する。

いくつかの実施形態において、受動型奥行きセンサは、ステレオカメラを備え、ステレオカメラによって生成されたステレオ画像に行われる視差推定から、第２の奥行きマップを決定するように構成される。装置は、ステレオ画像についての空間的均一性表示を決定するようにさらに構成され、組合せは、空間的均一性に依存する。

これにより、多くの実施形態において、より正確な、及び／又はより信頼できる決定を提供する。

いくつかの実施形態において、受動型奥行きセンサは、少なくとも１つの可視光オートフォーカスカメラを備え、組合せは、可視光オートフォーカスカメラのオートフォーカスにさらに応答する。

これにより、多くの実施形態において、より正確な、及び／又はより信頼できる決定を提供する。

本発明の一態様によれば、シーンの画像についての奥行きマップを決定する方法が提供される。方法は、画像についての第１の奥行きマップを決定するステップであって、第１の奥行きマップが、能動型奥行きセンサによって決定される画像のピクセルについての奥行き値を含む、決定するステップと、画像についての第２の奥行きマップを決定するステップであって、第２の奥行きマップが、受動型奥行きセンサによって決定される画像のピクセルについての奥行き値を含む、決定するステップと、可視光スペクトルの周波数帯域における光レベルを示す可視光表示を決定するステップと、可視光表示から赤外光表示を推定するステップと、シーンについての光表示を決定するステップであって、光表示がシーンについての赤外光レベルを示す赤外光表示を含む、決定するステップと、第１の奥行きマップと第２の奥行きマップとを組み合わせることによって、画像についての出力奥行きマップを決定するステップとを有する。出力奥行きマップを決定するステップは、第１の奥行きマップの奥行き値と第２の奥行きマップの奥行き値との組合せとして、出力奥行きマップのための奥行き値を決定するステップを含み、組合せは、光表示に依存する。光表示を決定するステップは、可視光表示から、第１の赤外光表示を推定するステップを含む。

本発明のこれらの、並びに他の態様、特徴、及び利点は、以下に説明される実施形態から明らかとなり、実施形態を参照して解明されるであろう。

本発明の実施形態は、図面を参照して、例のみとして説明される。

本発明のいくつかの実施形態に従って、奥行きマップを決定するための装置の要素の例を示す図である。 本発明のいくつかの実施形態に従って、奥行きマップを決定するための装置の要素の例を示す図である。

図１は、画像についての奥行きマップを決定するための装置の例を示す。装置は、とりわけ、画像に取り込まれたシーンについての奥行きマップを決定する。画像の取り込みは、とりわけ、装置によって使用される奥行きセンサと同じ全体方向に取り込む、別個の従来型可視光カメラ１０１による。多くの実施形態において、カメラ及び奥行きセンサは、単一の筐体の中に密接して置かれて提供される。多くの実施形態において、画像を取り込むカメラは、実際にはまた、装置の奥行きセンサの一部であるカメラであってもよい。即ち、奥行きマップ生成は、画像も取り込むカメラによって取り込まれたデータに基づくことがある。

図１の装置は、異なるタイプの２つの奥行きセンサを備える。とりわけ、装置は、能動型奥行きセンサ１０３と、受動型奥行きセンサ１０５との両方を備える。

能動型奥行きセンサ１０３は、画像についての第１の奥行きマップを決定するように構成される。第１の奥行きマップは、能動型奥行きセンサ１０３によって決定される、画像のピクセルについての奥行き値を含む。能動型奥行きセンサ１０３は、このようにして奥行きマップのための奥行き値を決定し、ここで、奥行きマップは、所与のピクセルで画像の中に表現されるオブジェクトの推定される奥行きを反映する。

同様に、受動型奥行きセンサ１０５は、画像についての第２の奥行きマップを決定するように構成される。第２の奥行きマップは、受動型奥行きセンサ１０５によって決定される、画像のピクセルについての奥行き値を含む。受動型奥行きセンサ１０５は、このようにして奥行きマップのための奥行き値を決定し、ここで、奥行きマップは、所与のピクセルで画像の中に表現されるオブジェクトの推定される奥行きを反映する。

奥行きマップは、場合によって部分的なマップであってもよく、即ち、奥行き値は必ずしも、奥行きマップ及び／又は画像の、全部のピクセルについて提供されるわけではない。さらに、奥行きマップそれぞれの解像度が異なっていてもよく、さらには奥行きマップの１つ又は両方の解像度が、画像の解像度と異なっていてもよい。実際、多くの実施形態において、奥行きマップの解像度は、画像の解像度よりも低い。

能動型奥行きセンサは、シーンの特定の照明の想定に基づいて、奥行き感知を行う。とりわけ、能動型奥行きセンサは、（能動型奥行きセンサによって知られている／想定される）特性を有する光によって照明されるシーンの想定に基づいて、奥行き決定を行う。奥行き決定は、その特性におけるばらつきを検出すること、又は推定することに基づく。

例えば、能動型奥行きセンサ１０３は、空間的特性を有する光によって照明されるシーンの想定に応答して、奥行き値を決定する。奥行きは、シーンから取り込まれた光の空間的特性を検出し、これを、照明する光の空間的特性と比較することによって決定される。

多くの実施形態において、能動型奥行きセンサ１０３は、想定される／知られている空間的特性を有する光を発する発光体を備える。能動型奥行きセンサ１０３は、光を取り込むための光センサをさらに備え、取り込まれた光の空間的特性と、想定される／知られている空間的特性との比較に応答して、奥行き値を決定する。

とりわけ、図１のシステムにおいて、能動型奥行きセンサ１０３は、シーンの赤外線照明の特性に応答して奥行き値を決定するように構成され、したがって、能動型奥行きセンサ１０３は、赤外光に基づいて奥行き推定を行う。とりわけ、装置、及びしばしば能動型奥行きセンサ１０３それ自体は、光ドットのスペックルパターン又は規則的なグリッドなどの赤外光パターンを発する赤外発光体を備える。赤外光パターンは、異なる距離でシーンのオブジェクトに当たり、したがって例えば、パターンに歪みを生じさせ、その歪みを、能動型奥行きセンサ１０３の赤外線カメラが検出し、オブジェクトに対する奥行きを推定するのに使用することができる。

能動型奥行きセンサは、シーンを照明する光源を使用する傾向にある。この光源は、空間的又は時間的のいずれかに変調される。構造化した光源（空間変調）を使用するセンサの例は、Ｚ．Ｚｈａｎｇ、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ Ｓｅｎｓｏｒ ａｎｄ Ｉｔｓ Ｅｆｆｅｃｔ、ＩＥＥＥ Ｍｕｌｔｉｍｅｄｉａ、Ｖｏｌ．１９、Ｎｏ．２、４−１０頁、２０１２年に説明されている。奥行きを計算するために飛行時間を使用する、時間的に変調される光源の例は、Ｓ．Ｂｕｒａｋ Ｇｏｋｔｕｒｋ、Ｈａｋａｎ Ｙａｌｃｉｎ、Ｃｙｒｕｓ Ｂａｍｊｉ、Ａ Ｔｉｍｅ−Ｏｆ−Ｆｌｉｇｈｔ Ｄｅｐｔｈ Ｓｅｎｓｏｒ−Ｓｙｓｔｅｍ Ｄｅｓｃｒｉｐｔｉｏｎ、Ｉｓｓｕｅｓ ａｎｄ Ｓｏｌｕｔｉｏｎｓ、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐ、２００４年に説明されている。

受動型奥行きセンサは、周囲光に基づいて奥行きを決定するように構成され、したがって、シーンを照明する光のいかなる特定の特性も含まない、又は想定しない。とりわけ、奥行き感知は、シーンの取り込まれた画像において（少なくともいくつかの）画像オブジェクトを区別できるだけの十分な光があること以外は、光の想定がないことに基づく。とりわけ、決定は、シーンを照明する光のいかなる空間的なばらつきも想定せずに行われる。

例えば、多くの実施形態において、受動型奥行きセンサ１０５は、シーンの画像を取り込む２つの空間的にオフセットされたカメラを備え、画像におけるオブジェクト検出によって奥行き値を決定しようと努め、その後視差推定が続く。オブジェクト検出は、シーンを照明する光のいかなる特定の空間的特性も考慮せず、画像コンテンツ、及び２つの画像間のオブジェクトのマッチングに単に基づく。

受動型奥行きセンサは、別個の光源を使用する傾向がないが、代わりに、通常はもっぱら周囲光条件に依存する。よく知られた技法は、ステレオ視差推定であり、これは、２つの空間的にオフセットされたカメラにおけるオブジェクト間の位置の見かけ上のシフトを使用して、奥行きを計算する。別のよく知られた技法は、単一のカメラを使用し、しかし修正された絞りを使用する。この技法は、符号化絞りと呼ばれ、やはり奥行きを計算するために使用することができる。

いくつかの能動型奥行きセンサは、飛行時間推定に基づく。そのようなアプローチは、通常、特定の空間的照明パターンを使用しない。むしろ、そのような飛行時間アプローチは、しばしば、（ＦＭ又は別のやり方で）特定の光パルスを送信する光源（したがって、時間的パターン）に基づき、センサは、取り込まれた光を奥行き読み取りに変換できるように好適に構成されている。

通常、能動的な奥行き感知は。空間的及び／又は時間的な光パターン若しくは光特性を想定する奥行き決定に基づく。能動型奥行きセンサ１０３は、それに応じて、そのような空間的及び／又は時間的な光パターンを生成する光源を備え、そのパターンに応答して奥行きマップを生成する。実際、多くの実施形態において、装置は、赤外発光体を備え、赤外光の測定値に応答して、第１の奥行きマップのための奥行き値を生成するように構成される。例えば、赤外線パターンを作成する赤外光によって、シーンが照明される。このパターンは、オブジェクトによって反射され、オブジェクトの相対的な奥行きが、パターンの歪みをもたらす。能動型奥行きセンサ１０３はその場合、パターンにおける歪みに応答して、第１の奥行きマップのための奥行き推定値を決定する。別の例として、赤外線信号が生成されて、能動型奥行きセンサ１０３で送り返されることになる反射の時間が、異なる方向で推定される。奥行き推定値はその場合、これらの飛行時間測定値に応答して決定される。

システムにおいて、能動型奥行きセンサ１０３及び受動型奥行きセンサ１０５は、結合器／奥行きマッププロセッサ１０７に結合される。奥行きマッププロセッサ１０７は、第１の奥行きマップと第２の奥行きマップとを組み合わせることによって、画像についての出力奥行きマップを生成するように構成される。

いくつかの実施形態において、第１の奥行きマップ及び第２の奥行きマップは、同じビュー方向について／同じ座標系を基準にして生成される。したがって、奥行きマップ位置を直接比較することができる。したがって、多くの実施形態において、奥行きマップ間のビューポイント差は小さく（又は、実際に奥行きマップ同士が同じビューポイントを表す）、奥行きマップにおけるその位置は、直接互いに対応する。したがって、いくつかの実施形態において、第１の奥行きマップのある位置における奥行きピクセルと、第２の奥行きマップの同じ位置における奥行きピクセルとが、シーンにおける同じ位置／方向に直接相関する（と考えられる）。したがって、各奥行きマップの同じピクセル位置における奥行き値は、同じオブジェクトに関し、それに応じて、それらを直接組み合わせることができると想定することができる。

しかしながら、多くの実施形態において、生成された奥行きマップが、異なる座標系／ビューポイントを参照し、即ち、奥行きマップが、異なるビューポイントに関する奥行き値を含むことがある。とりわけ、奥行きマップが異なる空間的ロケーションから得られ、したがって、それぞれが、それ自体のカメラ座標系を有することがある。そのようなケースでは、第１の奥行きマップと第２の奥行きマップとが同じビューポイントについて提供されるようなビューポイントシフトによって、第１の奥行きマップ及び／又は第２の奥行きマップが、能動型及び受動型センサの最初の奥行きマップから生成される。したがって、第１の奥行きマップ及び第２の奥行きマップは、それらが同じ座標系に関するようなセンサの奥行きマップから生成され、その結果、第１の奥行きマップ及び第２の奥行きマップの同じ相対位置での奥行き値は、直接比較可能であり、シーンの同じ位置／オブジェクトに関する。

これは、例えば、カメラロケーションの知識、及び知られている奥行きパターンを使用する事前較正を使用して行うことができる。多くの実施形態において、奥行きマップ間でのビュー位置の調整は、１つの奥行きマップに適用されるビューポイントシフトによって達成され、その結果、その奥行きマップは、もう１つの奥行きマップと同じビューポイントを有する。別の例として、両方の奥行きマップが、画像を生成するカメラと同じビューポイントを有するようにシフトされる（実際は、特に受動型センサによって生成された奥行きマップのビューポイント方向にも対応する）。

いくつかの実施形態において、第１の奥行きマップと第２の奥行きマップとは、異なるビューポイントに関し、例えば、第１の奥行きマップと第２の奥行きマップとは、それぞれ、能動型奥行きセンサ１０３と、受動型奥行きセンサ１０５とによって直接生成された奥行きマップである。そのような実施形態において、組合せは、ビューポイントにおける差を考慮に入れるように構成される。例えば、１つの出力奥行き値のために組み合わせるための奥行き値を選択するとき、組合せは、もう１つの奥行きマップと比べた、奥行きマップのうちの１つの奥行き値について水平オフセットを含んで、ビューポイントオフセットを反映させる。

以下において、奥行きマップにおける位置への参照は、共有座標系において対応する位置に関する。奥行き値の位置は、とりわけ、第１の奥行きマップ及び第２の奥行きマップに（並びに、画像及び／又は出力奥行きマップに）共通の、参照ビューポイントを参照する。

とりわけ、第１の奥行きマップ及び第２の奥行きマップが同じビューポイント／座標系を参照するシナリオの場合、対応する位置又は同じ場所にある位置は、第１の奥行きマップ及び第２の奥行きマップにおける同じピクセル位置を指す。第１の奥行きマップと第２の奥行きマップとが異なる座標系又はビューポイントを参照するシナリオでは、それは、共有座標系／ビューポイントにおいて同じ位置に対応した、奥行きマップにおける異なるピクセル位置に関する。

以下の議論は、簡潔且つ明確にするために、第１の奥行きマップ及び第２の奥行きマップが同じ座標系／ビューポイントを参照する実施形態に重点を置く。ここで、奥行きマップにおける同じ位置とは、したがって、シーンにおける同じ位置／方向／視線を指す。しかしながら、これはシステムに必須ではなく、他の実施形態においては、異なる座標系に対する補償が採用されてもよいことが理解されるであろう。

奥行きマッププロセッサ１０７は、第１の奥行きマップ及び第２の奥行きマップのそれぞれにおいて対応する位置での、したがって、とりわけ、共有座標系の同じ位置への奥行き値を組み合わせることによって、出力奥行きマップにおける所与の位置での奥行き値を決定するように構成される。したがって、出力奥行きマップは、能動型奥行きセンサ１０３及び受動型奥行きセンサ１０５のそれぞれによって生成される奥行きマップを組み合わせることによって生成される。出力奥行きマップは、したがって、能動的及び受動的な奥行き感知の両方からの貢献を有する奥行き値を含む。

組合せは、いくつかの実施形態において、複雑度の低い選択組合せであり、その場合、例えば、出力奥行きマップの所与の位置のための奥行き値は、第１の奥行きマップにおけるその位置での奥行き値、又は第２の奥行きマップにおけるその位置での奥行き値のいずれかとして生成される。

他の実施形態において、出力奥行きマップの所与の位置のための奥行き値は、例えば、第１の奥行きマップにおけるその位置での奥行き値と、第２の奥行きマップにおけるその位置での奥行き値との重み付けした組合せとして生成される。したがって、出力奥行きマップの奥行き値は、第１の奥行きマップと第２の奥行きマップとの両方の奥行き値からの貢献を含む。

システムにおいて、組合せは、シーンについての光特性、とりわけ、シーンについての光レベルを示す光表示に依存する。光レベルは、光の量又は強さを反映する。光レベルは、ある周波数レンジ内のレベルである。例えば、可視光レベルは、（人間にとって可視である周波数レンジに対応した）可視スペクトルの周波数レンジにおいて、センサに入射する電磁放射線量の尺度である。可視光レベルは、いくつかの実施形態においては、可視スペクトルの周波数サブレンジにおいて、センサに入射する電磁放射線量の尺度である。例えば、可視光レベルは、所与の色レンジにおける光の量又は強さを反映する。可視光レベルは、赤外線スペクトルの周波数レンジにおいて、センサに入射する電磁放射線量の尺度であってもよい。

光表示は、とりわけ、シーンにおける赤外光の特性を示す第１の赤外光表示を含む。とりわけ、赤外光表示は、シーンにおける赤外光のレベル、とりわけ、シーンの赤外線照明を示す。

したがって、その光特性は、とりわけ赤外光レベルであり、したがって、多くの実施形態において、光表示は、シーンについての赤外光のレベルを示す赤外光表示を含む。赤外光表示は、（例えば、周囲による、又は専用光源による）シーンの赤外線照明の度合いを示す。赤外光表示は、シーンから装置に届く光の量の表示を提供し、とりわけ、奥行きセンサのうちの１つ又は両方に届く（例えば、所与の周波数スペクトルにおける）赤外光の量の尺度、又は推定値である。

それに応じて、図１の奥行き決定装置は、シーンについての光表示を決定するように構成された光決定器１０９を備える。ここで、光表示は、シーンについての赤外光特性又はプロパティを示す、とりわけ、シーンについての赤外光レベルを示す、第１の赤外光表示を含む。光決定器１０９は、光表示を提供される奥行きマッププロセッサ１０７に結合され、光表示はその場合、第１の奥行きマップと第２の奥行きマップとの組合せを適合させるために使用される。

システムにおいて、光決定器１０９は、可視光スペクトルにおける周波数帯域について決定される可視光表示から、第１の赤外光表示を推定するように構成される。とりわけ、光決定器１０９は、（可視光スペクトルの好適な周波数帯域における）可視光のレベルを測定し、次いでこの可視光から、（赤外光スペクトルの好適な周波数帯域における）赤外光のレベルを推定する。この推定された光レベルは次いで、赤外光表示として使用され、実際、光表示として直接使用されることがある。したがって、いくつかの実施形態において、光表示は、単一のパラメータ、即ち、赤外光表示のみを含むことがある。

したがって、システムにおいて、第１の奥行きマップと第２の奥行きマップとの奥行き値の組合せは、第１の赤外光表示に依存し、第１の赤外光表示は、可視光スペクトルの周波数帯域について決定された可視光表示に基づいた推定値として決定される。

第１の赤外光表示は、とりわけ、奥行き決定のために提供される赤外線照明がない時間の間の、例えば、送信される赤外線パターンがなく、飛行時間測定のために生成される赤外線信号がない時間の、シーンの赤外光のプロパティを示し、典型的には赤外光のレベルを示す。むしろ、第１の光表示は、能動型奥行きセンサが能動的でない（というよりも、奥行き感知のための赤外線照明が能動的でない）時間の、シーンについての赤外光レベルの表示を提供する。第１の赤外光表示は、したがって、周囲光表示とも呼ばれることになる。

周囲光表示は、とりわけ、取り込まれるシーンに存在する周囲赤外光の量を反映する。例えば、強い太陽光下のビーチ又は海辺の屋外シーンの場合、赤外光の量は通常高く、これが周囲光表示に反映される。対照的に、例えばリビングルームの屋内シーンの場合、赤外光表示は比較的低い。２つの状況において、奥行き感知を行うときに能動型センサによって生成される赤外光と、最前面オブジェクト（例えば人）から能動型奥行きセンサ１０３に反射して返る赤外光とが、同じであることがある。しかしながら、そのようなケースでは、周囲光表示は、反射した赤外光ではなく、周囲赤外光レベルを反映する。

周囲光表示は、多くのシナリオにおいて、例えば、赤外光によって能動的に照明されるシーンに基づく能動的な奥行き推定に対する干渉を反映するように考えられる。例えば、いくつかの実施形態において、能動型奥行きセンサ１０３は、シーンにおけるオブジェクトによって反射されたとき、赤外線パターンの検出された歪みに応答して決定された奥行き推定と共にこのパターンを送信する。しかしながら、（例えば、大量の太陽光のために）高いレベルの周囲赤外光がある場合、奥行き推定は、明るい赤外線画像においては特定のパターンを検出することがより難しいことから、あまり正確でないことがある。しかしながら、可視光に応答して赤外光表示を決定することにより、この周囲光の推定値を提供し、したがって、これを使用して、赤外線周囲光の度合いを反映するように、組合せを適合させることができる。

可視光スペクトルにおける測定値に基づいて（周囲）赤外光を推定するアプローチは、多くの典型的なシナリオにおいて、正確な推定値をもたらすことがわかっている。さらに、本アプローチは、決定が、他の目的のためにしばしば存在するデータ、測定値、及び／又は機能に基づくことを可能にする。例えば、決定は、受動的な奥行き決定のためなどに使用される、標準的な光センサに、及び／又は、可視光カメラによって提供されたデータに基づくことがある。通常、赤外線奥行きカメラなどの受動型赤外線奥行きセンサは、赤外線環境についていかなる情報も提供しない。実際、典型的な赤外線能動型奥行きセンサは、奥行き感知が行われているとき、即ち、能動的赤外線信号によってシーンが照明されるときに、せいぜい赤外線のレベルを反映する光表示を提供する程度である。そのような赤外線センサ／カメラは、所望の光と干渉する光との間でいかなる区別もできず、即ち、奥行き決定のための有効信号対雑音比のいかなる推定も可能にしない。多くの実施形態において、光決定器１０９は、シーンから可視光のレベルを測定するように構成された可視光センサを備える。

複雑度の低い例として、光決定器１０９は、シーンについての全体の光レベルを単純に測定するフォトセンサを備え、即ち、フォトセンサは、フォトセンサに入射する光のレベルを単純に測定する。この測定は、光表示を決定するために使用される。フォトセンサは、可視光の全体のレベルを測定するように構成され、したがって、例えば、現在の画像が、明るい屋外の太陽光を反射するシーンか、薄明りを反射するシーンか、屋内の暗い部屋を反射するシーンかなどの、どれについて取り込まれるのかの良好な表示を提供する。さらに、赤外光表示は、可視光表示から決定される。例えば、赤外線レベルが、決定された可視光レベルの所定の割合であると考えられるような、比例係数が使用される。

実際、多くの実施形態において、赤外光レベルは、測定された可視光レベルの単調増加関数として決定される。関数は、通常、所定の関数である。例えば、複雑度の低い実施形態において、赤外光表示は、測定された可視光レベルの所定の割合として推定された赤外光レベルとして与えられる。

そのようなシナリオにおいて、奥行きマッププロセッサ１０７は、全体の赤外光レベルのこの表示に基づいて、第１の奥行きマップと第２の奥行きマップとを組み合わせるように構成される。

例えば、シーンが非常に明るいことを光表示が示すとき、第２の奥行きマップからの奥行き値、即ち、受動型奥行きセンサ１０５が生成した奥行き値は、非常に高く重み付けされ、一方で、第１の奥行きマップからの奥行き値、即ち、能動型奥行きセンサ１０３からの奥行き値は、低い重みを有する。代わりに、シーンが非常に暗いことを光表示が示す場合、第１の奥行きマップからの奥行き値、即ち、能動型奥行きセンサ１０３が生成した奥行き値は、非常に高く重み付けされ、一方で、第２の奥行きマップからの奥行き値、即ち、受動型奥行きセンサ１０５からの奥行き値は、低い重みを有する。実際、いくつかの実施形態においては、選択組合せが使用される。この場合、奥行きマッププロセッサ１０７は、光表示が所与の閾値を下回る光レベルを示すとき、第１の奥行きマップの奥行き値を選択し、光表示が所与の閾値を上回る光レベルを示すとき、第２の奥行きマップの奥行き値を選択する。

そのようなアプローチは、したがって、可視光レベルが高いときに、受動型奥行きセンサ（例えば、可視光ステレオカメラ）が有益な条件で動作する可能性が高いことを反映する。同時に、赤外光レベルが非常に高いことがある（例えば、可視レンジ及び赤外線レンジの両方において、明るい照明をもたらす明るい日差しを示す）。したがって、シーンが、高い赤外線反射率を提供し、したがって能動的な照明からの明るい反射赤外線パターン（又は他の信号）を提供するにもかかわらず、高いレベルの周囲赤外光の存在が、パターン検出について信号対雑音比が非常に低い結果をもたらし、したがって、比較的不正確な能動的な奥行き決定をもたらすことがある。対照的に、低い可視光の場合、周囲赤外光から、生成された能動的赤外光への干渉がないので、受動型奥行きセンサが良好に働く可能性は低く、一方で、能動型奥行きセンサは良好に働く。

それに応じて、システムは、シーンの明かりに基づいて、能動型奥行きセンサ１０３及び受動型奥行きセンサ１０５からの奥行き値を動的に組み合わせる。これにより、生成される奥行きマップを実質的に改善し、特に、著しく広範囲の取り込み環境に使用可能な奥行きマップを提供することができる奥行き決定装置を提供する。

多くの実施形態において、装置、とりわけ、能動型奥行きセンサ１０３は、赤外発光体を備え、赤外光の測定値に応答して、第１の奥行きマップのための奥行き値を生成するように構成される。さらに、受動型奥行きセンサ１０５は、少なくとも１つの可視光カメラを備え、可視光の測定値に応答して、第２の奥行きマップのための奥行き値を生成するように構成される。とりわけ、受動型奥行きセンサ１０５は、画像を生成するために可視光を取り込む２つの空間的にオフセットされたカメラを有するステレオカメラを備える。

図２は、そのような実施形態の例を示す。

本例において、受動型奥行きセンサ１０５は、赤外発光体２０１を備え、赤外発光体２０１は、赤外光を発し、とりわけ、赤外光のパターンを発する。受動型奥行きセンサ１０５は、赤外線カメラ２０３をさらに備え、赤外線カメラ２０３は、シーンから赤外光を取り込むように構成され、とりわけ、シーンのオブジェクトから反射した、発光パターンを記録することができる。

赤外線カメラ２０３は、第１の奥行きプロセッサ２０５に結合され、第１の奥行きプロセッサ２０５は、赤外線カメラ２０３から受信した画像に基づいて、第１の奥行きマップのための奥行き値を生成するように構成される。

例えば、第１の奥行きプロセッサ２０５は、検出された赤外光パターンと、投影されたパターンについての知識との比較に応答して、画像の異なる部分についての奥行き値を決定するように構成される。したがって、パターンにおける歪み及び偏向を使用して、奥行き値を決定する。別の例として、赤外線カメラ２０３は、ステレオカメラであってもよく、第１の奥行きプロセッサ２０５は、赤外線カメラ２０３によって生成された２つの画像においてパターンの対応する部分の推定された視差から、奥行き値を決定するように構成される。

受動型奥行きセンサ１０５は、異なるビュー方向から２つの同時画像にシーンを取り込むように構成されたステレオカメラを備える。本例において、ステレオカメラは、２つの空間的にオフセットされた可視光カメラを備え、そのうちの１つのカメラ１０１は、奥行きマップが決定される画像もまた提供している。したがって、（図１の可視光カメラ１０１に対応する）第１のカメラ１０１によって取り込まれた画像は、奥行きマップが生成される出力画像だけでなく、第２の奥行きマップを決定するために受動型奥行きセンサ１０５によってもまた使用される。本例において、ステレオカメラは、第１のカメラ１０１と同時に画像を取り込む第２の可視光カメラ２０７をさらに備える。２つのカメラは、同一の、空間的にオフセットされたカメラである。

２つの可視光カメラ１０１、２０７によって取り込まれた画像は、第２の奥行きプロセッサ２０９に送り込まれる。第２の奥行きプロセッサ２０９は、２つの受信した画像の間の視差推定によって、第１のカメラ１０１からの画像についての奥行き値を生成するように構成される。第２の奥行きプロセッサ２０９は、とりわけ、２つの画像において対応する画像オブジェクトを識別し、２つの画像における画像オブジェクトの位置の相対的なオフセットから、即ち、視差から、そのようなオブジェクトについての奥行きを決定しようと努める。したがって、受動型奥行きセンサ１０５の奥行き決定は、シーンの照明の特定の想定又は知識には基づかない。

シーンの能動的な照明に基づいて奥行き決定を行う能動型奥行きセンサ１０３とは対照的に、受動型奥行きセンサ１０５は、シーンの周囲明かりに基づいて奥行きを決定する。

いくつかの実施形態において、光決定器１０９は、シーンについての広く全体の光レベルを単純に測定する光センサ２１１を備える。

多くの実施形態において、測定された光は、シーンにおける可視光のレベルの尺度である。したがって、光表示は、可視光表示に基づいて、とりわけ、可視光測定値に基づいて決定された赤外光表示を含む。多くの実施形態において、光表示は、可視光表示をさらに含み、即ち、光表示は、可視光表示及び赤外光表示の両方を含む複合光表示である。

可視光表示は、可視光スペクトルの周波数帯域について決定される、周波数帯域は、可視光スペクトルの全体を含んでも、又は、例えば可視光スペクトルのサブレンジのみであってもよい。多くの実施形態において、光センサ２１１は、単に、可視スペクトルの外側の光に対してよりも可視光に対して感度が増加するセンサであり、それに応じて、シーンの可視光照明を反映する光測定値を提供し、即ち、可視光表示を自動的に提供する。

奥行きマッププロセッサ１０７は、光表示に基づいて、第１の奥行きマップと第２の奥行きマップとを組み合わせる。例として、奥行きマッププロセッサ１０７は、周囲赤外光レベルが所与のレベルを下回ることを光表示が示す場合に、第１の奥行きマップを選択し、そうでない場合に第２の奥行きマップを選択する。多くの実施形態において、選択組合せは、周囲赤外光表示が閾値を上回るか、それとも下回るかに応答して、奥行きマップのうちの１つを選択することによって行われる。

他の実施形態において、出力奥行き値は、第１の奥行きマップ及び第２の奥行きマップのための値の重み付けした組合せによって生成される。ここで、重み付けは、周囲赤外光表示に依存する。とりわけ、出力奥行き値は、第１の奥行きマップと第２の奥行きマップとの奥行き値の重み付けした和として、例えば、以下のように計算される。
ｄ_ｏｕｔ（ｘ，ｙ）＝α・ｄ_２（ｘ，ｙ）＋（１−α）ｄ_１（ｘ，ｙ）、
ここで、ｄ_１（ｘ，ｙ）及びｄ_２（ｘ，ｙ）は、位置ｘ及びｙそれぞれにおける第１の奥行きマップと第２の奥行きマップとの奥行き値であり、αは、検出された可視光の量を示す（［０；１］）の区間で）正規化した値として提供される可視光表示である（より高い値がより高い光レベルを示す）。

上で説明したような多くのシステムにおいて、第１の奥行きマップの奥行きレベルと比べた第２の奥行きマップの奥行きレベルの重み付けは、赤外光の増加するレベルを示す周囲赤外光表示に対して増加する。例えば、反射した赤外光の発光量が、比較的一定であるものと想定する。周囲赤外光の量は、したがって、能動型奥行きセンサ１０３のための信号対雑音比として直接使用される。これは、上の組合せにおいて反映される。周囲赤外光レベルがより高ければ、能動型奥行きセンサ１０３による取り込まれた赤外線画像についての信号対干渉又は信号対雑音はより低くなり、したがって、第１の奥行きマップ値の重み付けはより低くなる。

いくつかの実施形態において、光決定器１０９は、シーンが能動的な奥行き決定のために照明されるとき、シーンにおける赤外光の第２の表示をさらに含むように、とりわけ、これが装置によって照明されるとき、シーンにおける赤外光のレベルの第２の表示をさらに含むように、光表示を決定する。そのような表示を、以下で能動的赤外光表示と呼ぶことにする。したがって、光表示は、能動的赤外光表示を含む。

実際、能動的赤外光表示は、能動的な奥行き決定のための赤外線「信号」（又は信号プラス干渉）の表示であると考えられ、周囲赤外光表示は、能動的な奥行き決定に対する干渉の表示である考えられる。能動的赤外光表示及び周囲赤外光表示によって提供される組み合わされた情報は、したがって、能動型奥行きセンサ１０３の奥行き感知性能の非常に良好な表示を提供する（情報は、信号対干渉比を示す）。したがって、第１の奥行きマップと第２の奥行きマップとの組合せは、周囲赤外光表示及び能動的赤外光表示の両方に応答する。

能動的赤外光表示は、赤外光スペクトルの周波数帯域について決定され、とりわけ、シーンが照明される時間の間の、通常、能動的な奥行き決定が実際に行われている時間の間の、赤外光スペクトルにおける赤外光の直接測定によって決定される。周波数帯域は、赤外光スペクトルの全体を含んでも、又は、例えば赤外光スペクトルのサブレンジのみであってもよい。多くの実施形態において、光センサ２１１は、赤外線センサである、又は赤外線センサを含み、赤外線センサは、赤外線スペクトルの外側の光に対してよりも赤外光に対して感度が増加し、それに応じて、シーンの赤外光照明を反映する光測定値を提供し、即ち、赤外光表示を自動的に提供する。

奥行きマッププロセッサ１０７は、周囲赤外光表示及び能動的赤外光表示の両方に基づいて、第１の奥行きマップと第２の奥行きマップとを組み合わせる。例として、奥行きマッププロセッサ１０７は、能動的赤外光表示と周囲赤外光表示との比が所与のレベルを上回る場合に、第１の奥行きマップを選択し、そうでない場合に第２の奥行きマップを選択する。

他の実施形態において、出力奥行き値は、第１の奥行きマップ及び第２の奥行きマップのための値の重み付けした組合せによって生成される。ここで重み付けは、能動的赤外光表示及び周囲赤外光表示の両方に依存する。とりわけ、出力奥行き値は、第１の奥行きマップと第２の奥行きマップとの奥行き値の重み付けした和として、例えば、以下のように計算される。
ｄ_ｏｕｔ（ｘ，ｙ）＝β・ｄ_１（ｘ，ｙ）＋（１−β）ｄ_２（ｘ，ｙ）、
ここで、ｄ_１（ｘ，ｙ）及びｄ_２（ｘ，ｙ）は、位置ｘ及びｙそれぞれにおける第１の奥行きマップと第２の奥行きマップとの奥行き値であり、βは、赤外光信号対雑音比を示す（［０；１］）の区間で）正規化した値として、能動的赤外光表示及び周囲赤外光表示の両方に基づいて生成された値（例えば、これらの差又は比）である。

上で説明したような多くのシステムにおいて、第２の奥行きマップの奥行き値と比べた第１の奥行きマップの奥行き値の重み付けは、周囲赤外光レベルと比べた能動的赤外光レベルの増加するレベルを示す赤外光表示に対して増加する。同時に、第２の奥行きマップの奥行きレベルと比べた第１の奥行きマップの奥行きレベルの重み付けは、周囲赤外光表示の増加するレベルを示す赤外光表示に対して減少する。そのようなアプローチは、能動的な奥行き決定のために有効信号対干渉比のばらつきに対する有効な応答を提供する。例えば、奥行きマッププロセッサ１０７は、例えば、能動的赤外光表示から周囲赤外光表示を減算することによって、差異赤外光表示を決定するように構成される。第１の奥行きマップのための、即ち、能動型奥行きセンサ１０３によって決定された奥行き値のための重みはその場合、この差異表示の単調増加関数として（且つ第２の奥行きマップのための重みは、この差異表示の単調減数関数として）決定される。

組合せが能動的赤外光表示及び周囲赤外光表示の両方に基づくアプローチは、多くの実施形態において、特に効率的な動作を提供する。とりわけ、多くの用途において、それは既存の市販の機器の使用を可能にする。実際、最も広く利用可能な能動型奥行きセンサは、奥行き感知を行うときに赤外光レベルの表示を提供し、即ち、赤外線ベースのカメラなどの多くの既存の能動型奥行きセンサが、能動的な光状況の表示を直接提供することができる。このデータを、能動的赤外光表示として直接使用することができ、又はそのような能動的赤外光表示を、このデータから決定することができる。

しかしながら、組合せをそのような情報にのみ基づかせることは、多くのシナリオにおいて非効率的である。例えば、非常に明るい太陽光において、周囲光レベルは、通常非常に高い。したがって、シーンが能動型光センサによって照明され、能動的な奥行き感知が行われるとき、合計の赤外光レベルは非常に高く、これが高レベルを示す能動型奥行きセンサによって反映されることになる。しかしながら、そのような高い赤外光レベルが、高レベル反射の有益な条件によるのか、それとも高干渉の光レベルによる悪条件を示すのかを、装置が決定することは可能ではない。したがって、この能動的赤外光表示のみに基づいた組合せを行うことによって、誤った組合せ又は少なくとも最適とはいえない組合せが、劣化した奥行きマップをもたらすリスクは高い。残念ながら、典型的な標準の能動型奥行きセンサから通常利用可能な他の情報はない。

しかしながら、説明したシステムにおいては、周囲赤外光表示がさらに生成され、とりわけ、能動的な奥行き感知を行うためにシーンの照明が行われていない時間の間に、生成される。これにより、システムが、先の段落で説明した異なるシナリオ間で区別することが可能になり、したがって、組合せを改善することが可能になる。さらに、周囲赤外光表示は、既に利用可能な機能によって通常生成される可視光測定値に基づいて決定される。特に、周囲赤外光表示は、例えば、可視光カメラである受動型奥行きセンサ１０５に基づいて決定される。したがって、改善された組合せを達成し、改善された奥行きマップの生成をもたらす。さらにこれは、標準的な機能、実際には、典型的に市販の（能動型及び受動型両方の）奥行きセンサを可能にしながら達成される。

多くの実施形態において、装置は、可視光表示と、１つ又は複数の赤外光表示との両方を含むように光表示を生成するように構成される。例えば、光センサ２１１は、可視光スペクトルの周波数帯域における光を測定し、この可視光から、赤外光スペクトルの周波数帯域における光を推定するように構成される。即ち、光センサ２１１は、可視光表示及び周囲赤外光表示の両方を決定する。加えて、能動型奥行きセンサ１０３は、能動的赤外光表示を決定する。

光表示は、複数の値を含むように生成される。ここで、ある値は、可視光周波数帯域における光のレベルを示し、別の値は、奥行き感知赤外線照明が行われていないときの赤外線周波数帯域における光のレベルを示し、また別の値は、奥行き感知赤外線照明が行われているときの赤外線周波数帯域における光のレベルを示す。したがって、光表示は、可視光表示、能動的赤外光表示、及び周囲赤外光表示を含む。

したがって、多くの実施形態において、光表示は、可視光表示及び赤外光表示の両方を含む。ここで、可視光表示は、赤外光表示よりも可視周波数レンジ内の光プロパティにより高い依存性を有し、赤外光表示は、可視光表示よりも赤外線周波数レンジ内の光プロパティにより高い依存性を有する。

そのような実施形態において、組合せは、可視光表示及び赤外光表示の両方にさらに依存する。例えば、両方の値を閾値と比較することができ、組合せのアプローチをそれに応じて調整することができる。

例えば（表示が、増加する光レベルに対して増加する値を有する単一の値として与えられると想定して）、可視光表示が第１の閾値を上回り、赤外光表示が第２の閾値を下回る場合、第２の奥行きマップが使用される。可視光表示が第１の閾値を下回り、赤外光表示が第２の閾値を上回る場合、第１の奥行きマップが選択される。赤外光表示及び可視光表示の他の値については、第１の奥行きマップと第２の奥行きマップとの奥行き値の平均を取ることによって、出力奥行きマップが生成される。

別の例として、可視光表示及び周囲赤外光表示の両方に基づいて重み付けした組合せが、奥行きマッププロセッサ１０７によって使用される。特定の例として、出力奥行き値は、以下のように計算される。

異なる実施形態において、重み付けした組合せを行うために多くの他の式及び関数を使用できること、且つ個々の実施形態の選好及び要件に応じて、個々の重みを決定するために多くの他の式及び関数を使用できることが理解されるであろう。

装置は、多くのシナリオにおいて、より正確である出力奥行きマップを生成する。とりわけ、装置は、より幅広い動作シナリオにおいて奥行きマップを決定するのに好適である。実際、発明者らは、シーンについての光特性に基づいて、能動的な奥行き感知を受動的な奥行き感知と組み合わせることによって、改善された奥行きマップの生成及び応用シナリオへの適合を達成できることを認識した。

図２の装置は、ハイブリッドシステムを提供する。ここでは、赤外光源による能動的な奥行き感知と、受動型ステレオカメラ（視差推定）との両方が、奥行き感知のために使用される異なるモダリティの特性を活用することによって、改善された性能を提供するために組み合わされる。システムは、ほとんどのシナリオにおいて、能動的な奥行き感知又は受動的な奥行き感知のいずれかに基づいた従来のシステムよりも実質的に優れている。

上で説明した多くの実施形態において、光表示は、専用の光センサからの測定値に少なくとも部分的に基づいて生成される。しかしながら、多くの実施形態において、システムは、カメラの１つ又は両方からのデータを使用して光表示を生成する。とりわけ、多くの実施形態において、光決定器１０９は、カメラ１０１に結合され、このデータに応答して光表示（とりわけ、周囲赤外光表示）を生成するように構成される。

説明したように、第１のカメラ１０１は、出力画像を生成するためにもまた使用される可視光カメラであり、実際、出力画像は、奥行き視差のために受動型奥行きセンサ１０５によってもまた使用される。しかしながら、光表示を生成するために使用されるカメラをまた、出力画像を生成するために使用する必要も、又は受動的な奥行き決定の一部として使用する必要もないことが理解されるであろう。それにもかかわらず、多くの実施形態において、多目的のために同じカメラを使用するという複雑さの低減及び相乗効果は極めて有利である。例えば、それは、光表示が、奥行き感知のために使用される画像に取り込まれた光を非常に正確に反映させること、したがって、この画像に基づいて達成され得る奥行き感知性能の非常に正確な表示を提供することをもたらす。さらには、周囲赤外光の有利な表示を提供するフル可視スペクトルの取り込みをもたらす。

図２のシステムにおける第１のカメラ１０１は、可視光カメラであり、したがって、カメラからのデータは、可視光表示を生成するために使用される。このデータは次いで、赤外光表示を生成するために使用される。

いくつかの実施形態において、広域可視光表示が生成され、とりわけ、可視光のレベルを示す単一の値が生成される。

いくつかの実施形態において、可視光表示、及びそれゆえに周囲赤外光表示は、画像を取り込むときに第１のカメラ１０１によって使用される露出設定／露出値に応答して生成される。

とりわけ、いくつかの実施形態において、可視光表示は、画像を取り込むときに第１のカメラ１０１によって使用される画像取り込み時間長に応答して生成される。画像取り込み時間長は、例えば、光を収集する第１のカメラの画像センサの積分時間に基づいて決定される。したがって特に、可視光表示は、カメラのシャッター時間に基づいて生成され、実際、いくつかの実施形態において、シャッター時間として直接生成される。

同様に、いくつかの実施形態において、可視光表示は、画像を取り込むときに第１のカメラ１０１によって使用される絞りに応答して生成される。絞りは、例えば、レンズの開きを示すｆ−ストップ値として光決定器１０９に提供される。

多くの実施形態において、光決定器１０９は、取り込み時間長及び絞りの両方の関数として、可視光表示を決定するように構成される。例えば、光決定器１０９は、ルックアップテーブルを備え、この中で、シャッター時間と絞りとのさまざまな組合せが、可視光表示として使用され得る光レベル値を提供する。

そのようなアプローチは、自動露出機能を用いるカメラに特に好適である。そのようなアプローチは、例えば、画像についての平均露出などの所与の露出を有する画像を生成するために、絞り、シャッター時間、又はその両方を調整しようと努める。選択されたシャッター及び絞りは、それに応じて、シーンの全体の光レベルの良好な表示を提供する。

いくつかの実施形態において、可視光表示は、代替として又は追加として、取り込まれた画像（例えば、出力画像、又は奥行き感知のために使用される画像）の画像データ値に応答して決定される。

とりわけ、可視光表示は、取り込まれた画像のピクセル値に応答して決定される。

いくつかの実施形態において、画像全体のために使用される広域可視光表示が生成される。例えば、光決定器１０９は、平均ピクセル値を決定し、これを可視光表示として使用するように構成される。

いくつかの実施形態において、画像データは、露出値と、即ち、取り込み時間及び／又は絞りと組み合わされる。例えば、シャッター時間及びｆ−ストップに基づいて、光決定器１０９は、テーブルルックアップを実行して、初期光レベル推定値を決定する。次いでこの値に、（例えば、［０；１］のレンジに正規化した）平均ピクセル値を掛けて、シーンについての可視光レベルの推定値を提供する。

他の実施形態において、可視光表示は、露出値を考えずに生成される。例えば、平均ピクセル値を、可視光表示として直接使用する。そのような表示は、異なる露出に対してシーンの照明のあまり正確ではない表示を提供するが、画像の露出のより正確な表示を提供する。したがって、この画像に基づいた奥行き推定がどのように行われるかについて、より正確な表示を提供する。言い換えれば、そのようなアプローチにおける可視光表示は、露出設定を考慮に入れ、補償し、その結果、取り込まれた画像への露出設定の影響もまた可視光表示に反映される。

周囲赤外光表示が次いで、可視光表示から決定され、したがって、周囲赤外光表示は、第１のカメラ１０１によって提供される情報から決定され得る。さらに、本例において、周囲赤外光表示は、標準的なカメラによって通常提供される情報から、即ち、露出情報（絞り、シャッタースピード）並びに取り込まれた画像データから決定される。したがって、本アプローチは、標準的なカメラの使用を可能にする。

実際、本アプローチ特有の利点は、多くの実施形態において、改善された出力奥行きマップの生成を可能にしながら、標準的な市販の能動型及び受動型の奥行きセンサの使用を可能にすることである。

先の例において、生成された光表示は、広域光表示であり、即ち、光表示は画像のすべてのエリアに適用される。しかしながら、いくつかの実施形態において、システムは、画像の異なる部分について変化する光表示を生成するように構成される。異なる領域についての光表示値は、以下で、局所的な光表示又は局所的な光表示値と呼ばれる。

いくつかの実施形態において、可視光表示、及びそれゆえに周囲赤外光表示は、したがって、画像の異なる領域について異なる値を含む。したがって、光表示は、画像の異なる領域について個々の光表示値を含むように生成される。これらの局所的な光表示値は次いで、第１の奥行きマップと第２の奥行きマップとの奥行き値の組合せを行うために、各領域で使用される。したがって、奥行きマッププロセッサ１０７は、個々の領域の光表示値に応答して、個々の領域ごとに奥行き値を組み合わせる。

実際、多くの実施形態において、光決定器１０９は、ピクセルごとに別個の光表示値を生成するように構成される。いくつかの実施形態において、正規化された各々のピクセル値を可視光表示値として直接使用することさえあり、したがって、光表示は、画像及び奥行きマップと同じ解像度を有する値のマップとして提供される。他の実施形態において、光表示マップは、画像よりも低い解像度で生成される。この低めの解像度マップの値は、例えば、所望の解像度に対応する画像ブロック内のピクセル値を平均化することによって生成される。これは、例えば、第１の奥行きマップ及び／又は第２の奥行きマップが画像よりも低い解像度を有する実施形態に特に好適である。

いくつかの実施形態において、局所的な可視光表示値は、単に画像データ値（ピクセル値）だけでなく、その他の又は追加的なパラメータに基づいて生成されることが理解されるであろう。例えば、可視光表示値は、ピクセル値にシャッター時間及び絞り値を掛けることによって、個々のピクセルごとに計算される（例えば、その後に正規化が続く）。

そのような実施形態において、組合せは、したがって局所的に適合される。例えば、可視光表示から決定された周囲赤外光表示が閾値を上回るのか、それとも下回るのかに応じて、ピクセルごとの奥行き値が、奥行きマップから選択される。同様に、奥行き値は、個々の領域について、とりわけ個々のピクセルについて決定された重みを使用する、重み付けされた組合せに基づいて決定される。

例えば、出力奥行き値は、以下のように生成される。
ｄ_ｏｕｔ（ｘ，ｙ）＝α（ｘ，ｙ）・ｄ_２（ｘ，ｙ）＋（１−α（ｘ，ｙ））ｄ_１（ｘ，ｙ）

組合せが周囲赤外光表示及び能動的赤外光表示の両方に依存する実施形態において、これらの表示の両方が、空間的なばらつき（即ち、局所的な値）を有する、又は例えば、それらのうちの１つのみが異なる領域について異なることがある。

例えば、出力奥行き値は、

などにおいて、局所的な周囲赤外光表示値と、広域の能動的赤外光表示値とに基づいて計算される。又は、例えば、出力奥行き値は、

などにおいて、局所的な周囲赤外光表示値及び能動的赤外光表示値の両方に基づいて計算される。

局所的に適合される奥行き値の生成は、多くのシナリオにおいて改善された性能を提供し、とりわけ、より正確な奥行きマップを提供する。例えばそれは、従来のアプローチとは対照的に、多くのシナリオにおいて、明るいエリア及び暗いエリアの両方に、正確な奥行き値を提供する。例えば、非常に明るい（よく晴れた）屋外の光条件では、奥行き値が能動型奥行きセンサ１０３の出力から取得される影の領域におけるピクセル値以外の、すべての画像ピクセルの値についての奥行き値を提供するために、受動型奥行きセンサ１０５の可視光ステレオカメラが使用される。

上で説明したようないくつかの実施形態において、装置は、能動的赤外光表示についての値を決定するために使用される専用の赤外光センサを備える。赤外光センサは、例えば、全般的な赤外光レベルを測定する単一のセンサであってもよいし、例えば、赤外光カメラ、とりわけ（例えば、検出されたパターンにおける歪みから）奥行き値を決定するためにもまた使用される赤外光カメラであってもよい。

しかしながら、図１及び図２のシステムにおいて、装置は、可視光カメラによる測定値に応答して、周囲赤外光表示を生成するように構成される。とりわけ、装置は、可視光スペクトルにおける測定値に基づいた赤外光レベルの推定に応答して、赤外光表示を生成するように構成される。

例えば、多くの実施形態において、第１のカメラ１０１は、可視レンジにおける光に対して赤外線レンジにおける光を減衰させる、赤外線減衰フィルタを備える。これにより、多くのシナリオにおいて、改善された画像を提供する。実際、多くの実施形態において、第１のカメラ１０１は、可視光のレベルと比較して赤外線信号レベルをわずかな値にまで削減する、赤外線遮断フィルタを備える。

しかしながら、光決定器１０９は、可視レンジにおけるレベルの測定値から赤外線レベルを推定するように構成される。いくつかの実施形態において、光決定器１０９は、例えば、可視光レベルの関数として、周囲赤外光レベルを推定する。通常、可視光の量が高いほど、赤外光の量も高くなる（例えば、曇りの日の薄明りと比較したよく晴れの日）。この推定値が、例えば発せられた赤外光の威力と比較されて、能動型奥行きセンサ１０３によって取り込まれた赤外光パターンの信号対雑音比の推定値を提供する赤外光表示を生成する。

光決定器１０９は、とりわけ、第１のカメラ１０１からの画像データに基づいて、赤外光表示を決定する。多くの実施形態において、先に説明したように、画像データは、個々のピクセルに入射する光の尺度を提供する。したがって、ピクセル値を、赤外光を推定するために使用することができる。

いくつかの実施形態において、光決定器１０９は、赤外光の異なる減衰を有する異なるカメラの出力の比較に応答して、赤外光表示を決定するように構成される。例えば、第１のカメラ１０１が、いかなる赤外線減衰フィルタも備えないことがあり、一方で、第２の可視光カメラ２０７が、赤外線遮断フィルタを備えることもある。

したがって、第２の可視光カメラ２０７は可視光のみを取り込み、一方で、第１のカメラ１０１はまた（例えば、能動型奥行きセンサ１０３から発せられた赤外光パターンなどから）赤外光を取り込む。赤外光表示は次いで、２つのカメラの値の差として計算される。

さらに、この推定を行うときに、光決定器１０９は続いて、色チャンネルのサブセットのみを考える。例えば、赤外光は、圧倒的にＲチャンネルに影響し、したがって、このチャンネルのみを考える。さらに、このケースでは、他のチャンネル（即ち、とりわけＧチャンネル及びＢチャンネル）は、比較的に赤外光に影響されず、その結果、受動型奥行きセンサ１０５による奥行き推定は、これらのチャンネルにのみ基づく。したがって、Ｇチャンネル及びＢチャネルが、ほとんど赤外線に影響されないものと想定すると、これらのチャンネルを視差マッチングに使用することができる。一方で、Ｒ赤チャンネルは、能動型奥行きセンサ１０３によって（例えば、赤外線パターンを使用した）赤外線ベースの奥行き推定に使用される。

実際、いくつかの実施形態において、光決定器１０９は、生成した画像の個々の色チャンネルを考えることによって、第１のカメラ１０１の画像データから赤外光表示を決定するように構成される。とりわけ、光決定器１０９は、可視光カメラによって取り込まれた画像の色チャンネルの第１のサブセットの画像データと、可視光カメラによって取り込まれた画像の色チャンネルの第２のサブセットの画像データとの比較に応答して、画像データから赤外光表示を推定するように構成される。

色チャンネルの１つのサブセットが、他の色チャンネルのサブセットにおける１つ又は複数の色チャンネルよりも、赤外線レンジに近い周波数に対応した１つ又は複数の色チャンネルを含むことがある。そのようなアプローチは、異なる周波数帯域における測定値に対応した２つの値を提供する。赤外線レンジにおける光レベルと、赤外線レンジから離れた周波数帯域における光レベルとの間よりも、赤外線レンジにおける光レベルと、赤外線レンジに最も近い周波数帯域における光レベルとの間に、より近い相関関係があるものと思われる。また、実際、赤外線レンジに最も近い色チャンネルの感度はまた、このレンジの中にまで及ぶ傾向があり、例えば、赤ピクセルの周波数応答は、赤外線レンジの少なくとも一部を含む傾向がある。したがって、第１の周波数帯域におけるレベルを第２の周波数帯域と比較することは、赤外線スペクトルの光レベルのより正確な推定を提供する。

例として、第１のカメラ１０１は、ＲＧＢカメラであり、光決定器１０９は、緑チャンネル及び青チャンネルにおけるピクセル値（例えば、平均値が使用される）と比較して、赤チャンネルについてのピクセル値を考えることによって、赤外光表示を生成する。

例えば、Ｇピクセル値及びＢピクセル値は、赤外光から独立しているのに対し、Ｒピクセル値は、可視光のみの光源と、赤外光及び可視光を共に発する光源との両方を組み合わせたレベルを反映する可能性が高いことが想定される（実際には、Ｒチャンネルの周波数応答は、赤外線スペクトルの少なくとも一部を含む）。考えられるアプローチはその場合、赤外光表示を、Ｒピクセル値と、平均のＧ及びＢピクセル値との差として生成することである。

いくつかの実施形態において、少なくとも１つの他の色チャンネルと比べた少なくとも１つの色チャンネルに対して、赤外光の異なる減衰を有する赤外線減衰フィルタを有することによって、本アプローチがさらに強化される。

とりわけ、赤外線減衰フィルタは、第１のサブセットの少なくとも１つの色チャンネルと比べた第２のサブセットの少なくとも１つの色チャンネルに対して、より高い赤外線減衰を有する。赤外線スペクトルから離れた周波数帯域に対応した１つ又は複数の色チャンネルに対してよりも、赤外線スペクトルに近い周波数帯域に対応した１つ又は複数の色チャンネルに対して、赤外光のより低い減衰を有することによって、赤外光スペクトル及び可視スペクトル（の一部）の両方において光を発する光源と、可視スペクトルにおいてのみ光を発する光源との間に、分離及び差別化を増加することができる。

いくつかの実施形態において、第１の奥行きマップと第２の奥行きマップとの組合せは、光表示のみを考えるのではなく、他の要因もまた考える。

例えば、受動型奥行きセンサ１０５がステレオカメラを備え、ステレオ画像を使用した視差推定から第２の奥行きを決定する実施形態において、光決定器１０９は、ステレオ画像についての空間的均一性表示を決定するようにさらに構成される。組合せはその場合、この空間的均一性表示に応答して行われる。

実際、視差推定は、広く単調なエリアに対してよりも、画像に実質的なばらつきがあるエリアに対してよく機能する傾向がある。したがって、空間的均一性表示は、受動型奥行きセンサ１０５の相対的性能の良好な表示を提供し、したがって、例えば、この空間的均一性表示に応じて、第１の奥行きマップに対して第２の奥行きマップを異なって重み付けすることによって、改善された性能を達成することができる。

例えば、奥行きマッププロセッサ１０７は、空間的均一性の減少する度合いを示す空間的均一性表示に対し、第１の奥行きマップの奥行き値と比べて第２の奥行き値マップの奥行き値の重み付けを増加させるように構成される。

空間的均一性表示は、例えば、ピクセルの近傍における局所的な変化として決定される。特に、空間的均一性表示は、例えば、水平方向に近傍するピクセルの間の輝度値における絶対差の和として計算され得る、ピクセルの近傍における水平方向のばらつきとして決定される。空間的均一性表示はまた、ピクセルの近傍における最大輝度と最小輝度との差として決定されることもある。

別の例として、いくつかの実施形態において、受動型奥行きセンサは、オートフォーカス機能を備えた、即ち、可視光オートフォーカスカメラである、可視光カメラを備える。そのようなケースでは、オートフォーカスが焦点距離の表示を提供し、いくつかの実施形態において、焦点距離は、組合せを適合させるために使用される。

例えば、能動型奥行きセンサ１０３は、通常（例えば、反射した赤外光の減少のために）、長距離にあるオブジェクトに対してよりも、比較的近くにあるオブジェクトに対してよく機能する。オートフォーカス距離は、オブジェクトまでの大まかな距離の表示を提供し、したがって、能動型奥行きセンサ１０３及び受動型奥行きセンサ１０５のそれぞれによって生成された奥行き値の相対的な精度及び信頼性の表示を提供する。

奥行きマッププロセッサ１０７は、とりわけ、オートフォーカス距離の増加を示す焦点距離表示に対し、第１の奥行きマップの奥行き値と比べて第２の奥行きマップの奥行き値の重み付けを増加させるように構成される。

上の説明は、明確にするために、異なる機能の回路、ユニット、及びプロセッサを参照して本発明の実施形態を説明してきたことが理解されるであろう。しかしながら、異なる機能の回路、ユニット、又はプロセッサ間における機能を好適に分散して、本発明から逸脱せずに使用してもよいことは明らかである。例えば、別個のプロセッサ又はコントローラによって行われるように図示された機能が、同じプロセッサ又はコントローラによって行われてもよい。したがって、特定の機能のユニット又は回路への参照は、厳密な論理的若しくは物理的な構造又は編成を示すのではなくて、説明した機能を提供するための好適な手段への参照としてのみ見るべきである。

本発明は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せを含む任意の好適な形態で実施することができる。本発明は、オプションで、１つ若しくは複数のデータプロセッサ及び／又はデジタル信号プロセッサ上で動くコンピュータソフトウェアとして少なくとも部分的に実施されてもよい。本発明の実施形態の要素及びコンポーネントは、任意の好適なやり方で、物理的、機能的、及び論理的に実施される。実際に、機能は、単一のユニットで、複数のユニットで、又は他の機能的ユニットの一部として実施される。したがって、本発明は、単一のユニットで実施されてもよいし、異なるユニット、回路、及びプロセッサの間で物理的且つ機能的に分散されてもよい。

本発明をいくつかの実施形態に関連して説明してきたが、これは本明細書に記述された特定の形態への限定を意図するものではない。むしろ、本発明の範囲は、添付の特許請求の範囲によってのみ限定される。追加として、ある特徴が特定の実施形態と関連して説明されているかのように見えることがあるが、当業者は、説明された実施形態のさまざまな特徴が本発明に従って組み合わされてもよいことを認識するであろう。特許請求の範囲において、用語「含む」は、他の要素又はステップの存在を排除しない。

さらに、個々に列挙されていても、複数の手段、要素、回路、又は方法のステップが、例えば単一の回路、ユニット、又はプロセッサによって実施されてもよい。追加として、個々の特徴が異なる特許請求項に含まれることがあるが、場合によって、これらは有利に組み合わされてもよく、異なる特許請求項に含まれることは、特徴の組合せが実現可能でない、及び／又は有利でないことを含意するものではない。また、特許請求項の１つのカテゴリに特徴が含まれることは、このカテゴリへの限定を含意するものではなく、むしろ、適切な場合、その特徴が他の特許請求項のカテゴリに同等に適用可能であることを示す。さらに、特許請求項における特徴の順序は、その特徴が機能しなければならない任意の特定の順序を含意するものではなく、特に、方法請求項における個々のステップの順序は、ステップがこの順序で行われなければならないことを含意するものではない。むしろ、ステップは、任意の好適な順序で行われてよい。加えて、単数形の言及は、複数形を排除しない。したがって、「ａ」、「ａｎ」、「第１の（ｆｉｒｓｔ）」、「第２の（ｓｅｃｏｎｄ）」その他への言及は、複数形を除外しない。特許請求項における参照符号は、単に明確にする例のみとして提供され、特許請求項の範囲を限定するものとしては決してみなされない。

Claims (15)

1. シーンの画像についての奥行きマップを決定するための装置であって、前記装置は、
   前記画像についての第１の奥行きマップを決定するための能動型奥行きセンサと、
   前記画像についての第２の奥行きマップを決定するための受動型奥行きセンサと、
   前記シーンについての光表示を決定するための光決定器であって、前記光表示が前記シーンについての赤外光レベルを示す第１の赤外光表示を含む、前記光決定器と、
   前記第１の奥行きマップと前記第２の奥行きマップとを組み合わせることによって、前記画像についての出力奥行きマップを決定するための奥行きマッププロセッサとを備え、
   前記第１の奥行きマップは、前記能動型奥行きセンサによって決定される前記画像のピクセルについての奥行き値を含み、
   前記第２の奥行きマップは、前記受動型奥行きセンサによって決定される前記画像のピクセルについての奥行き値を含み、
   前記奥行きマッププロセッサは、前記第１の奥行きマップの奥行き値と前記第２の奥行きマップの奥行き値との組合せとして、前記出力奥行きマップのための奥行き値を決定し、前記組合せは、前記第１の赤外光表示に依存し、前記光決定器は、可視光スペクトルの周波数帯域における光レベルを示す可視光表示を決定し、前記可視光表示から前記第１の赤外光表示を推定する、
   装置。
2. 前記第１の赤外光表示は、前記装置による赤外光の発光がないときの赤外光のレベルを示す周囲赤外光表示である、請求項１に記載の装置。
3. 前記光決定器は、可視光カメラからのデータに基づいて、前記可視光表示を生成する、請求項１に記載の装置。
4. 前記データは、画像取り込み時間長を含む、請求項３に記載の装置。
5. 前記データは、前記可視光カメラによって取り込まれた画像を含み、前記光決定器は、画像データ値に応答して、前記可視光表示を決定する、請求項３に記載の装置。
6. 前記光表示は、赤外光スペクトルの周波数帯域における光測定値に応答して決定される、第２の赤外光表示を含む、請求項１に記載の装置。
7. 前記第２の赤外光表示は、前記能動型奥行きセンサによる奥行き決定を行うために、前記シーンが照明されているときの赤外光レベルを示す、請求項６に記載の装置。
8. 前記第１の赤外光表示は、前記能動型奥行きセンサによる奥行き決定を行うための、前記シーンの照明がされていないときの赤外光レベルを示す、請求項７に記載の装置。
9. 前記奥行きマッププロセッサは、前記第２の赤外光表示と比べた前記第１の赤外光表示のレベルの増加に対し、前記第２の奥行きマップの奥行き値と比べて前記第１の奥行きマップの奥行き値の重み付けを減少させ、前記第１の赤外光表示と比べた前記第２の赤外光表示のレベルの増加に対し、前記第２の奥行きマップの奥行き値と比べて前記第１の奥行きマップの奥行き値の重み付けを増加させる、請求項７に記載の装置。
10. 前記光表示は、前記画像の異なる領域についての個々の光表示値を含み、前記奥行きマッププロセッサは、前記個々の領域の光表示値に応答して、個々の領域ごとに奥行き値を組み合わせる、請求項１に記載の装置。
11. 前記奥行きマッププロセッサは、可視光レベルの増加を示す前記可視光表示に対し、前記第１の奥行きマップの奥行き値と比べて前記第２の奥行きマップの奥行き値の重み付けを増加させる、請求項１に記載の装置。
12. 前記光決定器は、前記受動型奥行きセンサの可視光カメラの画像データから、前記第１の赤外光表示を推定し、前記光決定器は、前記可視光カメラによって取り込まれた画像の色チャンネルの第２のサブセットの画像データと、前記可視光カメラによって取り込まれた前記画像の色チャンネルの第１のサブセットの画像データとの比較に応答して、前記第１の赤外光表示を決定する、請求項１に記載の装置。
13. 前記奥行きマッププロセッサは、前記可視光表示及び前記第１の赤外光表示の両方に応答して、前記第２の奥行きマップの奥行き値に対する前記第１の奥行きマップの奥行き値の組合せ重み付けを決定する、請求項１に記載の装置。
14. シーンの画像についての奥行きマップを決定する方法であって、前記方法は、
    前記画像についての第１の奥行きマップを決定するステップであって、前記第１の奥行きマップが、能動型奥行きセンサによって決定される前記画像のピクセルについての奥行き値を含む、決定するステップと、
    前記画像についての第２の奥行きマップを決定するステップであって、前記第２の奥行きマップが、受動型奥行きセンサによって決定される前記画像のピクセルについての奥行き値を含む、決定するステップと、
    可視光スペクトルの周波数帯域における光レベルを示す可視光表示を決定するステップと、
    前記可視光表示から第１の赤外光表示を推定するステップと、
    前記シーンについての光表示を決定するステップであって、前記光表示が前記シーンについての赤外光レベルを示す前記第１の赤外光表示を含む、決定するステップと、
    前記第１の奥行きマップと前記第２の奥行きマップとを組み合わせることによって、前記画像についての出力奥行きマップを決定するステップとを有し、前記出力奥行きマップを決定するステップは、前記第１の奥行きマップの奥行き値と前記第２の奥行きマップの奥行き値との組合せとして、前記出力奥行きマップのための奥行き値を決定するステップを含み、前記組合せは、前記光表示に依存し、前記光表示を決定するステップは、前記可視光表示から、前記第１の赤外光表示を推定するステップを含む、
    方法。
15. プログラムがコンピュータ上で実行されるとき、請求項１４に記載の方法のすべてのステップを実行するよう適合されたコンピュータプログラムコード手段を含む、コンピュータプログラム。

Images