JP5459523B2 - 焦点ずれしたピルボックス画像を利用して深度推定を行うためのシステム及び方法 - Google Patents

Description

〔関連出願との相互参照〕
本出願は、２０１１年１２月１日に出願された「様々な照明条件下における２つの焦点ずれした画像からの深度推定（Ｄｅｐｔｈ Ｅｓｔｉｍａｔｉｏｎ Ｆｒｏｍ Ｔｗｏ Ｄｅｆｏｃｕｓｅｄ Ｉｍａｇｅｓ Ｕｎｄｅｒ Ｖａｒｉｏｕｓ Ｌｉｇｈｔｉｎｇ Ｃｏｎｄｉｔｉｏｎｓ）」という名称の米国仮出願特許第６１／５６５，７９０号に関するとともに、この出願の優先権を主張するものである。上述した関連出願は同一出願人によるものであり、引用により本明細書に組み入れられる。

本発明は、一般に画像データの解析技術に関し、より詳細には、焦点ずれしたピルボックス画像を利用して深度推定手順を実行するためのシステム及び方法に関する。

画像データを解析するための効率的な方法を実施することは、現代の電子装置の設計者及び製造者とって重要な検討課題である。しかしながら、電子装置を使用して画像データを効率的に解析することにより、システム設計者にとっては多くの課題が生じる可能性がある。例えば、さらなる装置の機能及び性能を求める要求が高まることにより、より大きなシステム処理能力が必要となり、追加のソフトウェアリソースが必要となる可能性がある。処理要件又はハードウェア要件が高まることにより、生産コスト及び経営の非効率性の増加に起因して、対応する不利益な経済的影響がもたらされる可能性もある。

さらに、様々な高度な動作を行うように高められた装置の能力は、システムユーザに付加的な利点をもたらすこともあるが、様々な装置の構成要素の制御及び管理にさらなる負担を強いることもある。例えば、デジタル画像データを効果的に解析する高度な電子装置は、関連するデジタルデータの量の多さと複雑性により、効果的な実施から恩恵を受けることができる。

米国特許第８，０４５，０４６号明細書

システムリソースに対する需要の伸び及び大幅に増加しているデータの大きさにより、画像データを解析するための新しい技術を開発することが、関連する電子技術にとっての懸案事項であることは明らかである。従って、全ての上述の理由から、画像データを解析するための効果的なシステムを開発することは、現代の電子装置の設計者、製造者及びユーザにとって依然として重要な検討課題のままとなっている。

本発明では、焦点ずれしたピルボックス画像を利用することによって深度推定手順を実行するためのシステム及び方法を開示する。１つの実施形態では、カメラが、まず焦点ずれしたピルボックス画像１を取り込む。次に、カメラの焦点設定を変更する。例えば、カメラの焦点の被写界深度を１つだけ下げるように焦点設定を調整する。その後、カメラは、既に取り込んでいるピルボックス画像１よりもさらにブレた（焦点が外れた）焦点ずれしたピルボックス画像２を取り込む。

深度推定器又はその他の適当なエンティティが、畳み込み手順を実行するのに適したカーネルＫを選択する。このカーネルＫは、あらゆる適切な態様で構成することができる。例えば、いくつか実施形態では、カーネルＫを、分散の少ない３×３のガウスカーネルとして構成することができる。この深度推定器は、本発明によるガウス手順を実行するのに適したガウス化カーネルも選択する。ガウス化カーネルは、あらゆる適切な態様で実装して利用することができる。例えば、このガウス化カーネルは、ガウス関数、又は平均及び変動が制限されたより一般的なブレ関数（ｂｌｕｒ ｆｕｎｃｔｉｏｎ）とすることができる。

次に、深度推定器は、画像１と画像２の間の照合誤差を計算し、その後、畳み込み手順を実行して、直前の画像１を選択したカーネルＫで畳み込んだものに等しい新しい現在の画像１を作成する。深度推定器は、現在の画像１と画像２の間の照合誤差を計算し、現在の画像１と画像２が一致するかどうかを判断する。２つの画像が一致しない場合、処理は元に戻ってさらなる畳み込みの反復を同様に実行する。

一方、画像１と画像２が一致する場合、深度推定器は、以前に選択したガウス化カーネルを利用することにより、現在の画像１及び画像２の両方にガウス化手順を実行して、非ガウスブレ画像を対応するガウスブレ画像に変換する。具体的には、深度推定器は、畳み込み手順を実行して、直前のピルボックスブレ画像１を選択したガウス化カーネルで畳み込んだものに等しい新しい現在のガウス画像１を作成する。また、深度推定器は、畳み込み手順を実行して、直前のピルボックスブレ画像２を選択したガウス化カーネルで畳み込んだものに等しい新しい現在のガウス画像２を作成する。

その後、深度推定器は、畳み込み手順を実行して、直前のガウス画像１を選択したカーネルＫで畳み込んだものに等しい新しい現在のガウス画像１を作成する。深度推定器は、この現在のガウス画像１とガウス画像２の間の照合誤差を計算し、現在のガウス画像１とガウス画像２が一致するかどうかを判断する。２つの画像が一致しない場合、処理は元に戻ってさらなる反復を実行する。一方、現在のガウス画像１とガウス画像２が一致する場合、処理を終了することができる。従って、本発明は、焦点ずれしたピルボックス画像を利用することによって深度推定手順を実行するための改善されたシステム及び方法を提供する。

本発明によるカメラ装置の１つの実施形態を示すブロック図である。 本発明による、図１の取り込みサブシステムの１つの実施形態を示すブロック図である。 本発明による、図１の制御モジュールの１つの実施形態を示すブロック図である。 本発明による、図３のメモリの１つの実施形態を示すブロック図である。 本発明による、焦点ずれしたブレ画像を取り込むための１つの例示的な実施形態を示す線図である。 本発明の１つの実施形態による例示的な照合曲線のグラフである。 本発明の１つの実施形態による、ブレ画像の例示的なガウスモデルのグラフである。 本発明の１つの実施形態による、ブレ画像の例示的なピルボックスモデルのグラフである。 本発明の１つの実施形態による、ピルボックスブレ画像を用いた深度推定手順を実行するための方法ステップのフローチャートである。 本発明の１つの実施形態による、ピルボックスブレ画像を用いた深度推定手順を実行するための方法ステップのフローチャートである。 本発明の１つの実施形態による、ピルボックスブレ画像を用いた深度推定手順を実行するための方法ステップのフローチャートである。 本発明の１つの実施形態例による、２つの飽和したピルボックス画像を示す図である。 本発明の１つの実施形態例による、図１０の飽和したピルボックス画像のためのフィルボックス技術を示す図である。

本発明は、画像データ解析技術の改善に関する。以下の説明は、当業者が本発明を実施及び使用できるようにするために提供し、特許出願及びその要件との関連において行うものである。当業者には、開示する実施形態の様々な修正例が容易に明らかになるであろうし、本明細書における一般的な原理を他の実施形態に適用することもできる。従って、本発明は、図示の実施形態に限定されることは意図されておらず、本明細書で説明する原理及び特徴に従う最も広い範囲を許容すべきものである。

本発明は、焦点ずれしたピルボックス画像を利用することによって深度推定手順を実行するためのシステム及び方法を含み、また被写体のピルボックスブレ画像を取り込むためのセンサ装置を備えたカメラ装置を含む。このカメラは、深度推定器を利用して、ピルボックスブレ画像を対応するガウスブレ画像に変換するガウス化手順を実行する。このガウス化手順は、ピルボックスブレ画像をガウス化カーネルで畳み込んで、対応するガウスブレ画像を生成することによって行われる。その後、深度推定器が、このガウスブレ画像を利用して深度推定手順を効果的に実行する。

ここで図１を参照すると、本発明によるカメラ装置１１０の１つの実施形態のブロック図を示している。図１の実施形態では、カメラ装置１１０が、以下に限定されるわけではないが、取り込みサブシステム１１４、システムバス１１６、及び制御モジュール１１８を含むことができる。図１の実施形態では、取り込みサブシステム１１４が、被写体１１２に光学的に結合することができ、またシステムバス１１６を介して制御モジュール１１８に電気的に結合することもできる。

別の実施形態では、カメラ装置１１０が、図１の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。また、いくつかの実施形態では、図１のカメラ装置１１０以外のあらゆる適当な種類の電子装置において本発明を別様に具体化することができる。例えば、カメラ装置１１０を、撮像装置、コンピュータ装置、又は消費者向け電子装置として別様に実装することができる。

図１の実施形態では、カメラ１１０の取り込みサブシステム１１４が被写体１１２に自動的に合焦すると、カメラユーザは、この被写体１１２に対応する画像データを取り込むようにカメラ装置１１０に要求することができる。この時、制御モジュール１１８が取り込みサブシステム１１４に、被写体１１２を表す画像データを取り込むようにシステムバス１１６を介して命令できることが好ましい。次に、この取り込んだ画像データを、システムバス１１６を介して制御モジュール１１８へ転送することができ、これに応答して、制御モジュール１１８は、この画像データを用いて様々な処理及び機能を実行することができる。システムバス１１６は、取り込みサブシステム１１４と制御モジュール１１８の間で、様々な状態信号及び制御信号を双方向に渡すことができる。

ここで図２を参照すると、本発明による図１の取り込みサブシステム１１４の１つの実施形態のブロック図を示している。図２の実施形態では、取り込みサブシステム１１４が、以下に限定されるわけではないが、シャッタ２１８、レンズ２２０、画像センサ２２４、赤色、緑色及び青色（Ｒ／Ｇ／Ｂ）増幅器２２８、アナログデジタル（Ａ／Ｄ）変換器２３０、及びインターフェイス２３２を含むことが好ましい。別の実施形態では、取り込みサブシステム１１４が、図２の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。

図２の実施形態では、取り込みサブシステム１１４が、光路２３６に沿って画像センサ２２４に衝突する反射光を介して、被写体１１２に対応する画像データを取り込むことができる。これに応答して、好ましくは電荷結合素子（ＣＣＤ）を含むことができる画像センサ２２４が、被写体１１２を表す画像データの組を生成することができる。次に、この画像データは、増幅器２２８、Ａ／Ｄ変換器２３０、及びインターフェイス２３２を経由することができる。この画像データは、インターフェイス２３２からシステムバス１１６を介して制御モジュール１１８に渡され、しかるべく処理されて記憶される。本発明に関連する画像データの取り込みには、ＣＭＯＳ又はリニアアレイなどの他の種類の画像取り込みセンサも想定される。以下、図３〜図１１に関連して、カメラ１１０の利用及び機能についてさらに説明する。

ここで図３を参照すると、本発明による図１の制御モジュール１１８の１つの実施形態のブロック図を示している。図３の実施形態では、制御モジュール１１８が、以下に限定されるわけではないが、ファインダ３０８、中央処理装置（ＣＰＵ）３４４、メモリ３４６、及び１又はそれ以上の入出力インターフェイス（Ｉ／Ｏ）３４８を含むことが好ましい。ファインダ３０８、ＣＰＵ３４４、メモリ３４６及びＩ／Ｏ３４８の各々は、取り込みサブシステム１１４とも通信する共通システムバス１１６に結合され、この共通システムバス１１６を介して通信することが好ましい。別の実施形態では、制御モジュール１１８が、図３の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を容易に含むことができる。

図３の実施形態では、ＣＰＵ３４４を、あらゆる適当なマイクロプロセッサ装置を含むように実装することができる。或いは、他のあらゆる適当な技術を使用してＣＰＵ３４４を実装することもできる。例えば、ＣＰＵ３４４を、いくつかの特定用途向け集積回路（ＡＳＩＣ）又はその他の適当な電子装置を含むように実装することができる。メモリ３４６は、以下に限定されるわけではないが、リードオンリメモリ、ランダムアクセスメモリ、及びフロッピーディスク装置、ハードディスク装置又はフラッシュメモリなどの様々な種類の不揮発性メモリを含む１又はそれ以上の適当な記憶装置として実装することができる。Ｉ／Ｏ３４８は、カメラ装置１１０と、システムユーザ又は別の電子装置を含むあらゆる外部エンティティとの間の双方向通信を容易にするための１又はそれ以上の効果的なインターフェイスを提供することができる。Ｉ／Ｏ３４８は、あらゆる適当な入出力装置を使用して実装することができる。以下、図４〜図１１に関連して、制御モジュール１１８の動作及び利用についてさらに説明する。

ここで図４を参照すると、本発明による図３のメモリ３４６の１つの実施形態のブロック図を示している。図４の実施形態では、メモリ３４６が、以下に限定されるわけではないが、カメラアプリケーション４１２、オペレーティングシステム４１４、深度推定器４１６、画像データ４１８、推定データ４２０、自動焦点モジュール４２２、及び雑情報４２４を含むことができる。別の実施形態では、メモリ３４６が、図４の実施形態に関連して説明するこれらの構成要素に加え又はこれらの代わりに、他の様々な構成要素を含むことができる。

図４の実施形態では、カメラアプリケーション４１２が、カメラ装置１１０の様々な機能及び動作を実行するための、好ましくはＣＰＵ３４４（図３）により実行されるプログラム命令を含むことができる。カメラアプリケーション４１２の特定の性質及び機能は、対応するカメラ装置１１０の種類及び特定の用途などの要因に応じて異なることが好ましい。

図４の実施形態では、オペレーティングシステム４１４が、カメラ装置１１０の低水準機能を制御及び調整することが好ましい。本発明によれば、深度推定器４１６が、カメラ１１０内の自動焦点機能を容易にするように深度推定手順を制御及び調整することができる。図４の実施形態では、画像データ４１８が、カメラ装置１１０が取り込んだ被写体１１２の１又はそれ以上の画像を含むことができる。推定データ４２０は、深度推定手順を実行するためのあらゆる種類の情報又はデータを含むことができる。図４の実施形態では、自動焦点モジュール４２２が、深度推定手順の結果を利用して、カメラ装置１１０の自動焦点手順を実行することができる。雑情報４２４は、カメラ１１０の動作のための他のあらゆる適当な情報を含む。以下、図５〜図１１に関連して、深度推定器４１６の動作に関するさらなる詳細について説明する。

ここで図５を参照すると、本発明による、焦点ずれしたブレ画像５１８を取り込むための１つの例示的な実施形態の図を示している。図５の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、他の様々な構成及び要素を利用して、焦点ずれしたブレ画像５１８を取り込むことができる。

図５の実施形態では、カメラ１１０のセンサ２２４（図２を参照）が、深度推定手順を実行するための被写体又はシーン１１２の焦点ずれしたブレ画像５１８を取り込むことができる。この焦点ずれしたブレ画像５１８は、被写体１１２、レンズ２２０及びセンサ２２４の相対位置に依存する正しく焦点が合ったレンズ位置以外の位置にレンズ２２０を調整することによって作成することができる。

１つの実施形態では、２つの異なる焦点ずれしたブレ画像５１８を比較して深度推定を得ることができる。互いに被写界深度が１つ離れた２つのブレ画像５１８のブレ差を計算することができる。既知の照合曲線の傾き及びブレ差を利用して、所与の被写体１１２の深度を求めることができる。以下、図６〜図１１に関連して、深度推定のための焦点ずれしたブレ画像の生成及び利用についてさらに説明する。

ここで図６を参照すると、本発明の１つの実施形態による例示的な照合曲線７１４のグラフを示している。図６の実施形態は例示目的で示すものであり、別の実施形態では、図６の実施形態に関連して説明するこれらの構成及びパラメータの一部に加え又はこれらの代わりに、様々な構成及びパラメータの照合曲線を利用するように本発明を実現することができる。

いくつかの実施形態では、ブレ画像１及びより焦点がずれたブレ画像２を取り込み、鮮明な方の画像１をガウスカーネル（例えば、分散の少ない３×３のガウス行列）で畳み込んで畳み込み画像１を生成することができる。この畳み込み画像１をブレ画像２と比較する。この処理を、２つのブレ画像が一致するまで繰り返す。次に、この反復回数を被写界深度（すなわち、１ＤＯＦきざみの画像数）に対してグラフ化してブレ画像の照合曲線を生成し、これを使用していずれかの焦点が外れた位置から焦点が合った位置までの距離を推定することができる。上述した深度推定技術に関するさらなる詳細は、Ｌｉ他による米国特許第８，０４５，０４６号にさらに記載されており、この特許は引用により本明細書に組み入れられる。

ここで図７を参照すると、本発明の１つの実施形態による、ブレ画像５１８（図５）の例示的なガウスモデル７１８のグラフを示している。図７の実施形態は、例示目的で示すものであり、別の実施形態では、本発明は、図７の実施形態に関連して説明する要素及び構成以外の要素及び構成のガウスモデルを利用することができる。

図７の実施形態では、縦軸に輝度を示し、横軸に画素を示している。図７のグラフでは、ガウスモデル７１８が、典型的な釣鐘曲線の形状を示している。しかしながら、ガウスモデル７１８を利用することによって全てのブレ画像５１８が最良に表されるとは限らない。被写体又はシーンの画像特性によっては、一部の非ガウスモデルの方が効果的なこともある。以下、図８〜図１１に関連して、非ガウスモデルの１例について説明する。

ここで図８を参照すると、本発明の１つの実施形態によるブレ画像５１８の例示的なピルボックスモデルのグラフを示している。図８の実施形態は、例示目的で示すものであり、別の実施形態では、本発明は、図８の実施形態に関連して説明する要素及び構成以外の要素及び構成のピルボックスモデルを利用することができる。

図８の実施形態では、縦軸に輝度を示し、横軸に画素を示している。図８のグラフでは、ピルボックスモデル８１８が、典型的な縁部の尖った形状を示している。被写体又はシーンの画像特性によっては、ピルボックスモデル８１８などの一部の非ガウスモデルの方が効果的なこともある。例えば、ろうそくなどの非常に明るい光源を含む暗い夜間のシーンでは、ピルボックスモデル８１８の方が良好な場合がある。

しかしながら、上述した深度推定技術の一部は、ピルボックスブレ画像とともに使用した場合、満足に実行されない。従って本発明によれば、ガウス化手順を利用して、このピルボックスブレ画像をガウス形式に有利に変換し、その後これを、上述したような深度推定手順にうまく利用することができる。

ガウス化手順は、あらゆる効果的な態様で実行することができる。例えば、ピルボックスブレ画像をガウス化カーネルで畳み込んで、ガウス化したブレ画像を作成することができる。ガウス化カーネルは、あらゆる適切な態様で実装して利用することができる。例えば、ガウス化カーネルは、ガウス関数、又は平均及び変動が制限されたより一般的なブレ関数とすることができる。

いくつかの実施形態では、ガウス化カーネルを、全ての行列値が同じ値であり、これらの全ての行列値の合計が１に等しい正方行列を有する直方体関数として実装することができる。ガウス化カーネルは、以下の数式による２つの一次元関数のテンソル積として表すことができる２次元の一様な直方体関数として実装することもできる。

式中、ｍ及びｎは画素座標であり、Ｍ及びＮはカーネル行列のそれぞれの次元である。別の１つの実施形態では、複数のガウス化段階を利用して効率を高めることができる。例えば、より小さなガウス化カーネルを利用して、より小さなセグメントのガウス化手順を実行することができる。この技術は、多くのガウス化を必要としない画像の計算速度を高めることができる。以下、図９〜図１１に関連して、ガウス化手順に関するさらなる詳細事項について説明する。

ここで図９Ａ〜９Ｃを参照すると、本発明の１つの実施形態による、ピルボックス画像を使用して深度推定手順を実行する方法ステップのフローチャートを示している。図９の実施形態は、例示目的で示すものであり、別の実施形態では、本発明は、図９の実施形態に関連して説明するステップ及び順序以外の様々なステップ及び順序を容易に利用することができる。

図９Ａの実施形態では、ステップ９１４において、カメラ１１０が、焦点ずれしたピルボックス画像１を取り込む。ステップ９１８において、カメラ１１０の焦点設定を変更する。例えば、図９Ａの実施形態では、カメラ１１０の焦点の被写界深度を１つ下げるように焦点設定を調整することができる。ステップ９２２において、カメラ１１０が、既に取り込んでいるピルボックス画像１よりもさらにブレた（焦点が外れた）焦点ずれしたピルボックス画像２を取り込む。

ステップ９２６において、深度推定器４１６又はその他の適当なエンティティが、畳み込み手順を実行するための適当なカーネルＫを選択する。カーネルＫは、あらゆる適切な態様で構成することができる。例えば、いくつか実施形態では、カーネルＫを、分散の少ない３×３のガウスカーネルとして構成することができる。ステップ９２６において、深度推定器４１６が、本発明によるガウス手順を実行するのに適したガウス化カーネルも選択する。

上述したように、ガウス化カーネルは、あらゆる適切な態様で実装して利用することができる。例えば、このガウス化カーネルは、ガウス関数、又は平均及び変動が制限されたより一般的なブレ関数とすることができる。深度推定器４１６は、ステップ９２８において、画像１と画像２の間の照合誤差を計算し、ステップ９３０において、これらの画像が一致するかどうかを判断する。画像が一致する場合、図９の処理を終了することができる。しかしながら、画像が一致しない場合、図９Ａの処理は、連結文字「Ａ」を介して図９Ｂのステップ９３２へ進む。

ステップ９３２において、深度推定器４１６は、畳み込み手順を実行して、直前の画像１を選択したカーネルＫで畳み込んだものに等しい新しい現在の画像１作成する。ステップ９３４において、深度推定器４１６は、現在の画像１と画像２の間の照合誤差を計算する。ステップ９３８において、深度推定器４１６は、現在の画像１と画像２が一致するかどうかを判断する。これらの２つの画像が一致しない場合、図９の処理はステップ９３２へ戻ってさらなる反復を行う。

一方、ステップ９３８において画像１と画像２が一致する場合、深度推定器４１６は、ステップ９４２において、以前に選択したガウス化カーネルを利用することにより、現在の画像１及び画像２の両方にガウス化手順を実行して、非ガウスブレ画像を対応するガウスブレ画像に変換する。具体的には、深度推定器４１６は、畳み込み手順を実行して、直前の画像１を選択したガウス化カーネルで畳み込んだものに等しい新しい現在の画像１を作成する。また、深度推定器４１６は、畳み込み手順を実行して、直前の画像２を選択したガウス化カーネルで畳み込んだものに等しい新しい現在の画像２を作成する。図９Ｂの実施形態では、ガウス化カーネルをわずかな変動値で実装することができる。その後、図９Ｂの処理は、連結文字「Ｂ」を介して図９Ｃのステップ９４６へ進む。

ステップ９４６において、深度推定器４１６は、畳み込み手順を実行して、直前の画像１を選択したカーネルＫで畳み込んだものに等しい新しい現在の画像１を作成する。ステップ９５０において、深度推定器４１６は、現在の画像１と現在の画像２の間の照合誤差を計算する。ステップ９５４において、深度推定器４１６は、現在の画像１と現在の画像２が一致するかどうかを判断する。これらの２つの画像が一致しない場合、図９の処理はステップ９４６へ戻ってさらなる反復を行う。一方、ステップ９３８において画像１と画像２が一致した場合、深度推定器４１６は、ステップ９５８において、上述のステップ９４６でどれほどの畳み込みを行ったかを確認する。畳み込みが非ゼロである場合、図９Ｃの処理は、連結文字「Ｃ」を介して図９Ｂのステップ９４２へ戻り、１又はそれ以上のさらなるガウス化手順を実行する。一方、畳み込みがゼロである場合、図９の処理を終了することができる。ステップ９３２及び９４６において行ったカーネルＫによる畳み込みの総数により、画像１と画像２の間のブレ差が与えられる。従って、本発明は、ピルボックスブレ画像を利用することによって深度推定手順を実行するための改善されたシステム及び方法を提供する。

ここで図１０を参照すると、本発明の１つの実施形態による、２つの飽和したピルボックス画像１０１４及び１０１８の図を示している。図１０の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図１０の実施形態に関連して説明する要素及び構成以外の要素及び構成のピルボックス画像を利用することができる。

図１０の実施形態では、第１のピルボックス画像１０１４（例えば、図９の画像１）の波形と、第２のピルボックス画像１０１８（例えば、図９の画像２）の波形を重ねて示している。画像１０１４の方が焦点が合っているので、画像１０１４の波形の方が、画像１０１８の波形よりも狭くて高い。しかしながら、他の種類のブレ画像のように、ピルボックスブレ画像も、同量のエネルギー／総輝度を保持しているはずである。

図１０の実施形態では、これらのピルボックス画像が、いずれも飽和閾値レベル１０２２を超えているので、これらのピルボックス画像は切り取られ／飽和する。ピルボックスブレ画像が飽和した／切り取られた場合、２つの写真の総輝度間に差異が生じる。一般に、飽和したピルボックスブレ画像では総輝度が維持されないので、（図９で説明したガウス化手順などの）ブレ照合技術が十分に機能しない。従って、本発明のいくつかの実施形態によれば、いずれかのブレ照合技術を実行する前にフィルボックス技術を利用することができる。以下、図１１に関連して、１つのこのようなフィルボックスの実施形態について説明する。

ここで図１１を参照すると、本発明の１つの実施形態による、図１０の飽和したピルボックス画像を処理するためのフィルボックス技術を示す図を示している。図１１の実施形態は例示目的で示すものであり、別の実施形態では、本発明は、図１１の実施形態に関連して説明する要素、ステップ及び構成以外の要素、ステップ及び構成を含むフィルボックス技術を利用することができる。

図１１の図の左側では、ピルボックス画像１０１８及び１０１４（ａ）が、いずれも飽和閾値レベル１０２２を超えているという理由で切り取られ／飽和している。ピルボックスブレ画像が飽和し／切り取られた場合、２つの写真の総輝度間に差異が生じる。画像１０１４（ａ）の方が高いので、飽和閾値１０２２によってより多くの輝度が取り除かれる。図１１の図の右側に示すように、フィルボックス手順を有利に利用して、画像１０１４（ａ）の輝度を輝度充填量１０３０だけ増加させることによって画像１０１８及び１０１４（ａ）のそれぞれの総輝度を均等化し、これにより新たな均等化した画像１０１４（ｂ）を作成することができる。

図１１の実施形態では、深度推定器４１６（図４）又はその他の適当なエンティティが、まず各写真１０１４（ａ）及び１０１８における飽和したピルボックスの総輝度を計算する。深度推定器４１６は、２つの写真１０１４（ａ）と１０１８の間の総輝度の差分を求める。次に、総輝度が低い方のピルボックスブレ画像１０１４（ａ）に関して、深度推定器が、ピルボックス画像１０１４（ａ）の各飽和した画素に総輝度の平均差分を追加して、均等化した画像１０１４（ｂ）を作成する。このフィルボックス技術は、２つの画像の量／総輝度が等しくなるまで、低い方のピルボックス画像１０１４（ａ）に充填を行うものと見なすことができる。上述したフィルボックス手順が完了した後、深度推定器４１６は、ピルボックスブレ画像１０１４（ｂ）及び１０１８を飽和していないピルボックスと見なすことができ、図９に関連して上述したガウス化手順によるブレ照合を実行することができる。

以上、いくつかの実施形態を参照しながら本発明について説明した。当業者には本開示に照らして他の実施形態も明らかであろう。例えば、上記の実施形態で説明したもの以外の構成及び技術を使用して本発明を容易に実施することができる。また、上述した以外のシステムとともに本発明を効果的に使用することもできる。従って、説明した実施形態に対するこれらの及びその他の変形も本発明の対象であることが意図され、本発明は添付の特許請求の範囲によってのみ限定される。

Claims (19)

1. 深度推定手順を実行するためのシステムであって、
   被写体のピルボックスブレ画像を取り込むためのセンサ装置と、
   前記ピルボックスブレ画像をガウスブレ画像に変換するガウス化手順を実行し、その後前記ガウスブレ画像を利用して前記深度推定手順を実行するための深度推定器と、
   を備え、
   前記深度推定器が、前記ピルボックスブレ画像が飽和閾値レベルで切り取られると判断し、その後前記ガウス化手順を実行する前に、前記ピルボックスブレ画像の総エネルギーを均等化するためのフィルボックス手順を実行することを特徴とするシステム。
2. 前記深度推定器が、前記ピルボックス画像をガウス化カーネルで畳み込むことにより前記ガウス化手順を実行して、前記ガウスブレ画像を生成する、
   ことを特徴とする請求項１に記載のシステム。
3. 前記ガウス化カーネルが、全ての行列値が同一の値であり、これらの全ての行列値の合計が１に等しい正方行列を有する直方体関数として実装される、
   ことを特徴とする請求項２に記載のシステム。
4. 前記ガウス化カーネルが、画素の座標をｍ及びｎとし、前記ガウス化カーネルの行列のそれぞれの次元をＭ及びＮとする数式：
   

   

   に従う２つの一次元関数のテンソル積として表される２次元の一様な直方体関数として実装される、
   ことを特徴とする請求項２に記載のシステム。
5. 前記深度推定器が、まず第１の画像の第１の総輝度及び第２の画像の第２の総輝度を計算し、前記第１の総輝度と前記第２の総輝度の間の輝度差を求めることによって前記フィルボックス手順を実行する、
   ことを特徴とする請求項１に記載のシステム。
6. 前記深度推定器が、前記ピルボックスブレ画像のうちの総輝度が低い方の画像に前記輝度差を加えて、前記第１の画像と前記第２の画像の前記総エネルギーが均等化されるようにすることにより、前記フィルボックス手順を完了する、
   ことを特徴とする請求項５に記載のシステム。
7. 前記センサ装置及び前記深度推定器が、前記深度推定手順からの１又はそれ以上の深度値を利用して自動焦点手順を実行する電子カメラ装置に実装される、
   ことを特徴とする請求項１に記載のシステム。
8. 前記センサ装置が、第１の焦点ずれしたレンズ位置を利用することによって被写体に対応する画像１を取り込み、その後前記第１の焦点ずれしたレンズ位置とは異なる第２の焦点ずれしたレンズ位置に調整され、該第２の焦点ずれしたレンズ位置を利用することによって前記被写体に対応する画像２を取り込み、前記第２の焦点ずれしたレンズ位置の方が、前記第１の焦点ずれしたレンズ位置よりも焦点が合っていない、
   ことを特徴とする請求項７に記載のシステム。
9. 前記深度推定器が、カーネルＫ及びガウス化カーネルを選択する、
   ことを特徴とする請求項８に記載のシステム。
10. 前記カーネルＫが、分散の少ない３×３のガウス行列として実装される、
    ことを特徴とする請求項９に記載のシステム。
11. 前記ガウス化カーネルが、全ての行列値が同一の値であり、これらの全ての行列値の合計が１に等しい正方行列を有する直方体関数として実装される、
    ことを特徴とする請求項９に記載のシステム。
12. 前記深度推定器が、第１の畳み込み手順において前記画像１を前記カーネルＫで畳み込んで現在の畳み込み画像１を作成する、
    ことを特徴とする請求項９に記載のシステム。
13. 前記深度推定器が、第１のブレ画像照合手順において前記現在の畳み込み画像１を前記画像２と比較し、第１の照合結果に達するまで前記畳み込み手順のさらなる反復を行う、ことを特徴とする請求項１２に記載のシステム。
14. 前記深度推定器が、ガウス化カーネルを利用して、前記第１の現在の畳み込み画像１及び前記画像２に前記ガウス化手順を実行し、ガウス画像１及びガウス画像２を作成する、ことを特徴とする請求項１３に記載のシステム。
15. 前記深度推定器が、前記第２の畳み込み手順において前記ガウス画像１を前記カーネルＫで畳み込んで現在の畳み込みガウス画像１を作成する、
    ことを特徴とする請求項１４に記載のシステム。
16. 前記深度推定器が、第２のブレ画像照合手順において前記現在の畳み込みガウス画像１を前記ガウス画像２と比較し、第２の照合結果に達するまで前記第２の畳み込み手順のさらなる反復を行い、前記さらなる反復に基づいて合計反復数を生成する、
    ことを特徴とする請求項１５に記載のシステム。
17. 前記深度推定器が、前記合計反復数を利用して前記深度推定手順のための照合曲線を生成し、該照合曲線を利用して、前記被写体に対応する深度値を生成する、
    ことを特徴とする請求項１６に記載のシステム。
18. 前記深度推定器が、サイズを縮めたガウス化カーネルを使用して前記ピルボックスブレ画像のセグメントを処理する複数段階のガウス化手順を実行する、
    ことを特徴とする請求項１７に記載のシステム。
19. 深度推定手順を実行するための方法であって、
    被写体のピルボックスブレ画像を取り込むためのセンサ装置を提供するステップと、
    深度推定器を利用して、前記ピルボックスブレ画像をガウスブレ画像に変換するガウス化手順を実行し、その後前記深度推定器が、前記ガウスブレ画像を利用して前記深度推定手順を実行するステップと、
    を実行することにより行われ、
    前記深度推定器が、前記ピルボックスブレ画像が飽和閾値レベルで切り取られると判断し、その後前記ガウス化手順を実行する前に、前記ピルボックスブレ画像の総エネルギーを均等化するためのフィルボックス手順を実行することを特徴とする方法。

Images