JP6411505B2 - 全焦点画像を生成するための方法および装置 - Google Patents

Description

本開示は、一般に、デジタル画像をキャプチャして処理することに関し、より詳細には、再合焦する機能を有する全焦点画像を生成することに関する。

写真撮影では、カメラからのシーン中の異なる対象物の距離に応じて、対象物のいくつかは焦点が合って見え、一方、他の対象物は、焦点が外れてまたはぼけて見える。これは、ほとんどの視覚システムでは、各画像が特定の「焦点距離」でキャプチャされるという事実に起因する。「焦点距離」とは、カメラから画像のシーンへと径方向に延びる距離のことを指す。正確に焦点距離に配置される画像中の任意の対象物は、完全に焦点が合って見える。一方、焦点距離に配置されない(たとえば、カメラにより近い、またはカメラからより遠い)任意の対象物は、ぼけて、焦点が外れて見える。任意の所与のシーン中の異なる対象物は、カメラから異なる距離に配置される可能性があり、したがって、単に一部の対象物が完全な焦点に配置される可能性が高い。その結果、視覚システムによりキャプチャされる典型的な画像では、一部の対象物は画像中で焦点が合って見え、一方、他の対象物は焦点が外れて見える。

人間の視覚システムは、同様の特性を有する画像を生成する、たとえば、任意の所与の画像中で、焦点距離に配置される対象物のみが焦点が合い、一方、他の対象物がぼけるが、人間はシーンを迅速にスキャンし、異なる対象物に合焦し、物理的な環境の有用な「複合」視覚概念を得るように適合される。それが、我々が世界を「見る」方法である。しかし、我々がキャプチャされた画像、たとえばディスプレイデバイス上の画像を見るとき、同じ自然のスキャンおよび再合焦は、一般に利用可能でない。代わりに、我々は、任意の所与の時間に、一定の対象物は画像中で焦点が合い、一定の他の対象物は画像中でぼけ、または焦点が外れた静止画像を見ることが多い。これらの欠点に対処するため、本開示は、画像を閲覧する2つの異なる手法を実現するための実施形態を提示する。1つの手法は、すべての対象物が焦点が合う、「全焦点」画像を生成することを含む。別の手法は、ユーザが画像の部分を選択し、それを合焦させることができる「再合焦」機能を提供することを含む。

1つの例では、画像処理のための方法が開示される。方法は、一般に、異なる焦点距離におけるシーンの複数の画像を取得するステップを含む。各画像は、シーンの異なる部分を合焦して示すことができる。方法は、部分的に、複数の画像に関連する第1の深度マップを取得するステップと、複数の画像に関連する第2の深度マップを取得するステップとをさらに含む。第1の深度マップが第1の近傍サイズに対応し、第2の深度マップが第2の近傍サイズに対応する。1つの態様では、第1の近傍サイズは、第2の近傍サイズよりも小さい。

方法は、複数の画像および第1の深度マップに基づいて、シーンの2つ以上の部分を合焦して示す複合画像を生成するステップをさらに含む。加えて、方法は、複合画像および第2の深度マップに基づいて、シーンの選択された部分を合焦して示す再合焦画像を生成するステップを含む。

1つの態様では、方法は、複数のキャプチャされた画像の各々を鮮明度測定フィルタでフィルタリングして、複数のフィルタリングした画像を生成するステップをさらに含む。1つの態様では、鮮明度測定フィルタはラプラシアンフィルタである。

1つの態様では、第1の深度マップを取得するステップが、複数のフィルタリングした画像中の各画像に対して第1の近傍サイズに基づく第1の2次元画素関数を適用して、第1の複数の深度画像を生成するステップを含むことができる。同様に、第2の深度マップを取得するステップが、複数のフィルタリングした画像中の各画像に対して第2の近傍サイズに基づく第2の2次元画素関数を適用して、第2の複数の深度画像を生成するステップを含むことができる。

1つの態様では、第1の2次元画素関数は、第1の近傍中の複数の画素に対応する深度値の間の加重平均を計算することを含む。別の態様では、第1の2次元画素関数は、第1の近傍中の画素に対応する深度値に対して加重投票方式(Weighted Voting Scheme)を実行することを含む。

1つの態様では、第1の深度マップを取得するステップが、部分的に、各画素位置について、第1の複数の深度画像に対応する第1の複数の深度値の間の最大深度値を取得するステップを含むことができる。同様に、第2の深度マップを取得するステップが、部分的に、各画素位置について、第2の複数の深度画像に対応する第2の複数の深度値の間の最大深度値を取得するステップを含むことができる。

1つの態様では、複数の画像の異なる焦点距離が、最小焦点距離値と最大焦点距離値との間に、均一に分散される。

1つの態様では、第2の深度マップは、第1の深度マップに基づいてオンザフライで生成される。たとえば、第2の深度マップは、第2の近傍中の複数の画素に対応する第1の深度マップ中の深度値に、加重平均、加重投票方式、または任意の他の選択方式を適用することにより生成することができる。

さらに、一定の態様は、画像処理のための装置を提供する。装置は、一般に、異なる焦点距離におけるシーンの複数の画像を取得するための手段を含む。各画像は、シーンの異なる部分を合焦して示す。装置は、複数の画像に関連する第1の深度マップを取得するための手段と、複数の画像に関連する第2の深度マップを取得するための手段と、複数の画像および第1の深度マップに基づいて、シーンの2つ以上の部分を合焦して示す複合画像を生成するための手段と、複合画像および第2の深度マップに基づいて、シーンの選択された部分を合焦して示す再合焦画像を生成するための手段とをさらに含む。1つの態様では、第1の深度マップが第1の近傍サイズに対応し、第2の深度マップが第2の近傍サイズに対応する。

一定の態様は、画像処理のための、非一時的プロセッサ可読媒体を提供する。プロセッサ可読媒体は、部分的に、プロセッサに、異なる焦点距離におけるシーンの複数の画像を取得させるように構成されるプロセッサ可読命令を含む。各画像は、シーンの異なる部分を合焦して示す。命令は、プロセッサに、複数の画像に関連する第1の深度マップを取得させ、複数の画像に関連する第2の深度マップを取得させ、複数の画像および第1の深度マップに基づいて、シーンの2つ以上の部分を合焦して示す複合画像を生成させ、複合画像および第2の深度マップに基づいて、シーンの選択された部分を合焦して示す再合焦画像を生成させるようにさらに構成される。1つの態様では、第1の深度マップが第1の近傍サイズに対応し、第2の深度マップが第2の近傍サイズに対応する。

一定の態様は、画像処理のための装置を提供する。装置は、部分的に、少なくとも1つのプロセッサと、少なくとも1つのプロセッサに結合されるメモリとを含む。少なくとも1つのプロセッサは、異なる焦点距離におけるシーンの複数の画像を取得するように構成される。各画像は、シーンの異なる部分を合焦して示す。少なくとも1つのプロセッサは、複数の画像に関連する第1の深度マップを取得し、複数の画像に関連する第2の深度マップを取得し、複数の画像および第1の深度マップに基づいて、シーンの2つ以上の部分を合焦して示す複合画像を生成し、複合画像および第2の深度マップに基づいて、シーンの選択された部分を合焦して示す再合焦画像を生成するようにさらに構成される。第1の深度マップが第1の近傍サイズに対応し、第2の深度マップが第2の近傍サイズに対応する。

様々な実施形態の性質および利点の理解は、以下の図を参照することにより実現することができる。添付の図では、同様の構成要素または特徴は、同じ参照ラベルを有することができる。さらに、同じタイプの様々な構成要素は、参照ラベルに、同様の構成要素間で識別する、ダッシュおよび第2のラベルを続けることにより識別することができる。明細書中で第1の参照ラベルだけが使用される場合、記載は、第2の参照ラベルにかかわらず、同じ第1の参照ラベルを有する同様の構成要素のうちのいずれか1つに適用可能である。

本開示のいくつかの実施形態に従う、画像をキャプチャおよび/または処理することが可能なデバイスを図示する、例示の高レベルブロック図である。 本開示のいくつかの実施形態に従う、例示の画像合成方法を図示する図である。 本開示のいくつかの実施形態に従う、画像合成方法を図示する例示のブロック図である。 本開示のいくつかの実施形態に従う、複数の画像を合成するデバイスにより実施することができる例示の動作を図示する図である。 本開示のいくつかの実施形態に従う、画像合成方法を使用して合成される例示の画像である。 本開示のいくつかの実施形態に従う、画像合成方法を使用して合成される例示の画像である。 本開示のいくつかの実施形態に従う、画像合成方法を使用して合成される例示の画像である。 本開示のいくつかの実施形態に従う、画像を生成するために使用することができるデバイスの1つの可能な実装を記載する図である。

いくつかの実施形態は、画像の所望の部分において後で再合焦する機能とともに、拡大した被写界深度を備える画像を生成するための方法を提示する。被写界深度とは、通常、画像中で容認できる程度に鮮明に見える、シーン中の最も近い対象物と最も遠い対象物との間の距離のことを指す。レンズは、一度にただ1つの距離(たとえば、焦点距離)において正確に焦点が合うことができるが、鮮明度の低下は、焦点が合った距離の両側で漸進的であり、その結果、被写界深度内では、不鮮明度は、通常の視覚条件下で、感知不能である。一般に、焦点距離とは、対象物が画像中で焦点が合って見える、対象物とカメラとの間の距離のことを指す。

1つの実施形態は、(以降は、焦点スタック画像と呼ぶ)異なる焦点距離を有する2つ以上の画像を使用し、複合画像を生成するためにこれらの焦点スタック画像を処理する。複合画像中の対象物のうちのほとんどまたはすべては、焦点が合って見える場合がある(たとえば、全焦点画像)。

本明細書に記載されるように、異なる焦点距離を有する2つ以上の画像を合成することにより、複合画像の被写界深度は、個別の画像の各々の被写界深度よりも大きく拡大することができる。したがって、互いに比較的遠い対象物が、複合画像中で焦点が合って見えることができる。

ユーザは、通常、カメラの焦点距離を変えることにより、シーン中の異なる対象物に焦点を合わせる。たとえば、カメラから異なる距離を有する2つの対象物を有するシーン中である(たとえば、カメラに近い人物および背景中で遠い建造物)。第1の画像は、人物には焦点が合って見え、一方建造物には焦点が外れて見える第1の焦点距離で撮ることができる。加えて、第2の画像は、建造物には焦点が合って見え、一方人物には焦点が外れて見える第2の焦点距離で、同じシーンから撮ることができる。いくつかの実施形態は、(異なる焦点距離で撮られる)これらの画像を合成し、対象物のうちのほとんどすべてが焦点が合って見える複合画像を生成する方法を提示する。上の例では、人物と建造物の両方が、複合画像中で焦点が合って見えることができる。加えて、1つの実施形態では、複合画像は、後で、画像の所望の部分において再合焦するため使用することができる埋込情報を有することができる。

画像を融合するために従来技術で使用される現在の技法は、典型的には、全焦点画像を再合焦し、かつ計算するために単一深度マップを使用する。これらの技法のいくつかは、ハードウェアベースの解決策を使用して、ライトフィールドをキャプチャし、再合焦機能を可能にする。本開示のいくつかの実施形態は、2つの異なる深度マップ(たとえば、マスク)を生成し、第1の深度マップは、全焦点画像を生成するために使用することができ、第2の深度マップは、再合焦するために使用することができる。

図1は、本開示のいくつかの実施形態に従う、画像キャプチャおよび/または処理デバイス100の、例示の高レベルブロック図を図示する。1つの実施形態では、デバイスは、組込カメラを使用して1つまたは複数の画像をキャプチャすることができる。別の実施形態では、デバイスは、別の画像キャプチャデバイスから画像を受け取ることができる。さらに別の実施形態では、デバイスは、その組込カメラを使用して画像のうちのいくつかをキャプチャし、他の画像キャプチャデバイスから1つまたは複数の画像を受け取ることができる。一般に、デバイスは、モバイルフォン、タブレット、ラップトップ、ヘッドマウントディスプレイ(HMD)、カメラ、または画像をキャプチャおよび/または処理することが可能な、任意の他のタイプの固定またはモバイルデバイスであってよい。

図示されるように、ブロック102では、デバイスが、少なくとも2つの異なる焦点距離を有する2つ以上の画像をキャプチャおよび/または取得することができる。デバイスは、次いで、画像を記憶して画像を処理し、第1の深度マップおよび第2の深度マップを取得することができる(ブロック104)。デバイスは、第1の深度マップに基づいて、全焦点画像を生成することができる(ブロック106)。デバイスは、第2の深度マップを使用して、画像の部分上で再合焦することもできる(ブロック108)。

図2は、本開示のいくつかの実施形態に従う、例示の画像合成方法を図示する。図示されるように、画像Z₁ 202、Z₂ 204、…、Z_N 206のスタックをデバイスにより取得することができる。例として、デバイスがカメラを有してそれ自体で画像をキャプチャする、またはデバイスが他の情報源から画像を受け取ることができる。画像Z₁からZ_Nの各々が異なる焦点距離を有する場合がある。したがって、各画像中では、いくつかのセクションは焦点が合って見え、一方、他のセクションは焦点が外れている。たとえば、画像Z₁ 202では、セクションA₁ 210は焦点が合い、一方、他の部分は焦点が外れている。同様に、画像Z₂ 204では、セクションA₂ 212が焦点が合って見え、画像Z₃ 206では、セクションA_N 214は焦点が合って見え、一方、他の部分は焦点が外れて見える。

画像合成器216は、本明細書の教示に従って、画像Z₁、Z₂、…、Z_Nのスタックを合成して全焦点画像208を生成し、全焦点画像208では、ほとんどまたはすべてのセクションが焦点が合って見える。再合焦画像230は、全焦点画像からやはり生成することができ、再合焦画像230では、画像は、セクション220上で再合焦される。他のセクションは、再合焦画像230中で焦点が外れて見えても、外れて見えなくてもよい。

1つの実施形態では、焦点スタック画像(たとえば、Z₁〜Z_N)は、2つ以上の異なる焦点距離を有することができる。1つの実施形態では、焦点距離を、予め定められた最小焦点距離値と最大焦点距離値との間に、均一に分散することができる。一般に、異なる画像の焦点距離は、本開示の教示から逸脱することなく、予め定められた分布に基づいて、またはシーン中の異なる対象物の特性に基づいて、ランダムに選択することができる。

図3は、1つの実施形態に従う、画像生成方法の例示のブロック図300を図示する。302において、デバイスが、異なる焦点設定を有する2つ以上の画像をキャプチャすることができる。1つの実施形態では、デバイスは、2つ以上の画像を別のデバイスから受け取ることができる。304において、デバイスは、すべての画像を基準画像と位置合わせすることができる。一般性を失うことなく、画像の各々が、基準画像と少なくとも何らかの重複を有すると仮定される。たとえば、基準画像は、とりわけ人物、建造物、および樹木を示すことができる。2つ以上の画像のうちの1つが人物および樹木を示すことができ、その中では、人物に焦点が合って見える。別の画像が建造物および樹木を示すことができ、その中では、建造物に焦点が合って見える。さらに別の画像が人物、樹木および建造物を示すことができ、その中では、樹木に焦点が合って見える。2つ以上の画像を基準画像と位置合わせすることにより、画像間の重複を決定することができる。一般に、本開示の教示から逸脱することなく、画像のうちの任意の1つを、基準画像と考えることができる。加えて、議論を簡単にするために、すべての画像が、同じシーンから撮られ、完全に重複すると仮定することができる。

306において、デバイスは、画像を鮮明度測定フィルタ306(たとえば、ラプラシアンフィルタ)に通すことができる。ラプラシアンフィルタは、画像の、2次空間導関数の2次元の等方性測定である。ラプラシアンフィルタは、画像中で急な強度変化のある領域を強調し、エッジ検出のために使用されることが多い。一般に、ラプラシアンフィルタまたは任意の他の鮮明度測定フィルタは、本開示の教示から逸脱することなく使用することができる。

314において、画像は、(たとえば、各画像中の画素の周りの小さい近傍に対応する)小さい核を使用してぼかすことができる。ぼかすとは、画像の鮮明度を減らすプロセスのことを指す。一般に、画像中の画像雑音および/または高周波成分を減らすために、ぼかしを使用することができる。画像をぼかすために、従来技術に(たとえば、ガウシアンぼかし、選択的ぼかしなど)いくつかの方法が存在する。例として、ガウシアンぼかしでは、ガウシアン関数が画像と畳み込まれ、画像をぼかす。2次元(2-D)画像の場合では、2-Dガウシアン関数(たとえば、各次元で1つである、2つの1-Dガウシアン関数の積)を、画像中の異なる画素の値と畳み込むことができる。

316において、精細深度マップ(D_AIF、318)を生成するために、ぼけた画像の各々における各画素に対応する深度値が比較される。精細深度マップD_AIFは、ぼけた画像のほとんどまたはすべてにおける各画素についての、最大深度値に対応することができる。たとえば、画像中の各画素(i,j)についての最大深度値は、ぼけた画像中の対応する画素の深度値と比較することにより決定することができる。1つの実施形態では、最大深度値は、各画素について決定することができる。別の実施形態では、最大深度値は、画素の周りの予め定められた近傍(たとえば、画素の周りの3×3行列)内で決定することができる。320において、画像を精細深度マップD_AIFを使用して合成し、全焦点画像を生成することができる。

加えて、326において、より大きい近傍サイズ(たとえば、より大きい核)を用いる別のぼかし操作を、鮮明度測定フィルタ312の結果に実施して、ぼけた画像の第2の組を生成することができる。328において、画素に関する最大操作を、ぼけた画像の第2の組に実施して、平滑深度マップD_RF 330を生成することができる。332において、平滑深度マップD_RFに基づいて、再合焦操作を画像(たとえば、全焦点画像)上に実施して、再合焦画像を生成することができる。

1つの実施形態では、全焦点画像は、以下の手順を使用して生成することができる。焦点スタック画像は、Z₁、Z₂、…、Z_Nにより表すことができ、ここでZ_iが画像を表す。画像は、赤-緑-青(RGB)、グレースケール、または任意の他の形式を有することができる。各画像(Z_i)を、鮮明度測定フィルタ(たとえば、ラプラシアンフィルタ)と畳み込んで、出力画像Y_iを生成することができ、次式となる。
Yi=Laplacian(Zi)

1つの実施形態では、対象の画素の近くにある複数の画素に対応する情報は、深度マップを生成するときに考慮に入れることができる。近傍中の他の画素からの情報を使用して、雑音の影響を減らし、局所的な一貫性を確実にする。例として、予め定められた近傍内にある他の画素に対応する情報を平均化して計算で考慮に入れることができる。別の実施形態では、近傍中の画素上の加重投票方式(Weighted Voting Scheme)を考慮に入れることができる。一般性を失うことなく、近傍は画素の周りにサイズSの半径を有する円であるが、近傍は、本開示の教示から逸脱することなく、任意の他の形状(たとえば、矩形、六角形など)を有することができると仮定することができる。

いくつかの実施形態について、2つの異なる近傍サイズ(たとえば、S₁およびS₂)を、2つの深度マップを生成するために考えることができる。第1の小さい近傍サイズ(たとえば、S₁)は、精細深度マップを生成するために使用することができる。加えて、第2の近傍サイズS₂(たとえば、S₂>S₁)は、平滑深度マップを生成するために使用することができる。精細深度マップを生成するため小さい近傍サイズを選択することによって、全焦点画像の鮮明度を確実にする一方、局所的な一貫性を確実にすることができる。一方、大きい近傍サイズが、再合焦(たとえば、平滑深度マップ)にとってより好適である場合がある。というのは、ユーザは、典型的には、画素よりも、画像中の領域(たとえば、対象物)上で再合焦することを欲するからである。加えて、より大きい近傍によって、同じ対象物上の2つの近い画素において急激な再合焦変化はないことが確実になる。1つの実施形態では、平滑深度マップ(たとえば、S₂)を生成するために使用される近傍のサイズは、精細深度マップ(たとえば、S₁)を生成するために使用される近傍のサイズより3倍大きくてよい。

1つの実施形態では、最大深度値を画像の焦点スタックの各々における近傍にわたって計算して、深度マップを生成することができる。たとえば、全焦点画像を生成するための精細深度マップ(たとえば、D_AIF)は、画像の焦点スタック中のサイズS₁の近傍にわたって最大深度値を計算することにより決定することができる。同様に、再合焦画像を生成するための平滑深度マップ(たとえば、D_RF)は、画像の焦点スタック中のサイズS₂の近傍にわたって最大深度値を計算することにより決定することができる。

1つの実施形態では、画像(または画像の部分)に対応する平滑深度マップD_RFは、精細深度マップD_AIFに基づいてオンザフライで計算することができる。たとえば、ユーザが再合焦されるべき画素を(たとえば、スクリーン上で画素をタッチすること、または他の手段によって)選択すると、選択された画素の周りの大きい近傍中のD_AIFの値を考慮に入れることができる。次いで、選択された画素の周りの大きい近傍中の複数の画素に対応する精細深度値に、投票方式(または加重投票方式、または任意の他の選択方式)を適用することができる。最大の投票を有する指数に対応する値を、選択された画素に対応する平滑深度値として選択することができる。画像中の画素のほとんどまたはすべてについて、同じプロセスを繰り返して、平滑深度マップD_RFを生成することができる。次いで、平滑深度マップを使用して、画像の選択された部分上で再合焦することができる。

例として、画素(i,j)に対応する平滑深度値を生成するために、画素の周りのサイズn×mの近傍を考慮に入れることができる。画素(i,j)に対応する平滑深度値は、選択された近傍中の画素の各々に対応する精細深度値に基づいて計算することができる。1つの例では、精細深度値を投票方式に基づいて合成して、画素(i,j)に対応する平滑深度値を生成することができる。たとえば、サイズn×m画素の近傍中で、K=n×mの精細深度値から、K₁の値がαに等しくてよく、K₂の値がβに等しくてよく、K₃の値がγに等しくてよい。一般性を失うことなく、K₁>K₂>K₃であると仮定することができる。1つの例では、値αは、画素(i,j)に対応する平滑深度値(たとえば、最も多い数の反復または票を有する値)と考えることができる。別の例では、平滑深度マップは、値α、β、およびγの加重平均に基づいて計算することができる。本開示の教示から逸脱することなく、平滑深度値および/または平滑深度マップを取得するために、任意の他の方式を使用できることに留意されたい。

図4は、本開示のいくつかの実施形態に従う、画像を生成するデバイスにより実施することができる例示の動作を図示する。402において、デバイスは、異なる焦点距離における画像を取得する(たとえば、キャプチャする、または画像キャプチャデバイスから受け取る)ことができる。404において、デバイスは、鮮明度測定フィルタ(たとえば、ラプラシアンフィルタ)で画像をフィルタリングすることができる。406において、デバイスは、画像の各々に2次元関数を適用し、深度画像の第1のスタックを生成することができる。1つの実施形態では、2-D関数は、第1のより小さい近傍を使用することができる。例として、深度画像の第1のスタックは、小さい近傍に対応する2-Dガウシアンぼかし関数を、画像の各々と畳み込むことにより生成することができる。別の実施形態では、深度画像の各々は、画像中の各画素の周りの小さい近傍中に配置される複数の画素に対応する深度値間で、加重平均を実施することにより生成することができる。

408において、デバイスは、深度画像の第1のスタックにわたる各画素位置において最大深度値を見つけ、複合「全焦点」画像を構築するために使用される、第1の深度マップを生成することができる。1つの実施形態では、デバイスは、加重投票方式を使用して、第1の深度マップを生成することができる。さらに別の実施形態では、デバイスは、深度値の加重平均を計算して、第1の深度マップを生成することができる。本開示の教示から逸脱することなく、任意の他の方式を使用して、第1の深度マップを生成することができる。

例として、深度画像のスタックは、それぞれが異なる焦点距離でキャプチャされた、3つの画像Z₁、Z₂、およびZ₃を含むことができる。画像Z₁中の画素(i,j)が深度値αに対応してよく、画像Z₂中の画素(i,j)が深度値βに対応してよく、画像Z₃中の画素(i,j)が深度値γに対応してよい。この画素に対応するD_AIFは、max(α,β,γ)として計算することができる。

さらに、410において、デバイスは、第2のより大きい近傍を使用して、キャプチャされた画像の各々に2次元関数を適用して、深度画像の第2のスタックを生成することができる。例として、深度画像の第2のスタックは、大きい近傍に対応する2-Dガウシアンぼかし関数を、画像の各々と畳み込むことにより生成することができる。

412において、デバイスは、深度画像の第2のスタックにわたる各画素位置において最大値を見つけ、「再合焦」画像を構築するために使用される、第2の深度マップを生成することができる。1つの実施形態では、2次元画素関数は、近傍の画素に対応する深度値の平均を取得すること、および/または近傍の画素に対応する深度値間に加重投票方式を実行することを含むことができる。

図5A〜図5Cは、本開示のいくつかの実施形態に従う、提案された方式を使用して生成される、例示の画像を図示する。図5Aおよび図5Bは、それぞれが異なる焦点距離を有する2つの入力画像を図示する。図5Cは、提案される方式を使用して生成される全焦点画像を図示する。図5Aおよび図5Bの各々における画像からわかるように、画像の部分は焦点が合って見え、一方、他の部分は、焦点が外れて見える。図5Cの複合画像中では、画像のすべてが、鮮明で焦点が合って見える。複合画像は、精細深度マップD_AIFを使用して生成される。ユーザが図5Cに示される複合画像の部分上に再合焦したい場合、ユーザは、平滑深度マップD_RFを使用することができる。

図6は、いくつかの実施形態に従う、画像を合成するために使用することができるデバイスの1つの可能な実装を記載する。1つの実施形態では、デバイス600は、プロセス400の具体的に記載された詳細を用いて実装することができる。1つの実施形態では、カメラ621および画像処理モジュール622などの専用モジュールが、本方法に従う、画像をキャプチャして処理するために必要な機能性を含むことができる。カメラ621および画像処理モジュール622は、デバイス600の様々な他のモジュールと相互作用するように実装することができる。たとえば、合成された画像をディスプレイ出力603上に出力することができる。加えて、画像処理モジュールは、ユーザ入力モジュール606からのユーザ入力を介して制御することができる。ユーザ入力モジュール606は、合成された画像に関するユーザの選好を規定するための入力を受け付けることができる。メモリ620は、画像を記憶するように構成することができ、またカメラおよびデバイスがどのように動作するのかを決定する設定および命令を記憶することもできる。

図6において示される実施形態では、デバイスは、モバイルデバイスであり、いくつかの構成要素において動作を実施するための命令を実行するように構成され、たとえば、携帯型電子デバイス内に実装するのに好適な汎用プロセッサまたはマイクロプロセッサであってよい、プロセッサ610を含むことができる。プロセッサ610は、したがって、本明細書に記載されるような、カメラおよび画像処理モジュールを動作させるための特定のステップのうちのいずれかまたはすべてを実装することができる。プロセッサ610は、モバイルデバイス600内の複数の構成要素と通信可能に結合される。この通信可能な結合を実現するため、プロセッサ610は、バス660を介して、他の図示される構成要素と通信することができる。バス660は、モバイルデバイス600内でデータを転送するように適合された任意のサブシステムであってよい。バス660は、複数のコンピュータバスであってよく、データを転送するための追加の回路を含む。

メモリ620は、プロセッサ610に接続することができる。いくつかの実施形態では、メモリ620は、短期ストレージと長期ストレージの両方を提供し、実際には、いくつかのユニットへと分割することができる。短期メモリは、分析後廃棄できる画像を記憶することができる。あるいは、ユーザの選択に応じて、すべての画像を長期ストレージに記憶することができる。メモリ620は、スタティックランダムアクセスメモリ(SRAM)および/もしくはダイナミックランダムアクセスメモリ(DRAM)など、揮発性であってよく、かつ/または読取り専用メモリ(ROM)、フラッシュメモリなど、不揮発性であってもよい。さらに、メモリ620は、セキュアデジタル(SD)カードなど、取外し可能ストレージデバイスを含むことができる。したがって、メモリ620は、モバイルデバイス600用のコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータのストレージを提供する。いくつかの実施形態では、メモリ620を異なるハードウェアモジュールに分散することができる。

いくつかの実施形態では、メモリ620は、複数のアプリケーション626を記憶する。アプリケーション626は、プロセッサ610により実行される特定の命令を含む。代替実施形態では、他のハードウェアモジュールが、一定のアプリケーションまたはアプリケーションの部分をさらに実行してよい。メモリ620は、いくつかの実施形態に従うスキャンを実装するモジュールのためのコンピュータ可読命令を記憶するために使用することができ、またデータベースの部分としてコンパクトなオブジェクト表現を記憶することもできる。

いくつかの実施形態では、メモリ620は、オペレーティングシステム623を含む。オペレーティングシステム623は、アプリケーションモジュールにより提供される命令の実行を開始し、かつ/または他のハードウェアモジュールを管理するように動作可能であってよく、同様に、ワイヤレストランシーバ612およびリンク616を使用することができる通信モジュールと相互作用もする。オペレーティングシステム623を、スレッディング、リソース管理、データストレージ制御、および他の同様の機能性を含む、モバイルデバイス600の構成要素にわたる他の動作を実施するように適合することができる。

いくつかの実施形態では、モバイルデバイス600は、複数の他のハードウェアモジュール601を含む。他のハードウェアモジュール601の各々は、モバイルデバイス600内の物理的なモジュールである。しかし、ハードウェアモジュール601の各々が構造物として恒久的に構成される一方、ハードウェアモジュールのそれぞれは、特定の機能を実施するため一時的に構成すること、または一時的にアクティブ化することができる。

他の実施形態は、デバイス600の中に組み込まれるセンサを含むことができる。センサ662の例は、たとえば、加速度計、Wi-Fiトランシーバ、衛星ナビゲーションシステムレシーバ(たとえば、GPSモジュール)、圧力モジュール、温度モジュール、音声入出力モジュール(たとえば、マイクロフォン)、カメラモジュール、近接度センサ、代替回線サービス(ALS)モジュール、容量性タッチセンサ、近距離場通信(NFC)モジュール、ブルートゥーストランシーバ、セルラトランシーバ、磁力計、ジャイロスコープ、慣性センサ(たとえば、加速度計とジャイロスコープを組み合わせたモジュール)、周囲光センサ、相対湿度センサ、またはセンサ出力を提供する、かつ/またはセンサ入力を受け取るように動作可能な任意の他の同様のモジュールであってよい。いくつかの実施形態では、センサ662の1つまたは複数の機能は、ハードウェア、ソフトウェア、またはファームウェアとして実装することができる。さらに、本明細書に記載されるように、加速度計、GPSモジュール、ジャイロスコープ、慣性センサ、または他のそのようなモジュールなどの一定のハードウェアモジュールを、カメラおよび画像処理モジュールと一緒に使用して、追加の情報を提供することができる。いくつかの実施形態では、ユーザがユーザ入力モジュール606を使用して、画像を分析する方法を選択することができる。

モバイルデバイス600は、アンテナ618およびワイヤレストランシーバ612をワイヤレス通信に必要な任意の他のハードウェア、ファームウェア、またはソフトウェアと共に組み込むことができる、ワイヤレス通信モジュールなどの構成要素を含むことができる。そのようなワイヤレス通信モジュールは、ネットワークおよびネットワークアクセスポイントなどのアクセスポイントを介して、データソースなど、様々なデバイスから信号を受信するように構成することができる。いくつかの実施形態では、コンパクトなオブジェクト表現は、サーバコンピュータ、他のモバイルデバイス、または、離れたデータベース中に記憶され、デバイスがオブジェクト認識機能性を実行するとき複数の他のデバイスにより使用される他のネットワーク化コンピューティングデバイスに通信することができる。

他のハードウェアモジュールおよびメモリ620中のアプリケーションに加えて、モバイルデバイス600は、ディスプレイ出力603およびユーザ入力モジュール606を有することができる。ディスプレイ出力603は、モバイルデバイス600からの情報をユーザにグラフィカルに提示する。この情報は、1つもしくは複数のアプリケーションモジュール、1つもしくは複数のハードウェアモジュール、それらの組合せ、または(たとえば、オペレーティングシステム623によって)ユーザ用のグラフィカルコンテンツを解決するための任意の他の適切な手段から導出することができる。ディスプレイ出力603は、液晶ディスプレイ(LCD)技術、発光ポリマディスプレイ(LPD)技術、または何らかの他のディスプレイ技術であってよい。いくつかの実施形態では、ディスプレイモジュール603は、容量性または抵抗性のタッチスクリーンであり、ユーザとの触覚および/または触知性接触に反応することができる。そのような実施形態において、ディスプレイ出力603は、マルチタッチセンシティブディスプレイを備えることができる。ディスプレイ出力603は、次いで、警告、設定、閾値、ユーザインターフェース、または他のそのような制御装置などを、カメラ621または画像処理モジュール622に関連する任意の数の出力に表示するために使用することができる。

上に議論された方法、システム、およびデバイスは例である。様々な実施形態は、適宜、様々な手順または構成要素を省略、置換、または追加することができる。たとえば、代替構成では、記載される方法は、記載されたものと異なる順序で実施することができ、かつ/または様々なステージを追加、省略、および/もしくは合成することができる。また、いくつかの実施形態に関して記載された特徴は、様々な他の実施形態に合成することができる。実施形態の異なる態様および要素を、同様のやり方で合成することができる。

実施形態の十分な理解をもたらすために、記載中に特定の詳細が与えられている。しかし、実施形態は、いくつかの特定の詳細なしに実施することができる。たとえば、実施形態を不明瞭にすることを避けるために、周知の回路、プロセス、アルゴリズム、構造、および技法が、不要な詳細なしに言及された。この説明は、例示的な実施形態のみを提供し、様々な実施形態の範囲、適用可能性、または構成を限定することは意図されない。むしろ、実施形態の上述の記載は、当業者が実施形態を実装するための記載を可能にすることをもたらすことになる。様々な実施形態の精神および範囲から逸脱することなく、要素の機能および構成に様々な変更を行うことができる。

また、いくつかの実施形態について、プロセス矢印を用いて、フローの形で示すことができるプロセスとして説明した。各々は動作を順次プロセスとして説明するが、動作の多くは、並列にまたは同時に実施することができる。加えて、動作の順序は、再配置することができる。プロセスは、図に含まれない追加のステップを有することができる。さらに、方法の実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記載言語、またはこれらの任意の組合せにより実装することができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されると、関連するタスクを実施するためのプログラムコードまたはコードセグメントを、ストレージ媒体などのコンピュータ可読媒体中に記憶することができる。プロセッサは、関連するタスクを実施することができる。加えて、上の要素は、単により大きいシステムの構成要素であってよく、そこでは、他のルールが優先順位を有すること、さもなければ様々な実施形態のアプリケーションを変更することができ、また任意の実施形態の要素が実装される前、実装される間、もしくは実装される後に任意の数のステップを始めることができる。

本明細書に記載される方法がソフトウェアで実装できることに留意されたい。ソフトウェアは、一般に、非一時的なストレージデバイス(たとえば、メモリ)中に記憶され、プロセッサ(たとえば、汎用プロセッサ、デジタル信号プロセッサなど)により実行することができる。

いくつかの実施形態について説明してきたので、様々な変更、代替構造、および均等物は、本開示の精神から逸脱することなく使用できることが、当業者には明らかであろう。

100 画像キャプチャおよび/または処理デバイス
202 画像Z₁
204 画像Z₂
206 画像Z_N
208 全焦点画像
210 セクションA₁
212 セクションA₂
214 セクションA_N
216 合成器
220 セクション
230 再合焦画像
306 鮮明度測定フィルタ
312 鮮明度測定フィルタ
318 精細深度マップD_AIF
330 平滑深度マップD_RF
400 プロセス
600 デバイス、モバイルデバイス
601 ハードウェアモジュール
603 ディスプレイ出力
606 ユーザ入力モジュール
610 プロセッサ
612 ワイヤレストランシーバ
616 リンク
618 アンテナ
620 メモリ
621 カメラ
622 画像処理モジュール
623 オペレーティングシステム
626 アプリケーション
660 バス
662 センサ

Claims (15)

1. 異なる焦点距離におけるシーンの複数の画像を取得するステップであって、各画像が前記シーンの異なる部分を合焦して示すステップと、
   前記複数の画像に関連する第1の深度マップを取得するステップと、
   前記複数の画像に関連する第2の深度マップを取得するステップであって、
   前記第1の深度マップが第1の近傍サイズに対応し、前記第2の深度マップが、異なる第2の近傍サイズに対応し、
   前記第1および第2の深度マップを取得するために、前記第1および第2の近傍サイズのそれぞれに基づいて、2次元関数が適用される、ステップと、
   前記複数の画像および前記第1の深度マップに基づいて、前記シーンの2つ以上の部分を合焦して示す複合画像を生成するステップと、
   前記複合画像および前記第2の深度マップに基づいて、前記シーンの選択された部分を合焦して示す再合焦画像を生成するステップと
   を含む、画像処理のための方法。
2. 前記第1の近傍サイズが前記第2の近傍サイズよりも小さい、請求項1に記載の方法。
3. 前記複数のキャプチャされた画像の各々を鮮明度測定フィルタでフィルタリングして、複数のフィルタリングした画像を生成するステップをさらに含み、
   前記第1の深度マップを取得するステップが、
   前記複数のフィルタリングした画像中の各画像に対して前記第1の近傍サイズに基づく第1の2次元画素関数を適用して、第1の複数の深度画像を作り出すステップを含み、
   前記第2の深度マップを取得するステップが、
   前記複数のフィルタリングした画像中の各画像に対して前記第2の近傍サイズに基づく第2の2次元画素関数を適用して、第2の複数の深度画像を作り出すステップを含む、請求項1に記載の方法。
4. 前記第1の2次元画素関数が、
   前記第1の近傍中の複数の画素に対応する深度値の間の加重平均を計算することを含む、または、
   前記第1の近傍中の画素に対応する深度値に対して加重投票方式を実行することを含む、請求項3に記載の方法。
5. 前記鮮明度測定フィルタがラプラシアンフィルタである、請求項3に記載の方法。
6. 前記第1の深度マップを取得するステップが、
   各画素位置について、前記第1の複数の深度画像に対応する第1の複数の深度値の間の最大深度値を取得するステップを含み、
   前記第2の深度マップを取得するステップが、
   各画素位置について、前記第2の複数の深度画像に対応する第2の複数の深度値の間の最大深度値を取得するステップを含む、
   請求項3に記載の方法。
7. 前記複数の画像の前記異なる焦点距離が最小焦点距離値と最大焦点距離値との間に均一に分散される、請求項1に記載の方法。
8. 前記第2の深度マップが前記第1の深度マップに基づいてオンザフライで生成される、請求項1に記載の方法。
9. 異なる焦点距離におけるシーンの複数の画像を取得するための手段であって、各画像が前記シーンの異なる部分を合焦して示す、手段と、
   前記複数の画像に関連する第1の深度マップを取得するための手段と、
   前記複数の画像に関連する第2の深度マップを取得するための手段であって、
   前記第1の深度マップが第1の近傍サイズに対応し、前記第2の深度マップが、異なる第2の近傍サイズに対応し、
   前記第1および第2の深度マップを取得するために、前記第1および第2の近傍サイズのそれぞれに基づいて、2次元関数が適用される、手段と、
   前記複数の画像および前記第1の深度マップに基づいて、前記シーンの2つ以上の部分を合焦して示す複合画像を生成するための手段と、
   前記複合画像および前記第2の深度マップに基づいて、前記シーンの選択された部分を合焦して示す再合焦画像を生成するための手段と
   を備える、画像処理のための装置。
10. 前記第1の近傍サイズが前記第2の近傍サイズよりも小さい、請求項9に記載の装置。
11. 前記複数のキャプチャされた画像の各々を鮮明度測定フィルタでフィルタリングして、複数のフィルタリングした画像を生成する手段をさらに備え、
    前記第1の深度マップを取得するための前記手段が、
    前記複数のフィルタリングした画像中の各画像に対して前記第1の近傍サイズに基づく第1の2次元画素関数を適用して、第1の複数の深度画像を作り出すための手段を備え、
    前記第2の深度マップを取得するための前記手段が、
    前記複数のフィルタリングした画像中の各画像に対して前記第2の近傍サイズに基づく第2の2次元画素関数を適用して、第2の複数の深度画像を作り出すための手段を備える、
    請求項9に記載の装置。
12. 前記第1の2次元画素関数が、
    深度値の間の加重平均を計算することを含む、または、
    前記第1の近傍中の画素に対応する深度値に対して加重投票方式を実行することを含む、請求項11に記載の装置。
13. 前記第1の深度マップを取得するための前記手段が、
    各画素位置について、前記第1の複数の深度画像に対応する第1の複数の深度値の間の最大深度値を取得するための手段を備え、
    前記第2の深度マップを取得するための前記手段が、
    各画素位置について、前記第2の複数の深度画像に対応する第2の複数の深度値の間の最大深度値を取得する手段を備える、
    請求項11に記載の装置。
14. 前記第2の深度マップが前記第1の深度マップに基づいてオンザフライで生成される、請求項9に記載の装置。
15. 画像処理のためのプロセッサ可読記憶媒体であって、プロセッサに、請求項1から8のいずれか一項に記載の方法を行わせるように構成されるプロセッサ可読命令を含む、プロセッサ可読記憶媒体。

Images