JP6105987B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は多視点画像の処理に関するものである。

従来から、プレノプティック(Plenoptic)カメラやカメラアレイなどを用いて、光線の位置と方向（以下、ライトフィールド(Light Field)）を記録する技術が知られている。また、取得したライトフィールド情報を使って、撮影後に画像のピント位置を変更したり（以下、リフォーカス）、被写界深度を変更する画像処理技術も知られている。

撮影後に上記の画像処理を行うためには、ライトフィールドを符号化する必要がある。ライトフィールドの符号化方法としては、ライトフィールドを多視点画像で表現し、ＪＰＥＧやＰＮＧなどの既存の画像符号化技術で符号化する方法が知られている。多視点画像による表現は多くの場合、取得したライトフィールドの情報を損失なく表現でき、撮影後の画像処理の自由度は損なわれない。また、ライトフィールドを使ってリフォーカス処理を行い、生成されたピント位置の異なる複数のリフォーカス画像（以下、多焦点画像）をＪＰＥＧなどで符号化する技術も知られている。多焦点画像を符号化する方法は、ライトフィールドの情報の一部を符号化するため、多くの場合、合成後の画像処理の自由度は下がる。しかしながら、ユーザが必要とする合成画像を適切に選んで符号化すれば、必要最低限の情報を符号化することになり、多視点画像を符号化する場合に比べて符号量を削減できる。

ライトフィールドから多焦点画像を生成する技術として、特許文献１の方法が知られている。この方法では各リフォーカス画像の仮想的な焦点面を、等間隔にずらして生成する方法が述べられている。この方法では、リフォーカス可能な距離にある物体は、生成したリフォーカス画像のいずれかで被写界深度内（例えば、ボケの直径が１画素以内）に収まることが保証できる。

米国特許公開第２００８／０１３１０１９号公報

Ren Ng."Digital Light Field Photography",PhD thesis, standford, CA, USA, 2006. Aaron Isaksen, Leonard McMillan, Stevec J. Gortler. "Dynamically Reparameterized Light Fields", Proc. ACM SIGGRAPH 2000.

上記特許文献１の方法では、仮想的な焦点面を等間隔にずらす。従って、リフォーカス可能な距離にある物体全てが、いずれかのリフォーカス画像の被写界深度内に収まる様に多焦点画像を生成すると、多焦点画像の枚数が膨大になる恐れがある。

本発明はこのような問題点を解決するためのものである。そして、本願の明細書では、多焦点画像の枚数を抑えつつ、リフォーカス可能な距離にある物体は、いずれかのリフォーカス画像の被写界深度内に収まる、画像合成技術を提供する。

この課題を解決するため、例えば本明細書における画像処理装置は以下の構成を備える。すなわち、
ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得手段と、
取得した前記ライトフィールドに基づき、生成する複数のリフォーカス画像の合成パラメータの初期値を設定する初期値設定手段と、
前記合成パラメータの初期値に基づいてリフォーカス画像を生成した場合の画像の枚数が、削減判定基準を満たすかを判定する削減判定手段と、
前記削減判定手段により削減判定基準を満たすと判定された場合、前記初期値設定手段で設定された合成パラメータの初期値で合成されるリフォーカス画像のうち少なくとも２つのリフォーカス画像を削減対象とし、当該削減対象となったリフォーカス画像それぞれの被写界深度を包含する１枚の被写界深度を有するリフォーカス画像により置き換えることで、前記生成されるリフォーカス画像を削減する削減手段とを有する。

本明細書によれば、多焦点画像の枚数を抑えつつ、リフォーカス可能な距離にある物体は、いずれかのリフォーカス画像の被写界深度内に収まる、画像合成技術を提供できる。

第１の実施形態のブロック図。 第１の実施形態のフローチャート。 第１の実施形態の多焦点画像のマージの例を示す図。 第１の実施形態でライトフィールド取得が可能な光学系の例を示す図。 第１の実施形態の被写界深度制御の例を示す図。 第１の実施形態のリフォーカス画像の被写界深度の詳細を示す図。 第１の実施形態の撮影シーンの例を示す図。 第１の実施形態の撮影シーンのデプス情報の例を示す図。 第２の実施形態の多焦点画像のマージの例を示す図。 第２の実施形態の撮影シーンの例を示す図。 第２の実施形態の撮影シーンのデプス情報の例を示す図。 第３の実施形態の多焦点画像のマージの例を示す図。 第４の実施形態のフローチャート。 第４の実施形態の多焦点画像のマージの例を示す図。 コンピュータのブロック構成図。 第５の実施形態のフローチャート 第５の実施形態の撮影シーンのデプス分布の例を示す図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下で説明する各実施形態は、本発明を具体的に実施した場合の例を示すもので、特許請求の範囲に記載の構成の具体的な実施形態の１つである。

［第１の実施形態］
本実施形態では、多焦点画像を生成する際に、被写界深度内に収まる画素数の少ないリフォーカス画像のペアを、被写界深度の深い１枚のリフォーカス画像で置き換えることで、多焦点画像の枚数を減らす実施形態を説明する。

まず、本実施形態において、ライトフィールド撮像装置の光学系について説明する。本実施形態では図４に示す、プレノプティックカメラによってライトフィールドを取得する。図４において、物体４０１から発せられる光は、メインレンズ４０２によってマイクロレンズ４０３に集光され、マイクロレンズ４０３において分離され、センサ４０４に受光される。センサ４０４の一部を拡大したのが４０５であり、マイクロレンズ４０３によって分離された光が、４ｘ４画素のセンサに円上に受光される。なお、メインレンズ４０２とマイクロレンズ４０３はＦ値が同じであるとする。この構成は非特許文献１で知られている光学系と同様の物である。

次に、本実施形態で用いる画像合成方法である、リフォーカス、及び被写界深度制御について述べる。

まず、リフォーカスについて述べる。上記光学系によって取得されたライトフィールドを用いたリフォーカス方法は非特許文献１に述べられている。まず、撮影したライトフィールドにより、多視点画像を構成する。この際、各多視点画像は、メインレンズの一部の領域を通った光を受光して出来た画像である。次に、各多視点画像をシフトして加算することによりリフォーカス画像を生成する。この際、各多視点画像のシフト量は、各多視点画像がメインレンズのどの部分を通った光を受光してできた画像かによって決まる。

本実施形態でも同様の方法を用いてリフォーカスを行う。より具体的にはリフォーカス画像の座標（ｘ，ｙ）における画素の色Ｒ（ｘ，ｙ）を次式（１）で求める。

ここで、ｕ，ｖは１つのマイクロレンズによるセンサ４０４への投影範囲の座標を表し、マイクロレンズの中心を通る位置を原点とし、ｕがその座標の横軸、ｖが縦軸である。また、マイクロレンズの投影する範囲の外周は直径１の円であるとする。Ｉｕｖは１枚の多視点画像であり、マイクロレンズ上の座標ｕ，ｖを中心とする領域を通った光を受光して出来た画像である。例えばｕ＝ｕ１、ｖ＝ｖ１とした場合、画像Ｉｕ１ｖ１は図４の符号４０５に示した、円状に受光された光のうち、ｕ=ｕ１，ｖ＝ｖ１の位置にある画素を抜き出して並べることで生成できる。本実施形態では図５に実線の四角形で示した如く、１６枚の多視点画像を生成する。なお、図５では、画像Ｉｕ１ｖ１の中心が、図中に示した座標軸のｕ＝ｕ１、ｖ＝ｖ１の位置になる様に配置している。ｓはリフォーカス時に任意に定められる定数で、ｓを変えることにより、リフォーカス画像においてカメラからどれだけ離れた位置にピントが合うかが決まる。ｓが０の場合は、ピントが合う領域が、図４におけるマイクロレンズ４０３の部分にセンサを置いた場合に得られる画像と同じになる。また、ｓの値が大きいほどカメラに近い物体にピントが合ったリフォーカス画像となる。

式（１）のより直観的な解釈を述べる。式（１）でパラメータｓを０に設定して出来た合成画像において、点光源が直径ｔの円状のボケとなる場合、その点光源にピントが合うリフォーカス画像はｓ＝ｔもしくはｓ＝−ｔとして合成すれば得られる。なおｓの正負は、点光源ｔが、ｓ＝０設定した場合のリフォーカス画像のピント面より奥にあるか手前にあるかによって決まる。

次に被写界深度制御について述べる。被写界深度制御は式（１）においてリフォーカス処理を行う際に、多視点画像のどの画像を加算するかを選ぶことできまる。図５の破線で示したように、得られた４ｘ４枚の全ての画像を用いて式（１）の合成処理を行った場合は、取得したライトフィールドで合成可能な中で最も被写界深度の浅い（以下、最浅被写界深度）の画像を合成することができる。一方で、図５において点線で示したように、中心の２ｘ２枚の画像を用いて合成処理を行った場合は、被写界深度の深い画像が得られる。これは２ｘ２枚を用いて画像を合成した場合は、メインレンズの中心部を通った光から出来る画像、つまり絞りを絞って撮影した画像と同様の画像を合成するためである。

以上で、本実施形態で用いるライトフィールド取得装置、およびリフォーカスと被写界深度制御を実現する画像合成方法について説明を終える。なお、本実施形態のライトフィールド取得装置ではプレノプティックカメラからライトフィールドを取得する例を説明したが、カメラアレイ、多眼カメラなどから取得しても構わない。また、リフォーカスや被写界深度制御の具体的な方法も上記に限らない。例えば非特許文献２には複数台のカメラによりライトフィールドを取得し、リフォーカスと被写界深度制御を行う方法が開示されている。

以上で述べたライトフィールド取得装置及び画像合成方法を用いて、本実施形態における多焦点画像生成方法の具体的な処理を、図２のフローチャートに用いて説明する。なお、同図の処理を実行する装置の構成については後述する。

まずＳ２０１で多焦点画像の最大枚数（許容数）を取得する（許容数取得）。多焦点画像の枚数が減るほどデータ量が減ると考えられるため、１回の撮影当たりに許容できるデータ量を考慮してユーザが、不図示の操作部を介して設定もしくは指定する。なお、この値はライトフィールド取得装置毎に固定の値を持たせても良い。本実施形態では最大枚数としてユーザから４枚が指定されたものとして以下の説明を行う。

次にＳ２０２においてライトフィールドを取得する。本実施形態では既に述べたように、図４に示した光学系を持つプレノプティックカメラによってライトフィールドを取得する。なお、説明の為、本実施形態では図７（ａ）に示すシーンを撮影したものとする。図７（ａ）は、背景Ｆの手前に、オブジェクトＡ，Ｂ，Ｃ，Ｄ，Ｅが並んだシーンであり、オブジェクトＡが最もカメラに近く、右のオブジェクトほどカメラから遠い距離にある。なお、撮影時のピントはオブジェクトＣに合っているものとする。

次にＳ２０３では撮影したシーンのデプス情報（デプス画像）を取得する。本実施形態では、図７（ａ）で示したシーンのデプス情報をカメラから取得する。デプス画像は、図８に示すように、カメラからの距離値を画素値とするものと考えると分かりやすい。

ここで、デプス情報について補足する。デプス情報は例えばＳ２０２で取得したライトフィールドから生成できる多視点画像のうちのある視点における、デプス画像の形で取得される。デプス画像の取得には大きく分けてアクティブ方式とパッシブ方式がある。アクティブ方式は被写体にレーザーなどを照射することで距離を取得する方式で、代表的なものとしてレーザーが往復してくるまでの時間から距離を推測するタイムオブフライト方式がある。パッシブ方式は撮影した画像を用いて距離を取得する方式で、代表的なものとして、異なる２視点の撮影画像を用いるステレオマッチング法がある。本実施形態ではパッシブ方式によって、図５における画像５０１の視点に対応する距離画像を得られたものとする。なお、画像５０１はメインレンズの中心部からわずかにずれた位置から入射した光によって生成した画像であるが、図５の多視点画像の視点間隔は非常に密であるため、以降ではこの距離画像をメインレンズの中心視点のものとして扱う。

Ｓ２０４では、取得したライトフィールドから最浅被写界深度のリフォーカス画像を合成する。具体的にはＳ２０２で取得したライトフィールドを変換することで得られる４ｘ４枚全ての多視点画像を用いて、式（１）に示したリフォーカス処理を行う。リフォーカスの際のシフト量を定めるパラメータｓは、−４、−２、０、２、４に変化させ、５枚のリフォーカス画像を生成する。パラメータｓの各値に対応するリフォーカス画像を図７（ｂ）〜（ｆ）で示す。図において、各リフォーカス画像で被写界深度内に収まった画素を斜線で示している。図に示した通り、本実施形態においてはＡ〜Ｅの異なるオブジェクトにピントが合ったリフォーカス画像が生成される。なお、被写界深度内の画素の特定方法は以下のＳ３０１において詳しく説明する。

ここで、生成する多焦点画像としてパラメータｓを−４、−２、０、２、４と設定した５枚にした理由を補足する。非特許文献１によると、プレノプティックカメラでリフォーカスによってピントを合わせられる範囲は、図４のマイクロレンズ４０３を通った光が、センサ４０４において直径何画素の円として受光するかに依存する。本実施形態の場合は直径４画素の円として受光され、この場合リフォーカス可能な範囲はパラメータｓが−４〜４の間のみである。またｓを２刻みで変化させた場合は、リフォーカス可能な範囲内にある点光源は、リフォーカス画像のいずれかで、直径１画素以下の円として結像される。従って被写界深度内（および焦点深度内）にあると見なす基準を、ボケが直径１画素以下の円であるとすると、ｓは２刻みが望ましい。以上がパラメータｓを変化させる範囲および間隔を上記の如く定めた根拠である。以下の説明でもボケが直径１画素以下の円として見なせる範囲を被写界深度内（および焦点深度内）にあるとする。

次にＳ２０５では、多焦点画像の候補の個数が、Ｓ２０１で取得した最大枚数を超えているかを判定する。このＳ２０５が最初に実行された場合（初期段階）では、Ｓ２０４で生成された多焦点画像の候補数と最大枚数とを比較することになる。そして、この判定で、多焦点画像の候補数が最大枚数を超えていると判断した場合には、Ｓ２０６に進む。

Ｓ２０６では多焦点画像に含まれる、焦点の合った距離が隣接するペア（２つ）の画像を、被写界深度の深い１枚の画像で置き換える。以降ではこの処理を多焦点画像のマージと呼ぶ。１回の多焦点画像のマージにより、生成される多焦点画像が１枚少なくなり、本実施形態の効果である、データ量の削減が実現される。多焦点画像のマージでは、ユーザが必要とするリフォーカス画像が残る様にマージを行う必要がある。本実施形態では、ピントが合った領域が少ないリフォーカス画像は、ユーザが必要としている可能性が低いという直観に基づいてマージを行う。そして、多焦点画像の数が、設定した最大枚数となるまでＳ２０６を繰り返す。

以下、図３のフローチャートに従い、上記のＳ２０６の処理の詳細を説明する。

まずＳ３０１では、現在生成されている各リフォーカス画像の被写界深度内の画素数（合焦している画素数）を計算する。被写界深度内の画素はＳ２０３で求めたデプス画像、プレノプティックカメラのパラメータ（焦点距離ｆ、Ｆ値、センサピッチｅ、像距離ｂ）が分かれば特定できる。その詳細を図６を用いて説明する。ライトフィールドから構成された多視点画像の全て（本実施形態の例では４×４枚）を用いて式（１）のパラメータｓ＝ｔ（ｔ＞１）でリフォーカスを行った際の焦点深度は焦点深度６０３の範囲になる。ここで、焦点深度の右端および左端の点はそれぞれ、マイクロレンズ面６０２において、錯乱円６０７および錯乱円６０８の範囲に受光される光線が一点に結像する位置である。なお、錯乱円６０７、６０８はそれぞれ直径が（ｔ−１）ｅ、（ｔ＋１）ｅである。これは直感的には、式（１）においてｓ＝０で合成した画像において、直径が（ｔ−１）画素から（ｔ＋１）画素の後ろボケとなる画素は、ｓ＝ｔのリフォーカス画像において焦点深度内であると考えることができる。この時、焦点深度６０３に対応する被写界深度は被写界深度６０９となる。従ってデプスが平面６０５と平面６０６の間にある画素は被写界深度内であると見なせる。なお、許容錯乱円の直径を定めた場合の被写界深度は焦点距離ｆ、Ｆ値、被写体距離ａ（もしくは像距離ｂ）が分かれば求まることが知られており、これから平面６０５と平面６０６のメインレンズからの距離を求めることができる。以上をまとめると、各画素が被写界深度内であるかどうかは、平面６０５と６０６のメインレンズからの距離を算出し、Ｓ２０３で取得した各画素のデプスが平面６０５と６０６の間にあるかによって判定できる。なお、上ではパラメータｓ＝ｔ（ｔ＞１）の場合について説明したが、それ以外の場合でも同様に計算することが可能である。

次にＳ３０２では、ピント面の奥行きが隣接するリフォーカス画像ペアのコストを計算する。本実施形態ではリフォーカス画像ペアのコストは、Ｓ３０１で求めた各リフォーカス画像の被写界深度内画素数の和（合計）とする。本実施形態の例では図７で示したリフォーカス画像のうち、図７（ｅ）と（ｆ）のペアが被写界深度内画素数の和が最小となる。

Ｓ３０３では、Ｓ３０２で特定したコスト最小のリフォーカス画像ペアを多焦点画像の削除対象として決定し、代わりに、それら２つの画像を含む被写界深度を包含する、被写界深度の深い画像を一枚生成する。Ｎ×Ｎ枚の画像を使って生成したシフト量Ｓ１、Ｓ２の２枚の画像ペアを置き換える場合は、メインレンズの中心部に近い（Ｎ／２）×（Ｎ／２）枚の画像を使って、シフト量（Ｓ１＋Ｓ２）／２の画像を生成する。こうすることで、削除される前の２枚のリフォーカス画像ペアのどちらかで被写界深度内に収まっている被写体は、新しく生成した１枚のリフォーカス画像の、被写界深度内に収まる。本実施形態では２ｘ２枚の多視点画像を使ってシフト量３で合成したリフォーカス画像図７（ｇ）によって、図７（ｅ）と（ｆ）を置き換える。これにより、５枚の多焦点画像が４枚に置き換えることができる。なお、ここで生成される４枚の画像それぞれは、例えばＪＰＥＧ符号化される。そして、個々の画像は個別のファイル、もしくは４枚の画像を単一のファイルに多重化したファイルとして、ハードディスク等の記憶装置に出力する。

なお、Ｓ３０２、Ｓ３０３において削減する画像を２枚として説明を行ったが、２枚である必要はない。削減するリフォーカス画像を複数枚選び、それらのいずれかで被写界深度内にある画素が、新しく合成する画像の被写界深度内にある様に、被写界深度とリフォーカスの際のピント位置を定めればよい。

以上でＳ２０６における多焦点画像のマージの説明を終える。以降、Ｓ２０５で多焦点画像の枚数が閾値以下であると判定されるまで、多焦点画像のマージを繰り返し、多焦点画像の枚数を所望の枚数以下に抑えることができる。

上記説明では説明を分かり易くするために、多焦点画像を生成し、その後削減する画像を特定し、新たに合成した画像で置き換えるという処理手順を説明した。しかし、実際には最終的に出力するリフォーカス画像を合成する為に必要なパラメータが分かれば良い。具体的には式（１）のシフト量及び、何枚の多視点画像を合成に用いるかが分かれば良い。従ってＳ２０４、Ｓ３０３において実際に画像を作成する必要はなく、合成画像のパラメータを更新すれば良い。このことは、Ｓ３０１およびＳ３０２において、削除する画像ペアの特定に必要な被写界深度内画素数の計算は、Ｓ２０３で取得したデプス情報及び画像合成パラメータが分かれば出来ることから、実現可能であることが分かる。

図１を用いて上記の処理を実現する装置の具体的な構成について述べる。ライトフィールド取得部１０１ではライトフィールド情報を取得する。ここではＳ２０２で説明した取得処理を行う。具体的にはプレノプティックカメラによって撮影した情報を取得する。

画像合成部１０２は画像のリフォーカス処理、および被写界深度合成を行う。合成パラメータ算出部１０５から入力されるパラメータに基づいて、Ｓ２０４およびＳ３０３の合成処理が行われる。なお、最終的に出力する多焦点画像のみを合成する場合は、最終的に出力する多焦点画像のパラメータが決まった場合のみ合成を行う。

合成パラメータ算出部１０５では、画像を合成するためのパラメータを算出する。多焦点画像の更新を行う度に、画像合成を行う場合は、画像合成部１０２と合成パラメータ算出部１０５を繰り返す。また、最終的に出力する多焦点画像のみを合成する場合は、ここで求めた最終的に合成する多焦点画像のパラメータを、画像合成部１０２に出力する。

本実施形態における合成パラメータ算出部１０５は、より詳細には、削減判定部１０３、削減画像特定部１０４、パラメータ更新部１０６から成る。

削減判定部１０３においては多焦点画像が削減判定基準を満たすか否かを判定する。判定は、既にＳ２０１およびＳ２０５の説明で述べたように多焦点画像の最大枚数を取得し、画像合成部１０２で合成された（もしくは合成候補の）多焦点画像がその最大枚数以下で有るかどうかによって行う。なお、削減判定は、生成した多焦点画像の枚数の他に、生成したリフォーカス画像の全てが、閾値以上の被写界深度内画素数を持つ場合はそれ以上リフォーカス画像を削減しない（削減不要）、という基準などでも行うことができる。

削減画像特定部１０４においては多焦点画像のうち、削減する画像を特定する。具体的には、Ｓ２０３で述べたようにデプス情報を取得し、Ｓ３０１で述べた処理によって各リフォーカス画像の被写界深度内画素数を計算し、Ｓ３０２の処理によってコストを基準に削減する画像を特定する。

パラメータ更新部１０６では、合成するリフォーカス画像のパラメータの更新を行う。削減画像特定部１０４で選ばれた削減対象の複数画像を被写界深度に含む画像を合成する為のパラメータを算出する。パラメータの算出はＳ３０３で述べた方法で行う。また、合成候補となる多焦点画像のパラメータの初期値が定まっていない場合は、Ｓ２０４における、多焦点画像のパラメータの初期値を定める（初期値設定する）。

以上で、図１のブロック図の説明を終える。上記の実施形態で説明したように、生成する多焦点画像の枚数を抑えることができ、多焦点画像を符号化する際のデータ量を削減することができる。

［第１の実施形態の変形例］
図１に示した各部はハードウェアで構成しても良いが、ソフトウェア（コンピュータプログラム）として実装しても良い。この場合、このソフトウェアは、ＰＣ（パーソナルコンピュータ）等、一般のコンピュータのメモリにインストールされることになる。そしてこのコンピュータのＣＰＵがこのインストールされたソフトウェアを実行することで、このコンピュータは、上述の画像処理装置の機能を実現することになる。即ち、このコンピュータは、上述の画像処理装置に適用することができる。図１５は、上記ソフトウェアを実行するコンピュータのハードウェアを示している。

図示において、ＣＰＵ１５０１は、ＲＡＭ１５０２やＲＯＭ１５０３に格納されているコンピュータプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置が行うものとして説明した上述の各処理を実行する。ＲＡＭ１５０２は、コンピュータ読み取り可能な記憶媒体の一例である。ＲＡＭ１５０２は、外部記憶装置１５０７や記憶媒体ドライブ１５０５、更にはネットワークインタフェース１５１０からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１５０２は、ＣＰＵ１５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ１５０２は、各種のエリアを適宜提供することができる。ＲＯＭ１５０３は、コンピュータ読み取り可能な記憶媒体の一例であり、コンピュータの設定データや、ブートプログラムなどが格納されている。

キーボード１５０４、マウス１５０５は、コンピュータの操作者が操作することで、各種の指示をＣＰＵ１５０１に対して入力することができる。表示装置１５０６は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１５０１による処理結果を画像や文字などでもって表示することができる。例えば、上記多視点画像の表示や、合成した多焦点画像の表示ができる。

外部記憶装置１５０７は、コンピュータ読み取り記憶媒体の一例であり、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１５０７には、ＯＳ（オペレーティングシステム）や、図１に示した各処理をＣＰＵ１５０１に実現させるためのコンピュータプログラムやデータ、上記の各種テーブル、データベース等が保存されている。外部記憶装置１５０７に保存されているコンピュータプログラムやデータは、ＣＰＵ１５０１による制御に従って適宜ＲＡＭ１５０２にロードされ、ＣＰＵ１５０１による処理対象となる。

記憶媒体ドライブ１５０８は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記憶媒体に記録されているコンピュータプログラムやデータを読み出し、読み出したコンピュータプログラムやデータを外部記憶装置１５０７やＲＡＭ１５０２に出力する。なお、外部記憶装置１５０７に保存されているものとして説明した情報の一部若しくは全部をこの記憶媒体に記録させておき、この記憶媒体ドライブ１５０８に読み取らせても良い。

Ｉ／Ｆ１５０９は、外部からライトフィールド情報、光学系のパラメータ等を入力するインタフェースであり、一例として示すのであればＵＳＢ（Universal Serial Bus）である。１５１０は、上述の各部を繋ぐバスである。

上述構成において、本コンピュータの電源がＯＮになると、ＣＰＵ１５０１はＲＯＭ１５０３に格納されているブートプログラムに従って、外部記憶装置１５０７からＯＳをＲＡＭ１５０２にロードする。この結果、キーボード１５０４、マウス１５０５を介した情報入力操作が可能となり、表示装置１５０６にＧＵＩを表示することが可能となる。ユーザが、キーボード１５０４やマウス１５０５を操作し、外部記憶装置１５０７に格納されたグレー画像量子化用のアプリケーションプログラムの起動指示を入力すると、ＣＰＵ１５０１はこのプログラムをＲＡＭ１５０２にロードし、実行する。これにより、本コンピュータが画像処理装置として機能することになる。

なお、ＣＰＵ１５０１が実行する画像処理用のアプリケーションプログラムは、基本的に図１に示す各部に相当する関数を備えることになる。ここで、画像処理結果は外部記憶装置１５０７に保存することになる。なお、このコンピュータは、以降の各実施形態に係る画像処理装置にも同様に適用可能であることは、以下の説明より明らかである。

［第２の実施形態］
本実施形態では、第１の実施形態における、多焦点画像のマージ方法を変更した実施形態を説明する。第１の実施形態では、被写界深度内に収まる画素数の少ないリフォーカス画像のペアをマージする例について述べた。本第２の実施形態では、同一の被写体にピントが合っているリフォーカス画像をマージする例を説明する。本第２の実施形態は、図２のＳ２０６における多焦点画像のマージの詳細が、図９の処理フローとなる以外は第１の実施形態と同様である。従って以下では、図２の処理フローにおいて本実施形態の理解に必要な部分を補足しつつ、図９の処理フロー中心に説明する。

Ｓ２０１では多焦点画像の最大枚数を取得する。この数は予めユーザが設定してあるものであり、設定された値は例えばハードディスク等に記憶され、特に変更しない限り保持されているものとする。本第２の実施形態では、この多焦点画像の最大枚数が２となっているものとして説明する。

Ｓ２０２のライトフィールド取得処理では、図１０（ａ）に示すシーンの撮影結果が取得されたものとする。

Ｓ２０３のデプス取得は第１の実施形態と同様、図５の画像５０１に示す視点のデプス画像を取得するものとする（デプス画像取得処理）。なお、そのデプス画像から、撮影シーン図１０（ａ）の距離分布が図１１に示すようになっていることが分かるものとする。

Ｓ２０４では第１の実施形態と同様、４ｘ４枚の多視点画像を使って、式（１）におけるパラメータｓを変化させた−４、−２、０、２、４の５枚の多焦点画像を生成する。ここで、作成したリフォーカス画像に被写界深度内の画素が無い（もしくは閾値以下）リフォーカス画像は削除する。本第２の実施形態の例では、パラメータｓが−４、および４に設定した場合に生成されるリフォーカス画像の被写界深度には、被写体が存在しないと判定し、削除する。

Ｓ２０５では、第１の実施形態と同様の処理を行う。次にＳ２０６の多焦点画像のマージを行う。その詳細を図９を用いて説明する。

まずＳ９０１では被写界深度内の画素を特定する。被写界深度内画素の特定はＳ３０１と同様の方法で行えば良い。パラメータｓを−２、０、２で合成したリフォーカス画像図１０（ｂ）、（ｃ）、（ｄ）はそれぞれ、斜線で示した領域が被写界深度内画素である。

Ｓ９０２では画像の領域分割を行う。領域分割は取得した多視点画像のうちの、中心視点の画像に対して行うのが望ましい。本実施形態では図５の画像５０１を領域分割する。領域分割はＫ近傍クラスタリング、混合ガウス分布を仮定したＥＭアルゴリズムによる分割など様々な手法が知られている。本実施形態ではＫ近傍クラスタリングを想定する。Ｋ近傍クラスタリングでは領域数を事前に指定する必要があるが、本実施形態では仮に領域数３と定める。なお、クラスタリングは画素の色のほか、Ｓ２０３で取得したデプスなどを考慮しても良い。

Ｓ９０３では各リフォーカス画像の主要被写体を決定する。主要被写体は、各リフォーカス画像の被写界深度内にある画素（Ｓ９０１で算出）が、最も多い領域（Ｓ９０２で算出）とする。リフォーカス画像図１０（ｂ）（ｃ）（ｄ）の例では、（ｂ）（ｃ）の主要被写体はオブジェクトＧ、（ｄ）の主要被写体はオブジェクトＨとなる。

Ｓ９０４では、ピント面の奥行きが隣接するリフォーカス画像ペアのうち、主要被写体が同一のリフォーカス画像ペアがあるかどうかを判定する。無い場合はＳ９０２に戻り、領域分割で生成するクラスタ数を減らす。Ｓ９０４で主要被写体が同一のリフォーカス画像ペアが有る場合は、Ｓ９０５に進む。本実施形態ではリフォーカス図１０（ｃ）（ｄ）がこの条件を満たす画像ペアである。

Ｓ９０５ではＳ９０４で特定した画像ペアを削除し、被写界深度の深いリフォーカス画像へ置き換える。この処理は図３のＳ３０３と同様に行えば良い。以上の処理で、３枚のリフォーカス画像が２枚に減り、生成する画像枚数を減らすことできる。第２の実施形態で出力される多焦点画像では、異なるリフォーカス画像の主要被写体は異なっており、また、各リフォーカス画像の主要被写体の（奥行き方向の）大きさに合わせて被写界深度が調整される。一方、第１の実施形態で出力される多焦点画像では、被写界深度内の画素数が少ないリフォーカス画像が出力される可能性が抑えられる。これらは異なる観点から、ユーザが必要とする多焦点画像を出力するものであり、ユーザが指定することで切り替えられるようにしても良い。以上で、第２の実施形態の処理の説明を終える。

［第３の実施形態］
第３の実施形態では第１の実施形態における多焦点画像のマージにおいて、マージ対象ペアを選ぶ基準を複数組み合わせた場合を説明する。本第３の実施形態は、第１の実施形態における図２のＳ２０６の処理の詳細が違うのみである。それ故、以下では図１２を用いて本実施形態における多焦点画像のマージ方法を説明する。

Ｓ１２０１、Ｓ１２０２では２つの異なる基準によってマージを行うリフォーカス画像の候補を選ぶ。Ｓ１２０１では図３のＳ３０１、Ｓ３０２を行い、被写界深度内画素数の和が最小となる画像ペアを求める。この処理の詳細は既に第１の実施形態で説明済みである。また、Ｓ１２０２では図９のＳ９０１〜Ｓ９０４を行うことで、主要被写体が同一のリフォーカス画像ペアを求める。

Ｓ１２０３では、Ｓ１２０１、Ｓ１２０２で選んだ画像ペアのうち、被写界深度の浅い画像ペアをマージする。被写界深度の浅い画像ペアを優先的にしてマージする（高い優先度に設定してにマージする）ことで、最終的に生成される複数のリフォーカス画像間の被写界深度のばら付きが抑えられる。以上で、第３の実施形態の処理の説明を終える。

［第４の実施形態］
本第４の実施形態では、リフォーカス画像のマージを、リフォーカス画像のコントラストを基準に行う例を示す。本第４の実施形態は、第１の実施形態と、多焦点画像のマージにおいて、マージする画像ペアの特定方法、およびマージを打ち切る基準が違うことが特徴である。

図１３を用いて、本第４の実施形態における処理フローを説明する。Ｓ１３０１のライトフィールド取得、及びＳ１３０２の多焦点画像作成は図２の同名の処理と同様に行う。

Ｓ１３０３の高コントラスト部特定は、Ｓ１３０２で作成したリフォーカス画像それぞれの高コントラスト部を求める。この処理の目的は、コントラストによって被写界深度内にある領域を特定する為に行う。コントラストを用いることで、例えば第１の実施形態で必要であったデプス情報を用いずに、被写界深度内の領域を推定できる。本実施形態ではコントラストはブロック単位（例えば８×８画素）で求める。高コントラスト部は以下の２つの条件両方を満たすブロックであるとする。
・コントラストが閾値以上
・全リフォーカス画像の同一位置のブロックの中で最大のコントラストを持つ
なお、コントラストはブロック内の輝度最大画素と最低画素との輝度値の比を用いる。また、コントラストとしてはそれ以外に、ブロック内の輝度の分散などを用いても良い。

Ｓ１３０４では、各リフォーカス画像にＳ１３０３で算出した高コントラスト部が全画素数に対して所定値以上の割合存在するかを判定する。存在しない場合はＳ１３０５へ進む。存在する場合は、それ以上多焦点画像の枚数を減らす必要は無いとし、マージを終了する。

Ｓ１３０５では多焦点画像のマージを行う。その詳細を図１４に示した。Ｓ１４０１では、ピントの合った奥行きが隣接する画像ペアのコストを計算する。コストはＳ１３０３算出した高コントラスト部の面積の和とする。

Ｓ１４０２ではコスト最小のリフォーカス画像ペアを被写界深度の深い画像へ置き換える。この処理は図３のＳ３０３と同様である。

以上で本実施形態の説明を終える。本実施形態では画像のマージを、画像のコントラストを基準に行う例を述べた。この実施形態では第１の実施形態で必要であったデプス取得が不要である。デプス取得は特殊な装置を必要としたり、負荷の大きい演算を必要とする場合が多いため、それらが不要になるという利点がある。また、多焦点画像のマージを打ち切るか否かを、Ｓ１３０４で述べた様に高コントラスト部の割合で判定するため、第１の実施形態のように、ユーザが多焦点画像の枚数を指定しなくて良いというメリットもある。

［第５の実施形態］
これまでの実施形態では、多焦点画像の候補を生成し、それらをマージすることで符号化枚数を減らす例を説明した。本実施形態では、マージを行わずに、最終的に出力する多焦点画像群を決定する例を述べる。

本第５の実施形態の処理フローを図１６を用いて説明する。Ｓ１６０１、Ｓ１６０２、Ｓ１６０３はそれぞれ、Ｓ２０１、Ｓ２０２、Ｓ２０３と同様の処理を行う。なお、以降の説明はＳ１６０１において、多焦点画像の最大枚数として３枚が指定されたとする。

Ｓ１６０４では、Ｓ１６０３で取得したデプスを用いて、カメラからの距離に対する画素数のヒストグラムを作る。そのヒストグラムの例を図１７に示した。そして、各区間にあるリフォーカス可能範囲内の画素数が等しくなる様に、水平軸方向の距離を分割する。分割する区間の数は、Ｓ１６０１で指定された枚数と同じになる様に行う。本実施形態における例では図１７に示したように、カメラからの距離を３区間に分割する。点線１７０１と１７０２の間、１７０２と１７０３の間、１７０３と１７０４の間にある画素数が等しくなるように分割した。

Ｓ１６０５ではＳ１６０４で分割した各区間に対して１枚のリフォーカス画像を生成するためのパラメータを算出する。各区間内にある画素が被写界深度内に収まるようにリフォーカス画像のパラメータを算出する。リフォーカス画像のパラメータと、それに対応する被写界深度との関係は既に図６を用いて説明した通りである。

Ｓ１６０６ではＳ１６０５で算出したパラメータを元に、画像合成を行い、多焦点画像を生成する。合成方法は既にＳ３０３で述べた。

以上で本第５の実施形態の処理フローの説明を終える。本第５の実施形態の特徴は、多焦点画像のマージを行わずに、最終的に出力する多焦点画像を決定できる点である。多焦点画像をマージする場合に比べて、出力するリフォーカス画像（もしくはそのパラメータ）の更新が不要になるため、高速な処理が期待できる。また、多焦点画像をマージする方法を取ると、最終的に出力される多焦点画像は最初に生成した多焦点画像に依存するが、本実施形態の方法ではそれを避けることができる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (18)

1. ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得手段と、
   取得した前記ライトフィールドに基づき、生成する複数のリフォーカス画像の合成パラメータの初期値を設定する初期値設定手段と、
   前記合成パラメータの初期値に基づいてリフォーカス画像を生成した場合の画像の枚数が、削減判定基準を満たすかを判定する削減判定手段と、
   前記削減判定手段により削減判定基準を満たすと判定された場合、前記初期値設定手段で設定された合成パラメータの初期値で合成されるリフォーカス画像のうち少なくとも２つのリフォーカス画像を削減対象とし、当該削減対象となったリフォーカス画像それぞれの被写界深度を包含する１枚の被写界深度を有するリフォーカス画像により置き換えることで、前記生成されるリフォーカス画像を削減する削減手段と、を有することを特徴とする画像処理装置。
2. 前記削減手段は、前記合成パラメータの初期値のうち前記削減対象となったリフォーカス画像に対応する合成パラメータを更新し、
   更に、前記削減手段により更新された前記合成パラメータに基づいてリフォーカス画像を生成する生成手段
   を有することを特徴とする請求項１に記載の画像処理装置。
3. リフォーカス画像の許容数を取得する許容数取得手段を更に有し、
   前記削減判定手段は、リフォーカス画像の枚数が前記許容数を超えている場合に、削減必要と判定する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記合成パラメータによって生成されるリフォーカス画像の被写界深度内に収まる画素を特定する特定手段を更に有し、
   前記削減判定手段は、リフォーカス画像のいずれかが、被写界深度内画素数が閾値以下である場合に、削減不要と判定する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記合成パラメータによって生成されるリフォーカス画像の被写界深度内に収まる画素を特定する特定手段を更に有し、
   前記削減手段は、各リフォーカス画像が合焦している主要被写体を、前記特定手段で特定した被写界深度内画素から特定し、主要被写体が同一のペアのリフォーカス画像を優先して前記削減対象とすることを特徴とする請求項１に記載の画像処理装置。
6. 前記合成パラメータによって生成されるリフォーカス画像の被写界深度内に収まる画素を特定する特定手段を更に有し、
   前記削減手段は、焦点があった被写体までの距離が隣り合うペアのリフォーカス画像のうち被写界深度内の画素数の和が最小となるペアが持つ被写界深度を比較し、被写界深度が浅いほうのペアを前記削減対象として決定することを特徴とする請求項１に記載の画像処理装置。
7. 前記削減手段は、削減する画像ペアの優先度を判定する方法を複数持ち、異なる優先度で選ばれた削減候補の画像ペアが持つ被写界深度を比較し、被写界深度が浅いほうのペアを前記削減対象として決定することを特徴とする請求項１に記載の画像処理装置。
8. 取得したライトフィールドと同一のシーンに対するデプス画像取得手段を更に有し、
   前記特定手段が、デプス画像を用いて被写界深度内画素を特定することを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
9. 前記特定手段が、予め設定された閾値以上のコントラストを持つ領域を被写界深度内画素を有する範囲することを特徴とする
   請求項４乃至６のいずれか１項に記載の画像処理装置。
10. 前記初期値設定手段が、前記ライトフィールドで合成可能な最浅被写界深度のリフォーカス画像を合成するパラメータを初期値として設定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールド、及び、当該シーンのデプス画像を取得する取得手段と、
    リフォーカス画像の許容数を設定する設定手段と、
    デプスを一方の軸、前記ライトフィールドで生成可能な各デプスにおける合焦した画素数をもう一方の軸とするヒストグラムを、前記デプス画像から算出する算出手段と、
    該算出手段で算出された前記ヒストグラムの前記デプスを示す軸の方向を、互いに等しい画素数となるように、前記設定手段で設定された前記許容数で分割し、
    各分割された領域を被写界深度内に含むリフォーカス画像を前記ライトフィールドに従って生成する生成手段と
    を有することを特徴とする画像処理装置。
12. ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得手段と、
    前記シーンを撮影した際に生成するリフォーカス画像の許容枚数を設定する設定手段と、
    取得した前記ライトフィールドに基づき、前記許容枚数以下の複数のリフォーカス画像を生成し、表示部に表示させる表示制御手段と、を有し、
    前記表示制御手段は、前記許容枚数がＮである場合に表示されるＮ枚のリフォーカス画像の少なくとも１枚の画像の被写界深度は、前記許容枚数がＭ（Ｍ＞Ｎ）である場合に表示されるＭ枚のリフォーカス画像の少なくとも２枚の被写界深度を包含し、かつ、それより深いことを特徴とする画像処理装置。
13. 前記取得手段は、ライトフィールドを多視点画像として取得することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
14. 画像処理装置が有する取得手段が、ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得工程と、
    画像処理装置が有する初期値設定手段が、取得した前記ライトフィールドに基づき、生成する複数のリフォーカス画像の合成パラメータの初期値を設定する初期値設定工程と、
    画像処理装置が有する削減判定手段が、前記合成パラメータの初期値に基づいてリフォーカス画像を生成した場合の画像の枚数が、削減判定基準を満たすかを判定する削減判定工程と、
    画像処理装置が有する削減手段が、
    前記削減判定工程により削減判定基準を満たすと判定された場合、前記初期値設定工程で設定された合成パラメータの初期値で合成されるリフォーカス画像のうち少なくとも２つのリフォーカス画像を削減対象とし、当該削減対象となったリフォーカス画像それぞれの被写界深度を包含する１枚の被写界深度を有するリフォーカス画像により置き換えることで、前記生成されるリフォーカス画像を削減する削減工程と、
    を有することを特徴とする画像処理装置の制御方法。
15. 画像処理装置が有する取得手段が、ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールド、及び、当該シーンのデプス画像を取得する取得工程と、
    画像処理装置が有する設定手段が、リフォーカス画像の許容数を設定する設定工程と、画像処理装置が有する算出手段が、デプスを一方の軸、前記ライトフィールドで生成可能な各デプスにおける合焦した画素数をもう一方の軸とするヒストグラムを、前記デプス画像から算出する算出工程と、
    画像処理装置が有する生成手段が、
    該算出工程で算出された前記ヒストグラムの前記デプスを示す軸の方向を、互いに等しい画素数となるように、前記設定工程で設定された前記許容数で分割し、
    各分割された領域を被写界深度内に含むリフォーカス画像を前記ライトフィールドに従って生成する生成工程と
    を有することを特徴とする画像処理装置の制御方法。
16. 画像処理手段が有する取得手段が、ライトフィールド撮像装置でシーンを撮影した際に得られるライトフィールドを取得する取得工程と、
    画像処理手段が有する設定手段が、前記シーンを撮影した際に生成するリフォーカス画像の許容枚数を設定する設定工程と、
    画像処理手段が有する表示制御手段が、取得した前記ライトフィールドに基づき、前記許容枚数以下の複数のリフォーカス画像を生成し、表示部に表示させる表示制御工程と、を有し、
    前記表示制御工程では、前記許容枚数がＮである場合に表示されるＮ枚のリフォーカス画像の少なくとも１枚の画像の被写界深度は、前記許容枚数がＭ（Ｍ＞Ｎ）である場合に表示されるＭ枚のリフォーカス画像の少なくとも２枚の被写界深度を包含し、かつ、それより深いことを特徴とする画像処理装置の制御方法。
17. コンピュータに読み込ませ実行させることで、前記コンピュータに、請求項１４乃至１６のいずれか１項に記載の画像処理装置の制御方法における各工程を実行させるためのプログラム。
18. 請求項１７に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images