JP6297965B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、所望の画像を画像処理によって生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

デジタル画像や映像の品質において、その空間解像度は非常に大きな要素である。そのため、より高解像度な映像を取り扱うことのできる高精細映像／画像システムの研究開発が継続的に行われている。高解像度な映像／画像を用いることで被写体や背景を細部まで鮮明に表現することが可能となる。その一方で各被写体に対してフォーカスが合っているか否かという解像度が低かった際には視認不可能であった要素まで視認されることになる。一般に、注視する被写体にフォーカスが合っていない映像／画像は、ボケが生じていると認識され、その画質は低いと評価されてしまう。そのため、解像度の高い映像／画像を撮影する際には、フォーカスを正確にコントロールすることが非常に重要であると考えられている。

なお、本明細書において、画像とは、静止画像、又は動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

しかしながら、高解像度の映像／画像を撮影する際のフォーカスコントロールは非常に困難な作業であることが知られている。低解像度の画像／映像を撮影する際にはビューファインダや小型の確認用のモニタを用いてフォーカスの状況を確認しながら撮影することが可能であるが、解像度の高い画像／映像を撮影する場合、小さなモニタでは細かな合焦状況まで確認することができないためである。

一般に高解像度の画像／映像を表示可能なモニタは大型になることから、撮影とフォーカスの確認を同時に一人の人間が行うことが不可能である。そのため、カメラマンとは別に“フォーカスマン”と呼ばれるスタッフを用意し、離れた場所で大型のモニタでフォーカスの状況を確認しながらフォーカスの操作を行ったり、確認したフォーカスの状況をカメラマンへ指示することが行われている。

また、撮影後に画像処理を行うことを前提とすることで、撮影後にフォーカスを調節できる撮像装置も開発されている。非特許文献１はライトフィールドカメラと呼ばれる撮像装置であり、従来のカメラにおけるメインレンズと投影面の間にマイクロレンズアレイを挿入した構成になっている。このような構成を取ることで、カメラに入射する光線を入射角毎に記録することが可能となり、そこから異なる距離にフォーカスを合わせた画像／映像を生成することができる。ライトフィールドカメラにより撮像された画像（以下、ライトフィールド画像という）は、各画素の位置における光線の強度を光線の進行方向毎に表現した画像である。

Ren Ng, "Digital Light Field Photography", Ph.D dissertation, Stanford University, July 2006.

しかしながら、非特許文献１に記載の方法では、撮像素子を空間的に異なる光線をサンプリングするためだけでなく、レンズへの入射角の異なる光線をサンプリングするために割かなくてはならないため、撮像可能な空間解像度が低下してしまうという問題がある。

なお、空間解像度と角度解像度の積が撮像素子の個数に近似できる。そのため、どちらにより高い解像度を与えるかは撮像装置を設計する際にある程度コントロールすることが可能である。ただし、角度解像度は撮像後のリフォーカス可能な範囲に影響を与えるため、ある程度の解像度を与える必要がある。非特許文献１の方法に基づいて作成・販売されたライトフィールドカメラでは、おおよそ１０ｘ１０の角度解像度を持つため、空間解像度は一般的なカメラの約１００分の１になっている。

より多くの撮像素子を用いることで、空間解像度の低下を防ぐことも可能である。しかしながら、そのような方法では、十分な量の光量を得るために撮像装置の規模が大きくなるほか、より高解像度な画像センサが必要となるためにコストも増大するという問題がある。例えば、前述したライトフィールドカメラの場合、本来の空間解像度を保つためには、約１００倍の解像度を持つ画像センサが必要となる。

本発明は、このような事情に鑑みてなされたもので、高解像度の画像又は映像の空間解像度を維持しつつ、高解像度の画像のリフォーカス機能を実現できる画像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明の一態様は、ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、前記処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像と、前記処理対象画像におけるデプスを示す参照デプスマップとを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成部を備えることを特徴とする画像処理装置である。

本発明の一態様は、上記の画像処理装置において、前記高解像度ライトフィールド画像生成部は、前記高解像度ライトフィールド画像の候補となる高解像度ライトフィールド画像候補を生成する高解像度ライトフィールド画像候補生成部と、前記高解像度ライトフィールド画像候補に基づいて、前記処理対象画像と同じ条件の画像である推定処理対象画像を生成する通常画像化部と、前記高解像度ライトフィールド画像候補に基づいて、前記参照ライトフィールド画像と同じ条件のライトフィールド画像である推定ライトフィールド画像を生成する推定ライトフィールド画像生成部と、前記高解像度ライトフィールド画像候補から前記参照デプスマップと同じ条件のデプスマップである推定デプスマップを生成するデプスマップ生成部と、前記推定処理対象画像と推定ライトフィールド画像と前記推定デプスマップと前記参照ライトフィールド画像と前記参照デプスマップとを用いて、前記高解像度ライトフィールド画像候補が所定の条件を満たしているか否かを判定し、前記条件を満たしている場合、前記高解像度ライトフィールド画像候補を前記高解像度ライトフィールド画像として出力し、前記条件を満たしていない場合、前記高解像度ライトフィールド画像候補を更新する高解像度ライトフィールド画像候補更新部と、を備えることを特徴とする。

本発明の一態様は、上記の画像処理装置において、前記高解像度ライトフィールド画像候補更新部は、前記処理対象画像と前記推定処理対象画像との差分のノルムと、前記参照ライトフィールド画像と前記推定ライトフィールド画像との差分のノルムと、前記参照デプスマップと前記推定デプスマップとの差分のノルムとの重み付き和が予め定められた閾値より小さい場合に、前記高解像度ライトフィールド画像候補を前記高解像度ライトフィールド画像として出力することを特徴とする。

本発明の一態様は、上記の画像処理装置において、前記高解像度ライトフィールド画像生成部は、ライトフィールド画像の基底ベクトルで構成されるライトフィールド辞書を設定するライトフィールド辞書設定部と、前記処理対象画像と前記推定処理対象画像との差分のノルムと、前記参照ライトフィールド画像と前記推定参照ライトフィールド画像との差分のノルムと、前記参照デプスマップと前記推定デプスマップとの差分のノルムとの重み付き和と、前記ライトフィールド辞書を用いて前記高解像度ライトフィールド画像候補を表現した際の係数ベクトルの評価値との合計が最小となる係数ベクトルである最適係数ベクトルを求める係数ベクトル最適化部とを更に備え、前記高解像度ライトフィールド画像候補生成部は、前記ライトフィールド辞書における最適係数ベクトルを設定することで、前記高解像度ライトフィールド画像候補を生成することを特徴とする。

本発明の一態様は、上記の画像処理装置において、前記処理対象画像と前記参照ライトフィールド画像との位置関係を設定する位置関係設定部を更に備え、前記推定ライトフィールド画像生成部は、前記位置関係と前記高解像度ライトフィールド画像候補とに基づいて、前記推定ライトフィールド画像を生成することを特徴とする。

本発明の一態様は、上記の画像処理装置において、前記参照ライトフィールド画像が、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得した画像であることを特徴とする。

また、本発明の一態様は、ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、前記処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像と、前記処理対象画像におけるデプスを示す参照デプスマップとを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップを有することを特徴とする画像処理方法である。

また、本発明の一態様は、コンピュータを上記の画像処理装置として機能させるためのプログラムである。

本発明によれば、同一シーンのライトフィールド画像を用いて、高解像度の画像又は映像の光線情報を推定することで、高解像度の画像のリフォーカスを行うことのできるライトフィールド画像を生成することができるという効果が得られる。

本発明の実施形態による画像処理装置の第１の構成を示すブロック図である。 図１に示す画像処理装置１００の動作を示すフローチャートである。 本発明の実施形態による画像処理装置の第２の構成を示すブロック図である。 図１及び図３に示す高解像度ライトフィールド画像生成部１０４の詳細な構成を示すブロック図である。 図４に示す高解像度ライトフィールド画像生成部１０４の動作を示すフローチャートである。 図４に示す高解像度ライトフィールド画像生成部１０４の動作の変形例を示すフローチャートである。 画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。

以下、図面を参照して、本発明の実施形態による画像処理装置を説明する。ここでは、１枚の画像に対する処理を説明するが、複数の連続する画像に対して処理を繰り返すことで映像（動画像）を処理することができる。なお、映像の全てのフレームに適用せずに、一部のフレームに対して本手法による処理を適用し、その他のフレームに対しては別の処理を適用しても構わない。

図１は本実施形態における画像処理装置１００の構成を示すブロック図である。画像処理装置１００は、コンピュータ装置によって構成し、図１に示すように、処理対象画像入力部１０１、参照ライトフィールド画像入力部１０２、参照デプスマップ入力部１０３及び高解像度ライトフィールド画像生成部１０４を備えている。

処理対象画像入力部１０１は、ライトフィールド化の対象となる高解像度の画像を入力する。以下では、この画像を処理対象画像と称する。参照ライトフィールド画像入力部１０２は、処理対象画像よりも空間解像度が低く、処理対象画像と同一のシーンに対するライトフィールド画像を入力する。以下では、この低解像度ライトフィールド画像を参照ライトフィールド画像と称する。

なお、どのようなライトフィールド画像が参照ライトフィールド画像入力部１０２に入力されても構わない。例えば、非特許文献１のようなメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得したライトフィールド画像であっても、別の方法を用いて取得したライトフィールド画像であっても構わない。ここでは、非特許文献１のライトフィールド画像が入力されるものとする。

参照デプスマップ入力部１０３は、参照デプスマップとして処理対象画像に対するデプスマップ（距離画像）を入力する。ここで、デプスマップとは、カメラから被写体までのデプス（距離）を画素毎に表現したものであり、被写体の三次元的な位置を表現している。ある条件を満たす場合、デプスは二つのカメラ間の視差の逆数に比例しているため、ディスパリティマップ（視差画像）と呼ばれることもある。コンピュータグラフィックスの分野では、デプスはＺバッファに蓄積された情報となるためＺ画像やＺマップと呼ばれることもある。なお、カメラから被写体までの距離のほかに、表現対象空間上に張られた三次元座標系のＺ軸に対する座標値をデプスとして用いることもある。一般に、撮影された画像に対して水平方向をＸ軸、垂直方向をＹ軸とするため、Ｚ軸はカメラの向きと一致するが、複数のカメラに対して共通の座標系を用いる場合など、Ｚ軸がカメラの向きと一致しない場合もある。以下では、距離・Ｚ値を区別せずにデプスと呼び、デプスを画素値として表した画像をデプスマップと呼ぶ。ただし、厳密にはディスパリティマップでは基準となるカメラ対を設定する必要がある。

デプスを画素値として表す際に、物理量に対応する値をそのまま画素値とする方法と、最小値と最大値の間をある数に量子化して得られる値を用いる方法と、最小値からの差をあるステップ幅で量子化して得られる値を用いる方法がある。表現したい範囲が限られている場合には、最小値などの付加情報を用いるほうがデプスを高精度に表現することができる。また、等間隔に量子化する際に、物理量をそのまま量子化する方法と物理量の逆数を量子化する方法とがある。距離の逆数は視差に比例した値となるため、距離を高精度に表現する必要がある場合には、前者が使用され、視差を高精度に表現する必要がある場合には、後者が使用されることが多い。以下では、デプスの画素値化の方法や量子化の方法に関係なく、デプスが画像として表現されたものを全てデプスマップと呼ぶ。

高解像度ライトフィールド画像生成部１０４は、画像処理装置１００に入力された処理対象画像と参照ライトフィールド画像と参照デプスマップとを用いて、処理対象画像をライトフィールド化した画像を推定して生成する。以下では、生成されたライトフィールド画像を高解像度ライトフィールド画像と称する。

次に、図２を参照して、図１に示す画像処理装置１００の動作を説明する。図２は、図１に示す画像処理装置１００の動作を示すフローチャートである。まず、各種の情報を入力して内部に保持する（ステップＳ１０１）。具体的には、処理対象画像入力部１０１は処理対象画像を入力して保持し、参照ライトフィールド画像入力部１０２は参照ライトフィールド画像を入力して保持し、参照デプスマップ入力部１０３は参照デプスマップを入力して保持する。

処理対象画像、参照ライトフィールド画像及び参照デプスマップの入力が終了したら、高解像度ライトフィールド画像生成部１０４は、処理対象画像と参照ライトフィールド画像と参照デプスマップとを用いて、処理対象画像に対するライトフィールド画像を推定することで、高解像度ライトフィールド画像を生成する（ステップＳ１０２）。生成された高解像度ライトフィールド画像は画像処理装置１００の出力となる。ここでの処理は、処理対象画像と参照ライトライトフィールド画像と参照デプスマップとを用いる処理であれば、どのような手法を用いても構わない。

例えば、処理対象画像や参照ライトフィールド画像、参照デプスマップとの整合性を考慮しながら高解像度ライトフィールド画像を生成するようにしても構わない。その際に、（１）式、（２）式に従って高解像度ライトフィールド画像を生成しても構わない。

ここで、ＬＦ_ｈｉｇｈ、ＬＦ_ｌｏｗ及びＩ_ｈｉｇｈは、それぞれ、高解像度ライトフィールド画像、参照ライトフィールド画像及び処理対象画像を表す。また、Ｄ_ｒｅｆは参照デプスマップを表す。

Ｄｏｗｎはライトフィールド画像に対するダウンサンプル処理を表し、与えられたライトフィールド画像をダウンサンプルして、参照ライトフィールド画像と同じ条件のライトフィールド画像を生成した結果を返す。Ｃｏｎｖはライトフィールド画像から通常の画像を再構成する処理を表し、与えられたライトフィールド画像から、処理対象画像と同じ条件の画像を再構成した結果を返す。ＤＥはライトフィールド画像からデプスマップを生成する処理を表し、与えられたライトフィールド画像から、参照デプスマップと同じ条件のデプスマップを推定した結果を返す。ここで、同じ条件とは、理想的には、カメラ位置や向きなど撮影条件や、シャッタースピードや空間解像度などのカメラの設定が同じことである。ただし、少なくとも空間解像度が同じであれば、全ての要素が同じでなくても構わない。

α、β、γ及びωはそれぞれの項の重みを調節するパラメータである。‖Ａ‖はＡのノルムを表す（典型的にはｌ₂ノルムが用いられるが、ｌ_０ノルムやｌ_１ノルムを用いても構わない）。Ｒは与えられたライトフィールド画像のライトフィールド画像らしさを評価した結果を返す。どのような基準で評価を行っても構わないが、ここでは、値が小さいほどライトフィールド画像らしさが高いものとするが、値が大きいほどライトフィールドらしさを返すものでも構わない。その場合、ωは負数となる。

Ｒとしては、例えば、（３）式、（４）式に示すようにライトフィールド画像におけるスパース性を用いても構わない。つまり、ライトフィールド画像を過完備（オーバーコンプリート）な辞書Ｄを用いて表現した際の係数ベクトルχのノルムを用いても構わない。ここで‖χ‖_ｎはχのｌ_nノルムを表し、ｌ₀ノルムやｌ₁ノルム、ｌ_1/2ノルムなどが用いられるが、何を用いても構わない。

過完備な辞書Ｄはどのような方法を用いて生成しても構わない。例えば、参照ライトフィールド画像を用いて生成しても構わないし、別のライトフィールド画像群を用いて生成しても構わない。具体的な生成方法としては、例えば、参考文献１「J. Mairal, F. Bach, J. Ponce, and G. Spairo, "Online Dictionary Learning for Sparse Coding", International Conference on Machine Learning, 2009.」に記載の生成方法を用いても構わない。なお、別のライトフィールド画像群を用いて生成する場合は、事前に生成しておいた辞書を入力して用いても構わない。

その他の例としては、ライトフィールド画像から生成されるリフォーカス画像や全焦点画像の画像らしさを用いても構わない。画像らしさの尺度としてはＴＶ（Total Variation）ノルムなどがある。リフォーカス画像は１つでも構わないし、複数のリフォーカス画像を生成して、それらの画像らしさの平均値や合計値などを用いても構わない。更に別の例としては、ライトフィールド画像から生成できる多視点画像の画像らしさの平均値や合計値、分散などを用いても構わない。

Ｄｏｗｎ及びＣｏｎｖはライトフィールド画像の形式やダウンサンプルの比率等に従って適切な手法を用いる必要がある。例えば、非特許文献１に記載のように、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いてライトフィールド画像を撮像する場合、Ｄｏｗｎを、ダウンサンプル後の１つのマイクロレンズに対応する領域に存在するマイクロレンズ群に対して、マイクロレンズ下の画像の平均画像を求める処理として定義しても構わない。なお、ダウンサンプルの対象となるライトフィールド画像と参照ライトフィールド画像とが、異なる位置や向きから取得されたものの場合、Ｄｏｗｎでは、その位置や向きの違いも考慮した処理を含めても構わない。

別の例として、同様の手法によって得られたライトフィールド画像に対するＣｏｎｖによる変換は、例えば、変換後の１画素に対応する領域に入射した光線の平均値を求める処理として定義しても構わない。より具体的には、変換後の１画素に対応する領域に存在するマイクロレンズ下の画素の平均値や重み付き平均値を求める処理として定義しても構わない。なお、変換の対象となるライトフィールド画像と高解像度画像とが、異なる位置や向きから取得されたものの場合、Ｃｏｎｖでは、その位置や向きの違いも補償する処理を含めても構わない。

ＤＥはライトフィールド画像からデプスマップを推定するものであればどのようなものを用いても構わない。例えば、ライトフィールド画像から生成できる多視点画像に対してステレオマッチング等のデプス推定を行って求めても構わない。別の方法としては、ライトフィールド画像から焦点距離の異なる画像群を生成し、その合焦度合いを調べることでデプスを推定する方法を用いても構わない。更に別の方法としては、ライトフィールド画像からＥＰＩ（Ｅｐｉｐｏｌａｒ Ｐｌａｎｅ Ｉｍａｇｅ）を構成し、ＥＰＩ上の直線の傾きを推定することでデプスを推定する方法を用いても構わない。

また、参考文献２「S. Wanner, B. Goldluecke, "Globally Consistent Depth Labeling of 4D Lightfields," In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2012.」に記載のように、ＥＰＩに対する２次モーメントを用いてデプスを求めても構わない。参考文献２では、水平方向のライトフィールドに対応する二次元ＥＰＩに対して２次モーメントを計算し、得られた２次モーメントの各要素を用いてデプスを推定しているが、垂直方向のライトフィールドに対応する二次元ＥＰＩを用いても構わない。また、水平方向と垂直方向のどちらか一方のみを用いても構わないし、両方を用いても構わない。どちらか一方を選択する場合は、それぞれで推定されたデプスに対する信頼度を計算し、信頼度の高い方を選ぶようにしても構わないし、推定したデプスとＤ_ｒｅｆとの乖離が大きい（又は小さい）方を選ぶようにしても構わない。両方を用いる場合は、両者の平均を用いても構わないし、それぞれで推定されたデプスに対する信頼度を用いた重み付き平均を用いても構わないし、（５）式のように２つの推定値を別々に取り扱っても構わない。

前述の（１）式で表した最小化問題に対して、どのような方法を用いて解となる高解像ライトフィールド画像を求めても構わない。例えば、全ての高解像度ライトフィールド画像の候補に対して評価値を計算し、その最小値を与えるものを求めても構わない。別の方法としては、Ｍａｔｃｈｉｎｇ Ｐｅｒｓｕｉｔ（ＭＰ）やＯｒｔｈｏｇｏｎａｌ Ｍａｔｃｈｉｎｇ Ｐｅｒｓｕｉｔ（ＯＭＰ）、内点法、Ｂｌｏｃｋ Ｃｏｏｒｄｉｎａｔｅ Ｒｅｌａｘａｔｉｏｎ （ＢＣＲ）法、Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎａｌ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｅｒｓ（ＡＤＭＭ）などを用いても構わない。

なお、処理対象画像や参照ライトフィールド画像、参照デプスマップとの整合性は全画素や光線を対象として計算しても構わないし、一部の画素や光線のみを対象として計算しても構わない。特に、処理対象画像、参照ライトフィールド、参照デプスマップで同じ画素群を対象としなくても構わない。

更に、ここでは画像全体の光線を一度に再構成する場合を記載しているが、画素毎や画像を分割したブロック毎に光線を再構成するようにしても構わない。なお、再構成の対象となる画素やブロックよりも広い領域を窓領域として設定し、窓領域内の一部又は全ての画素に対して処理対象画像や参照ライトフィールド画像、参照デプスマップとの整合性を考慮するようにしても構わない。

前述の例では、参照デプスマップが外部から入力されているが参照ライトフィールド画像を用いて推定しても構わない。この場合、図３に示すように、画像処理装置１００Ａは参照デプスマップ入力部１０３の代わりに、参照デプスマップ推定部１０５に備える。参照デプスマップ推定部１０５は、参照ライトフィールド画像を用いて参照デプスマップを推定する。参照ライトフィールド画像から、処理対象画像に対するデプスマップである参照デプスマップを推定できるのであれば、どのような方法を用いて推定しても構わない。

例えば、前述のＤＥと同様の方法を用いて、低解像度なデプスマップを推定し、その推定されたデプスマップをアップサンプルすることで参照デプスマップを生成しても構わない。なお、ここで用いるデプス推定方法と再構成時に用いるデプス推定方法は同じであっても、異なるものであっても構わない。別の方法では、参考文献３「Kazuki Ohashi, Keita Takahashi, Toshiaki Fujii: "Joint estimation of high resolution images and depth maps from light field cameras," IS&T/SPIE Electronic Imaging 2014, Vol. 9011-60, 2014.」に記載のような超解像を同時に行う手法を用いて、参照ライトフィールド画像から参照デプスマップを直接生成しても構わない。なお、処理対象画像と参照ライトフィールド画像を撮影した視点位置が異なる場合は、視点の違いも補正する必要がある。

次に、図４を参照して、図１及び図３に示す高解像度ライトフィールド画像生成部１０４の詳細な構成を説明する。図４は、ライトフィールド画像から通常画像への変換及びライトフィールド画像のダウンサンプルを用いて、処理対象画像及び参照ライトフィールド画像、参照デプスマップとの整合性を考慮しながら高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成部１０４の構成を示すブロック図である。高解像度ライトフィールド画像生成部１０４は、図４に示すように、位置関係設定部１０４１、高解像度ライトフィールド画像候補生成部１０４２、通常画像化部１０４３、ライトフィールド画像ダウンサンプル部１０４４、デプスマップ生成部１０４５、高解像度ライトフィールド画像候補更新部１０４６及びスイッチ１０４７を備えている。

位置関係設定部１０４１は、処理対象画像に対するカメラと参照ライトフィールド画像とに対するカメラの位置関係を設定する。高解像度ライトフィールド画像候補生成部１０４２は、高解像度ライトフィールド画像の候補となる高解像度ライトフィールド画像候補を生成する。通常画像化部１０４３は、高解像度ライトフィールド画像候補の角度解像度を縮退させることで、処理対象画像に対する推定処理対象画像を生成する。

推定ライトフィールド画像生成部としてのライトフィールド画像ダウンサンプル部１０４４は、ライトフィールド画像に対するダウンサンプル及び位置関係に基づく変換によって、高解像度ライトフィールド画像候補の空間解像度を低下させ、参照ライトフィールド画像に対する推定ライトフィールド画像を生成する。デプスマップ生成部１０４５は、高解像度ライトフィールド画像候補に対するデプス推定によって参照デプスマップに対する推定デプスマップを生成する。高解像度ライトフィールド画像候補更新部１０４６は、処理対象画像及び推定処理対象画像と参照ライトフィールド画像及び推定ライトフィールド画像とに基づいて、高解像度ライトフィールド画像候補を更新する。

次に、図５を参照して、図４に示す高解像度ライトフィールド画像生成部１０４の動作を説明する。図５は、図４に示す高解像度ライトフィールド画像生成部１０４の動作を示すフローチャートである。まず、位置関係設定部１０４１は、処理対象画像と参照ライトフィールド画像の位置関係を設定する（ステップＳ２０１）。処理対象画像と参照ライトフィールド画像の位置関係が分かるものであればどのような情報を設定しても構わない。例えば、参考文献４「Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されているようなカメラパラメータを設定しても構わない。

また、どのように位置関係を示す情報を設定しても構わない。例えば、別途与えられる位置関係の情報を設定しても構わない。特に、処理対象画像と参照ライトフィールド画像とが、ハーフミラー等を用いて同じ位置で取得されたことが既知の場合は、同じ位置であることを設定しても構わない。なお、常に同じ位置であることが明らかであれば、このステップを省略し、以降の位置関係に伴う処理を行わないようにしても構わない。

別の方法としては、参照ライトフィールド画像からリフォーカス画像や全焦点画像、要素画像を生成し、それらと処理対象画像における画像間の対応点情報を求め、それらを用いることで求めても構わない。画像間の対応点情報から位置関係を求める方法としては、例えば、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）を用いても構わない。

位置関係の設定が終了したら、高解像度ライトフィールド画像候補生成部１０４２は、高解像度ライトフィールド画像候補を生成する（ステップＳ２０２）。どのように候補を生成しても構わない。例えば、全ての画素値が０のライトフィールド画像を生成しても構わないし、任意のライトフィールド画像を生成しても構わない。別の方法としては、参照ライトフィールド画像に対して、角度成分毎にフィルタ等を用いた拡大処理を行うことで生成したライトフィールド画像を生成しても構わない。その際、全ての角度成分で同じ拡大処理を用いても構わないし、異なる拡大処理を用いても構わない。

更に別の方法としては、処理対象画像に対して、任意のモデルに基づく角度成分の情報を与えることで生成したライトフィールド画像を生成しても構わない。角度成分の情報を与える方法としては、全ての角度成分が同じであるとしても構わないし、各画素に対して周辺の画像を縮小することで生成しても構わない。なお、周辺の画像を縮小して生成する際に、生成された角度成分の画素値の平均値が、元の画素値と同じになるように縮小処理を行うようにしても構わない。

また、高解像度ライトフィールド画像候補を直接生成するのではなく、前述した辞書Ｄに対する係数ベクトルχの候補を設定し、辞書Ｄを用いて高解像度ライトフィールド画像候補を生成しても構わない。係数ベクトルχの候補としては、ゼロベクトルを用いても構わないし、参照ライトフィールド画像に対する係数ベクトルを求め、それをアップサンプルすることで生成したベクトルを用いても構わない。

高解像度ライトフィールド画像候補の設定が終了したら、スイッチ１０４７によって選択された高解像度ライトフィールド画像候補が、通常画像化部１０４３、ライトフィールド画像ダウンサンプル部１０４４、デプスマップ生成部１０４５及び高解像度ライトフィールド画像候補更新部１０４６へ入力される。通常画像化部１０４３は高解像度ライトフィールド画像候補から処理対象画像に対応する推定処理対象画像を生成し（ステップＳ２０３）、ライトフィールド画像ダウンサンプル部１０４４は高解像度ライトフィールド画像候補から参照ライトフィールド画像に対応する画像を生成し（ステップＳ２０４）、デプスマップ生成部１０４５は高解像度ライトフィールド画像候補から参照デプスマップに対応する推定デプスマップを生成する（ステップＳ２０５）。ここでの処理は、それぞれ、前述したＣｏｎｖ、Ｄｏｗｎ及びＤＥによる処理と同じである。なお、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５はどの順番で行っても構わない。

次に、高解像度ライトフィールド画像候補更新部１０４６は、得られた画像群を用いて高解像度ライトフィールド画像候補が更新処理の終了条件を満たすか否かを判定する（ステップＳ２０６）。どのような終了条件を用いても構わないが、例えば、（２）式のＥ（ＬＦ）によって得られる高解像度ライトフィールド画像候補ＬＦの評価値が予め定められた閾値より小さいか否かを終了条件にしても構わないし、高解像度ライトフィールド画像の更新回数が予め定められた回数行われたか否かを終了条件にしても構わないし、そのどちらか一方もしくは両方を満たすか否かを終了条件にしても構わない。

終了条件を満たしていた場合（ステップＳ２０６：ＹＥＳ）、高解像度ライトフィールド画像候補更新部１０４６は、高解像度ライトフィールド画像候補を高解像度ライトフィールドとして出力して処理を終了する。

一方、終了条件を満たしていない場合（ステップＳ２０６：ＮＯ）、高解像度ライトフィールド画像候補更新部１０４６は、高解像度ライトフィールド画像候補を更新する（ステップＳ２０７）。更新された高解像度ライトフィールド画像候補は、スイッチ１０４７によって選択され、再度、通常画像化部１０４３、ライトフィールド画像ダウンサンプル部１０４４、デプスマップ生成部１０４５及び高解像度ライトフィールド画像候補更新部１０４６へ入力される。高解像度ライトフィールド画像候補の更新は、どのような方法を用いて行っても構わない。例えば、ランダムに生成された任意のライトフィールド画像を高解像度ライトフィールド画像候補として設定することで更新を行っても構わない。また、高解像度ライトフィールド画像候補更新部１０４６は、処理対象画像及び推定処理対象画像と参照ライトフィールド画像及び推定ライトフィールド画像とを用いて、高解像度ライトフィールド画像候補を補正して得られた画像を、更新した高解像度ライトフィールド画像候補として出力してもよい。

なお、ステップＳ２０３、ステップＳ２０４及びステップＳ２０５において、高解像度ライトフィールド画像候補から生成された処理対象画像及び参照ライトフィールド画像に対する画像や参照デプスマップに対する推定デプスマップを、更新処理に使用しても構わない。例えば、前述のＯＭＰなどの方法では、それら高解像度ライトフィールド画像から生成された画像と処理対象画像や参照ライトフィールド画像との誤差を計算し、その誤差に基づいて高解像ライトフィールド画像候補を更新する。

また、ステップＳ２０７における更新処理の終了条件を満たすか否かの（２）式のＥ（ＬＦ）を用いた判定は、高解像度ライトフィールド画像候補更新部１０４６が、処理対象画像と推定処理対象画像との差分のノルムと、参照ライトフィールド画像と推定ライトフィールド画像との差分のノルムと、参照デプスマップと推定デプスマップとの差分のノルムを算出し、算出したノルムそれぞれを重み付けして加算した結果を用いて行う。高解像度ライトフィールド画像候補更新部１０４６は、加算結果が閾値より小さい場合に終了条件を満たすと判定し、加算結果が閾値以上である場合に終了条件を満たさないと判定する。

また、前述のように、辞書Ｄを用いて高解像度ライトフィールド画像候補を生成する場合、高解像度ライトフィールド画像生成部１０４は、ライトフィールド辞書設定部と係数ベクトル最適化部とを更に備えるようにしてもよい。ライトフィールド辞書設定部は、ライトフィールド画像の基底ベクトルで構成されるライトフィールド辞書（辞書Ｄ）を設定する。係数ベクトル最適化部は、処理対象画像と推定処理対象画像との差分のノルムと、参照ライトフィールド画像と推定参照ライトフィールド画像との差分のノルムと、参照デプスマップと推定デプスマップとの差分のノルムとの重み付き和を算出する。係数ベクトル最適化部は、重み付き和で得られた値と、ライトフィールド辞書を用いて高解像度ライトフィールド画像候補を表現した際の係数ベクトルの評価値との合計が最小となる係数ベクトルである最適係数ベクトルを算出する。この場合、高解像度ライトフィールド画像候補生成部１０４２は、ライトフィールド辞書における最適係数ベクトルを設定することで、高解像度ライトフィールド画像候補を生成する。

前述した説明では終了条件をチェックする前に、高解像度ライトフィールド画像候補から処理対象画像及び参照ライトフィールド画像に対する画像を生成しているが、それらの画像は終了条件のチェックには使用せず、高解像度ライトフィールド画像候補の更新処理のみ使用する場合は、図６に示すように、終了条件を満たさなかった場合のみに生成するようにしても構わない。図６は、図４に示す高解像度ライトフィールド画像生成部１０４の動作の変形例を示すフローチャートである。図６において、図５に示す処理と同じ処理には同じ符号を付与してある。

前述した説明では、１フレームに対する処理を説明したが、複数フレーム繰り返すことで映像（動画像）を処理することができる。また、前述した説明では画像処理装置の構成及び処理動作を説明したが、これら画像処理装置の各部の動作に対応した処理動作によって本発明の画像処理方法を実現することができる。

このように、画像処理装置１００は、空間解像度の高いライトフィールド画像を直接生成するのではなく、同じシーンにおける空間解像度の限定された参照ライトフィールド画像と参照デプスマップとを用いて、空間解像度の高い通常の画像に対する角度成分の情報を生成することで、空間解像度を損なわずにライトフィールド画像を生成することができる。

また、参照ライトフィールド画像を画像（光線）情報としてだけ用いる方法では、正しく高解像度ライトフィールド画像を生成できない場合があった。具体的には、参照ライトフィールド画像の空間解像度が生成対象の高解像度ライトフィールド画像の空間解像度と比べて著しく大きい場合に、参照ライトフィールド画像を用いて暗に制約をかけていたシーンの幾何構造が十分に担保できないということがある。これに対して、画像処理装置１００は、参照デプスマップを用いて明に幾何構造に制約をかけることにより、空間解像度の拡大率が大きい場合においても良好に高解像度ライトフィールド画像を生成できる。

図７は、前述した画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図７に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの処理対象の画像信号を入力する処理対象画像入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と、ライトフィールドカメラ等から参照ライトフィールド画像の画像信号を入力する参照ライトフィールド画像入力部５３（ディスク装置等によるライトフィールドを記憶する記憶部でもよい）と、デプスカメラ等から参照デプスマップのデプス値を入力する参照デプスマップ入力部５４（ディスク装置等によるデプスマップを記憶する記憶部でもよい）と、画像処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像処理プログラム５５１が格納されたプログラム記憶装置５５と、ＣＰＵ５０がメモリ５１にロードされた画像処理プログラム５５１を実行することにより生成された高解像度ライトフィールド画像を出力する高解像度ライトフィールド画像出力部５６（ディスク装置等による高解像度ライトフィールド画像を記憶する記憶部でもよい）とが、バスで接続された構成になっている。

以上説明したように、処理対象画像と、当該処理対象画像より空間解像度が低いライトフィールド画像を用いて、当該処理対象画像をライトフィールド化した画像を生成することにより、ライトフィールドカメラで処理対象画像と同一のシーンを撮像したライトフィールド画像よりも解像度の高いライトフィールド化した画像を得ることができる。

前述した実施形態における画像処理装置１００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

画像又は映像の空間解像度を損なわずに、同じ画像における角度解像度を持ったライトフィールド画像を取得することが不可欠な用途に適用できる。

５０…ＣＰＵ
５１…メモリ
５２，１０１…処理対象画像入力部
５３，１０２…参照ライトフィールド画像入力部
５４，１０３…参照デプスマップ入力部
１００，１００Ａ…画像処理装置
１０４…高解像度ライトフィールド画像生成部
１０５…参照デプスマップ推定部
１０４１…位置関係設定部
１０４２…高解像度ライトフィールド画像候補生成部
１０４３…通常画像化部
１０４４…ライトフィールド画像ダウンサンプル部
１０４５…デプスマップ生成部
１０４６…高解像度ライトフィールド画像候補更新部

Claims (8)

1. ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、
   前記処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像と、前記処理対象画像におけるデプスを示す参照デプスマップとを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成部
   を備えることを特徴とする画像処理装置。
2. 前記高解像度ライトフィールド画像生成部は、
   前記高解像度ライトフィールド画像の候補となる高解像度ライトフィールド画像候補を生成する高解像度ライトフィールド画像候補生成部と、
   前記高解像度ライトフィールド画像候補に基づいて、前記処理対象画像と同じ条件の画像である推定処理対象画像を生成する通常画像化部と、
   前記高解像度ライトフィールド画像候補に基づいて、前記参照ライトフィールド画像と同じ条件のライトフィールド画像である推定ライトフィールド画像を生成する推定ライトフィールド画像生成部と、
   前記高解像度ライトフィールド画像候補から前記参照デプスマップと同じ条件のデプスマップである推定デプスマップを生成するデプスマップ生成部と、
   前記推定処理対象画像と推定ライトフィールド画像と前記推定デプスマップと前記参照ライトフィールド画像と前記参照デプスマップとを用いて、前記高解像度ライトフィールド画像候補が所定の条件を満たしているか否かを判定し、前記条件を満たしている場合、前記高解像度ライトフィールド画像候補を前記高解像度ライトフィールド画像として出力し、前記条件を満たしていない場合、前記高解像度ライトフィールド画像候補を更新する高解像度ライトフィールド画像候補更新部と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記高解像度ライトフィールド画像候補更新部は、
   前記処理対象画像と前記推定処理対象画像との差分のノルムと、前記参照ライトフィールド画像と前記推定ライトフィールド画像との差分のノルムと、前記参照デプスマップと前記推定デプスマップとの差分のノルムとの重み付き和が予め定められた閾値より小さい場合に、前記高解像度ライトフィールド画像候補を前記高解像度ライトフィールド画像として出力する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記高解像度ライトフィールド画像生成部は、
   ライトフィールド画像の基底ベクトルで構成されるライトフィールド辞書を設定するライトフィールド辞書設定部と、
   前記処理対象画像と前記推定処理対象画像との差分のノルムと、前記参照ライトフィールド画像と前記推定ライトフィールド画像との差分のノルムと、前記参照デプスマップと前記推定デプスマップとの差分のノルムとの重み付き和と、前記ライトフィールド辞書を用いて前記高解像度ライトフィールド画像候補を表現した際の係数ベクトルの評価値との合計が最小となる係数ベクトルである最適係数ベクトルを求める係数ベクトル最適化部とを更に備え、
   前記高解像度ライトフィールド画像候補生成部は、前記ライトフィールド辞書における最適係数ベクトルを設定することで、前記高解像度ライトフィールド画像候補を生成することを特徴とする請求項２又は請求項３のいずれか１項に記載の画像処理装置。
5. 前記処理対象画像と前記参照ライトフィールド画像との位置関係を設定する位置関係設定部を更に備え、
   前記推定ライトフィールド画像生成部は、前記位置関係と前記高解像度ライトフィールド画像候補とに基づいて、前記推定ライトフィールド画像を生成することを特徴とする請求項２から請求項４のいずれか１項に記載の画像処理装置。
6. 前記参照ライトフィールド画像が、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得した画像であることを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、
   前記処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像と、前記処理対象画像におけるデプスを示す参照デプスマップとを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップ
   を有することを特徴とする画像処理方法。
8. コンピュータを、請求項１から請求項６のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

Images