JP6114228B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、所望の画像を画像処理によって生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

デジタル画像や映像の品質において、その空間解像度は非常に大きな要素である。そのため、より高解像度な映像を取り扱うことのできる高精細映像／画像システムの研究開発が継続的に行われている。高解像度な映像／画像を用いることで被写体や背景を細部まで鮮明に表現することが可能となる。その一方で各被写体に対してフォーカスが合っているか否かという解像度が低かった差異には視認不可能であった要素まで視認されることになる。一般に、注視する被写体にフォーカスが合っていない映像／画像は、ボケが生じていると認識され、その画質は低いと評価されてしまう。そのため、解像度の高い映像／画像を撮影する際には、フォーカスを正確にコントロールすることが非常に重要であると考えられている。

なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

しかしながら、高解像度の映像／画像を撮影する際のフォーカスコントロールは非常に困難な作業であることが知られている。低解像度の画像／映像を撮影する際にはビューファインダや小型の確認用のモニタを用いてフォーカスの状況を確認しながら撮影することが可能であるが、解像度の高い画像／映像を撮影する場合、小さなモニタでは細かな合焦状況まで確認することができないためである。

一般に高解像度の画像／映像を表示可能なモニタは大型になることから、撮影とフォーカスの確認を同時に一人の人間が行うことが不可能である。そのため、カメラマンとは別に“フォーカスマン”と呼ばれるスタッフを用意し、離れた場所で大型のモニタでフォーカスの状況を確認しながらフォーカスの操作を行ったり、確認したフォーカスの状況をカメラマンへ指示することが行われている。

また、撮影後に画像処理を行うことを前提とすることで、撮影後にフォーカスを調節できる撮像装置も開発されている。非特許文献１はライトフィールドカメラと呼ばれる撮像装置であり、従来のカメラにおけるメインレンズと投影面の間にマイクロレンズアレイを挿入した構成になっている。このような構成を取ることで、カメラに入射する光線を入射角毎に記録することが可能となり、そこから異なる距離にフォーカスを合わせた画像／映像を生成することができる。ライトフィールドカメラにより撮像された画像（以下、ライトフィールド画像という）は、各画素の位置における光線の強度を光線の進行方向ごとに表現した画像である。

R. Ng, "Digital light field photography", Ph.D dissertation, Stanford University, July 2006.

しかしながら、非特許文献１に記載の方法では、撮像素子を空間的に異なる光線をサンプリングするためだけでなく、レンズへの入射角の異なる光線をサンプリングするために割かなくてはならないため、撮像可能な空間解像度が低下してしまうという問題がある。

なお、空間解像度と角度解像度の積が撮像素子の個数に近似できる。そのため、どちらにより高い解像度を与えるかは撮像装置を設計する際にある程度コントロールすることが可能である。ただし、角度解像度は撮像後のリフォーカス可能な範囲に影響を与えるため、ある程度の解像度を与える必要がある。非特許文献１の方法に基づいて作成・販売されたライトフィールドカメラでは、おおよそ１０ｘ１０の角度解像度を持つため、空間解像度は一般的なカメラの約１００分の１になっている。

より多くの撮像素子を用いることで、空間解像度の低下を防ぐことも可能である。しかしながら、そのような方法では、十分な量の光量を得るために撮像装置の規模が大きくなるほか、より高解像度な画像センサが必要となるためにコストも増大するという問題がある。例えば、前述したライトフィールドカメラの場合、本来の空間解像度を保つためには、約１００倍の解像度を持つ画像センサが必要となる。

本発明は、このような事情に鑑みてなされたもので、高解像度の画像または映像の空間解像度を維持しつつ、高解像度の画像のリフォーカス機能を実現できる画像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明は、ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、前記処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成部を備えることを特徴とする。

本発明は、前記高解像度ライトフィールド画像の候補を設定する高解像度ライトフィールド画像候補設定部と、前記高解像度ライトフィールド画像候補に基づいて、前記処理対象画像と同じ条件の画像である推定処理対象画像を推定する処理対象画像推定部と、前記高解像度ライトフィールド画像候補に基づいて、前記参照ライトフィールド画像と同じ条件のライトフィールド画像である推定参照ライトフィールド画像を推定する参照ライトフィールド画像推定部とを更に備え、前記高解像度ライトフィールド画像生成部は、前記推定処理対象画像と前記推定参照ライトフィールド画像と前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記高解像度ライトフィールド画像を生成することを特徴とする。

本発明は、前記高解像度ライトフィールド画像生成部は、前記処理対象画像と前記推定処理対象画像との差分のノルムと前記参照ライトフィールド画像と前記推定参照ライトフィールド画像との差分のノルムとの重み付き和が小さくなるような前記高解像度ライトフィールド画像候補を前記高解像度ライトフィールド画像とすることを特徴とする。

本発明は、ライトフィールド画像の基底ベクトルで構成されるライトフィールド辞書を設定するライトフィールド辞書設定部と、前記処理対象画像と前記推定処理対象画像との差分のノルムと前記参照ライトフィールド画像と前記推定参照ライトフィールド画像との差分のノルムとの重み付き和と、前記ライトフィールド辞書を用いて前記高解像度ライトフィールド画像候補を表現した際の係数ベクトルの評価値との合計が最小となる係数ベクトルである最適係数ベクトルを求める係数ベクトル最適化部とを更に備え、前記高解像度ライトフィールド画像候補設定部は、前記ライトフィールド辞書における係数ベクトルを設定することで、前記高解像度ライトフィールド画像候補を生成し、前記高解像度ライトフィールド画像生成部は、前記ライトフィールド辞書と前記最適係数ベクトルとを用いて、前記高解像度ライトフィールド画像を生成することを特徴とする。

本発明は、前記処理対象画像と前記参照ライトフィールド画像の位置関係を設定する位置関係設定部を更に備え、前記参照ライトフィールド画像推定部は、前記位置関係と前記高解像度ライトフィールド画像候補に基づいて、推定参照ライトフィールド画像を推定することを特徴とする。

本発明は、前記参照ライトフィールド画像が、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得した画像であることを特徴とする。

本発明は、ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、前記処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップを有することを特徴とする。

本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。

本発明によれば、同一シーンのライトフィールド画像を用いて、高解像度の画像または映像の光線情報を推定することで、高解像度の画像のリフォーカスを行うことのできるライトフィールド画像を生成することができるという効果が得られる。

本発明の実施形態による画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置１００の動作を示すフローチャートである。 図１に示す高解像度ライトフィールド画像生成部１０３の詳細な構成を示すブロック図である。 図３に示す高解像度ライトフィールド画像生成部１０３の動作を示すフローチャートである。 図３に示す高解像度ライトフィールド画像生成部１０３の動作の変形例を示すフローチャートである。 画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。

以下、図面を参照して、本発明の実施形態による画像処理装置を説明する。ここでは、１枚の画像に対する処理を説明するが、複数の連続する画像に対して処理を繰り返すことで映像（動画像）を処理することができる。なお、映像の全てのフレームに適用せずに、一部のフレームに対して本手法による処理を適用し、その他のフレームに対しては別の処理を適用しても構わない。

図１は本実施形態における画像処理装置の構成を示すブロック図である。画像処理装置１００は、コンピュータ装置によって構成し、図１に示すように、処理対象画像入力部１０１、参照ライトフィールド画像入力部１０２及び高解像度ライトフィールド画像生成部１０３を備えている。

処理対象画像入力部１０１は、ライトフィールド化の対象となる高解像度の画像を入力する。以下では、この画像を処理対象画像と称する。参照ライトフィールド画像入力部１０２は、処理対象画像よりも空間解像度が低く、処理対象画像と同一のシーンに対するライトフィールド画像を入力する。以下では、この低解像度ライトフィールド画像を参照ライトフィールド画像と称する。

なお、どのようなライトフィールド画像が入力されても構わない。例えば、非特許文献１のようなメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得したライトフィールド画像であっても、別の方法を用いて取得したライトフィールド画像であっても構わない。ここでは、非特許文献１のライトフィールド画像が入力されるものとする。

高解像度ライトフィールド画像生成部１０３は、処理対象画像と参照ライトフィールド画像とを用いて、処理対象画像をライトフィールド化した画像を推定して生成する。以下では、生成されたライトフィールド画像を高解像度ライトフィールド画像と称する。

次に、図２を参照して、図１に示す画像処理装置１００の動作を説明する。図２は、図１に示す画像処理装置１００の動作を示すフローチャートである。まず、処理対象画像入力部１０１は処理対象画像を入力して内部に保持する。これと並行して、参照ライトフィールド画像入力部１０２は参照ライトフィールド画像を入力して内部に保持する（ステップＳ１０１）。

処理対象画像および参照ライトフィールド画像の入力が終了したら、高解像度ライトフィールド画像生成部１０３は、処理対象画像と参照ライトフィールド画像とを用いて、処理対象画像に対するライトフィールド画像を推定することで、高解像度ライトフィールド画像を生成する（ステップ１０２）。生成された高解像度ライトフィールド画像は画像処理装置１００の出力となる。ここでの処理は、処理対象画像と参照ライトライトフィールド画像を用いる処理であれば、どのような手法を用いても構わない。

例えば、処理対象画像や参照ライトフィールド画像との整合性を考慮しながら高解像度ライトフィールド画像を生成するようにしても構わない。その際に、（１）式、（２）式に従って高解像度ライトフィールド画像を生成しても構わない。

ここで、ＬＦ_ｈｉｇｈ、ＬＦ_ｌｏｗ及びＩ_ｈｉｇｈは、それぞれ、高解像度ライトフィールド画像、参照ライトフィールド画像及び処理対象画像を表す。また、Ｄｏｗｎはライトフィールド画像に対するダウンサンプル処理を表し、与えられたライトフィールド画像をダウンサンプルして、参照ライトフィールド画像と同じ条件のライトフィールド画像を生成した結果を返す。

Ｃｏｎｖはライトフィールド画像から通常の画像を再構成する処理を表し、与えられたライトフィールド画像から、処理対象画像と同じ条件の画像を再構成した結果を返す。α、β及びγはそれぞれの項の重みを調節するパラメータである。‖Ａ‖はＡのノルムを表す（典型的にはｌ₂ノルムが用いられる）。Ｒは与えられたライトフィールド画像のライトフィールド画像らしさを評価した結果を返す。どのような基準で評価を行っても構わないが、ここでは、値が小さいほどライトフィールド画像らしさが高いものとするが、値が大きいほどライトフィールドらしさを返すものでも構わない。その場合、βは負の数となる。

Ｒとしては、例えば、（３）式、（４）式に示すようにライトフィールド画像におけるスパース性を用いても構わない。つまり、ライトフィールド画像を過完備（オーバーコンプリート）な辞書Ｄを用いて表現した際の係数ベクトルχのノルムを用いても構わない。ここで‖χ‖_ｎはχのｌ_nノルムを表し、ｌ₀ノルムやｌ₁ノルム、ｌ_1/2ノルムなどが用いられるが、何を用いても構わない。

過完備な辞書Ｄはどのような方法を用いて生成しても構わない。例えば、参照ライトフィールド画像を用いて生成しても構わないし、別のライトフィールド画像群を用いて生成しても構わない。具体的な生成方法としては、例えば、文献「J. Mairal, F. Bach, J. Ponce, and G. Spairo, "Online Dictionary Learning for Sparse Coding", International Conference on Machine Learning, 2009.」に記載の生成方法を用いても構わない。なお、別のライトフィールド画像群を用いて生成する場合は、事前に生成しておいた辞書を入力して用いても構わない。

その他の例としては、ライトフィールド画像から生成されるリフォーカス画像や全焦点画像の画像らしさを用いても構わない。画像らしさの尺度としてはＴＶ（Total Variation）ノルムなどがある。リフォーカス画像は１つでも構わないし、複数のリフォーカス画像を生成して、それらの画像らしさの平均値や合計値などを用いても構わない。更に別の例としては、ライトフィールド画像から生成できる多視点画像の画像らしさの平均値や合計値、分散などを用いても構わない。

Ｄｏｗｎ及びＣｏｎｖはライトフィールド画像の形式やダウンサンプルの比率等に従って適切な手法を用いる必要がある。例えば、非特許文献１に記載のように、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いてライトフィールド画像を撮像する場合、Ｄｏｗｎを、ダウンサンプル後の１つのマイクロレンズに対応する領域に存在するマイクロレンズ群に対して、マイクロレンズ下の画像の平均画像を求める処理として定義しても構わない。なお、ダウンサンプルの対象となるライトフィールド画像と参照ライトフィールド画像とが、異なる位置や向きから取得されたものの場合、Ｄｏｗｎでは、その位置や向きの違いも考慮した処理を含めても構わない。

別の例として、同様の手法によって得られたライトフィールド画像に対するＣｏｎｖによる変換は、例えば、変換後の１画素に対応する領域に入射した光線の平均値を求める処理として定義しても構わない。より具体的には、変換後の１画素に対応する領域に存在するマイクロレンズ下の画素の平均値や重み付き平均値を求める処理として定義しても構わない。なお、変換の対象となるライトフィールド画像と高解像度画像とが、異なる位置や向きから取得されたものの場合、Ｃｏｎｖでは、その位置や向きの違いも補償する処理を含めても構わない。

前述の（１）式で表した最小化問題に対して、どのような方法を用いて解となる高解像ライトフィールド画像を求めても構わない。例えば、全ての高解像度ライトフィールド画像の候補に対して評価値を計算し、その最小値を与えるものを求めても構わない。別の方法としては、Ｍａｔｃｈｉｎｇ Ｐｅｒｓｕｉｔ（ＭＰ）やＯｒｔｈｏｇｏｎａｌ Ｍａｔｃｈｉｎｇ Ｐｅｒｓｕｉｔ（ＯＭＰ）、内点法、Ｂｌｏｃｋ Ｃｏｏｒｄｉｎａｔｅ Ｒｅｌａｘａｔｉｏｎ （ＢＣＲ）法、Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎａｌ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｅｒｓ（ＡＤＭＭ）などを用いても構わない。

次に、図３を参照して、図１に示す高解像度ライトフィールド画像生成部１０３の詳細な構成を説明する。図３は、ライトフィールド画像から通常画像への変換及びライトフィールド画像のダウンサンプルを用いて、処理対象画像及び参照ライトフィールド画像との整合性を考慮しながら高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成部１０３の構成を示すブロック図である。高解度ライトフィールド画像生成部１０３は、図３に示すように、位置関係設定部１０３１、高解像度ライトフィールド画像候補生成部１０３２、通常画像化部１０３３、ライトフィールド画像ダウンサンプル部１０３４、高解像度ライトフィールド画像候補補正部１０３５及びスイッチ１０３６を備えている。

位置関係設定部１０３１は、処理対象画像に対するカメラと参照ライトフィールド画像に対するカメラの位置関係を設定する。高解像度ライトフィールド画像候補生成部１０３２は、高解像度ライトフィールドの候補となるライトフィールド画像を生成する。通常画像化部１０３３は、高解像度ライトフィールド画像候補の角度解像度を縮退させることで、処理対象画像に対する推定画像を生成する。ライトフィールド画像ダウンサンプル部１０３４は、ライトフィールド画像に対するダウンサンプル及び位置関係に基づく変換によって、高解像度ライトフィールド画像候補の空間解像度を低下させ、参照ライトフィールド画像に対する推定画像を生成する。高解像度ライトフィールド画像候補補正部１０３５は、処理対象画像及びその推定画像と参照ライトフィールド画像及びその推定画像とを用いて、高解像度ライトフィールド画像候補を補正する。

次に、図４を参照して、図３に示す高解像度ライトフィールド画像生成部１０３の動作を説明する。図４は、図３に示す高解像度ライトフィールド画像生成部１０３の動作を示すフローチャートである。まず、位置関係設定部１０３１は、処理対象画像と参照ライトフィールド画像の位置関係を設定する（ステップＳ２０１）。処理対象画像と参照ライトフィールド画像の位置関係が分かるものであればどのような情報を設定しても構わない。例えば、文献「Oliver Faugeras, "Three-Dimension Computer Vision", MIT Press; BCTC/UFF-006.37 F259 1993, ISBN:0-262-06158-9.」に記載されているようなカメラパラメータを設定しても構わない。

また、どのように位置関係を示す情報を設定しても構わない。例えば、別途与えられる位置関係の情報を設定しても構わない。特に、処理対象画像と参照ライトフィールド画像とが、ハーフミラー等を用いて同じ位置で取得されたことが既知の場合は、同じ位置であることを設定しても構わない。なお、常に同じ位置であることが明らかであれば、このステップを省略し、以降の位置関係に伴う処理を行わないようにしても構わない。

別の方法としては、参照ライトフィールド画像からリフォーカス画像や全焦点画像、要素画像を生成し、それらと処理対象画像における画像間の対応点情報を求め、それらを用いることで求めても構わない。画像間の対応点情報から位置関係を求める方法としては、例えば、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）を用いても構わない。

位置関係の設定が終了したら、高解像度ライトフィールド画像候補生成部１０３２は、高解像度ライトフィールド画像候補を設定する（ステップＳ２０２）。どのように候補を設定しても構わない。例えば、全ての画素値が０のライトフィールド画像を設定しても構わないし、任意のライトフィールド画像を設定しても構わない。別の方法としては、参照ライトフィールド画像に対して、角度成分毎にフィルタ等を用いた拡大処理を行うことで生成したライトフィールド画像を設定しても構わない。その際、全ての角度成分で同じ拡大処理を用いても構わないし、異なる拡大処理を用いても構わない。

更に別の方法としては、処理対象画像に対して、任意のモデルに基づく角度成分の情報を与えることで生成したライトフィールド画像を設定しても構わない。角度成分の情報を与える方法としては、全ての角度成分が同じであるとしても構わないし、各画素に対して周辺の画像を縮小することで生成しても構わない。なお、周辺の画像を縮小して生成する際に、生成された角度成分の画素値の平均値が、元の画素値と同じになるように縮小処理を行うようにしても構わない。

また、高解像度ライトフィールド画像候補を直接生成するのではなく、前述した辞書Ｄに対する係数ベクトルχの候補を設定し、辞書Ｄを用いて高解像度ライトフィールド画像候補を生成しても構わない。係数ベクトルχの候補としては、ゼロベクトルを用いても構わないし、参照ライトフィールド画像に対する係数ベクトルを求め、それをアップサンプルすることで生成したベクトルを用いても構わない。

高解像度ライトフィールド画像候補の設定が終了したら、スイッチ１０３６を操作し、通常画像化部１０３３は高解像度ライトフィールド画像候補から処理対象画像に対応する画像を生成し（ステップＳ２０３）、ライトフィールド画像ダウンサンプル部１０３４は高解像度ライトフィールド画像候補から参照ライトフィールド画像に対応する画像を生成する（ステップＳ２０４）。ここでの処理は、それぞれ、前述したＣｏｎｖおよびＤｏｗｎによる処理と同じである。なお、ステップＳ２０３とステップＳ２０４はどちらを先に行っても構わない。

次に、高解像度ライトフィールド画像候補補正部1０３５は、得られた画像群を用いて高解像度ライトフィールド画像候補が更新処理の終了条件を満たすか否かをチェックする（ステップＳ２０５）。どのような終了条件を用いても構わないが、例えば、（２）式のＥ（ＬＦ）によって得られる高解像度ライトフィールド画像候補ＬＦの評価値が予め定められた閾値より小さいか否かを終了条件にしても構わないし、高解像度ライトフィールド画像の更新回数が予め定められた回数行われたか否かを終了条件にしても構わないし、そのどちらか一方もしくは両方を満たすか否かを終了条件にしても構わない。

終了条件を満たしていた場合、高解像度ライトフィールド画像候補補正部１０３５は、高解像度ライトフィールド画像候補を高解像度ライトフィールドとして出力して処理を終了する。

一方、終了条件を満たしていない場合、高解像度ライトフィールド画像候補補正部１０３５は、高解像度ライトフィールド画像候補を更新する（ステップＳ２０６）。更新された高解像度ライトフィールド画像候補は、スイッチ１０３６が操作され、再度、通常画像化部１０３３、ライトフィールド画像ダウンサンプル部１０３４及び高解像度ライトフィールド画像候補補正部１０３５へ入力される。高解像度ライトフィールド画像候補の更新は、どのような方法を用いて行っても構わない。例えば、ランダムに生成された任意のライトフィールド画像を高解像度ライトフィールド画像候補として設定することで更新を行っても構わない。

なお、ステップＳ２０３及びステップＳ２０４において、高解像度ライトフィールド画像候補から生成された処理対象画像及び参照ライトフィールド画像に対する画像を、更新処理に使用しても構わない。例えば、前述のＯＭＰなどの方法では、それら高解像度ライトフィールド画像から生成された画像と処理対象画像や参照ライトフィールド画像との誤差を計算し、その誤差に基づいて高解像ライトフィールド画像候補を更新する。

前述した説明では終了条件をチェックする前に、高解像度ライトフィールド画像候補から処理対象画像及び参照ライトフィールド画像に対する画像を生成しているが、それらの画像は終了条件のチェックには使用せず、高解像度ライトフィールド画像候補の更新処理のみ使用する場合は、図５に示すように、終了条件を満たさなかった場合のみに生成するようにしても構わない。図５は、図３に示す高解像度ライトフィールド画像生成部１０３の動作の変形例を示すフローチャートである。図５において、図４に示す処理と同じ処理には同じ符号を付与してある。

前述した説明では、１フレームに対する処理を説明したが、複数フレーム繰り返すことで映像（動画像）を処理することができる。また、前述した説明では画像処理装置の構成及び処理動作を説明したが、これら画像処理装置の各部の動作に対応した処理動作によって本発明の画像処理方法を実現することができる。

このように、空間解像度の高いライトフィールド画像を直接取得するのではなく、同じシーンにおける空間解像度の限定されたライトフィールド画像を用いて、空間解像度の高い通常の画像に対する角度成分の情報を生成することで、空間解像度を損なわずにライトフィールド画像を生成することができる。

図６は、前述した画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図６に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの処理対象の画像信号を入力する処理対象画像入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と、ライトフィールドカメラ等から参照ライトフィールド画像の画像信号を入力する参照ライトフィールド画像入力部５３（ディスク装置等によるライトフィールドを記憶する記憶部でもよい）と、画像処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像処理プログラム５４１が格納されたプログラム記憶装置５４と、ＣＰＵ５０がメモリ５１にロードされた画像処理プログラム５４１を実行することにより生成された高解像度ライトフィールド画像を出力する高解像度ライトフィールド画像出力部５５（ディスク装置等による高解像度ライトフィールド画像を記憶する記憶部でもよい）とが、バスで接続された構成になっている。

以上説明したように、処理対象画像と、当該処理対象画像より空間解像度が低いライトフィールド画像を用いて、当該処理対象画像をライトフィールド化した画像を生成することにより、ライトフィールドカメラで処理対象画像と同一のシーンを撮像したライトフィールド画像よりも解像度の高いライトフィールド化した画像を得ることができる。

前述した実施形態における画像処理装置１００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

画像又は映像の空間解像度を損なわずに、同じ画像における角度解像度を持ったライトフィールド画像を取得することが不可欠な用途に適用できる。

１００・・・画像処理装置、１０１・・・処理対象画像入力部、１０２・・・参照ライトフィールド画像入力部、１０３・・・高解像度ライトフィールド画像生成部、１０３１・・・位置関係設定部、１０３２・・・高解像度ライトフィールド画像候補生成部、１０３３・・・通常画像化部、１０３４・・・ライトフィールド画像ダウンサンプリング部、１０３５・・・高解像度ライトフィールド画像候補補正部、１０３６・・・スイッチ

Claims (8)

1. ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、
   前記処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成部
   を備えることを特徴とする画像処理装置。
2. 前記高解像度ライトフィールド画像の候補を設定する高解像度ライトフィールド画像候補設定部と、
   前記高解像度ライトフィールド画像候補に基づいて、前記処理対象画像と同じ条件の画像である推定処理対象画像を推定する処理対象画像推定部と、
   前記高解像度ライトフィールド画像候補に基づいて、前記参照ライトフィールド画像と同じ条件のライトフィールド画像である推定参照ライトフィールド画像を推定する参照ライトフィールド画像推定部とを更に備え、
   前記高解像度ライトフィールド画像生成部は、前記推定処理対象画像と前記推定参照ライトフィールド画像と前記処理対象画像と前記参照ライトフィールド画像とを用いて、前記高解像度ライトフィールド画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記高解像度ライトフィールド画像生成部は、前記処理対象画像と前記推定処理対象画像との差分のノルムと前記参照ライトフィールド画像と前記推定参照ライトフィールド画像との差分のノルムとの重み付き和が小さくなるような前記高解像度ライトフィールド画像候補を前記高解像度ライトフィールド画像とすることを特徴とする請求項２に記載の画像処理装置。
4. ライトフィールド画像の基底ベクトルで構成されるライトフィールド辞書を設定するライトフィールド辞書設定部と、
   前記処理対象画像と前記推定処理対象画像との差分のノルムと前記参照ライトフィールド画像と前記推定参照ライトフィールド画像との差分のノルムとの重み付き和と、前記ライトフィールド辞書を用いて前記高解像度ライトフィールド画像候補を表現した際の係数ベクトルの評価値との合計が最小となる係数ベクトルである最適係数ベクトルを求める係数ベクトル最適化部とを更に備え、
   前記高解像度ライトフィールド画像候補設定部は、前記ライトフィールド辞書における係数ベクトルを設定することで、前記高解像度ライトフィールド画像候補を生成し、
   前記高解像度ライトフィールド画像生成部は、前記ライトフィールド辞書と前記最適係数ベクトルとを用いて、前記高解像度ライトフィールド画像を生成することを特徴とする請求項２に記載の画像処理装置。
5. 前記処理対象画像と前記参照ライトフィールド画像の位置関係を設定する位置関係設定部を更に備え、
   前記参照ライトフィールド画像推定部は、前記位置関係と前記高解像度ライトフィールド画像候補に基づいて、推定参照ライトフィールド画像を推定することを特徴とする請求項２から請求項４のいずれか１項に記載の画像処理装置。
6. 前記参照ライトフィールド画像が、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得した画像であることを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、
   前記処理対象画像と、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とを用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップ
   を有することを特徴とする画像処理方法。
8. コンピュータを、請求項１から請求項６のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

Images