JP6294751B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、所望の画像を画像処理によって生成する画像処理装置、画像処理方法及び画像処理プログラムに関する。

デジタル画像や映像の品質において、その空間解像度は非常に大きな要素である。そのため、より高解像度な映像を取り扱うことのできる高精細映像／画像システムの研究開発が継続的に行われている。高解像度な映像／画像を用いることで被写体や背景を細部まで鮮明に表現することが可能となる。その一方で各被写体に対してフォーカスが合っているか否かという解像度が低かった差異には視認不可能であった要素まで視認されることになる。一般に、注視する被写体にフォーカスが合っていない映像／画像は、ボケが生じていると認識され、その画質は低いと評価されてしまう。そのため、解像度の高い映像／画像を撮影する際には、フォーカスを正確にコントロールすることが非常に重要であると考えられている。

なお、本明細書において、画像とは、静止画像、または動画像を構成する１フレーム分の画像のことをいう。また映像とは、動画像と同じ意味であり、一連の画像の集合である。

しかしながら、高解像度の映像／画像を撮影する際のフォーカスコントロールは非常に困難な作業であることが知られている。低解像度画像／映像を撮影する際にはビューファインダや小型の確認用のモニタを用いてフォーカスの状況を確認しながら撮影することが可能であるが、解像度の高い画像／映像を撮影する場合、小さなモニタでは細かな合焦状況まで確認することができないためである。

一般に高解像度画像／映像を表示可能なモニタは大型になることから、撮影とフォーカスの確認を同時に一人の人間が行うことが不可能である。そのため、カメラマンとは別に“フォーカスマン”と呼ばれるスタッフを用意し、離れた場所で大型のモニタでフォーカスの状況を確認しながらフォーカスの操作を行ったり、確認したフォーカスの状況をカメラマンへ指示することが行われている。

また、撮影後に画像処理を行うことを前提とすることで、撮影後にフォーカスを調節できる撮像装置も開発されている。非特許文献１はライトフィールドカメラと呼ばれる撮像装置であり、従来のカメラにおけるメインレンズと投影面の間にマイクロレンズアレイを挿入した構成になっている。このような構成を取ることで、カメラに入射する光線を入射角毎に記録することが可能となり、そこから異なる距離にフォーカスを合わせた画像／映像を生成することができる。ライトフィールドカメラにより撮像された画像（以下、ライトフィールド画像という）は、各画素の位置における光線の強度を前記光線の進行方向ごとに表現した画像となる。

しかしながら、非特許文献１に記載の方法では、撮像素子を空間的に異なる光線をサンプリングするためだけでなく、レンズへの入射角の異なる光線をサンプリングするために割かなくてはならないため、撮像可能な空間解像度が低下してしまうという問題がある。

なお、空間解像度と角度解像度の積が撮像素子の個数に近似できる。そのため、どちらにより高い解像度を与えるかは撮像装置を設計する際にある程度コントロールすることが可能である。ただし、角度解像度は撮像後のリフォーカス可能な範囲に影響を与えるため、ある程度の解像度を与える必要がある。非特許文献１の方法に基づいて作成・販売されたライトフィールドカメラでは、おおよそ１０ｘ１０の角度解像度を持つため、空間解像度は一般的なカメラの約１００分の１になっている。

より多くの撮像素子を用いることで、空間解像度の低下を防ぐことも可能である。しかしながら、そのような方法では、十分な量の光量を得るために撮像装置の規模が大きくなるほか、より高解像度な画像センサが必要となるためにコストも増大するという問題がある。例えば、上述したライトフィールドカメラの場合、本来の空間解像度を保つためには、約１００倍の解像度を持つ画像センサが必要となる。

一方、非特許文献２では、角度の異なる光線の情報を用いた超解像により、リフォーカス後の画像の空間解像度を増加させている。

R. Ng, "Digital light field photography", Ph.D dissertation, Stanford University, July 2006. T.E. Bishop, S. Zanetti, and P. Favaro, "Light field superresolution," In Proceedings of IEEE International Conference on Computational Photography (ICCP), pp.1,9, 16-17 April 2009

しかしながら、一般に超解像で得られる空間解像度は元の解像度の数倍程度が限度と言われており、角度解像度に割かれた解像度を補うことは困難であるという問題がある。

本発明は、このような事情に鑑みてなされたもので、高解像度の画像または映像の空間解像度を維持しつつ、高解像度の画像のリフォーカス機能を実現できる画像を生成することができる画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

本発明は、ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とから該参照ライトフィールド画像の進行方向の異なる光線を統合した参照画像を生成する参照画像生成部と、前記参照ライトフィールド画像と前記参照画像とを用いて、前記参照画像の画素ごとに、該画素を表現する画像パッチと、該画素を通過する進行方向の異なる光線群を表現するライトフィールドパッチとの組を生成するライトフィールドパッチ辞書生成部と、前記ライトフィールドパッチ辞書を用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成部とを備えることを特徴とする。

本発明は、前記処理対象画像の画素ごとに、前記ライトフィールドパッチを対応付けるマッチング部を更に備え、前記高解像度ライトフィールド画像生成部では、前記処理対象画像の画素ごとに、該画素に対応付けられた前記ライトフィールドパッチによって表現される光線情報を割り当てることで、前記高解像度ライトフィールド画像を生成することを特徴とする。

本発明は、前記処理対象画像の画素に対応付けられた前記ライトフィールドパッチに対して、重みを決定する重み決定部を更に有し、前記マッチング部では、前記処理対象画像の画素ごとに、複数の前記ライトフィールドパッチを対応付け、前記高解像度ライトフィールド画像生成部では、前記処理対象画像の画素ごとに、該画素に対応付けられた複数の前記ライトフィールドパッチによって表現される光線情報を進行方向毎に、前記重みに従って重み付き平均をとることで、前記高解像度ライトフィールド画像を生成することを特徴とする。

本発明は、前記ライトフィールドパッチ辞書生成部では、前記参照画像の画素ごとに、前記画像パッチと前記ライトフィールドパッチの組を複数個生成することを特徴とする。

本発明は、前記ライトフィールドパッチ辞書生成部では、前記参照画像の画素ごとに、サイズまたは形状の異なる画像パッチに対して前記ライトフィールドパッチを組としたものであることを特徴とする。

本発明は、前記参照ライトフィールド画像が、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得した画像であることを特徴とする。

本発明は、ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像から該参照ライトフィールド画像の進行方向の異なる光線を統合した参照画像を生成する参照画像生成ステップと、前記参照ライトフィールド画像と前記参照画像とを用いて、前記参照画像の画素ごとに、該画素を表現する画像パッチと、該画素を通過する進行方向の異なる光線群を表現するライトフィールドパッチとの組を生成するライトフィールドパッチ辞書生成ステップと、前記ライトフィールドパッチ辞書を用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップとを有することを特徴とする。

本発明は、コンピュータを、前記画像処理装置として機能させるための画像処理プログラムである。

本発明によれば、同一シーンのライトフィールド画像を用いて、高解像度の画像または映像の光線情報を推定することで、高解像度の画像のリフォーカスを行うことのできるライトフィールド画像を生成することができるという効果が得られる。

本発明の実施形態による画像処理装置の構成を示すブロック図である。 図１に示す画像処理装置１００の動作を示すフローチャートである。 画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。

以下、図面を参照して、本発明の実施形態による画像処理装置を説明する。ここでは、１枚の画像に対する処理を説明するが、複数の連続する画像に対して処理を繰り返すことで映像（動画像）を処理することができる。なお、映像の全てのフレームに適用せずに、一部のフレームに対して本手法による処理を適用し、その他のフレームに対しては別の処理を適用しても構わない。

図１は本実施形態における画像処理装置の構成を示すブロック図である。画像処理装置１００は、コンピュータ装置で構成し、図１に示すように、処理対象画像入力部１０１、参照ライトフィールド画像入力部１０２、角度成分統合部１０３、ライトフィールドパッチ辞書生成部１０４及び高解像度ライトフィールド画像生成部１０５を備えている。

処理対象画像入力部１０１は、ライトフィールド化の対象となる高解像度の画像を入力する。以下では、この画像を処理対象画像と称する。参照ライトフィールド画像入力部１０２は、処理対象画像よりも空間解像度が低く、処理対象画像と同一のシーンに対するライトフィールド画像を入力する。以下では、この低解像度ライトフィールド画像を参照ライトフィールド画像と称する。なお、どのようなライトフィールド画像が入力されても構わない。例えば、非特許文献１のようなメインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得したライトフィールド画像であっても、別の方法を用いて取得したライトフィールド画像であっても構わない。ここでは、非特許文献１のライトフィールド画像が入力されるものとする。

角度成分統合部１０３は、参照ライトフィールド画像における角度成分を統合し、参照ライトフィールド画像と同じ空間解像度を持つ通常の画像を生成する。ライトフィールドパッチ辞書生成部１０４は、通常の画像の画素又はパッチをインデックスとするライトフィールド画像の角度成分のパッチを生成する。以下では、得られるパッチ群をライトフィールドパッチ辞書と称する。高解像度ライトフィールド画像生成部１０５は、処理対象画像とライトフィールドパッチ辞書を用いて、処理対象画像に対して角度成分を生成したライトフィールド画像を推定する。以下では、得られるライトフィールド画像を高解像度ライトフィールド画像と称する。

次に、図２を参照して、図１に示す画像処理装置１００の動作を説明する。図２は、図１に示す画像処理装置１００の動作を示すフローチャートである。まず、処理対象画像入力部１０１は処理対象画像を入力する。これと並行して、参照ライトフィールド画像入力部１０２は参照ライトフィールド画像を入力する（ステップＳ１０１）。

処理対象画像および参照ライトフィールド画像の入力が終了したら、角度成分統合部１０３は、参照ライトフィールド画像の角度成分を統合することで、対応する通常の画像を生成する（ステップＳ１０２）。つまり、生成される画像の空間解像度は参照ライトフィールド画像と同じである。以下では、ここで生成される画像を参照画像と称する。なお、どのような処理を用いて角度成分を統合しても構わないが、参照ライトフィールド画像の仕様によって適切な方法を使う必要がある。

例えば、非特許文献１に記載のように、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて撮像して得られるライトフィールド画像が、参照ライトフィールド画像として与えられる場合、マイクロレンズ毎に、同じマイクロレンズを通過した光線をサンプリングした画素における画素値の平均値を求めることで角度成分を統合しても構わない。また、マイクロレンズによるケラレの効果を考慮して、単純な平均ではなく、マイクロレンズへの光線の入射角等を考慮した重み付き平均値を求めることで角度成分を統合しても構わない。なお、マイクロレンズの配置によっては、通常の画像と異なる形状のグリッドにおける画素値が生成されることになる。

参照画像が得られたら、ライトフィールドパッチ辞書生成部１０４は、参照画像の画素ごとにライトフィールドパッチを対応付け、ライトフィールドパッチ辞書を生成する（ステップＳ１０３）。ここで生成されるライトフィールドパッチは、対応する参照画像の画素の角度成分を表したものとする。具体的には、非特許文献１に記載のようなライトフィールド画像を用いる場合は、参照画像の画素に対応する参照ライトフィールド画像のマイクロレンズを通過する光線群をサンプリングした画素領域となる。

ライトフィールドパッチ辞書において、参照画像の画素をそのままインデックスとしても構わないし、参照画像の画素ごとにその画素を含む複数画素からなる画像パッチをインデックスとしても構わない。どのようなサイズの画像パッチを生成しても構わないし、画像パッチごとに異なるサイズであっても構わない。

また、対象とした参照画像の画素が画像パッチ中のどの位置に存在していても構わない。例えば、対象とした参照画像の画素が画像パッチ中の中央に位置するようにしても構わない。画像パッチごとに対象とした参照画像の画素の位置は、全ての画像パッチで同じであっても、異なっていても構わない。ただし、画像パッチに対して対象とした参照画像の画素が存在する位置を記憶しておく必要がある。

なお、参照画像の１つの画素に対して、サイズや対象とした参照画像の画素の位置が異なる複数の画像パッチを生成しても構わない。

更に、画像パッチのサンプリンググリッドの形状にはどのようなものを用いても構わない。例えば、参照画像と同じサンプリンググリッドの形状としても構わないし、処理対象画像と同じサンプリンググリッドの形状としても構わない。参照画像と異なるサンプリンググリッドの形状を用いる場合は、参照画像に対して補間処理を行うことで、適切なサンプリンググリッドの形状の画像パッチを生成する。

ライトフィールドパッチ辞書が得られたら、高解像度ライトフィールド生成部１０５は、ライトフィールドパッチ辞書を用いて、処理対象画像の画素ごとに対応するライトフィールドパッチを決定し、対応付けられたライトフィールドパッチから各画素の角度成分を生成することで、高解像度ライトフィールド画像を生成する（ステップＳ１０４）。

どのような方法を用いて、処理対象画像の画素ごとに、対応するライトフィールドパッチを求めても構わない。例えば、画素ごとに１つのライトフィールドパッチを対応付ける場合、処理対象画像の画素とインデックスとの差が最小となるライトフィールドパッチ辞書のエントリを求めることで、ライトフィールドパッチを対応付けても構わない。なお、インデックスが画像パッチで構成されている場合、処理対象画像の画素に対して、同じ定義の処理対象画像上の画像パッチを想定し、画像パッチ間の差が最小となるエントリを求めても構わない。

また、画素ごとにライトフィールドパッチ辞書の複数のエントリを対応付け、それらのライトフィールドパッチの平均または重み付き和によって、その画素に対するライトフィールドパッチを生成しても構わない。複数のライトフィールドパッチを用いる際の重みは、処理対象画像とインデックスの差に基づいて決定しても構わない。例えば、差が小さい順に予め定められた重みを用いても構わないし、差の大きさが小さいほど大きくなるような重みを設定するようにしても構わない。

前述した説明では画像処理装置の構成及び処理動作を説明したが、これら画像処理装置の各部の動作に対応した処理動作によって本発明の画像処理方法を実現することができる。

このように、空間解像度の高いライトフィールド画像を直接取得するのではなく、同じシーンにおける空間解像度の限定されたライトフィールド画像を用いて、空間解像度の高い通常の画像に対する角度成分の情報を生成することで、空間解像度を損なわずにライトフィールド画像を生成することができる。

図３は、前述した画像処理装置１００をコンピュータとソフトウェアプログラムとによって構成する場合のハードウェア構成を示すブロック図である。図３に示すシステムは、プログラムを実行するＣＰＵ５０と、ＣＰＵ５０がアクセスするプログラムやデータが格納されるＲＡＭ等のメモリ５１と、カメラ等からの処理対象の画像信号を入力する処理対象画像入力部５２（ディスク装置等による映像信号を記憶する記憶部でもよい）と、ライトフィールドカメラ等から参照ライトフィールド画像の画像信号を入力する参照ライトフィールド画像入力部５３（ディスク装置等によるライトフィールドを記憶する記憶部でもよい）と、画像処理をＣＰＵ５０に実行させるソフトウェアプログラムである画像処理プログラム５４１が格納されたプログラム記憶装置５４と、ＣＰＵ５０がメモリ５１にロードされた画像処理プログラム５４１を実行することにより生成された高解像度ライトフィールド画像を出力する高解像度ライトフィールド画像出力部５５（ディスク装置等による高解像度ライトフィールド画像を記憶する記憶部でもよい）とが、バスで接続された構成になっている。

以上説明したように、処理対象画像と、該処理対象画像と同一シーンを撮影した、該処理対象画像より空間解像度が低いライトフィールド画像を用いて、該処理対象画像をライトフィールド化した画像を生成することにより、ライトフィールドカメラで処理対象画像と同一のシーンを撮像したライトフィールド画像よりも解像度の高いライトフィールド化した画像を得ることができる。

前述した実施形態における画像処理装置１００をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

画像又は映像の空間解像度を損なわずに、同じ画像における角度解像度を持ったライトフィールド画像を取得することが不可欠な用途に適用できる。

１００・・・画像処理装置、１０１・・・処理対象画像入力部、１０２・・・参照ライトフィールド画像入力部、１０３・・・角度成分統合部、１０４・・・ライトフィールドパッチ辞書生成部、１０５・・・高解像度ライトフィールド画像生成部

Claims (8)

1. ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理装置であって、
   前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像とから該参照ライトフィールド画像の進行方向の異なる光線を統合した参照画像を生成する参照画像生成部と、
   前記参照ライトフィールド画像と前記参照画像とを用いて、前記参照画像の画素ごとに、該画素を表現する画像パッチと、該画素を通過する進行方向の異なる光線群を表現するライトフィールドパッチとの組を生成するライトフィールドパッチ辞書生成部と、
   前記ライトフィールドパッチ辞書を用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成部と
   を備えることを特徴とする画像処理装置。
2. 前記処理対象画像の画素ごとに、前記ライトフィールドパッチを対応付けるマッチング部を更に備え、
   前記高解像度ライトフィールド画像生成部では、前記処理対象画像の画素ごとに、該画素に対応付けられた前記ライトフィールドパッチによって表現される光線情報を割り当てることで、前記高解像度ライトフィールド画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記処理対象画像の画素に対応付けられた前記ライトフィールドパッチに対して、重みを決定する重み決定部を更に有し、
   前記マッチング部では、前記処理対象画像の画素ごとに、複数の前記ライトフィールドパッチを対応付け、
   前記高解像度ライトフィールド画像生成部では、前記処理対象画像の画素ごとに、該画素に対応付けられた複数の前記ライトフィールドパッチによって表現される光線情報を進行方向毎に、前記重みに従って重み付き平均をとることで、前記高解像度ライトフィールド画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記ライトフィールドパッチ辞書生成部では、前記参照画像の画素ごとに、前記画像パッチと前記ライトフィールドパッチの組を複数個生成することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。
5. 前記ライトフィールドパッチ辞書生成部では、前記参照画像の画素ごとに、サイズまたは形状の異なる画像パッチに対して前記ライトフィールドパッチを組としたものであることを特徴とする請求項４に記載の画像処理装置。
6. 前記参照ライトフィールド画像が、メインレンズによって結像した被写体の光学像を複数のマイクロレンズを用いて取得した画像であることを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. ライトフィールド化すべき処理対象画像から、各画素の位置における光線の強度を光線の進行方向毎に表現したライトフィールド画像を生成する画像処理方法であって、
   前記処理対象画像と同じシーンにおける光線の強度を前記処理対象画像よりも低い空間解像度で光線の進行方向毎に表現した参照ライトフィールド画像から該参照ライトフィールド画像の進行方向の異なる光線を統合した参照画像を生成する参照画像生成ステップと、
   前記参照ライトフィールド画像と前記参照画像とを用いて、前記参照画像の画素ごとに、該画素を表現する画像パッチと、該画素を通過する進行方向の異なる光線群を表現するライトフィールドパッチとの組を生成するライトフィールドパッチ辞書生成ステップと、
   前記ライトフィールドパッチ辞書を用いて、前記処理対象画像に対するライトフィールド画像である高解像度ライトフィールド画像を生成する高解像度ライトフィールド画像生成ステップと
   を有することを特徴とする画像処理方法。
8. コンピュータを、請求項１から請求項６のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

Images