JP6353414B2

JP6353414B2 - 画像処理方法、画像処理装置及び画像処理プログラム

Info

Publication number: JP6353414B2
Application number: JP2015150803A
Authority: JP
Inventors: 志織杉本; 信哉志水
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-07-30
Filing date: 2015-07-30
Publication date: 2018-07-04
Anticipated expiration: 2035-07-30
Also published as: JP2017034387A

Description

本発明は、ライトフィールド画像を生成する画像処理方法、画像処理装置及び画像処理プログラムに関する。

撮像素子に入光する光の方向を含めた光線情報を記録するライトフィールドカメラが実用化されたことで、撮像後のピント調節や三次元情報の復元など、光線情報を活用した新たな画像処理技術とアプリケーションの研究開発が盛んに行われるようになってきている。光線情報を記録する方法は古くから存在しており、多数のカメラを密に並べて同期して撮影する方法などが有名である（例えば、非特許文献１参照）。この方法は非常に多くの同型のカメラを並べ同期して動かすシステムを必要とし、また厳密なカメラ校正が要求されることから、費用や労力の点で実用が難しいと思われてきた。

しかしながら、近年一般向けにも販売されるようになったライトフィールドカメラ（例えば、非特許文献２参照）では、カメラ内部の主レンズの前後にマイクロレンズアレイを設置することで、多数のカメラを並べた場合と同じ（マイクロレンズアレイの設置位置を変えることで異なる構成を取ることもできる）ように光線情報を記録することを可能にした。

B. Wilburn, N. Joshi, V. Vaish, E.-V. Talvala, E. Antunez, A. Barth, A. Adams, M. Horowitz, and M. Levoy, "High performance imaging using large camera arrays," ACM Transactions on Graphics, vol. 24. p. 765, 2005. R. Ng, M. Levoy, G. Duval, M. Horowitz, and P. Hanrahan, "Light Field Photography with a Hand-held Plenoptic Camera," Stanford Tech Rep. CTSR, pp. 1-11, 2005.

マイクロレンズアレイを伴うライトフィールドカメラでは従来のカメラと異なり光線情報を記録することが可能である。しかしながら、このカメラの記録方法では空間方向分解能と角度方向分解能がトレードオフであり、実用的に利用可能な撮像素子では従来のカメラによる写真撮影で要求されるような解像度を達成することは難しい。また、マイクロレンズアレイによる光の減衰によって光量が不足するためノイズの影響を受けやすく、それを補うために露出を調節するためブレの影響を受けることにもなる。このようにライトフィールドカメラによる撮像では従来のカメラで容易に達成可能な品質を得ることは難しいという問題がある。

本発明は、このような事情に鑑みてなされたもので、容易にライトフィールド画像を生成することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。

本発明の一態様は、焦点距離または被写界深度または撮像位置が異なる２枚以上の入力画像と、任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書とからライトフィールド画像を生成する画像処理方法であって、異なる焦点距離または異なる被写界深度または異なる撮像位置に基づく前記ライトフィールド画像に対する焦点合わせ処理結果と、それぞれの前記入力画像との誤差を最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定ステップと、前記係数ベクトルから前記ライトフィールド画像を生成するライトフィールド画像生成ステップとを有する画像処理方法である。

本発明の一態様は、前記画像処理方法であって、前記入力画像のうち１枚がパンフォーカス画像であり、前記係数ベクトル推定ステップでは、一方の被写界深度及び焦点距離を前記ライトフィールド画像の撮像系における主レンズの被写界深度及び焦点距離とする。

本発明の一態様は、焦点ボケを含む入力画像と任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書とからライトフィールド画像を生成する画像処理方法であって、前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差を最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定ステップと、前記係数ベクトルから前記ライトフィールド画像を生成するライトフィールド画像生成ステップとを有する画像処理方法である。

本発明の一態様は、前記画像処理方法であって、前記入力画像の焦点ボケを復元しパンフォーカス画像を生成するパンフォーカス画像生成ステップをさらに有し、前記係数ベクトル推定ステップでは、中心の副開口画像と前記パンフォーカス画像との誤差と、前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差とを最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する。

本発明の一態様は、前記画像処理方法であって、前記入力画像の焦点ボケを推定し焦点ボケ演算子を生成する焦点ボケ演算子生成ステップをさらに有し、前記係数ベクトル推定ステップでは、前記焦点ボケ演算子の中心の副開口画像への適用結果と前記入力画像との誤差と、ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差とを最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する。

本発明の一態様は、焦点距離または被写界深度または撮像位置が異なる２枚以上の入力画像と、任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書とからライトフィールド画像を生成する画像処理装置であって、異なる焦点距離または異なる被写界深度または異なる撮像位置に基づく前記ライトフィールド画像に対する焦点合わせ処理結果と、それぞれの前記入力画像との誤差を最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定手段と、前記係数ベクトルから前記ライトフィールド画像を生成するライトフィールド画像生成手段とを備える画像処理装置である。

本発明の一態様は、焦点ボケを含む入力画像と任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書とからライトフィールド画像を生成する画像処理装置であって、前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差を最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定手段と、前記係数ベクトルから前記ライトフィールド画像を生成するライトフィールド画像生成手段とを備える画像処理装置である。

本発明の一態様は、前記ライトフィールド画像生成方法をコンピュータに実行させるための画像処理プログラムである。

本発明によれば、光線情報を含まない一つまたは二つ以上の一般の画像とそこに含まれる焦点ボケ情報などの情報に基づきライトフィールド辞書を参照して、光線情報を復元するようにしたため、ライトフィールド画像を容易に生成することができるという効果が得られる。

本発明の一実施形態によるライトフィールド画像生成装置の構成を示すブロック図である。図１に示すライトフィールド画像生成装置１００の処理動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態によるライトフィールド画像生成装置を説明する。図１は同実施形態によるライトフィールド画像生成装置の構成を示すブロック図である。ライトフィールド画像生成装置１００は、図１に示すように、画像入力部１０１、辞書入力部１０２、パッチ生成部１０３、係数ベクトル推定部１０４及びライトフィールド画像生成部１０５を備えている。

画像入力部１０１は、ライトフィールド画像の元となる光線情報を含まない画像を外部から入力する。以下では、この画像を入力画像と称する。辞書入力部１０２は、ライトフィールド辞書を外部から入力する。以下では、このライトフィールド辞書をＬＦ辞書と称する。パッチ生成部１０３は、入力画像をあらかじめ定められた大きさのパッチ（小領域）に分割し、画像パッチ群を生成する。係数ベクトル推定部１０４は、画像パッチ群とＬＦ辞書とから各画像パッチに対応する係数ベクトル群を推定する。ライトフィールド画像生成部１０５は、係数ベクトル群とＬＦ辞書とからライトフィールドパッチ群を生成し、ライトフィールドパッチ群からライトフィールド画像を生成し出力する。以下ではライトフィールドパッチのことをＬＦパッチ、ライトフィールド画像のことをＬＦ画像と称する。

ＬＦ画像はある撮像系に入光した光線の情報を記録した画像である。ＬＦ画像はどのように表現されてもよい。一般には、通常の画像が縦・横にピクセルを並べた形の二次元配列で表されるのに対し、ＬＦ画像はさらに二方向の角度を表現する二次元を追加した四次元配列の形で表される。空間分解能がＨ（高さ）ｘＷ（幅）で角度分解能がＮｘＭである場合、ＬＦ画像はＨｘＷｘＮｘＭの四次元配列で表すことができる（参考文献１：「M. Levoy and P. Hanrahan, “Light field rendering,” Proc. 23rd Annu. Conf. Comput. Graph. Interact. Tech. - SIGGRAPH ’96, pp. 31-42, 1996.」）。

このＬＦ画像から任意の距離に焦点を合わせた画像を生成する場合、生成される画像の解像度は再サンプリングや超解像などの解像度を増大させる処理を特別に行わなければＨｘＷとなる。この他に、ＨｘＷの解像度を持つＮｘＭ枚の多視点画像として表現することもできる。この場合の各視点の画像は光線情報を方向別に画像としてまとめたものであり、同じ光線情報を多数のカメラを使用して撮像する場合に各カメラで撮像される画像と同一である。

以下では、この表現における各視点の画像を副開口画像（ｓｕｂ−ａｐｅｒｔｕｒｅｉｍａｇｅ）と称する。また、一般のライトフィールドカメラの撮像画像そのままに主レンズとマイクロレンズアレイを介して撮像素子に記録された画像をそのまま入力としてもよい。そのほかにどの様な形式のＬＦ画像を出力としてもよい。

次に、図２を参照して、図１に示すライトフィールド画像生成装置１００の処理動作を説明する。図２は、図１に示すライトフィールド画像生成装置１００の処理動作を示すフローチャートである。

まず、画像入力部１０１は、ＬＦ画像の元となる光線情報を含まない画像（入力画像）を少なくとも二つ入力する（ステップＳ１０１）。ここでは、二つの画像を入力するものとする。入力画像はどのようなものでもよいが、以下では同一の位置から同一の被写体をそれぞれ異なる焦点距離または被写界深度で撮像したものとする。以下ではこれらの入力画像を入力画像１、入力画像２と称する。

次に、辞書入力部１０２は、ＬＦ辞書を入力する（ステップＳ１０２）。ＬＦ辞書はどのようなものでもよいが、本実施形態においては有限の基底ベクトルからなる辞書で、任意のＬＦ画像をこの基底ベクトルの線形結合で表すことができるとする。基底ベクトルは主成分分析や独立主成分分析などどのような方法によって生成したものでもよいが、以下ではスパースコーディング（参考文献２：「M. Elad and M. Aharon, “Image denoising via sparse and redundant representation over learned dictionaries,” IEEE Transations Image Process., vol. 15, no. 12, pp. 3736-3745, 2006.」）によって生成したものであるとして説明する。これにより、任意のＬＦ画像を非常に少数の係数ベクトルによって表現可能であるとする。

次に、パッチ生成部１０３は、入力画像１及び入力画像２をあらかじめ定められた大きさのパッチに分割し、画像パッチ群を生成する（ステップＳ１０３）。パッチの大きさはどのような大きさでもよいが、入力するＬＦ辞書によって定められるものとする。また、複数のパッチが重複していてもよい。以下ではｗｘｈの空間解像度のパッチを使用すると仮定して説明する。二つの入力画像の同じ位置から生成されたパッチは互いに対になるものとする。

次に、係数ベクトル推定部１０４は、画像パッチ群とＬＦ辞書とから、各画像パッチのＬＦ辞書に対する係数ベクトルを推定する（ステップＳ１０４）。このとき、復元されたＬＦパッチに焦点合わせ処理を施すことで元となる二つの画像パッチがそれぞれ生成できることとする。焦点合わせ画像の作成方法はどのような方法でもよい。よく知られている方法としては、シフト加算法やフーリエスライス法（参考文献３：「R. Ng, “Fourier slice photography,” ACM SIGGRAPH 2005 Pap. - SIGGRAPH ’05, p. 735, 2005.」）などがある。このような条件を満たす係数ベクトルの推定方法はどのような方法でもよいが、以下ではスパースコーディングを使った方法を説明する。

スパースコーディングでは、任意のＬＦ画像ベクトルをＬＦ基底からなるＬＦ辞書に対応する係数ベクトルで表現する。復元対象となるＬＦ画像をＬ、ＬＦ辞書をＤ、係数ベクトルをαとすると、

となる。

生成されたＬＦ画像から生成する焦点合わせ画像が入力画像１、入力画像２とそれぞれ一致するためには、両画像のベクトルをＩ_１、Ｉ_２、両画像の焦点距離・被写界深度をそれぞれ（ｆ_１，ｄ_１），（ｆ_２，ｄ_２）とし、焦点合わせ演算子をＲ（ｆ，ｄ）とすると、

とすることで係数ベクトルαを推定できる。第二項はスパース項であり、λはそのパラメータである。

上記方法では各画像の焦点距離及び被写界深度が必要となるが、これらを外部から入力し使用してもよいし、推定して使用してもよい。また、これらのパラメータを使用しない方法で係数ベクトルを推定してもよい。例えばどちらか一方の被写界深度が深くパンフォーカスに近似できる場合、焦点合わせ演算子の代わりに中心の副開口画像を得る演算子を使用できる。これはパラメータによらない演算子である。

また、一方の画像の焦点距離及び被写界深度をＬＦ画像の撮像系における主レンズの焦点距離及び被写界深度と同じと仮定して復元する場合にも、シフト加算法においては副開口画像の加算平均、フーリエスライス法においてはスライス角度０とすることにより、パラメータによらない焦点合わせ演算子を定義することができる。

上記説明においては入力画像をそのままベクトルとして対応する係数ベクトルを推定しているが、必要に応じて入力画像に正規化や冗長性削減などの処理を加えてもよい。例えば、各画像パッチから平均値を差し引いて画像ベクトルとし、ＬＦパッチを復元したのちに平均値を足し戻すといったような処理を加えてもよい。また、ＤＣＴ（離散コサイン変換；discrete cosine transform）やフーリエ変換など任意の変換や、必要に応じて量子化などの処理を加えてもよい。

次に、ライトフィールド画像生成部１０５は、係数ベクトル群とＬＦ辞書とからＬＦパッチ群を生成し、ＬＦパッチ群からＬＦ画像を生成する。ＬＦ画像を生成する方法にはどのような方法を使用してもよい。一般には、すべてのパッチを対応する画像位置に合わせ、複数のパッチが重なる部分は加算平均をとるといった方法が使用される。最後に、生成したＬＦ画像を出力し処理を終了する（ステップＳ１０５）。

上記実施例においては入力画像を二つ入力してＬＦ画像生成に使用したが、三つ以上の入力画像を使用してもよい。

また、焦点ボケを含む画像１枚を入力画像１とし、もう一枚の入力画像２は入力画像１からボケ復元によって生成されるパンフォーカス画像としてもよい。ボケ復元の方法はどのようなものでもよいが、たとえば参考文献４：「S. Zhuo and T. Sim, “Defocus map estimation from a single image,” Pattern Recognit., vol. 44, no. 9, pp. 1852-1858, Sep. 2011.」で示されるように、異なる二つのパラメータでガウシアンフィルタをかけた画像の勾配量を比較してボケ量を推定し、ボケ復元に利用する方法などがある。この方法では焦点ボケをガウスぼけと仮定し、そのパラメータを推定するものである。元画像をＩ、任意のガウシアンフィルタのパラメータをσ_１，σ_２：σ_１＜σ_２、ガウシアンフィルタの演算子をＧ（ｘ，ｙ，σ）、勾配演算子を∇とすると、位置（ｘ，ｙ）におけるボケパラメータσは、

と推定される。

また、同様の方法を平均ボケなどの異なるモデルに応用することも可能である。また、モデルを仮定しパラメータを推定する方法のほかに参考文献５：「H. Zhang, J. Yang, Y. Zhang, and T. S. Huang, “Sparse Representation Based Blind Image Deblurring,” IEEE Int. Conf. Multimed. Expo, pp. 1-6, 2011.」で示されるように直接ボケカーネルを推定する方法などを使用し、ボケ復元に利用する方法などがある。

また、同様に焦点ボケのパラメータまたはカーネルを推定し、入力画像２は明に生成せずに、特徴ベクトル推定の時に焦点ボケ演算子を含む最適化を行うなどしてもよい。入力画像１は焦点ボケ演算子ＢをＬＦ画像の中心の副開口画像に適用して得られることと仮定し、中心の副開口画像を得る演算子をＣとすると、

によって係数ベクトルαを推定できる。

上記実施形態においては、二つの入力画像は同一の位置から同一の被写体をそれぞれ異なる焦点距離または被写界深度で撮像したものであり、撮像位置はＬＦの中心の副開口画像の撮像位置と同じであるが、入力画像がそれぞれ別々の位置から撮像されたものでもよいし、またそれらの撮像位置はＬＦのいずれかの副開口画像の撮像位置と同じでもよいし、また異なる位置でもよい。

例えば、入力画像１と入力画像２はそれぞれ位置（Ｘ_１，Ｙ_１，Ｚ_１）（Ｘ_２，Ｙ_２，Ｚ_２）、で撮像されており、ＬＦ画像を使用して入力画像と同一の位置における焦点合わせ画像が生成できるものとし、その演算子をＲ（ｆ，ｄ，Ｘ，Ｙ，Ｚ）とすると、

によって係数ベクトルαを推定できる。ここで、ｆは焦点距離、ｄは被写界深度である。このような場合、それぞれの入力画像における焦点距離や被写界深度は異なるものでもよいし、同じものでもよい。

以上説明したように、光線情報を持たない入力画像からライトフィールド画像を生成する際に、入力画像を分割した画像パッチをライトフィールド辞書の要素である基底ベクトルの線形結合として表現する場合の係数ベクトルを所定の誤差を最小化するものとして算出し、この係数ベクトルを用いて入力画像からライトフィールド画像を生成するようにした。この構成によれば、容易にライトフィールド画像を生成することができるようになる。

なお、前述した実施形態において一部の処理はその順序が前後しても構わない。また、前述した実施形態におけるライトフィールド画像生成装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

光線情報を含まない一般の画像からライトフィールド画像を生成しピント調節や三次元情報の推定などを行うのに不可欠な用途に適用できる。

１００・・・ライトフィールド画像生成装置、１０１・・・画像入力部、１０２・・・辞書入力部、１０３・・・パッチ生成部、１０４・・・係数ベクトル推定部、１０５・・・ライトフィールド画像生成部

Claims

焦点距離または被写界深度または撮像位置が異なる２枚以上の入力画像と、任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書とからライトフィールド画像を生成する画像処理方法であって、
異なる焦点距離または異なる被写界深度または異なる撮像位置に基づく前記ライトフィールド画像に対する焦点合わせ処理結果と、それぞれの前記入力画像との誤差を最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定ステップと、
前記係数ベクトルから前記ライトフィールド画像を生成するライトフィールド画像生成ステップと
を有する画像処理方法。
前記入力画像のうち１枚がパンフォーカス画像であり、
前記係数ベクトル推定ステップでは、一方の被写界深度及び焦点距離を前記ライトフィールド画像の撮像系における主レンズの被写界深度及び焦点距離とする請求項１に記載の画像処理方法。
焦点ボケを含む入力画像と任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書とからライトフィールド画像を生成する画像処理方法であって、
前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差を最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定ステップと、
前記係数ベクトルから前記ライトフィールド画像を生成するライトフィールド画像生成ステップと
を有する画像処理方法。
前記入力画像の焦点ボケを復元しパンフォーカス画像を生成するパンフォーカス画像生成ステップをさらに有し、
前記係数ベクトル推定ステップでは、中心の副開口画像と前記パンフォーカス画像との誤差と、前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差とを最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する請求項３に記載の画像処理方法。
前記入力画像の焦点ボケを推定し焦点ボケ演算子を生成する焦点ボケ演算子生成ステップをさらに有し、
前記係数ベクトル推定ステップでは、前記焦点ボケ演算子の中心の副開口画像への適用結果と前記入力画像との誤差と、ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差とを最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する請求項３に記載の画像処理方法。
焦点距離または被写界深度または撮像位置が異なる２枚以上の入力画像と、任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書とからライトフィールド画像を生成する画像処理装置であって、
異なる焦点距離または異なる被写界深度または異なる撮像位置に基づく前記ライトフィールド画像に対する焦点合わせ処理結果と、それぞれの前記入力画像との誤差を最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定手段と、
前記係数ベクトルから前記ライトフィールド画像を生成するライトフィールド画像生成手段と
を備える画像処理装置。
焦点ボケを含む入力画像と任意のライトフィールド画像を基底ベクトルの線形結合で表すことができる有限の前記基底ベクトルからなるライトフィールド辞書とからライトフィールド画像を生成する画像処理装置であって、
前記ライトフィールド画像に対する焦点合わせ処理結果と前記入力画像との誤差を最適化する前記ライトフィールド辞書に対する係数ベクトルを推定する係数ベクトル推定手段と、
前記係数ベクトルから前記ライトフィールド画像を生成するライトフィールド画像生成手段と
を備える画像処理装置。
請求項１から５のいずれか１項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。