JP6353415B2

JP6353415B2 - 辞書生成方法、辞書生成装置、画像処理方法、画像処理装置及び画像処理プログラム

Info

Publication number: JP6353415B2
Application number: JP2015150804A
Authority: JP
Inventors: 志織杉本; 信哉志水
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2015-07-30
Filing date: 2015-07-30
Publication date: 2018-07-04
Anticipated expiration: 2035-07-30
Also published as: JP2017034388A

Description

本発明は、辞書生成方法、辞書生成装置、画像処理方法、画像処理装置及び画像処理プログラムに関する。

撮像素子に入光する光の方向を含めた光線情報を記録するライトフィールドカメラが実用化されたことで、撮像後のピント調節や三次元情報の復元など、光線情報を活用した新たな画像処理技術とアプリケーションの研究開発が盛んに行われるようになってきている。光線情報を記録する方法は古くから存在しており、多数のカメラを密に並べて同期して撮影する方法などが有名である（例えば、非特許文献１参照）。この方法は非常に多くの同型のカメラを並べ同期して動かすシステムを必要とし、また厳密なカメラ校正が要求されることから、費用や労力の点で実用が難しいと思われてきた。

しかしながら、近年一般向けにも販売されるようになったライトフィールドカメラ（例えば、非特許文献２参照）では、カメラ内部の主レンズの前後にマイクロレンズアレイを設置することで、多数のカメラを並べた場合と同じ（マイクロレンズアレイの設置位置を変えることで異なる構成を取ることもできる）ように光線情報を記録することを可能にした。

B. Wilburn, N. Joshi, V. Vaish, E.-V. Talvala, E. Antunez, A. Barth, A. Adams, M. Horowitz, and M. Levoy, "High performance imaging using large camera arrays," ACM Transactions on Graphics, vol. 24. p. 765, 2005. R. Ng, M. Levoy, G. Duval, M. Horowitz, and P. Hanrahan, "Light Field Photography with a Hand-held Plenoptic Camera," Stanford Tech Rep. CTSR, pp. 1-11, 2005.

マイクロレンズアレイを伴うライトフィールドカメラでは従来のカメラと異なり光線情報を記録することが可能である。しかしながら、このカメラの記録方法では空間方向分解能と角度方向分解能がトレードオフであり、実用的に利用可能な撮像素子では従来のカメラによる写真撮影で要求されるような解像度を達成することは難しい。また、マイクロレンズアレイによる光の減衰によって光量が不足するためノイズの影響を受けやすく、それを補うために露出を調節するためブレの影響を受けることにもなる。このようにライトフィールドカメラによる撮像では従来のカメラで容易に達成可能な品質を得ることは難しいという問題がある。

本発明は、このような事情に鑑みてなされたもので、ライトフィールドカメラまたはその他の光線情報を取得・生成する方法によって得られた光線情報を使用してライトフィールド辞書を生成することができる辞書生成方法及び辞書生成装置を提供することを目的とする。また、光線情報を含まない一般の画像から、この画像に含まれる焦点ボケ情報等に基づきライトフィールド辞書を参照して、光線情報を復元しライトフィールド画像を生成することができる画像処理方法、画像処理装置及び画像処理プログラムを提供することを目的とする。

本発明の一態様は、辞書学習に使用するライトフィールド画像からライトフィールド辞書を生成する辞書生成装置が行う辞書生成方法であって、前記ライトフィールド画像から任意の位置に焦点距離を合わせた焦点合わせ画像を生成する焦点合わせ画像生成ステップと、前記ライトフィールド画像から前記ライトフィールド画像の特徴を表すライトフィールド特徴ベクトルを生成するライトフィールド特徴ベクトル生成ステップと、前記焦点合わせ画像から前記焦点合わせ画像の特徴を表す画像特徴ベクトルを生成する画像特徴ベクトル生成ステップと、前記ライトフィールド特徴ベクトルと、前記画像特徴ベクトルとからライトフィールド画像の生成時に用いる前記ライトフィールド辞書を生成する辞書生成ステップとを有する辞書生成方法である。

本発明の一態様は、前記辞書生成方法であって、前記画像特徴ベクトル生成ステップは、前記焦点合わせ画像の焦点ボケを表すパラメータを推定するボケパラメータを推定し前記画像特徴ベクトルとする。

本発明の一態様は、光線情報を含まない入力画像と、前記辞書生成方法によりあらかじめ生成したライトフィールド辞書とを入力し、ライトフィールド画像を生成する画像処理装置が行う画像処理方法であって、前記入力画像から前記入力画像の特徴を表す画像特徴ベクトルを生成する画像特徴ベクトル生成ステップと、前記画像特徴ベクトルと前記ライトフィールド辞書とから前記ライトフィールド画像の特徴を表すライトフィールド特徴ベクトルを推定するライトフィールド特徴ベクトル推定ステップと、前記ライトフィールド特徴ベクトルから生成すべき前記ライトフィールド画像を生成するライトフィールド画像生成ステップとを有する画像処理方法である。

本発明の一態様は、前記画像処理方法であって、前記画像特徴ベクトル生成ステップは、前記入力画像の焦点ボケを表すボケパラメータを推定するためのボケパラメータを推定し前記画像特徴ベクトルとする。

本発明の一態様は、前記画像処理方法であって、前記ライトフィールド画像生成ステップは、前記ライトフィールド特徴ベクトルと、新たに復元されるライトフィールド画像から求められるライトフィールド特徴ベクトルとが一致するように前記ライトフィールド画像を生成する。

本発明の一態様は、辞書学習に使用するライトフィールド画像からライトフィールド辞書を生成する辞書生成装置であって、前記ライトフィールド画像から任意の位置に焦点距離を合わせた焦点合わせ画像を生成する焦点合わせ画像生成手段と、前記ライトフィールド画像から前記ライトフィールド画像の特徴を表すライトフィールド特徴ベクトルを生成するライトフィールド特徴ベクトル生成手段と、前記焦点合わせ画像から前記焦点合わせ画像の特徴を表す画像特徴ベクトルを生成する画像特徴ベクトル生成手段と、前記ライトフィールド特徴ベクトルと、前記画像特徴ベクトルとからライトフィールド画像の生成時に用いる前記ライトフィールド辞書を生成する辞書生成手段とを備える辞書生成装置である。

本発明の一態様は、光線情報を含まない入力画像と、前記辞書生成装置によりあらかじめ生成したライトフィールド辞書とを入力し、ライトフィールド画像を生成する画像処理装置であって、前記入力画像から前記入力画像の特徴を表す画像特徴ベクトルを生成する画像特徴ベクトル生成手段と、前記画像特徴ベクトルと前記ライトフィールド辞書とから前記ライトフィールド画像の特徴を表すライトフィールド特徴ベクトルを推定するライトフィールド特徴ベクトル推定手段と、前記ライトフィールド特徴ベクトルから生成すべき前記ライトフィールド画像を生成するライトフィールド画像生成手段とを備える画像処理装置である。

本発明の一態様は、前記画像処理方法をコンピュータに実行させるための画像処理プログラムである。

本発明によれば、ライトフィールドカメラまたはその他の光線情報を取得・生成する方法によって得られた光線情報を使用してライトフィールド辞書を容易に生成することができる。また、光線情報を含まない一般の画像から、そこに含まれる焦点ボケ情報などの情報に基づきライトフィールド辞書を参照して、光線情報を復元しライトフィールド画像を容易に生成することができるという効果が得られる。

本発明の一実施形態による辞書生成装置の構成を示すブロック図である。図１に示す辞書生成装置１００の処理動作を示すフローチャートである。本発明の一実施形態によるライトフィールド画像生成装置の構成を示すブロック図である。図３に示すライトフィールド画像生成装置２００の処理動作を示すフローチャートである。

以下、図面を参照して、本発明の一実施形態による辞書生成装置とライトフィールド画像生成装置を説明する。始めに、辞書生成装置について説明する。図１は同実施形態による辞書生成装置の構成を示すブロック図である。辞書生成装置１００は、図１に示すように、ライトフィールド画像入力部１０１、焦点合わせ画像生成部１０２、パッチ生成部１０３、ライトフィールド特徴ベクトル生成部１０４、画像特徴ベクトル生成部１０５、及び学習部１０６を備えている。

ライトフィールド画像入力部１０１は、辞書学習に使用するライトフィールド画像を外部から入力する。以下では、このライトフィールド画像をＬＦ画像と称する。焦点合わせ画像生成部１０２は、入力されたＬＦ画像から任意の位置に焦点距離を合わせた焦点合わせ画像を生成する。パッチ生成部１０３は、ＬＦ画像及び焦点合わせ画像をあらかじめ定められた大きさのパッチに分割し、ライトフィールドパッチ群と画像パッチ群を生成する。以下では、ライトフィールドパッチ群をＬＦパッチ群と称する。

ライトフィールド特徴ベクトル生成部１０４はＬＦパッチ群からライトフィールド特徴ベクトル群を生成し、画像特徴ベクトル生成部１０５は画像パッチ群から画像特徴ベクトル群を生成する。以下では、ライトフィールド特徴ベクトル群をＬＦ特徴ベクトル群と称する。学習部１０６は、ＬＦ特徴ベクトル群と画像ベクトル群とからライトフィールド辞書（以下、ＬＦ辞書と称する）を生成し出力する。

次に、図２を参照して、図１に示す辞書生成装置１００の処理動作を説明する。図２は、図１に示す辞書生成装置１００の処理動作を示すフローチャートである。まず、ライトフィールド画像入力部１０１は、辞書学習に使用するＬＦ画像を入力する（ステップＳ１０１）。ＬＦ画像はある撮像系に入光した光線の情報を記録した画像である。ＬＦ画像はどのように表現されてもよい。

一般には、通常の画像が縦・横にピクセルを並べた形の二次元配列で表されるのに対し、ＬＦ画像はさらに二方向の角度を表現する二次元を追加した四次元配列の形で表される。空間分解能がＨ（高さ）ｘＷ（幅）で角度分解能がＮｘＭである場合、ＬＦ画像はＨｘＷｘＮｘＭの四次元配列で表すことができる（参考文献１：「M. Levoy and P. Hanrahan, “Light field rendering,” Proc. 23rd Annu. Conf. Comput. Graph. Interact. Tech. - SIGGRAPH ’96, pp. 31-42, 1996.」）。

このＬＦ画像から任意の距離に焦点を合わせた画像を生成する場合、生成される画像の解像度は再サンプリングや超解像などの解像度を増大させる処理を特別に行わなければＨｘＷとなる。この他に、ＨｘＷの解像度を持つＮｘＭ枚の多視点画像として表現することもできる。この場合の各視点の画像は光線情報を方向別に画像としてまとめたものであり、同じ光線情報を多数のカメラを使用して撮像する場合に各カメラで撮像される画像と同一である。

以下では、この表現における各視点の画像を副開口画像（ｓｕｂ−ａｐｅｒｔｕｒｅｉｍａｇｅ）と称する。また、一般のライトフィールドカメラの撮像画像そのままに主レンズとマイクロレンズアレイを介して撮像素子に記録された画像をそのまま入力としてもよい。そのほかにどの様な形式のＬＦ画像を入力としてもよい。また、複数のＬＦ画像を入力してもよい。

次に、焦点合わせ画像生成部１０２は、入力されたＬＦ画像から任意の位置に焦点距離を合わせた焦点合わせ画像を生成する（ステップＳ１０２）。焦点距離はＬＦ画像の撮像に用いた主レンズの焦点距離と同じとしてもよいし、また異なる焦点距離でもよい。また、入力のＬＦ画像が複数ある場合には、同じ距離に合わせてもよいし、それぞれ異なる距離に合わせてもよい。また、焦点合わせ画像の作成方法はどのような方法でもよい。よく知られている方法としては、シフト加算法やフーリエスライス法（参考文献２「R. Ng, “Fourier slice photography,” ACM SIGGRAPH 2005 Pap. - SIGGRAPH ’05, p. 735, 2005.」）などがある。

次に、パッチ生成部１０３は、ＬＦ画像及び焦点合わせ画像をあらかじめ定められた大きさのパッチに分割し、ＬＦパッチ群と画像パッチ群を生成する（ステップＳ１０３）。パッチの大きさはどのような大きさでもよい。また、複数のパッチが重複していてもよい。以下ではｗｘｈの空間解像度、ｎｘｍの角度解像度のパッチを使用すると仮定して説明する。対になるＬＦパッチと画像パッチにおいて空間方向の位置は一致させることとする。

次に、ライトフィールド特徴ベクトル生成部１０４はＬＦパッチ群からライトフィールド特徴ベクトル群を生成し、画像特徴ベクトル生成部１０５は画像パッチ群から画像特徴ベクトル群を生成する（ステップＳ１０４）。それぞれの特徴ベクトルはどのような方法で生成してもよい。もっとも単純な場合には、それぞれの画像を一次元ベクトルとして並べ替えたものを使用してもよい。他に、各画像の勾配ベクトルや、よりＬＦ画像の復元に特化するために、焦点ボケの特徴を含むようなベクトルを生成し使用してもよい。

例えば、焦点合わせ画像に対して任意の方法でボケ量推定やボケカーネル推定を行い、その推定量や推定カーネル、またはそのパラメータなどを特徴ベクトルとして使用してもよい。ボケ量推定の方法はどのようなものでもよいが、例えば参考文献３「S. Zhuo and T. Sim, “Defocus map estimation from a single image,” Pattern Recognit., vol. 44, no. 9, pp. 1852-1858, Sep. 2011.」で示されるように、異なる二つのパラメータでガウシアンフィルタをかけた画像の勾配量を比較する方法などがある。この方法では焦点ボケをガウスぼけと仮定し、そのパラメータを推定するものである。元画像をＩ，任意のガウシアンフィルタのパラメータをσ_１，σ_２：σ_１＜σ_２、ガウシアンフィルタの演算子をＧ（ｘ，ｙ，σ），勾配演算子を∇とすると、位置（ｘ，ｙ）におけるボケパラメータσ（ｘ，ｙ）は、

と推定される。

また、同様の方法を平均ボケなどの異なるモデルに応用することも可能である。また、モデルを仮定しパラメータを推定する方法のほかに参考文献４「H. Zhang, J. Yang, Y. Zhang, and T. S. Huang, “Sparse Representation Based Blind Image Deblurring,” IEEE Int. Conf. Multimed. Expo, pp. 1-6, 2011.」で示されるように直接ボケカーネルを推定する方法などを使用し、推定されたボケカーネルを特徴ベクトルとするなどしてもよい。

また、複数の特徴ベクトルや画像を結合して一つの特徴ベクトルとしてもよい。例えば、勾配ベクトルとボケカーネルをベクトル化し結合することで画像特徴ベクトルとするなどである。ただし、ＬＦ特徴ベクトルについては、後で説明するライトフィールド画像生成装置において画像パッチから得られる情報とＬＦ辞書を用いて復元されるライトフィールド特徴ベクトルとからＬＦ画像を生成可能である必要がある。

例えば、ＬＦパッチの各角度画像について画像パッチとの差分を取ったものを特徴ベクトルとするなどである。条件を満たす限りにおいてどのような特徴ベクトルを選んでもよい。また、この特徴ベクトル生成のために各種画像処理が必要である場合には、パッチ生成の前に行ってもよい。

次に、学習部１０６は、ＬＦ特徴ベクトル群と画像特徴ベクトル群とからＬＦ辞書を生成し出力する（ステップＳ１０５）。ＬＦ辞書の生成はどのような方法で行ってもよい。もっとも単純には、対になるベクトル群を直接含むデータベースをＬＦ辞書とする方法がある。さらに好適な方法としては、両ベクトル群を対になるもの同士で結合し結合ベクトル群とし、すべての結合ベクトルを最もよく表す有限な数の基底を学習によって求める方法がある。

学習方法としては主成分分析や独立主成分分析などどのような方法を使用してもよいが、以下ではスパースコーディング（参考文献５「M. Elad and M. Aharon, “Image denoising via sparse and redundant representation over learned dictionaries,” IEEE Transations Image Process., vol. 15, no. 12, pp. 3736-3745, 2006.」）を使用することとして説明する。スパースコーディングでは、どのベクトルもＬＦ辞書内の非常に少数の基底から構成可能になるようにＬＦ辞書を最適化する。

以下では、ＬＦ特徴ベクトル群からなる行列をＦ_ｌ，画像特徴ベクトル群からなる行列をＦ_ｉ、結合ベクトルからなる行列をＦ_ｃ，辞書をＤ，係数行列をＡとする。辞書Ｄを最適化する方法としてＬ１正則化（ｌａｓｓｏ）を使用する場合、以下の式に基づき最適化を行う。

第二項はスパース項であり、λはそのパラメータである。

第二項（スパース項）の影響により、サンプルとなるパッチが十分に多ければホワイトノイズなどのノイズはスパースに表現することが困難となるため、各基底は画像の本質的な特徴をよく表現するものに最適化される。ここで作成された辞書は結合ベクトルの結合点で分割することでＬＦ辞書と画像辞書とに分割でき、ある共通の係数とそれぞれの辞書を使用して復元されるＬＦ特徴ベクトルと画像特徴ベクトルは互いに対応関係をもつ。つまり、ＬＦ辞書をＤ_ｌ，画像辞書をＤ_ｉとし、ある任意の画像特徴ベクトルｆ_ｉについて

となる係数ベクトルαを求めると、対応するＬＦ特徴ベクトルｆ_ｌはおおむね

として推定できる。

また、ＬＦ特徴ベクトル群と画像特徴ベクトル群について独立に辞書を学習し、その後で対応関係にある特徴ベクトル同士が共通の係数で表現できるように辞書間の変換演算子を作成し変換を施すこととしてもよい。

その場合、

となるＡ_ｌとＡ_ｉについて、

となる変換演算子Ｔを求めることで、（６）式のαに対応するＬＦ特徴ベクトルｆ_ｌはおおむね

として推定できる。

また別の方法としては、ＬＦ特徴ベクトルから辞書を生成し、これに任意の演算子を作用させて画像辞書を生成するなどしてもよい。例えばＬＦ特徴ベクトルとしてＬＦ画像そのものを使用する場合には、辞書の各基底から焦点合わせ画像生成を使用することで各基底に対応する焦点合わせ画像を生成し、この焦点合わせ画像から画像特徴ベクトルを生成し画像辞書の基底とするなどしてもよい。また、このような場合には辞書生成と画像辞書生成を繰り返し行うことで両辞書の最適化を行ってもよい。例えば、（８）式を満たすＤ_ｌについて、焦点合わせ画像の生成演算子をＲとして

とし、このＤ_ｉに対して

となるＡを求め、

となるＤ_ｌを求めるなどである。

次に、図面を参照して、本発明の一実施形態によるライトフィールド画像生成装置を説明する。図３は同実施形態によるライトフィールド画像生成装置の構成を示すブロック図である。ライトフィールド画像生成装置２００は、図３に示すように、画像入力部２０１、辞書入力部２０２、パッチ生成部２０３、画像特徴ベクトル生成部２０４、係数ベクトル推定部２０５及びライトフィールド画像生成部２０６を備えている。

画像入力部２０１は、ＬＦ画像の元となる光線情報を含まない画像を入力する。以下では、この画像を入力画像と称する。辞書入力部２０２は、ＬＦ辞書及び画像辞書を入力する。パッチ生成部２０３は、入力画像をあらかじめ定められた大きさのパッチに分割し、画像パッチ群を生成する。画像特徴ベクトル生成部２０４は画像パッチ群から画像特徴ベクトル群を生成する。係数ベクトル推定部２０５は、画像特徴ベクトルと画像辞書とから各特徴ベクトルに対応する係数ベクトル群を推定する。ライトフィールド画像生成部２０６は、係数ベクトル群とＬＦ辞書とからＬＦ特徴ベクトルを生成し、ＬＦ特徴ベクトルからＬＦパッチ群を生成し、ＬＦパッチ群からＬＦ画像を生成し出力する。

次に、図４を参照して、図３に示すライトフィールド画像生成装置２００の処理動作を説明する。図４は、図３に示すライトフィールド画像生成装置２００の処理動作を示すフローチャートである。まず、画像入力部２０１は、ＬＦ画像の元となる光線情報を含まない画像を入力する（ステップＳ２０１）。入力画像はどのようなものでもよいが、好適には任意の点に焦点を合わせ、焦点の合っていない個所においては焦点ボケがみられるものであるとする。

次に、辞書入力部２０２は、ＬＦ辞書及び画像辞書を入力する（ステップＳ２０２）。両辞書は独立に入力してもよいし、結合したものでもよい。前述の辞書生成装置１００についての説明の通り、辞書間に何らかの変換演算子を必要とする場合は別途入力してもよい。

次に、パッチ生成部２０３は、入力画像をあらかじめ定められた大きさのパッチに分割し、画像パッチ群を生成する（ステップＳ２０３）。パッチの大きさは入力する辞書によって定められるものとする。

次に、画像特徴ベクトル生成部２０４は画像パッチ群から画像特徴ベクトル群を生成する（ステップＳ２０４）。画像特徴ベクトルはどのような方法で生成してもよいが、画像辞書を生成する際に使用した画像特徴ベクトルと同種の画像特徴ベクトルを生成できる方法であるとする。また、この画像特徴ベクトル生成のために勾配を求める処理など各種画像処理が必要である場合には、パッチ生成の前に行ってもよい。

次に、係数ベクトル推定部２０５は、画像特徴ベクトルと画像辞書とから各特徴ベクトルに対応する係数ベクトル群を推定する（ステップＳ２０５）。係数ベクトルの推定にはどのような方法を使用してもよく、辞書生成装置１００における最適化方法とは異なる方法であってもよい。例えば、Ｌ１正則化の代わりにＬ０正則化を用いることとして

としてもよい。その他にどのような方法を用いてもよい。

次に、ライトフィールド画像生成部２０６は、係数ベクトル群とＬＦ辞書とからＬＦ特徴ベクトル群を生成し、ＬＦ特徴ベクトル群からＬＦパッチ群を生成し、ＬＦパッチ群からＬＦ画像を生成し出力する（ステップＳ２０６）。ＬＦ特徴ベクトルの生成方法は辞書生成装置１００における辞書学習方法に準じ、（７）式や（１１）式、または辞書生成方法に対応した任意の方法で生成する。ＬＦ特徴ベクトル群からＬＦパッチ群を生成する方法はどのような方法を使用してもよい。例えば、辞書生成装置１００においてＬＦパッチの各角度画像について画像パッチとの差分を取ったものを特徴ベクトルとするなどの方法でＬＦ特徴ベクトルを生成している場合には、復元されたＬＦ特徴ベクトルを画像化し画像パッチの値を足すことでＬＦパッチが復元できる。

また、ＬＦ特徴ベクトルから線形演算でＬＦパッチを復元することが不可能であるようなＬＦ特徴ベクトルを生成している場合には、どのような非線形な方法を使用してもよい。例えば、ＬＦ特徴ベクトルとしてＬＦパッチの勾配を使用している場合、ＬＦパッチをｐ_ｌ，ＬＦ特徴ベクトルをｆ_ｌとし、勾配演算子をＧとして、

となるようなＬＦパッチを推定するなどの方法を使用してもよい。このほかにどのような方法を使用してもよいし、画像パッチまたは画像特徴ベクトルの情報を利用するなどしてもよい。例えば、画像パッチをｐ_ｉ、ＬＦ画像から焦点合わせ画像を生成する演算子をＲとして、

となるようなＬＦパッチを推定するなどの方法を使用してもよい。

ＬＦパッチ群からＬＦ画像を生成する方法にもどのような方法を使用してもよい。一般には、すべてのパッチを対応する画像位置に合わせ、複数のパッチが重なる部分は加算平均をとるといった方法が使用される。生成したＬＦ画像を出力し処理を終了する。

前述の実施形態においてはＬＦ辞書及び画像辞書を一組生成し復元に使用したが、複数の辞書を生成して使用してもよい。例えば、（１）式、（２）式で示されるような方法で画像のボケ量を推定し、ボケ量毎に異なる辞書を生成し使用するなどしてもよい。

また、前述の実施形態では辞書生成装置１００で生成した辞書を使用してＬＦ画像の生成を行ったが、別の方法で生成した辞書を使用してもよい。例えば、任意のＬＦ辞書を使用して（１２）式に示される方法などで対になる画像辞書を作ってもよいし、任意のＬＦ辞書と画像辞書の間の変換演算子を（１１）式に示す方法などで決定してもよい。

以上説明したように、光線情報を持たない入力画像からライトフィールド画像を生成する際に、入力画像を分割した画像パッチから生成した画像特徴ベクトルとＬＦ辞書を用いて光線情報を復元することにより、入力画像からライトフィールド画像を生成することが可能になる。

なお、上記すべての実施形態において一部の処理はその順序が前後しても構わない。また、上記すべての実施形態において一部の処理はその順序が前後しても構わない。また、前述した実施形態における辞書生成装置、ライトフィールド画像生成装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

光線情報を含まない一般の画像からライトフィールド画像を生成しピント調節や三次元情報の推定などを行うのに不可欠な用途に適用できる。

１００・・・辞書生成装置、１０１・・・ライトフィールド画像入力部、１０２・・・焦点合わせ画像生成部、１０３・・・パッチ生成部、１０４・・・ライトフィールド特徴ベクトル生成部、１０５・・・画像特徴ベクトル生成部、１０６・・・学習部、２００・・・ライトフィールド画像生成装置、２０１・・・画像入力部、２０２・・・辞書入力部、２０３・・・パッチ生成部、２０４・・・画像特徴ベクトル生成部、２０５・・・係数ベクトル推定部、２０６・・・ライトフィールド画像生成部

Claims

辞書学習に使用するライトフィールド画像からライトフィールド辞書を生成する辞書生成装置が行う辞書生成方法であって、
前記ライトフィールド画像から任意の位置に焦点距離を合わせた焦点合わせ画像を生成する焦点合わせ画像生成ステップと、
前記ライトフィールド画像から前記ライトフィールド画像の特徴を表すライトフィールド特徴ベクトルを生成するライトフィールド特徴ベクトル生成ステップと、
前記焦点合わせ画像から前記焦点合わせ画像の特徴を表す画像特徴ベクトルを生成する画像特徴ベクトル生成ステップと、
前記ライトフィールド特徴ベクトルと、前記画像特徴ベクトルとからライトフィールド画像の生成時に用いる前記ライトフィールド辞書を生成する辞書生成ステップと
を有する辞書生成方法。
前記画像特徴ベクトル生成ステップは、前記焦点合わせ画像の焦点ボケを表すパラメータを推定するボケパラメータを推定し前記画像特徴ベクトルとする請求項１に記載の辞書生成方法。
光線情報を含まない入力画像と、請求項１または２に記載の辞書生成方法によりあらかじめ生成したライトフィールド辞書とを入力し、ライトフィールド画像を生成する画像処理装置が行う画像処理方法であって、
前記入力画像から前記入力画像の特徴を表す画像特徴ベクトルを生成する画像特徴ベクトル生成ステップと、
前記画像特徴ベクトルと前記ライトフィールド辞書とから前記ライトフィールド画像の特徴を表すライトフィールド特徴ベクトルを推定するライトフィールド特徴ベクトル推定ステップと、
前記ライトフィールド特徴ベクトルから生成すべき前記ライトフィールド画像を生成するライトフィールド画像生成ステップと
を有する画像処理方法。
前記画像特徴ベクトル生成ステップは、前記入力画像の焦点ボケを表すボケパラメータを推定するためのボケパラメータを推定し前記画像特徴ベクトルとする請求項３に記載の画像処理方法。
前記ライトフィールド画像生成ステップは、前記ライトフィールド特徴ベクトルと、新たに復元されるライトフィールド画像から求められるライトフィールド特徴ベクトルとが一致するように前記ライトフィールド画像を生成する請求項３または４に記載の画像処理方法。
辞書学習に使用するライトフィールド画像からライトフィールド辞書を生成する辞書生成装置であって、
前記ライトフィールド画像から任意の位置に焦点距離を合わせた焦点合わせ画像を生成する焦点合わせ画像生成手段と、
前記ライトフィールド画像から前記ライトフィールド画像の特徴を表すライトフィールド特徴ベクトルを生成するライトフィールド特徴ベクトル生成手段と、
前記焦点合わせ画像から前記焦点合わせ画像の特徴を表す画像特徴ベクトルを生成する画像特徴ベクトル生成手段と、
前記ライトフィールド特徴ベクトルと、前記画像特徴ベクトルとからライトフィールド画像の生成時に用いる前記ライトフィールド辞書を生成する辞書生成手段と
を備える辞書生成装置。
光線情報を含まない入力画像と、請求項６に記載の辞書生成装置によりあらかじめ生成したライトフィールド辞書とを入力し、ライトフィールド画像を生成する画像処理装置であって、
前記入力画像から前記入力画像の特徴を表す画像特徴ベクトルを生成する画像特徴ベクトル生成手段と、
前記画像特徴ベクトルと前記ライトフィールド辞書とから前記ライトフィールド画像の特徴を表すライトフィールド特徴ベクトルを推定するライトフィールド特徴ベクトル推定手段と、
前記ライトフィールド特徴ベクトルから生成すべき前記ライトフィールド画像を生成するライトフィールド画像生成手段と
を備える画像処理装置。
請求項３から５のいずれか１項に記載の画像処理方法をコンピュータに実行させるための画像処理プログラム。