JP5506574B2 - 画像処理装置および方法、プログラム。 - Google Patents

Description

本発明は、撮像装置に入射される光線を、撮像素子の仮想的な位置において撮像する場合に得られる仮想画像データを生成する画像処理装置および、方法、プログラムに関するものである。

撮像装置（例えば、カメラ）に入射される光線を、撮像素子の実際の位置とは異なる仮想的な位置において撮像する場合に得られる仮想画像データを取得することができるライトフィールドフォトグラフィ技術が知られている（非特許文献１）。ライトフィールドフォトグラフィ技術において、被写体から撮像装置に入射される光線の経路（光線経路）は、三次元空間内の異なる２枚の平面上における点を通る直線として記述される。また、一本の光線（又は略同一の光線経路と略同一の光量を有する光線群、以下に同じ）は、一つの光量を有しているとされる。本明細書においては、光線経路にかかる経路情報と光量にかかる光量情報とを組合せて光線情報（ライトフィールドデータ、以下、ＬＦデータ）と呼ぶ。具体的には、ＬＦデータは一本の光線の光量を４つのパラメータ（二平面それぞれの点を規定する４つのパラメータ）の関数として表したものである。なお、単にライトフィールド（ＬＦ）という場合は、複数のＬＦデータにより記述される「場」を意味する。

このＬＦデータに基づいて、被写体から撮像装置に入射される光線を、撮像装置における撮像素子の実際の位置とは異なる仮想的な位置において撮像する場合に得られる仮想画像データを取得することができる。かかる仮想画像データの取得に関しては、非特許文献１に記載されている。

ＬＦデータを取得する手法としては、大きく分けて２つある。一つはマイクロレンズアレイを撮像素子の前に配置し、ＬＦデータを取得する手法である。もう一つは絞りの開口位置を制御して、ＬＦデータを取得する手法である （非特許文献２）。

Ｒ．ＮＧ著「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（ＡＣＭ ＳＩＧＧＲＡＰＨ ２００５， ２００５） Ｃ．Ｋ．Ｌｉａｎｇ、他４名「Ｐｒｏｇｒａｍｍａｂｌｅ Ａｐｅｒｔｕｒｅ Ｐｈｏｔｏｇｒａｐｈｙ： Ｍｕｌｔｉｐｉｘｅｌｅｄ Ｌｉｇｈｔ Ｆｉｅｌｄ Ａｃｑｕｉｓｉｔｉｏｎ」

マイクロレンズアレイを撮像素子の前に配置して得られたＬＦデータに基づいて仮想画像データを生成する場合、仮想画像データが示す仮想画像の解像度は原理的に撮像素子の解像度と比べて低いものとなる。

また、非特許文献２では、プログラマブルアパーチャと呼ばれる可変アパーチャを使用して、ＬＦデータを取得する。得られたＬＦデータから、撮像素子と同解像度の距離マップを推定して、撮影後に撮像素子の仮想的な位置調節を行っている。かかる距離マップは、画像中の特徴点に基づいて生成される。よって、エッジの少ない被写体や、ほぼ平坦な被写体に対して正確な距離マップを生成することは不可能である。そのため、非特許文献２の手法に拠れば、撮像素子が仮想的な位置において撮像する場合に得られる仮想画像データを高解像度で取得することは実質的に不可能である。

そこで、本発明は、撮像装置に入射される光線を、撮像素子の実際の位置とは異なる仮想的な位置において撮像する場合に得られる仮想画像データを高解像度で生成することを目的とする。

上記の課題を解決するために、本発明の画像処理装置は、被写体から撮像装置に入射する光線の、経路に関する情報と光量情報とを含む光線情報を取得する光線取得手段と、前記撮像装置の撮像素子の位置とは異なる位置に前記撮像素子を配置して前記被写体を撮像する場合に得られる第一の仮想画像データを、前記光線情報に基づいて生成する第一の生成手段と、前記被写体を撮像して得られた、前記第一の仮想画像データに含まれる画像よりも解像度の高い画像を含む高解像度画像データを取得する画像取得手段と、前記撮像素子を前記異なる位置に配置して前記被写体を撮像する場合に得られ、前記第一の仮想画像データに含まれる画像よりも解像度の高い画像を含む第二の仮想画像データを、前記第一の仮想画像データと前記高解像度画像データとに基づいて生成する第二の生成手段と、を有することを特徴とする。

本発明によれば、ＬＦデータと高解像度画像データとに基づき、撮像素子の仮想的な位置において撮像する場合に得られる仮想画像データを生成することができる。

実施例１の撮像装置１００を示すブロック図である。 高解像度画像再構成部２００のブロック図である。 撮像装置１００の概念図である。 可変アパーチャ１０４の概念図である。 実施例１の動作を示すフローチャートである。 高解像度画像再構成部２００の動作を示すフローチャートである。 ＬＦデータの概念図と、撮像素子上の画像の例である。 ＬＦデータから仮想撮像素子上の画像を再構成する概念図である。 実施例１の効果を示す図である。 絞り１０３の概念図である。 高解像度画像再構成部１１００のブロック図である。 高解像度画像再構成部１１００の動作を示すフローチャートである。 劣化フィルタの広がりと、絞りの有効口径の大小関係を示す図である。 実施例３の撮像装置を示すブロック図である。 撮像装置１４００の概念図である。 実施例４の撮像装置を示すブロック図である。

[実施例１]
＜実施例１のブロック図＞
図１は、本実施例を適用できる画像処理方法及び画像処理装置の実施の一形態を示すブロック図である。被写体からの光線１０１は、撮像装置１００に入射される。入射された光線１０１は、レンズ（又はレンズ群）１０２と、絞り１０３などの光学系を介して、ＬＦデータを取得するための可変アパーチャ１０４に入射される。可変アパーチャ制御部１０５によって可変アパーチャ１０４の開口位置が制御される。撮像素子１０６は、入射された光線を撮像することによりアナログ信号を生成する。Ａ／Ｄ変換部１０７は、アナログ信号をデジタル信号に変換する。ＬＦデータ取得部１０８は、可変アパーチャ１０４の開口形状を様々に変化させて得られた信号をＬＦデータに変換する。高解像度画像取得部１０９は、可変アパーチャ１０４を全開放状態にして（又は全開放状態に近い状態にして）高解像度画像データ（以下、ＨＲ画像データ）取得する。ＬＦデータ出力端子１１０は、ＬＦデータを高解像度画像再構成部２００に出力する端子である。ＨＲ画像データ出力端子１１１はＨＲ画像データを高解像度画像再構成部２００に出力する端子である。

図２は高解像度画像再構成部２００のブロック図である。ＬＦデータ入力端子２０１は、ＬＦデータを入力するための端子である。ＨＲ画像入力端子２０２は、ＨＲ画像データを入力するための端子である。フォーカス位置情報入力端子２０３は、仮想撮像素子の位置情報（仮想位置情報）が入力される端子である。ここで、仮想撮像素子とは、実際の撮像素子の位置とは異なる位置に仮想的に置いた撮像素子のことである。仮想撮像素子の位置を変化させることで、撮影後に焦点位置を調節したものと同様の画像を得る。仮想撮像素子の位置情報は、例えば、ユーザが任意に設定した焦点位置から取得しても良い。後述するように、焦点が合う場合はレンズの公式によってレンズと被写体までの距離ａ、レンズの焦点距離ｆを決めると、レンズと撮像素子までの距離は一意に定まる。よってユーザが焦点を合わせたい被写体までの距離を設定することで、仮想撮像素子の位置情報は一意に決まる。

画像再構成部２０４は、ＬＦデータから任意位置の仮想撮像素子上の画像を再構成する。画像再構成部２０４は、ＬＦデータから実際の撮像素子の位置において撮像する場合の画像データ（第一の仮想画像データ）も再構成することができる。劣化モデル推定部２０５は、ＨＲ画像データから第一の仮想画像データへの変換モデルを示す劣化モデルデータ（変換モデルデータ）を推定する。高解像度画像推定部２０６は、仮想撮像素子上に再構成された画像データと、劣化モデル推定部２０５が推定した劣化モデルデータから仮想撮像素子上の高解像度画像データ（以下、仮想撮像素子上ＨＲ画像データ）を推定する。仮想撮像素子上ＨＲ画像出力端子２０７は仮想撮像素子上ＨＲ画像データ（第二の仮想画像データ）を出力する端子である。

＜実施例１の概念図＞
図３は撮像装置１００の概念図である。被写体３０１からの光は、レンズ１０２と可変アパーチャ１０４を介して撮像素子１０６に入射され、撮像素子１０６上に被写体像３０２が投影される。ａは被写体３０１とレンズ１０２の距離であり、ｂはレンズ１０２と撮像素子１０６の距離である。レンズ１０２の焦点距離をｆとすると、図３においてａ、ｂ、ｆはレンズの公式

を満たす。可変アパーチャ１０４の開口部分が充分に小さければ、可変アパーチャ１０４の開口位置と、撮像素子１０６の位置から光線が一本特定でき、高精度のＬＦデータを取得することが可能になる。

図４は可変アパーチャ１０４の概念図である。可変アパーチャの分割数は図示の都合上４×４で表している。可変アパーチャ制御部１０５は、可変アパーチャ１０４を開口形状４０１〜４０４のように時間的に変化させる。開口形状４０１〜４０４において、斜線部は開口が閉じている状態を表し、白抜き部は開口が開いている状態を表している。図４は、開口部分が左から右、上から下へ順次移動していく様子を表している。なお、開口形状４０１〜４０４により、可変アパーチャ１０４の全ての開口形状を表しているものではない。

可変アパーチャ１０４の制御については、上記に記載した方法以外にも非特許文献２に示されているような開口形状の制御をしても良い。

可変アパーチャ１０４の具体的な構成としては、電気制御により開口形状を制御できる液晶アレイがある（非特許文献２）。

開口形状４０５はＨＲ画像データを取得する際の可変アパーチャ１０４の開口形状を現している。ＨＲ画像データを取得する際には例えば、可変アパーチャ１０４を全開放する。

＜実施例１の動作＞
以下、図１の撮像装置の動作について図５のフローチャートに従って説明する。まず被写体からの光線が入力される（Ｓ５０１）。可変アパーチャ制御部１０５が可変アパーチャ１０４の開口形状を変化させる（Ｓ５０２）。可変アパーチャ１０４の開口形状を変化させて得られた信号をＬＦデータ取得部１０８がＬＦデータＬ_Ｌに変換する（Ｓ５０３）。

記号「Ｌ」は、ＬＦデータを表し、添え字は解像度を示している。添え字「Ｌ」は低解像度（高解像度ではない解像度）であることを示している。

次に可変アパーチャ制御部１０５が可変アパーチャ１０４を全開放する（Ｓ５０４）。可変アパーチャ１０４の開口形状を全開放して得られた信号をＨＲ画像データ取得部がＨＲ画像データＥ_Ｈ，ｂとして取得する（Ｓ５０５）。ここで、Ｅは画像データを表している。一つ目の添え字は解像度、二つ目の添え字は撮像素子の位置を示している。添え字「Ｈ」は高解像度であること、添え字「ｂ」は実際の撮像素子の位置であることを示している。ＬＦデータと、ＨＲ画像データＥ_Ｈ，ｂをＬＦデータ出力端子１１０と、ＨＲ画像データ出力端子１１１からそれぞれ出力し、撮像装置１００の動作を終了する（Ｓ５０６）。

＜高解像度画像再構成部２００の動作＞
高解像度画像再構成部２００は、ＨＲ画像データと、ＬＦデータから仮想撮像素子上の高解像度画像データを再構成する（生成する）ための処理部である。

以下、高解像度画像再構成部２００の動作について図６のフローチャートに従って説明する。

ＬＦデータ入力端子２０１より、ＬＦデータが入力される（Ｓ６０１）。画像再構成部２０４が、ＬＦデータから撮像素子上の画像Ｅ_Ｌ，ｂを再構成する（生成する）（Ｓ６０２）。ここで添え字Ｌは低解像度であることを表すものとする。また、添え字ｂはレンズから実際の撮像素子までの距離を示している。ＬＦデータから仮想撮像素子上の画像の再構成法については後述する。次にＨＲ画像データＥ_Ｈ，ｂがＨＲ画像データ入力端子２０２から入力される（Ｓ６０３）。添え字Ｈは、高解像度を示している。劣化モデル推定部２０５が高解像度から低解像度への劣化モデルデータをＥ_Ｌ，ｂとＥ_Ｈ，ｂから推定する（Ｓ６０４）。フォーカス位置情報αがフォーカス位置情報入力端子２０３から入力される（Ｓ６０５）。αをレンズから実際の撮像素子までの距離ｂに乗することにより、レンズから仮想撮像素子までの距離αｂを取得することができる。画像再構成部２０４がＬＦデータを用いて、レンズ１０２からαｂの距離にある仮想撮像素子上の画像Ｅ_Ｌ，αｂを再構成する（Ｓ６０６）。高解像度画像推定部２０６が、劣化モデルデータと、Ｅ_Ｌ，αｂから仮想撮像素子上の高解像度画像を推定し（Ｓ６０７）、高解像度画像再構成部２００の動作を終了する。

＜ＬＦデータ取得部１０８の動作説明＞
ここでは、撮像素子上の画像からＬＦデータを取得する方法を説明する。

ＬＦデータの概念図と、可変アパーチャ１０４を用いて実際に取得される撮像素子１０６上の画像の例を図７に示す。

図７（ａ）はＬＦデータの概念図である。光線７０１はレンズ１０２上の座標（ｕ，ｖ）と、撮像素子１０６上の座標（ｘ，ｙ）を通過する。この光線の輝度をＬ（ｕ，ｖ，ｘ，ｙ）と書くことにする。

図７（ｂ）では４×４枚の小画像が示されている。これらは可変アパーチャ１０４の図４における小開口と１対１に対応しており、各画像には視差がある。ＬＦデータ取得部１０８は、小開口の重心座標と撮像素子上の座標から図３に従って光線経路を特定し、画素値から輝度を取得する。これにより光線経路と輝度の関係が得られ、ＬＦデータを得ることができる。

＜画像再構成部２０４の動作説明＞
ここでは、ＬＦデータから仮想撮像素子上の画像を再構成する方法について説明する。

ＬＦデータから仮想撮像素子上の画像を再構成する概念図を図８に示す。図８は図７（ａ）の２次元断面である。レンズ１０２からαｂの距離にある仮想撮像素子８０２上の座標（ｘ，ｙ）を通る光線は、レンズ１０２上で（ｕ，ｖ）、撮像素子１０６上で（ｕ＋（ｘ−ｕ）／α，ｖ＋（ｙ−ｖ）／α）の点を通る光線になる。よって、仮想撮像素子８０２の座標（ｘ，ｙ）の画素値は、Ｌ（ｕ＋（ｘ−ｕ）／α， ｖ＋（ｙ−ｖ）／α，ｕ，ｖ）をレンズ１０２上の座標（ｕ，ｖ）で積分したものになる。即ち、

と表されることが分かる。ここで、積分範囲にＬｅｎｓと書いてあるのは、絞りの影響も含めた有効レンズ領域のことである。絞りを考慮した場合ついては実施例２で詳しく述べる。実際の撮像素子上の画像Ｅ_Ｌ，ｂ（低解像度画像データ）は、以下の式により求めることができる。

以下、説明のためＰ_α［Ｌ］（ｘ，ｙ）を以下のような演算子で定義する。

＜高解像度画像再構成部２００の動作原理＞
ここでは高解像度画像再構成部２００の動作原理について説明する。

一般にＬＦデータの解像度（ＬＦデータＬ（ｕ，ｖ，ｘ，ｙ）におけるｘ，ｙの解像度）は、撮像素子本来の解像度に比べ低解像度になる。このＬＦデータをＬ_Ｌと置く。添え字のＬは低解像度を表す。撮像素子１０６、レンズ１０２上の分割解像度を仮想的に大きく取ることができた時の高解像度のＬＦデータをＬ_Ｈと置く。添え字のＨは高解像度を表す。低解像度ＬＦデータは高解像度ＬＦデータに重み付けして積分したものと考えられる。重み係数をｗとすると、

これはフィルタｗによる畳み込みの形をしている。ｗは一般にローパスフィルタになると予想される。

フィルタｗによる畳み込みを以下の演算子で定義する。

Ｃ_ｗの上付き添え字「２」及び「４」は次元数を表している
この時、以下の式が成り立つことが知られている（非特許文献１参照）。

式（７）は、ＬＦデータについて４次元の重み係数による畳み込みをした後に二次元画像へ再構成したものは、ＬＦデータから二次元画像に再構成した後に２次元の重み係数による畳み込みをしたものと同じになることを示している。

ここで、Ｐ_αは式（２）で定義した演算子である。

式（８）を用いると、以下の性質が成り立つ。

式（９）は仮想撮像素子上の高解像度画像から低解像度画像への劣化過程がフィルタＰ_α［ｗ］との畳み込みであることを表している。

であるが、αの変化に対してｗは大きく変化しない。したがって、αが１から大きく変動しない限り以下の近似式が成り立つ。

なお、Ｐ_α［ｗ］をＰ_１［ｗ］から推定できる方法があればこの近似式に限らない。

式（１１）によれば、劣化モデルＰ_１［ｗ］を推定することができれば、劣化モデルＰ_α［ｗ］も推定することが可能になる。

ＨＲ画像データＥ_Ｈ，ｂは既知であり、また、式（３）によりＬＦデータからＥ_Ｌ，ｂを構成することもできる。ここで、今実施例では、Ｅ_Ｌ，ｂは適当な補間によって、Ｅ_Ｈ，ｂと同じ解像度に拡大しておくことにする。劣化モデル推定部２０５は、

から、劣化モデルデータＰ_１［ｗ］を推定する。ここでは以下の式を最小化するようにＰ_１［ｗ］を決める。

ここでλは任意の重み係数である。Ｖを最小化する解はＦｏｕｒｉｅｒ変換することにより求まる。即ち、Ｆｏｕｒｉｅｒ変換をＦ［］と表すと、

を計算することにより劣化モデルデータＰ_１［ｗ］を求めることができる。ここで、アスタリスク＊は複素共役を示している。ここでは、Ｆｏｕｒｉｅｒ変換によって、式（１３）を最小にする解を求めたが、その他にも最急降下法による手法も考えられる。これ以外にも式（１２）からＰ_１［ｗ］を求めることができれば上記の方法に限らない。

と定義すると、式（１１）より、

となり、Ｐ_α［ｗ］を推定することが可能となる。

次に高解像度画像推定部２０６は以下の式を満たすように、ＬＦデータから再構成されたＥ_Ｌ，αｂと、劣化モデルデータｗ_αから、仮想撮像素子上のＨＲ画像Ｅ_Ｈ，αｂ（仮想撮像素子上ＨＲ画像データＥ_Ｈ，αｂ）を推定する。

この式を満たすようにＥ_Ｈ，αｂを推定する方法はいくつか考えられるが、ここでは以下の式を最小化するようにＥ_Ｈ，αｂを決定するものとする。

ここで、λ’は適当な重み係数でありΔはＬａｐｌａｃｉａｎである。Ｖ’を最小化する解はＦｏｕｒｉｅｒ変換することにより求まる。即ち、

を計算することにより、Ｅ_Ｈ，αｂを推定することができる。なお、ｋは周波数空間の変数である。ここではＦｏｕｒｉｅｒ変換によって式（１８）を最小にする解を求めたが、そのほかにも最急降下法、共役勾配法など色々な手段が考えられる。また式（１８）を最小化する以外にも、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ法などデコンボリューションの手法を用いてＥ_Ｈ，αｂを求めることができる。これ以外にも式（１７）からＥ_Ｈ，αｂを求めることができれば、上記の手法に限らない。高解像度画像再構成部２００の動作をまとめると、劣化モデル推定部２０５が、式（２）に従って再構成したＥ_Ｌ，ｂと、ＨＲ画像データＥ_Ｈ，ｂから式（１３）に従ってＰ_１［ｗ］を推定する。次に式（１４）、式（１５）に従って、Ｐ_１［ｗ］からＰ_α［ｗ］を導出する。画像再構成部２０４が、式（２）により仮想撮像素子上の画像Ｅ_Ｌ，αｂを再構成する。高解像度画像推定部２０６が、Ｐ_α［ｗ］とＥ_Ｌ，αｂから式（１８）に従って、仮想撮像素子上ＨＲ画像データＥ_Ｈ，αｂを推定する。ここでは簡単のため、仮想撮像素子上ＨＲデータＥ_Ｈ，αｂの解像度はＨＲ画像データの解像度と一致すると仮定した。しかし、仮想撮像素子上ＨＲ画像データＥ_Ｈ，αｂの解像度は、ＨＲ画像データの解像度と必ずしも一致する必要はない。すなわち、仮想撮像素子上ＨＲ画像データＥ_Ｈ，αｂの解像度は、画像再構成部２０４により再構成された撮像素子上の画像Ｅ_Ｌ，ｂの解像度よりも高ければ良い。

以上より、高解像度画像再構成部２００は撮影後に、撮影したＨＲ画像データとＬＦデータから、任意位置の仮想撮像素子上ＨＲ画像データを再構成することができる。

最後に図９に本実施例の効果を表した図を示す。図９において、図９（ａ）が取得したＬＦデータを元に、仮想撮像素子上の画像Ｅ_Ｌ，αｂを再構成したものである。図９（ｂ）が本実施例を適用し、仮想撮像素子上ＨＲ画像データＥ_Ｈ，αｂを推定したものである。図９より、撮影後のピント位置の調整が高解像度で良好に行われていることが分かる。

以上説明したように実施例１によれば、撮像して取得したデータを用いて、撮影後の仮想撮像素子の位置の調節（フォーカス位置の調整）を高解像度で行うことが可能になる。

[実施例２]
実施例１では簡単のため、絞り１０３については考慮しなかったが、本実施例では撮影後に仮想撮像素子の位置の調整だけではなく、絞りも調節することが可能な画像処理装置について説明する。

図１０に絞り１０３の概念図を示す。図１０において１００１は絞りの有効口径がφの時の開口である。

本実施例では有効口径がφで取得した画像を例えばＥ_{Ｈ，ｂ，φ}と表すことにする。一つ目の添え字Ｈが解像度、二つ目の添え字ｂがレンズと撮像素子の距離、三つ目の添え字φが絞りの有効口径を表す。

＜実施例２のブロック図＞
本実施例の撮像装置のブロック図は高解像度画像再構成部を除いて、図１と同様である。図１１は、本実施例の高解像度画像再構成部１１００のブロック図を示している。絞り情報入力端子１１０１は、ある絞りの時の有効口径（仮想絞り量）が入力される端子である。

本実施例ではＬＦデータとＨＲ画像データは、有効口径φが最大の状態φ_ｍａｘで取得するものとする。なお実際に撮影する際の絞りの有効口径は、撮影後に調節したい絞りの有効口径より大きければφ_ｍａｘでなくても良い。簡単のため、有効半径φ_ｍａｘで取得した画像に対しては添え字φ_ｍａｘを省略するものとする。

＜高解像度画像再構成部１１００の動作＞
高解像度画像再構成部１１００は、ＨＲ画像と、ＬＦデータから仮想撮像素子上で、ある絞りの時の高解像度画像を再構成するための処理部である。以下、高解像度画像再構成部１１００の動作について図１２のフローチャートに従って説明する。ここでは実施例１との差異のみ説明する。フォーカス位置情報αと絞りの有効口径情報φがそれぞれフォーカス位置情報入力端子２０３及び、絞り情報入力端子１１０１から入力される（Ｓ１２０１）。画像再構成部１１０２がＬＦデータを用いて、絞りの有効口径がφの時の、レンズ１０２からαｂの距離にある仮想撮像素子上の画像Ｅ_{Ｌ，αｂ，φ}を再構成する（Ｓ１２０２）。高解像度画像推定部２０６が、劣化モデルと、Ｅ_{Ｌ，αｂ，φ}から絞りの有効口径がφの時の仮想撮像素子上の高解像度画像を推定し（Ｓ１２０３）、高解像度画像再構成部１１００の動作を終了する。

＜高解像度画像再構成部１１００の動作原理＞
ここでは高解像度画像再構成部１１００の動作原理について説明する。

基本的には実施例１と同様であり、実施例１との差異のみ説明する。

絞りの有効口径がφの時の仮想撮像素子上の再構成演算子を

と定義する。ここで、Ａ（φ）は有効口径がφの時の開口領域１００１である。特に有効口径φが最大の時は、

と略記するものとする。

また、絞りの有効口径がφの時のフィルタｗによる畳み込み演算子を以下のように定義する。

式（９）と同様にして、

が成り立つ。有効口径がφの時の仮想撮像素子上の画像Ｅ_{Ｌ，αｂ，φ}は取得したＬＦデータより、

によって再構成することができる。あとは劣化モデルＰ_α，φ［ｗ］を推定することができれば、
実施例１と同様にして、式（１９）よりＥ_{Ｈ，αｂ，φ}を推定することが可能になる。

以下Ｐ_α，φ［ｗ］の推定方法について説明する。

であるが、実施例１と同様にして、αが１から大きく変動しない限り、以下の近似式が成り立つと考えられる。

ここで、ｗは高解像度ＬＦから低解像度ＬＦへの劣化ローパスフィルタであることを考えると、ｗの広がりは有効口径φに比べて十分小さいと考えられる。その概念図を図１３に示す。図１３はフィルタｗを１次元表示したものである。図１３では絞りを極端に絞らない限り、劣化フィルタｗの広がりは絞りの有効口径φに比べて十分小さいことを表している。

よって、

となる。

劣化モデルｗ_αは取得した実施例１と同様にして、取得したＬＦデータとＨＲ画像データとから推定することが可能であるので、式（２８）より劣化モデルＰ_α，φ［ｗ］を推定することができた。

高解像度画像再構成部１１００の動作をまとめると、劣化モデル推定部２０５が実施例１と同様にして、Ｐ_１［ｗ］を推定する。次に式（１５）、式（２８）に従って、Ｐ_１［ｗ］からＰ_α，φ［ｗ］を導出する。画像再構成部１１０２が、式（２５）により、有効口径がφの時の仮想撮像素子上の画像Ｅ_{Ｌ，αｂ，φ}を再構成する。高解像度画像推定部２０６が、実施例１と同様にして、有効口径がφの時の仮想撮像素子上ＨＲ画像データＥ_{Ｈ，αｂ，φ}を推定する。

このことにより、高解像度画像再構成部１１００は撮影後に、撮影したＨＲ画像データとＬＦデータから、任意の仮想撮像素子上でかつ、任意の絞りの高解像度画像を再構成することが可能できる。

以上説明したように第２の実施例によれば、撮像して取得したデータを用いて、撮影後に撮像素子の位置（フォーカス位置）、及び絞りの有効口径の調節を高解像度で行うことが可能になる。

[実施例３]
実施例１では可変アパーチャ１０４を用いてＬＦデータと高解像度画像データを取得したが、本実施例では移動（収納）可能なマイクロレンズアレイを撮像素子の前面に設置してＬＦデータと高解像度画像を取得する撮像装置を説明する。

＜実施例３のブロック図＞
図１４は、本実施例を適用できる画像処理方法及び画像処理装置の実施の一形態を示すブロック図である。撮像装置１４００は、マイクロレンズアレイ１４０１マイクロレンズアレイ制御部１４０２を有する。マイクロレンズアレイ制御部は、マイクロレンズアレイ１４０１の移動や収納を制御する。ＬＦデータを取得する場合は、マイクロレンズアレイ制御部１４０２は、マイクロレンズアレイ１４０１を撮像素子１０６の前面に移動させる。また、ＨＲ画像データを取得する際は、マイクロレンズアレイ制御部１４０２は、マイクロレンズアレイ１４０１を撮像素子１０６と隣接する位置に移動するか、前面でない位置に移動、格納させる。ＬＦデータ取得部１４０３は、マイクロレンズアレイから得られた信号をＬＦデータに変換する。なお高解像度画像再構成部２００は１１００に置き換えても良い。

撮像装置１４００の概念図を図１５に示す。図１５では、被写体３０１の一点から各方向に出た光がマイクロレンズ１５０１上で焦点を結び、マイクロレンズ１５０１によって分別される様が表されている。マイクロレンズ１５０１を介して入射された光線の撮像素子１０６上の像は、被写体３０１の１点の視差画像に対応している。点線で表されているマイクロレンズアレイ１４０１は、通常撮影モード時のマイクロレンズアレイの位置である。このようにマイクロレンズアレイが撮像素子の直前に配置されると、マイクロレンズアレイによる光線の屈折の像への影響は実質的になくなり、マイクロレンズが存在しない場合と等価のＨＲ画像データが取得できる。ＨＲ画像の他の取得方法は、マイクロレンズを撮像素子の前から外れた位置（光線に影響を与えない位置）に移動させる方法であっても良い。

実施例３ではマイクロレンズアレイを撮像素子前に置いてＬＦデータを取得する一方、マイクロレンズアレイを移動または収納して、通常撮影モードでＨＲ画像データを取得する。

以上説明したように第３の実施例によれば、第１の実施例より撮影回数が少ない状態で、ＬＦデータとＨＲ画像データを取得し、撮影後に撮像素子の位置（フォーカス位置）、及び絞りの有効口径の調整を高解像度で行うことが可能になる。

[実施例４]
本実施例ではビームスプリッターとマイクロレンズアレイを用いて、ＬＦデータと高解像度画像を同時に取得する撮像装置を説明する。

＜実施例４のブロック図＞
図１６は、本実施例を適用できる画像処理方法及び画像処理装置の実施の一形態を示すブロック図である。図１６において、１６００は撮像装置である。１６０１は光線の経路を２つに分割する光線分割部である。これは例えばハーフミラーを用いれば良い。なお高解像度画像再構成部２００は１１００に置き換えても良い。

実施例４では光線の経路を２つに分割する。２つのうち１つはマイクロレンズアレイ１４０１を通すことで、実施例３と同様にしてＬＦデータを取得し、もう一方の光線情報からＨＲ画像データを取得する。

以上説明したように実施例４によれば、ＬＦデータとＨＲ画像データを同時に取得し、撮影後に撮像素子の位置（フォーカス位置）、及び絞りの有効口径の調節を高解像度で行うことが可能になる。

[実施例５]
本実施例では、実施例１乃至４の高解像度画像再構成部等の一部又は全部の機能を撮像装置の外部にある情報処理装置（コンピュータ）により実施する。すなわち、撮像装置により取得したＬＦデータやＨＲ画像データを、情報処理装置に媒体（ネットワーク媒体や記憶媒体）を介して送り、実施例１乃至４に記載されている高解像度画像再構成部等の一部又は全部の機能を情報処理装置により実現する。

また、本実施例は、上述の実施例の機能（例えば、図５、図６のフローチャートにより示される機能）を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても実現できる。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）がコンピュータが読み取り可能に記憶媒体に格納されたプログラムコードを読み出し実行することにより、上述した実施例の機能を実現する。

Claims (9)

1. 被写体から撮像装置に入射する光線の、経路に関する情報と光量情報とを含む光線情報を取得する光線取得手段と、
   前記撮像装置の撮像素子の位置とは異なる位置に前記撮像素子を配置して前記被写体を撮像する場合に得られる第一の仮想画像データを、前記光線情報に基づいて生成する第一の生成手段と、
   前記被写体を撮像して得られた、前記第一の仮想画像データに含まれる画像よりも解像度の高い画像を含む高解像度画像データを取得する画像取得手段と、
   前記撮像素子を前記異なる位置に配置して前記被写体を撮像する場合に得られ、前記第一の仮想画像データに含まれる画像よりも解像度の高い画像を含む第二の仮想画像データを、前記第一の仮想画像データと前記高解像度画像データとに基づいて生成する第二の生成手段と、
   を有する画像処理装置。
2. 前記高解像度画像データを、前記高解像度画像データに含まれる画像よりも解像度が低い画像を含み、前記撮像装置を用いて前記被写体を撮像した場合に得られる低解像度画像データに変換するための変換モデルデータを生成する変換モデル生成手段を更に有し、
   前記第二の生成手段は、前記変換モデルデータに基づいて前記第一の仮想画像データを変換することにより前記第二の仮想画像データを生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記第一の生成手段により生成される前記第一の仮想画像データは、前記撮像装置における絞り量とは異なる絞り量の仮想的な絞りを介して、前記被写体を撮像した場合に得られる画像データであることを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記光線取得手段により取得される光線情報は、前記撮像装置の絞りの開口位置を経時的に変化させることにより取得されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像取得手段により取得される高解像度画像データは、前記絞りを開放状態にすることにより取得されることを特徴とする請求項４に記載の画像処理装置。
6. 前記光線取得手段により取得される光線情報は、前記撮像素子の前面にマイクロレンズアレイを設置することにより取得されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記異なる位置は、前記撮像装置に対して設定されたフォーカス位置に基づいて決定されることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 被写体から撮像装置に入射する光線の、経路に関する情報と光量情報とを含む光線情報を取得し、
   前記撮像装置の撮像素子の位置とは異なる位置に前記撮像素子を配置して前記被写体を撮像する場合に得られる第一の仮想画像データを、前記光線情報に基づいて生成し、
   前記被写体を撮像して得られた、前記第一の仮想画像データに含まれる画像よりも解像度の高い画像を含む高解像度画像データを取得し、
   前記撮像素子を前記異なる位置に配置して前記被写体を撮像する場合に得られ、前記第一の仮想画像データに含まれる画像よりも解像度の高い画像を含む第二の仮想画像データを、前記第一の仮想画像データと前記高解像度画像データとに基づいて生成することを特徴とする画像処理方法。
9. コンピュータを、請求項１乃至７の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。

Images