JP5360190B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、入射光線の方向分布（ｄｉｒｅｃｔｉｏｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）についての情報を取り込む撮像装置、即ち「プレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ」と呼ばれる撮像装置が研究開発されている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を縦横に連続して繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。

マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素群に分配する。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。

そこで、プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点を合わせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。

特表２００９−５３２９９３号公報

特許文献１に記載のプレノプティックカメラにより再構成画像のデータが生成されると、空間方向に周期的なノイズが生ずる場合がある。
このため、当該ノイズを低減する手法が求められている。

本発明は、このような状況に鑑みてなされたものであり、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、再構成画像が生成される場合に生ずるノイズを低減させることを目的とする。

上記目的を達成するため、本発明の一態様の画像処理装置は、被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、前記副画像から部分画像を切り出す切り出し手段と、前記部分画像の切り出しサイズを設定するサイズ設定手段と、前記部分画像の複数の切り出し位置を設定する位置設定手段と、前記複数の切り出し位置に対応した複数の部分画像を、前記サイズ設定手段によって設定された同一の切り出しサイズで切り出し、前記部分画像の切り出し位置に基づいて合成することで、再構成画像を生成する画像生成手段と、を備えることを特徴とする。

本発明によれば、プレノプティックカメラにより撮像されたライトフィールド画像から再構成画像が生成される場合に生ずるノイズを低減させることができる。

本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。 図１の構成を有する画像処理装置のうち、光学系の構成例を示す模式図である。 図１の画像処理装置が実行する再構成処理の流れを説明するフローチャートである。 図１の画像処理装置が実行する再構成処理における、サブイメージと中間画像の関係を説明する模式図である。 図１の画像処理装置が実行する再構成処理で生成される中間画像の一例を示した図である。 図１の画像処理装置が実行する再構成処理において、切り出し位置を変化させた場合のサブイメージと中間画像の関係を説明する模式図である。 図１の画像処理装置が実行する再構成処理において、切り出し位置をさらに変化させた場合のサブイメージと中間画像の関係を説明する模式図である。 図１の画像処理装置が実行する再構成処理で生成される再構成画像の一例を示した図である。 図１の画像処理装置が実行する再構成処理において、切り出し位置を変化させた複数の中間画像の関係を説明する模式図である。 図１の画像処理装置が実行する再構成処理の変形例の流れを説明するフローチャートである。 図１の画像処理装置が実行する再構成処理の変形例における、サブイメージと再構成画像の関係を説明する模式図である。 図１の画像処理装置が実行する再構成処理の変形例において、切り出し位置を変化させた場合のサブイメージと再構成画像の関係を説明する模式図である。

以下、本発明の一実施形態を図面に基づいて説明する。

図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。

画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。

ＣＰＵ１１は、ＲＯＭ１２に格納されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。

ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。

撮像部１６は、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、を備えている。なお、撮像部１６のさらなる詳細については、図２を参照して後述する。

入力部１７は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
出力部１８は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部１９は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、後述するライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２２が適宜装着される。ドライブ２１によってリムーバブルメディア２２から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア２２は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。

図２は、このような構成を有する画像処理装置１のうち、光学系の構成例を示す模式図である。

画像処理装置１の光学系においては、被写体たる物体面ｏｂからみて、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、がその順番で配置されている。
マイクロレンズアレイ３２においては、Ｎ個（Ｎは２以上の任意の整数値）のマイクロレンズ３２−１乃至３２−Ｎの各々が規則的に連続して繰り返して配置されている。

メインレンズ３１は、光源から射出された光束を集光して、所定の面Ｍａに結像させ、マイクロレンズアレイ３２に入射させる。なお、以下、メインレンズ３１により結像される面Ｍａを、「メインレンズ結像面Ｍａ」と呼ぶ。

マイクロレンズアレイ３２内のマイクロレンズ３２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、物体面ｏｂからメインレンズ３１を介して入射されてくる光束を入射方向毎に集光して、撮像素子３３の上にサブイメージを結像させる。
即ち、撮像素子３３においては、複数のマイクロレンズ３２−１乃至３２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
このようにして、同一の被写体に対して異なる角度から見た像が、対応する複数のサブイメージに記録される。言い換えると被写体を複数の視点から見た複数の副画像が整列した画像が得られる。

こうして得られたサブイメージは、同一の被写体に対して異なる角度から見た像を含む。そのため、複数のサブイメージから適切な画素を選択して合成することで、撮像時に任意の距離だけ前方に離れていた面に焦点を合わせた画像を再構成することができる。
なお、このようにして画像処理装置１が再構成画像のデータを生成するまでの処理を、以下、「再構成処理」と呼び、再構成対象の面を、「再構成面」と呼ぶ。

図３は、図１の画像処理装置１が実行する再構成処理の流れを説明するフローチャートである。
なお、画像処理装置１は、再構成処理の前に、被写体を撮像して、その結果得られるライトフィールド画像のデータを記憶部１９等に記憶しているものとする。

ステップＳ１１において、画像処理装置１のＣＰＵ１１は、ライトフィールド画像のデータを記憶部１９等から取得する。
ステップＳ１２において、ＣＰＵ１１は、メインレンズ３１の前方の所定距離の位置にある面の像を、再構成面として設定する。この所定距離を以下、再焦点距離と呼ぶ。

ステップＳ１３において、ＣＰＵ１１は、サブイメージから切り出す部分画像の大きさをＲＯＭ１２から読み出して切り出しサイズとして設定する。ＲＯＭ１２には再焦点距離と切り出しサイズの対応テーブルが記憶されている。切り出しサイズは、メインレンズ３１、マイクロレンズアレイ３２内のマイクロレンズ３２−ｉの焦点距離と、撮像素子３３の置かれた位置と、再焦点距離によって定まる。

遠くにある被写体ほどマイクロレンズ毎の見込み角度の差が小さくなるためサブイメージ内での移動も小さい。これに従い切り出しサイズを小さくする。逆に近くにある被写体ほどマイクロレンズ毎の見込み角度の差が大きくなるためサブイメージ内での移動も大きい。これに従い切り出しサイズを大きくする。

ステップＳ１４において、ＣＰＵ１１は、サブイメージから切り出す部分画像の位置を設定する。初期値はサブイメージの中央とする。ステップＳ１５において、ＣＰＵ１１は、処理すべきサブイメージを選択する。ステップＳ１６において、ＣＰＵ１１は、選択されたサブイメージから部分画像を切り出す。ステップＳ１７において、ＣＰＵ１１は、この部分画像を切り出しサイズとサブイメージ中の切り出し位置とサブイメージのライトフィールド画像中の整列位置とに基づいて中間画像に配置する。この際、メインレンズの焦点が撮像素子よりもメインレンズ側にある、図２のような光学系で撮影されたライトフィールド画像においては、各部分画像の上下左右を反転して中間画像に配置する。メインレンズの焦点が撮像素子の後ろ側にある光学系の場合には部分画像の上下左右の反転を行わない。

ステップＳ１８において、ＣＰＵ１１は、全てのサブイメージを処理したかを判定する。判定結果がＮｏであれば、ＣＰＵ１１は、ステップＳ１５に戻り、処理を繰り返す。判定結果がＹｅｓであれば、ステップＳ１９において、ＣＰＵ１１は、中間画像を記憶部１９に保存する。

ステップＳ２０において、ＣＰＵ１１は、所定の数の中間画像を作成したかを判定する。判定結果がＮｏであればＣＰＵ１１は、ステップＳ１４に戻り、切り出し位置にオフセットを加えて設定する。そしてＣＰＵ１１は、ステップＳ１５〜Ｓ１８の処理を繰り返す。この際、ＣＰＵ１１は、切り出し位置のオフセット分を加えて中間画像に部分画像を配置する。こうして各中間画像間で被写体の位置が揃えられる。ステップＳ２０の判定結果がＹｅｓであればステップＳ２１において、ＣＰＵ１１は、得られた複数の中間画像を加算平均して再構成画像を作成する。作成された再構成画像をステップＳ２２においてＣＰＵ１１は、出力部１８から表示出力し、リムーバブルメディア２２に保存する。これにより、再構成処理は終了となる。

Ｓ１４〜Ｓ１９の処理について図４を用いて説明する。
始めにライトフィールド画像ＬＦの左上のサブイメージＳが選択される（Ｓ１５）。選択されたサブイメージＳから部分画像Ｃが切り出されて（Ｓ１６）、この部分画像Ｃが中間画像１の左上に配置される（Ｓ１７）。次に右隣のサブイメージＳが選択される（Ｓ１５）。選択されたサブイメージＳから部分画像Ｃが切り出されて（Ｓ１６）、この部分画像Ｃが、先ほど中間画像１内に配置された部分画像Ｃの右隣に配置される（Ｓ１７）。この作業がライトフィールド画像ＬＦの右端まで繰り返される。右端のサブイメージＳの処理が済んだら、ライトフィールド画像ＬＦの左端に戻り、上から２段目のサブイメージＳが選択される（Ｓ１５）。選択されたサブイメージＳから部分画像Ｃが切り出され（Ｓ１６）、この部分画像Ｃが最初に中間画像１内に配置された部分画像Ｃの下側に配置される（Ｓ１７）。一段目と同様にこの作業がライトフィールド画像ＬＦの右端まで繰り返される。右端のサブイメージＳの処理が済んだら、ライトフィールド画像ＬＦの次の段のサブイメージＳが処理される。これらの作業が繰り返される。ライトフィールド画像ＬＦの右下のサブイメージＳまで処理したと判定されたら（Ｓ１８）、中間画像１が記憶部１９に保存される（Ｓ１９）。こうして、中間画像１の作成が終わる。

図５は、上述の手法が、Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖがｈｔｔｐ：／／ｗｗｗ．ｔｇｅｏｒｇｉｅｖ．ｎｅｔ／で公開しているライトフィールドデータに適用されたものである。再構成面は一番奥に置かれている。この例では手前の人物やカメラストラップ部分にサブイメージ毎のつなぎ目が目立っている。

図６及び図７は、切り出し位置にオフセットを加えながらステップＳ１５〜Ｓ１７を繰り返している様子である。図６では切り出し位置が図４の場合よりも左上に移動し、これに応じて中間画像２上の配置位置も左上に移動している。図７では切り出し位置が図４の場合よりも右上に移動し、これに応じて中間画像３上の配置位置も右上に移動している。

図８は、こうして得られた複数の中間画像を加算平均して得られた再構成画像である。図５に比べて手前の人物やカメラストラップ部分のサブイメージ毎のつなぎ目が目立たなくなっている。つまりライトフィールド画像のサブイメージ画像から画像を切り出して画像の再構成を行う際に、中間画像毎に切り出し位置を異ならせ、これらの中間画像を加算平均することで、良好な再構成画像を得ることができる。

本実施形態では、再焦点距離に応じて切り出しサイズを決定し、中間画像毎に切り出し位置を異ならせ、これらの中間画像を加算平均して再構成画像を得た。図９（ａ）から（ｃ）は、切り出し位置が異なる図４，６，７の中間画像１〜３を比較したものである。×印の画素に着目すると、中間画像１〜３ではそれぞれ異なるサブイメージの異なる位置の画素が採用されていることがわかる。つまり、本実施形態は、再焦点距離に応じて、異なるサブイメージの異なる位置の画素を加算平均することで、再構成する被写体の画素を再構成している。

なお、本実施形態に於いては、各々の中間画像に部分画像を配置する際に部分画像のオフセットを考慮した位置合わせをしたが、中間画像を加算平均する際に切り出し位置のオフセットを考慮した位置合わせをしてもよい。

また、再焦点距離の設定は、マニュアル操作で設定しても良いし、焦点を合わせたい被写体までの距離を測定して設定しても良い。さらに、再構成画像の表示後にタッチパネルなどにより焦点を合わせたい被写体を選択し直して、再焦点距離を再設定するようにしても良い。

なお、本実施形態に於いては、所定の数の中間画像を作成したことをもって、切り出し位置を変更しながらの繰り返し処理を終了したが、ユーザ操作によって繰り返し処理を終了するようにしても良い。例えば、中間画像を表示部に表示してユーザに示し、ユーザが満足した場合には所定の操作子（例えばシャッターボタン）を操作するように促し、この操作子が操作されたことをもって繰り返し処理を終了しても良い。そうすれば、処理能力が低いＣＰＵであっても最短の時間でユーザが満足する画質を得ることができる。

続いて本発明の実施形態の変形例について説明する。図１０は変形例のフローチャートである。ステップＳ３１からＳ３３までは図３のステップＳ１１からＳ１３と同じであるので説明を省略する。

ステップＳ３４において、ＣＰＵ１１は、処理すべきサブイメージを選択する。ステップＳ３５において、ＣＰＵ１１は、サブイメージから切り出す部分画像の位置を設定する。初期値はサブイメージの中央とする。ステップＳ３６において、ＣＰＵ１１は、選択されたサブイメージから部分画像を切り出す。

ステップＳ３７において、ＣＰＵ１１は、この部分画像を切り出しサイズとサブイメージ中の切り出し位置とサブイメージのライトフィールド画像中の整列位置とに基づいて再構成画像に加算する。ステップＳ３８において、ＣＰＵ１１は、所定の数の切り出し位置について処理したかを判定する。判定結果がＮｏであれば、ＣＰＵ１１は、ステップＳ３５に戻り、切り出し位置を変更して処理を繰り返す。この繰り返しの結果、処理全体としては複数の切り出し位置が設定されることとなる。

サブイメージの境界は光学系に置かれた絞りの形状に依存する。そこで、部分画像の切り出し位置の変更範囲を絞りの形状に応じて制限する。例えば、絞りが略円形状で、切り出された部分画像の形状が四角形の場合、部分画像の対角線方向の切り出し位置の変動範囲は、副画像の上下方向のそれよりも小さくしておく。

ステップＳ３８において、判定結果がＹｅｓであれば、ステップＳ３９において、ＣＰＵ１１は、全てのサブイメージを処理したかを判定する。判定結果がＮｏであれば、ＣＰＵ１１は、ステップＳ３４に戻り、次のサブイメージを選択して処理を繰り返す。判定結果がＹｅｓであれば、ステップＳ４０において、ＣＰＵ１１は、再構成画像の明るさを調整する。すなわち、加算の繰り返しによって増加した画素値を切り出し位置の設定回数で除算することで明るさを調整する。ステップＳ４１においてＣＰＵ１１は、明るさが調整された再構成画像を出力部１８から表示出力し、リムーバブルメディア２２に保存する。これにより、再構成処理は終了となる。

Ｓ３５〜Ｓ３７の処理について図１１〜１２を用いて説明する。
ライトフィールド画像ＬＦの左上のサブイメージＳの処理について説明する。選択されたサブイメージＳでの切り出し位置が設定されて（Ｓ３５）、選択されたサブイメージＳから部分画像Ｃが切り出される（Ｓ３６）。切り出された部分画像Ｃが切り出しサイズとサブイメージＳ中の切り出し位置とサブイメージＳのライトフィールド画像ＬＦ中の整列位置とに基づいて再構成画像Ｒに加算される（Ｓ３７）。図１１はこの加算位置を示すものである。

次に切り出し位置が新たに設定される（Ｓ３５）。切り出しサイズとサブイメージＳのライトフィールド画像ＬＦ中の整列位置は先ほどと同じであるが、サブイメージＳ中の切り出し位置が異なっている。
ライト−フィールド画像ＬＦは複数のサブイメージＳを含んだ一続きの画像であるため、サブイメージＳとして有効な領域も無効な領域も部分画像Ｃとして切り出せてしまう。無効な領域を含んだ部分画像Ｃはノイズ源となるため、部分画像ＣがサブイメージＳの境界内に納まっている必要がある。そのため、部分画像Ｃの切り出し位置のオフセット量を絞りの形状に応じて制限する必要がある。例えば、絞りが略円形状で、切り出された部分画像Ｃの形状が四角形の場合、部分画像Ｃの対角線方向の切り出し位置の変動範囲は、副画像の上下方向のそれよりも小さくしておく。

そして、切り出し位置のオフセット分だけ再構成画像Ｒへの加算位置もオフセットされる。図１２はオフセットされた加算位置を示すものである。このように部分画像Ｃの境界がずれて加算されることでサブイメージＳ毎のつなぎ目が目立たなくなり、良好な再構成画像Ｒを得ることができる。

本実施形態に於いては、撮像処理を画像処理装置内で行ったが、他の撮像装置で生成されたライトフィールド画像を画像処理装置に読み込み、この画像処理装置で再構成処理を行ってもよい。この場合、他の撮像装置は、タッチパネルで選んだ被写体の位置とライトフィールド画像をリムーバブルメディア２２に記憶しておくようにしても良い。これにより画像処理装置での再構成が容易になる。また、撮影時に測定した被写体距離とライトフィールド画像をリムーバブルメディア２２に記憶しておくようにしても良い。

以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記副画像から部分画像を切り出す切り出し手段と、
前記部分画像の切り出しサイズを設定するサイズ設定手段と、
前記部分画像の複数の切り出し位置を設定する位置設定手段と、
前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する画像生成手段と
を備えた画像処理装置。
［付記２］
前記再構成画像のための再焦点距離を設定する再焦点距離設定手段を更に備え、
前記サイズ設定手段は前記再焦点距離に応じて前記切り出しサイズを設定することを特徴とする付記１に記載の画像処理装置。
［付記３］
前記サイズ設定手段は前記再焦点距離が大きくなるほど前記切り出しサイズを小さく設定することを特徴とする付記２に記載の画像処理装置。
［付記４］
前記位置設定手段は絞り形状に応じて切り出し位置を設定することを特徴とする付記１に記載の画像処理装置。
［付記５］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記副画像から部分画像を切り出す切り出し手段と、
前記部分画像の切り出しサイズを設定するサイズ設定手段と、
前記部分画像の切り出し位置を設定する位置設定手段と、
前記副画像の整列位置と前記切り出し位置に基づいて前記部分画像を配置して中間画像を生成する中間画像生成手段と、
前記切り出し位置を設定し直す度に前記中間画像を表示する表示手段と
を備えた画像処理装置。
［付記６］
メインレンズと、撮像素子と、各々のマイクロレンズが該撮像素子の複数の画素をカバーするマイクロレンズアレイを含む光学系からなる撮像手段を更に備え、
前記画像取得手段は、前記撮像手段によって撮像された画像を取得する
ことを特徴とする付記１乃至５に記載の画像処理装置。
［付記７］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する工程と、
前記副画像から部分画像を切り出す工程と、
前記部分画像の切り出しサイズを設定する工程と、
前記部分画像の複数の切り出し位置を設定する工程と、
前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する工程と
を備えた画像処理方法。
［付記８］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段を備えた画像処理装置のコンピュータに、
前記副画像から部分画像を切り出す手順と、
前記部分画像の切り出しサイズを設定する手順と、
前記部分画像の複数の切り出し位置を設定する手順と、
前記複数の切り出し位置に対応した複数の部分画像を前記切り出しサイズと前記副画像の整列位置とに基づいて合成することで、再構成画像を生成する手順と
を実行させるプログラム。

１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、２２・・・リムーバブルメディア、３１・・・メインレンズ、３２・・・マイクロレンズアレイ、３２−ｉ・・・マイクロレンズ、３３・・・撮像素子

Claims (8)

1. 被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
   前記副画像から部分画像を切り出す切り出し手段と、
   前記部分画像の切り出しサイズを設定するサイズ設定手段と、
   前記部分画像の複数の切り出し位置を設定する位置設定手段と、
   前記複数の切り出し位置に対応した複数の部分画像を、前記サイズ設定手段によって設定された同一の切り出しサイズで切り出し、前記部分画像の切り出し位置に基づいて合成することで、再構成画像を生成する画像生成手段と
   を備えた画像処理装置。
2. 前記再構成画像のための再焦点距離を設定する再焦点距離設定手段を更に備え、
   前記サイズ設定手段は前記再焦点距離に応じて前記切り出しサイズを設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記サイズ設定手段は前記再焦点距離が大きくなるほど前記切り出しサイズを小さく設定することを特徴とする請求項２に記載の画像処理装置。
4. 前記位置設定手段は絞り形状に応じて切り出し位置を設定することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像生成手段は、
   前記部分画像を対応する副画像の並び順で配置した中間画像を、前記切り出し位置毎に生成する中間画像生成手段を有し、
   前記切り出し位置が異なる複数の中間画像を前記部分画像の切り出し位置に基づいて重畳することで、前記再構成画像を生成する、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. メインレンズと、撮像素子と、各々のマイクロレンズが該撮像素子の複数の画素をカバーするマイクロレンズアレイを含む光学系からなる撮像手段を更に備え、
   前記画像取得手段は、前記撮像手段によって撮像された画像を取得する
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 被写体を複数の視点から見た複数の副画像が整列した画像を取得する工程と、
   前記副画像から部分画像を切り出す工程と、
   前記部分画像の切り出しサイズを設定する工程と、
   前記部分画像の複数の切り出し位置を設定する工程と、
   前記複数の切り出し位置に対応した複数の部分画像を、前記設定された同一の切り出しサイズで切り出し、前記部分画像の切り出し位置に基づいて合成することで、再構成画像を生成する工程と
   を備えた画像処理方法。
8. 被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段を備えた画像処理装置のコンピュータに、
   前記副画像から部分画像を切り出す手順と、
   前記部分画像の切り出しサイズを設定する手順と、
   前記部分画像の複数の切り出し位置を設定する手順と、
   前記複数の切り出し位置に対応した複数の部分画像を、前記設定された同一の切り出しサイズで切り出し、前記部分画像の切り出し位置に基づいて合成することで、再構成画像を生成する手順と
   を実行させるプログラム。