JP6173006B2 - 符号化装置、符号化方法およびプログラム、並びに撮像装置 - Google Patents

Description

本発明は、プレノプティックカメラ（Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ）で得られた画像データを符号化する符号化装置に関する。

近年、固体撮像素子の前面に、複数画素に対し１つの割合で並ぶマイクロレンズアレイを配置することで、撮像素子に入射する光線の強度に加えて、光線の入射角度を取得するプレノプティックカメラと呼ばれる撮像装置が、非特許文献１において提案されている。

特許文献１は、複数のカメラで撮影された多視点画像データを符号化する技術について説明している。特許文献１によれば、複数の視点画像データに共通する画像データを作成し、各視点の画像データと、共通画像データの差分データを生成して符号化している。

特開２００６−３５２２６１号公報

Ｒｅｎ．Ｎｇ、他７名"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−Ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"， Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−０２

しかしながら、プレノプティックカメラを用いて撮影された画像データは、光線の入射角度情報も記録されており、データサイズが大きいという問題があるが、非特許文献1には、そのような画像データをどのように符号化するかについては開示されていない。

また、特許文献１においては、プレノプティックカメラの、マイクロレンズアレイを設けた撮像素子を有する撮像装置の固有性を考慮した適切な符号化方式が示されていない。

本発明は、上記問題点を鑑み、プレノプティックカメラに適した方式で、撮影画像を符号化し、画像データ量を削減することを目的としている。

本発明の一観点によれば、撮影光学系で形成された被写体の光学像を、マイクロレンズアレイの各マイクロレンズにより対応する画素ブロックに投影して光電変換により得られた画像の画像データを取得する画像データ取得手段と、前記各マイクロレンズに対応する画素ブロックのうちの符号化対象の第１の画素ブロックから得られた第１の画像データと、前記各マイクロレンズに対応する画素ブロックのうちの先に符号化された第２の画素ブロックから得られた第２の画像データに対して、前記第１の画素ブロックと第２の画素ブロックの画像の重複領域の相対的な位置関係を表すずらし量を決定するずらし量決定手段と、前記ずらし量に従って、前記第１の画像データと第２の画像データを用いて、前記重複領域の差分画像データを生成する差分画像生成手段と、前記差分画像データを所定の符号化方法で符号化し、前記第１の画像データのうちの前記重複領域以外の領域の画像データを符号化する符号化手段と、を備えることを特徴とする符号化装置が提供される。

本発明によれば、マイクロレンズアレイを有するプレノプティックカメラで得られた画像データに適した符号化を行うことが可能となり、画像データ量を削減することが可能となる。

本発明の第１の実施例に係る符号化装置を適用した撮像装置の全体構成を示す図である。 プレノプティックカメラの基本的な撮像原理を示す図である。 図２の撮像原理に従って撮像された画像のずらし量と重複領域の関係を示す図である。 本発明の第１の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。 本発明の第１の実施例に係る符号化装置の符号化動作における画像データの符号化順序を示す図である。 本発明の第１の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。 本発明の第１の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。 図２の撮像原理に従って撮像された画像の不感画素の例を示す図である。 本発明の第２の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。 本発明の第２の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。 本発明の第２の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。 本発明の第２の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。 本発明の第２の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。 本発明の第２の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。 本発明の第３の実施例に係る符号化装置を適用した撮像装置の全体構成を示す図である。 本発明の第３の実施例に係る符号化装置の符号化動作のフローチャートを示す図である。

以下、本発明の実施の形態を、添付の図面を参照して詳細に説明する。

図１は、本発明の第１の実施例に係る符号化装置を適用した撮像装置の全体構成を示す図である。
図１において、１００は撮像装置である。メインレンズ系１０１は、被写体へ焦点を合わせてその光学像を形成するためのレンズであるフォーカスレンズ１１０や、開口量を調整するための絞り１１１、焦点距離を変化させるズームレンズ等を含んだ撮影光学系で構成される。

マイクロレンズアレイ１０２は、複数のマイクロレンズが行列状に配置されて構成される。メインレンズ系１０１を通過した光は、マイクロレンズアレイ１０２の各マイクロレンズを通過して撮像素子１０３上に結像される。

撮像素子１０３は、ＣＣＤやＣＭＯＳセンサ等により構成され、撮像素子の各画素毎にＲＧＢのカラーフィルタがベイヤ配列（Bayer array）形状で配置されている。撮像素子１０３は、マイクロレンズアレイ１０２を通過して照射される光に対して光電変換を行う。

ＡＤＣ１０５は、撮像素子１０３により光電変換されたアナログデータをデジタルデータへと変換するＡ／Ｄ変換器である 。信号処理部１０６は、ＡＤＣ１０５によりデジタル信号に変換された画像データに対して各種補正処理、ホワイトバランス、ガンマ補正、解像度変換処理等を行って画像データを生成する。記録処理部１０７は、信号処理部１０６において処理された画像データに対して、本発明に係る符号化装置による所定の符号化方法での符号化処理等を行い、処理後のデータを記録部１０８へ出力する。記録部１０８は、入力されたデータを記録媒体に記録する。

メモリ１０４は、ＡＤＣ１０５、信号処理部１０６、記録処理部１０７等により処理された画像データを一時的に保持する。また、制御部１０９により実行されるプログラムも保持する。制御部１０９は、メモリ１０４に格納された所定のプログラムに基づいて、撮像装置１００の各部を制御して、撮影、画像生成及び記録等の一連の動作を実行する。

図２は、プレノプティックカメラの基本的な撮像原理を示す図である。
マイクロレンズアレイ１０２は、図２に示すように、複数のマイクロレンズ２０１ＭＬ（ｘ，ｙ）をマトリクス上に縦Ｙ列、横Ｘ列に配置した構成を有する。マイクロレンズ２０１を通過した光は、図示するように、撮像素子１０３上の所定の画素領域に投影される。

本実施例では、例えば、撮像素子１０３の画素アレイを構成する画素を、Ｎ×Ｎ画素からなる画素ブロック２０３単位で扱う。また、各マイクロレンズブロックで画素ブロックに投影された被写体の光学像を光電変換して得られる画像をマイクロレンズ画像２０２（以降、ＭＬＩ（ｘ，ｙ）と称する）として扱う。また、各マクロレンズ画像の画素データは以下Ｌ（ｘ，ｙ，ｕ，ｖ）と記載して参照する。

図３は、図２の撮像原理に従って撮像されたマイクロレンズ画像間のずらし量と重複領域の相対的な位置関係を示す図である。本実施例において、ずらし量は、−ＮからＮまでの範囲の値を取り、２つのＭＬＩ（第１の画像データ、第２の画像データ）の差分を算出する際に指定する重複領域の大きさを表す。

図３(a)は、面３０１に主レンズ系が合焦されている際の、主レンズ系１０１、マイクロレンズアレイ１０２を通った光が撮像素子１０３Ｌ、１０３Ｒへ結像される例を示す図である。３０２は被写体を示している。

図３(b)は、図３(a)の状態において、被写体３０２が、撮像素子１０３Ｌ、１０３Ｒ上に結像された画像の例を示す図である。３１０Ｌは、撮像素子１０３Ｌ上に結像されるＭＬＩを示し、３１０Ｒは撮像素子１０３Ｒ上に結像されるＭＬＩを示している。

図３(b)に示す画像例では、ＭＬＩ ３１０Ｌの右側４列と、ＭＬＩ ３１０Ｒの左側４列に同一の被写体３０２が結像されている。本実施例においては、各ＭＬＩにおいて、左側に隣接するＭＬＩに同一の被写体が撮像されている範囲を、水平ずらし量（相対位置）を逐次変更しながら、類似度を調査することで求める。類似度の計算方法については、後に説明を行う。結果として、全ての水平ずらし量において算出した類似度において、最大の類似度と判定された水平ずらし量(相対位置の変化量)に対応する領域を重複領域として決定する。図３(b)においては、２つの水平重複領域が最も類似している場合の水平ずらし量（以下、ＺＸ（ｘ，ｙ）と称する）は４と決定され、ＭＬＩ ３１０ＬとＭＬＩ ３１０Ｒの水平重複領域はそれぞれ３１１Ｌ、３１１Ｒに示す領域となる。

本実施例に係るマイクロレンズアレイ１０２の構成では、水平方向だけではなく垂直方向にも複数のマイクロレンズが整列している。このため、垂直方向においても同様に類似度を算出することで、垂直ずらし量（以下、ＺＹ（ｘ，ｙ）と称する）および垂直重複領域を決定できる。

図４は、本発明の第１の実施例に係る符号化装置を適用した撮像装置におけるＭＬＩ（ｘ，ｙ）の符号化動作のフローチャートを示す図である。本実施例では、図５に示すように、左上のＭＬＩ（１，１）から右下のＭＬＩ（Ｘ，Ｙ）へ向かって各ＭＬＩを符号化する例を示すが（画像データ取得）、後述するようにこれに限られない。なお、本符号化動作は、例えば制御部１０９のＣＰＵがメモリ１０４に記憶されたプログラムを実行して、撮像装置の各部、特に記録処理部１０７を制御することで実現される。

始めにステップＳ４００において、符号化対象(第１の画素ブロック)のＭＬＩ（ｘ，ｙ）の上部に位置する参照画素ブロック（第２の画素ブロック）のＭＬＩ（ｘ，ｙ−１）が参照可能であるか調査する。参照可能である場合はステップＳ４０１へ（ずらし量決定）、参照不可能である場合はステップＳ４０３へ進む。本実施例において「参照可能である」とは、該当するＭＬＩが存在している事を表す。すなわち、ＭＬＩ（ｘ，ｙ−１）が参照可能である場合、次の式が成り立つ。
１≦ｘ≦Ｎ
１≦ｙ−１≦Ｎ
また、符号化された画像のエラー耐性を向上させるために、ＭＬＩ（ｘ，ｙ）からＭＬＩ（ｘ，ｙ−１）を参照不可能と指定する事も可能である。参照可能でないと判断された画像は、符号化する際に用いられない画像となる。

ステップＳ４０１では、符号化対象のＭＬＩ（ｘ，ｙ）とその上部に位置する（先に符号化された）ＭＬＩ（ｘ，ｙ−１）とのＺＹ（ｘ，ｙ）を算出した類似度の判定に基づいて決定し、ステップＳ４０３へ進む。ステップＳ４０１の処理は、後に図６を用いて詳細に説明する。他方、ステップＳ４０２では、ＺＹ（ｘ，ｙ）に０を代入し、ステップＳ４０３へ進む。

次にステップＳ４０３において、ＭＬＩ（ｘ，ｙ）の左部に位置するＭＬＩ（ｘ−１，ｙ）が参照可能であるか調査する。参照可能である場合はステップＳ４０４へ、参照不可能である場合はステップＳ４０５へ進む。

次にステップＳ４０４において、符号化対象ＭＬＩ（ｘ，ｙ）とその左部に位置する（先に符号化された）ＭＬＩ（ｘ−１，ｙ）とのＺＸ（ｘ，ｙ）を算出した類似度の判定に基づいて決定して、ステップＳ４０６へ進む。ステップＳ４０４の処理は、後に図７を用いて詳細に説明する。

次にステップＳ４０５において、ＺＸ（ｘ，ｙ）に０を代入し、ステップＳ４０６へ進む。

次にステップＳ４０６において、ステップＳ４０１もしくはステップＳ４０２にて算出されたＺＹ（ｘ，ｙ）の値と０を比較する。ＺＹ（ｘ，ｙ）が０の場合はステップＳ４０８へ、ＺＹ（ｘ，ｙ）が０以外の場合はステップＳ４０７へ進む。

次にステップＳ４０７において、ＭＬＩ（ｘ，ｙ）と、ＭＬＩ（ｘ，ｙ−１）の垂直重複領域間で、対応する画素同士の差分値からなる差分画像データを生成して、ステップＳ４０８へ進む。差分画像の画素値Ｄ（ｘ，ｙ，ｕ，ｖ）は、ステップＳ４０１もしくはステップＳ４０２において算出されたＺＹ（ｘ，ｙ）を用いて、次の式より算出される。
Ｄ（ｘ，ｙ，ｕ，ｖ）＝Ｌ（ｘ，ｙ，ｕ，ｖ）−Ｌ（ｘ，ｙ−１，ｕ，（ｖ−ＺＹ（ｘ，ｙ）） ｍｏｄ Ｎ）
ただしｕ，ｖはＭＬＩ（ｘ，ｙ）の垂直重複領域内に限る。

次にステップＳ４０８において、ステップＳ４０４もしくはステップＳ４０５にて算出されたＺＸ（ｘ，ｙ）と０を比較する。ＺＸ（ｘ，ｙ）が０の場合はステップＳ４１０へ進み、ＺＸ（ｘ，ｙ）が０以外の場合はステップＳ４０９へ進む。

次にステップＳ４０９において、ＭＬＩ（ｘ，ｙ）と、ＭＬＩ（ｘ−１，ｙ）の水平重複領域間で、対応する画素同士の差分値からなる差分画像データを生成して、ステップＳ４１０へ進む。差分画像の画素値Ｄ（ｘ，ｙ，ｕ，ｖ）は、ステップＳ４０４もしくはステップＳ４０５において算出されたＺＸ（ｘ，ｙ）を用いて、次の式より算出される。
Ｄ（ｘ，ｙ，ｕ，ｖ）＝Ｌ（ｘ，ｙ，ｕ，ｖ）−Ｌ（ｘ−１，ｙ，（ｕ−ＺＸ（ｘ，ｙ）） ｍｏｄ Ｎ，ｖ）
ただしｕ，ｖはＭＬＩ（ｘ，ｙ）の水平重複領域内に限る。

次にステップＳ４１０において、差分画像生成処理を実行したかどうか調査を行う。ステップＳ４０７もしくはステップＳ４０９の少なくともどちらかのステップを実行していた場合はステップＳ４１１へ進む。それ以外の場合はステップＳ４１２へ進む。

次にステップＳ４１１において、ステップＳ４０７とステップＳ４０９において作成された、ＭＬＩ（ｘ，ｙ）の重複領域の差分画像の画素値Ｄ（ｘ，ｙ，ｕ，ｖ）に対して、ハフマン符号化等のエントロピー符号化を行い、ステップＳ４１２へ進む。

次にステップＳ４１２において、ＭＬＩ（ｘ，ｙ）の重複領域以外の非重複領域の画像データを実画像として抽出し、抽出した実画像に対してＤＰＣＭ等の符号化を行い、ステップＳ４１３へ進む。

次にステップＳ４１３で、ＺＸ（ｘ，ｙ）、ＺＹ（ｘ，ｙ）、ステップＳ４１１において符号化された重複領域の差分画像データ、ステップＳ４１２において符号化された非重複領域の実画像データを、記録部１０８に対して記録して、ステップＳ４１４へ進む。

次にステップＳ４１４において、ＭＬＩ（ｘ，ｙ）が最後のＭＬＩであるか調査を行う。すなわち、ｘ＝Ｘかつｙ＝Ｙであるか比較を行う。最後のＭＬＩでない場合ステップＳ４１５へ進む。最後のＭＬＩである場合は本フローを終了する。

次にステップＳ４１５において、次に符号化を行うＭＬＩを選択し、ステップＳ４００へ進む。本実施例においては、図５の符号化順序５０１に示すような順番で各ＭＬＩを順に符号化してゆく例を示している。そのため、ｘ＝Ｎの時はｙ＝ｙ＋１、ｘ＝０と代入し、ｘ≠Ｎの場合はｘ＝ｘ＋１と代入を行う。

次に図６を用いて、ＭＬＩ（ｘ，ｙ）（第１の画像データ）に対するＺＹ（ｘ，ｙ）決定動作を詳細に説明する。

まずステップＳ６００において、ＭＬＩ（ｘ，ｙ）の上部に位置するＭＬＩ（ｘ，ｙ−１）（第２の画像データ）のＺＹ（ｘ，ｙ−１）が決定済みかどうか調査を行う。決定済みの場合はステップＳ６０１へ、決定されていない場合はステップＳ６０４へ進む。

次にステップＳ６０１において、ＺＹ（ｘ，ｙ−１）と０の比較を行う。ＺＹ（ｘ，ｙ−１）が０でない場合はステップＳ６０２へ、ＺＹ（ｘ，ｙ−１）が０である場合はステップＳ６０４へ進む。

次にステップＳ６０２において、ずらし量をＺＹ（ｘ，ｙ）が、ＺＹ（ｘ，ｙ−１）−２，ＺＹ（ｘ，ｙ−１），ＺＹ（ｘ，ｙ−１）＋２とした時のそれぞれの垂直平均類似度（以降、ＡＤＹと称する）を算出して、ステップＳ６０３へ進む。ＺＹ（ｘ，ｙ）を２刻みで計算しているのは、ベイヤ配列で同色のカラーフィルタの画素と類似度を算出する必要があるためである。ここでＡＤＹは、次のように求められる。垂直重複領域内のＭＬＩ（ｘ，ｙ）とＭＬＩ（ｘ，ｙ−１）の画素に対して、マッチング処理により垂直重複領域の類似度を求める。このマッチング処理は、差分平方和ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）演算や、差分絶対値和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）演算等による。次いで、求めた類似度を垂直重複領域の画素数で除算した平均としてＡＧＹを算出する。なお、垂直重複領域が存在しない場合、ＡＤＹは＋∞となるとする。

次にステップＳ６０３において、ステップＳ６０２において算出されたＡＤＹ（ＺＹ（ｘ，ｙ−１）−２），ＡＤＹ（ＺＹ（ｘ，ｙ−１）），ＡＤＹ（ＺＹ（ｘ，ｙ−１）＋２）の値を比較する。ＡＤＹ（ＺＹ（ｘ，ｙ−１））の値が最小の場合ステップＳ６０５へ、それ以外の場合はステップＳ６０４へ進む。

次にステップＳ６０４において、全てのＺＹ（ｘ，ｙ）に対してＡＤＹを計算し、最小のＡＤＹを算出してステップＳ６０５へ進む。次にステップＳ６０５において、ステップＳ６０３もしくはステップＳ６０４で算出された極小もしくは最小のＡＤＹが所定の閾値以上であるか調査を行う。極小もしくは最小のＡＤＹが閾値以上である場合はステップＳ６０６へ、それ以外はステップＳ６０７へ進む。

次にステップＳ６０６において、ステップＳ６０３もしくはステップＳ６０４にて算出された極小もしくは最小のＡＤＹとなるＺＹ（ｘ，ｙ）を出力してこの動作を終了する。次にステップＳ６０７において、数値０を出力してこの動作を終了する。

次に図７を用いて、ＭＬＩ（ｘ，ｙ）に対するＺＸ（ｘ，ｙ）の決定動作を詳細に説明する。

まずステップＳ７００において、ＭＬＩ（ｘ，ｙ）の左部に位置するＭＬＩ（ｘ−１，ｙ）のＺＸ（ｘ−１，ｙ）が決定済みかどうか調査を行う。決定済みの場合はステップＳ７０１へ、決定されていない場合はステップＳ７０４へ進む。

次にステップＳ７０１において、ＺＸ（ｘ−１，ｙ）と０の比較を行う。ＺＸ（ｘ−１，ｙ）が０でない場合はステップＳ７０２へ、ＺＸ（ｘ−１，ｙ）が０である場合はステップＳ７０４へ進む。

次にステップＳ７０２において、ずらし量をＺＸ（ｘ，ｙ）が、ＺＸ（ｘ−１，ｙ）−２，ＺＸ（ｘ−１，ｙ），ＺＸ（ｘ−１，ｙ）＋２とした時のそれぞれの水平平均類似度（以降、ＡＤＸと称する）を算出して、ステップＳ７０３へ進む。ＺＸ（ｘ，ｙ）を２刻みで計算しているのは、ベイヤ配列で同色のカラーフィルタの画素と類似度を算出する必要があるためである。ＡＤＸは、水平重複領域内のＭＬＩ（ｘ，ｙ）とＭＬＩ（ｘ−１，ｙ）の画素に対して、ＳＳＤ演算や、ＳＡＤ演算等により求められる水平重複領域の類似度を、水平重複領域の画素数で除算して算出される。なお、水平重複領域が存在しない場合、ＡＤＸは＋∞となるとする。

次にステップＳ７０３において、ステップＳ７０２において算出されたＡＤＸ（ＺＸ（ｘ−１，ｙ）−２），ＡＤＸ（ＺＸ（ｘ−１，ｙ）），ＡＤＸ（ＺＸ（ｘ−１，ｙ）＋２）の値を比較する。ＡＤＸ（ＺＸ（ｘ−１，ｙ））の値が最小の場合ステップＳ７０５へ、それ以外の場合はステップＳ７０４へ進む。

次にステップＳ７０４において、全てのＺＸ（ｘ，ｙ）に対してＡＤＸを計算し、最小のＡＤＸを算出してステップＳ７０５へ進む。次にステップＳ７０５において、ステップＳ７０３もしくはステップＳ７０４で算出された極小もしくは最小のＡＤＸが所定の閾値以上であるか調査を行う。極小もしくは最小のＡＤＸが閾値以上である場合はステップＳ７０６へ、それ以外はステップＳ７０７へ進む。

次にステップＳ７０６において、ステップＳ７０３もしくはステップＳ７０４にて算出された極小もしくは最小のＡＤＸとなるＺＸ（ｘ，ｙ）を出力してこの動作を終了する。次にステップＳ７０７において、数値０を出力してこの動作を終了する。

なお、撮像素子１０３上に結像される各ＭＬＩは、周辺減光が発生するため、隣接するＭＬＩとの差分値が大きくなってしまう場合がある。そのため、ステップＳ４０７，Ｓ４０９において、差分画像を作成する際に、各ＭＬＩ（ｘ，ｙ）の画素値Ｌ（ｘ，ｙ，ｕ，ｖ）に対して一律の補正値Ｇ（ｕ，ｖ）を乗算して補正する。この補正ののちに差分画像を生成することにより、周辺減光の影響を少なくし、符号化の効率を高めることが可能となる。周辺減光に対する補正値を適用する場合は、各撮像画像毎に補正値Ｇを記録部に保存する。

同様に、平均類似度を算出する際においても、周辺減光により隣接するＭＬＩとの差分値が大きくなってしまい、正しく算出されない場合がある。その際はステップＳ６０２、Ｓ６０４、Ｓ７０２、Ｓ７０４において、平均類似度を算出する際に各ＭＬＩ（ｘ，ｙ）の画素値Ｌ（ｘ，ｙ，ｕ，ｖ）に対して一律の補正値Ｇ（ｕ，ｖ）を掛け合わせて補正する。この補正の後に平均類似度を算出することにより、周辺減光の影響を少なくし、符号化の効率を高めることが可能となる。

また、本実施例では、左上のＭＬＩ（１，１）から右下のＭＬＩ（Ｘ，Ｙ）へ向かって順番に符号化を適用する例を示したが、それ以外の順番で符号化することも可能である。ＭＬＩ（ｘ，ｙ）の上部のＭＬＩ（ｘ，ｙ−１）、左部のＭＬＩ（ｘ−１，ｙ）との差分画像を作成するのではなく、算出済みのずらし量を参照できるように、差分画像を作成するＭＬＩを適宜選択して、符号化を実行する。

以上説明したように、本実施形態によれば、隣接するＭＬＩ間で近似している部分を重ね合わせて差分を取得して符号化を行うことにより、記録データを削減することが可能となる。

また、本実施例では、撮像装置内での記録処理において本実施例の符号化装置を実現しているが、記録装置を撮像装置とは別個に設けた構成としてもよい。さらには、本実施例の撮像装置で得られた画像データ（ＭＬＩ）を処理するＰＣなどの情報処理装置において本実施例の符号化装置を実現する構成としてもよい。この場合、情報処理装置のＣＰＵがプログラムを実行することで本実施例の符号化動作を実現する。

第１の実施例における撮像装置においては、マイクロレンズによる光線の収束の影響により、マイクロレンズの透過光が入射しない画素群（以降、不感画素と称する）が存在する。

図８は、ＭＬＩ（ｘ，ｙ）上に発生する不感画素の一例を示す図である。図８において、８０１はマイクロレンズを透過して撮像素子１０３上に結像される像の形状の例を示している。像８０１の形状は、絞り１１１の絞り値と、マイクロレンズの絞り値から一意に決定される。図８において、灰色で示す画素上は、光線が全く照射されない不感画素となる。不感画素においては、その画素値はほとんど０となるため、隣接するＭＬＩの画素との差分を計算した際に大きな値となってしまう。

そこで、本発明の第２の実施例では、不感画素が存在している場合は、その不感画素を適応的に避けて画像を符号化することで符号化効率を高める。以下、図９乃至１４を参照して本実施例を説明する。なお、同図において、図４、６、７と同様の部分は同じ符号を付して示す。また、本実施例に係る符号化装置を適用した撮像装置の全体構成は、第１の実施例と同じであるため省略する。

図９は、本実施例に係る符号化装置を適用した撮像装置におけるＭＬＩ（ｘ，ｙ）の符号化動作のフローチャートを示す図である。本符号化動作も、例えば制御部１０９のＣＰＵがメモリ１０４に記憶されたプログラムを実行して、撮像装置の各部、特に記録処理部１０７を制御することで実現される。

まずステップＳ９００において、撮影時の絞り１１１の絞り値を取得して、ステップＳ９０１へ進む。次にステップＳ９０１において、ステップＳ９００にて取得した絞り１１１の絞り値と、予め取得しておいたマイクロレンズアレイ１０２の絞り値から、不感画素の位置を決定して(不感画素検出)、ステップＳ９０２へ進む。

次にステップＳ９０２において、全てのＭＬＩを符号化し、本動作を終了する。ステップＳ９０２においては、図１０を用いて詳細に説明する。
図１０を用いて上述したステップＳ９０２における全てのＭＬＩの符号化処理を説明する。

ステップＳ４００、Ｓ４０２、Ｓ４０３、Ｓ４０５、Ｓ４０６、Ｓ４０８とステップＳ４１０からステップＳ４１５までは第１の実施例と同一であるため省略する。

ステップＳ１００１において、不感画素の位置を考慮してＺＹ（ｘ，ｙ）を決定して、ステップＳ４０３へ進む。ステップＳ１００１の処理については、図１３を用いて後に説明する。次にステップＳ１００４において、不感画素の位置を考慮してＺＸ（ｘ，ｙ）を算出して、ステップＳ４０６へ進む。ステップＳ１００４の処理については、図１４を用いて後に説明する。

次にステップＳ１００７において、不感画素の位置を考慮した重複領域の差分画像を作成し、ステップＳ４０８へ進む。差分画像の画素Ｄ（ｘ，ｙ，ｕ，ｖ）の値は、不感画素を適応的に避けて参照先画素の画素値を算出する、垂直参照先画素値決定関数ＲＹの演算結果を用いて、次の式から算出する。
Ｄ（ｘ，ｙ，ｕ，ｖ）＝Ｌ（ｘ，ｙ，ｕ，ｖ）−ＲＹ（ｘ，ｙ，ｕ，ｖ）
ただしｕ，ｖはＭＬＩ（ｘ，ｙ）の垂直重複領域内に限る。

垂直参照先画素値決定関数ＲＹの演算動作については、後に図１１を用いて説明する。

次にステップＳ１００９において、不感画素の位置を考慮した重複領域の差分画像を作成し、ステップＳ４１２へ進む。差分画像の画素Ｄ（ｘ，ｙ，ｕ，ｖ）の値は、不感画素を適応的に避けて参照先画素の画素値を算出する、水平参照先画素値決定関数ＲＸの演算結果を用いて、次の式から算出する。
Ｄ（ｘ，ｙ，ｕ，ｖ）＝Ｌ（ｘ，ｙ，ｕ，ｖ）−ＲＸ（ｘ，ｙ，ｕ，ｖ）
ただしｕ，ｖはＭＬＩ（ｘ，ｙ）の水平重複領域内に限る。

水平参照先画素値決定関数ＲＸの演算動作については、後に図１２を用いて説明する。

次に図１１を用いて、垂直参照先画素値決定関数ＲＹの演算動作について詳細に説明する。図１１は、垂直参照先画素値決定関数ＲＹの演算動作のフローチャートを示す図である。

まずステップＳ１１００において、第１の実施例で参照していた初期参照画素（ｘ，ｙ−１，ｕ，（ｖ−ＺＹ（ｘ，ｙ）） ｍｏｄ Ｎ）が不感画素であるか判定する。もし不感画素である場合はステップＳ１１０２へ進み、それ以外の場合はステップＳ１１０１へ進む。

次にステップＳ１１０１において、画素値Ｌ（ｘ，ｙ−１，ｕ，（ｖ−ＺＹ（ｘ，ｙ）） ｍｏｄ Ｎ）を出力して本フローを終了する。

次にステップＳ１１０２において、左部に位置するＭＬＩ（ｘ−１，ｙ）との水平重複領域内に画素（ｘ，ｙ，ｕ，ｖ）が存在し、かつ左部ＭＬＩ（ｘ−１，ｙ）の、画素（ｘ，ｙ，ｕ，ｖ）に対応する画素が不感画素でないか調査を行う。条件を満たしている場合はステップＳ１１０３へ進み、満たしていない場合はステップＳ１１０４へ進む。

次にステップＳ１１０３において、画素値Ｌ（ｘ−１，ｙ，（ｕ−ＺＸ（ｘ，ｙ）） ｍｏｄ Ｎ，ｖ）を出力して本の演算動作を終了する。

次にステップＳ１１０４で、画素（ｘ，ｙ−１，ｕ，（ｖ−ＺＹ（ｘ，ｙ）） ｍｏｄ Ｎ）から同一ＭＬＩ（ｘ，ｙ−１）中、チェビシェフ（Chebyshev）距離で最短の位置に存在する、同一色のカラーフィルタ直下かつ不感画素でない画素の画素値を出力する。その後、本フローを終了する。チェビシェフ距離で最短の位置に存在する不感画素でない画素が複数存在する場合は、よりＭＬＩ（ｘ，ｙ−１）内で中心に近い画素を参照画素とし、その画素値を出力する。

次に図１２を用いて、水平参照先画素値決定関数ＲＸの演算動作について詳細に説明する。図１２は、水平参照先画素値決定関数ＲＸの演算動作のフローチャートを示す図である。

まずステップＳ１２００において、第１の実施例で参照していた初期参照画素（ｘ−１，ｙ，（ｕ−ＺＸ（ｘ，ｙ）） ｍｏｄ Ｎ，ｖ）が不感画素であるか判定する。もし不感画素である場合はステップＳ１２０２へ進み、それ以外の場合はステップＳ１２０１へ進む。

次にステップＳ１２０１において、画素値Ｌ（ｘ−１，ｙ，（ｕ−ＺＸ（ｘ，ｙ）） ｍｏｄ Ｎ，ｖ）を出力して本フローを終了する。

次にステップＳ１２０２において、上部に位置するＭＬＩ（ｘ，ｙ−１）との垂直重複領域内に画素（ｘ，ｙ，ｕ，ｖ）が存在し、かつ上部ＭＬＩ（ｘ，ｙ−１）の、画素（ｘ，ｙ，ｕ，ｖ）に対応する画素が不感画素でないか調査を行う。条件を満たしている場合はステップＳ１２０３へ進み、満たしていない場合はステップＳ１２０４へ進む。

次にステップＳ１２０３において、画素値Ｌ（ｘ，ｙ−１，ｕ，（ｖ−ＺＹ（ｘ，ｙ）） ｍｏｄ Ｎ）を出力して本フローを終了する。

次にステップＳ１２０４において、画素（ｘ−１，ｙ，（ｕ−ＺＸ（ｘ，ｙ）） ｍｏｄ Ｎ，ｖ）から同一ＭＬＩ（ｘ−１，ｙ）の、チェビシェフ距離で最短の位置に存在する、同一色のカラーフィルタ直下かつ不感画素でない画素の画素値を出力する。その後、本の演算動作を終了する。チェビシェフ距離で最短の位置に存在する不感画素でない画素が複数存在する場合は、よりＭＬＩ（ｘ−１，ｙ）内で中心に近い画素を参照画素とし、その画素値を出力する。

次に図１３のフローチャートを用いてＺＹ（ｘ，ｙ）の決定動作を説明する。
ステップＳ６００、ステップＳ６０１は第１の実施例と同一であるため省略する。
次にステップＳ１３０２において、ＺＹ（ｘ，ｙ）が、ＺＹ（ｘ，ｙ−１）−２，ＺＹ（ｘ，ｙ−１），ＺＹ（ｘ，ｙ−１）＋２の時のそれぞれの不感画素を考慮した垂直平均類似度（以降、ＦＤＹと称する）を算出して、ステップＳ１３０３へ進む。

ＺＹ（ｘ，ｙ）を２刻みで計算しているのは、ベイヤ配列で同色のカラーフィルタの画素と類似度を算出する必要があるためである。ＦＤＹは、垂直重複領域内のＭＬＩ（ｘ，ｙ）の画素値と、垂直参照先画素決定関数ＲＹにより演算される画素値に対して、ＳＳＤ演算や、ＳＡＤ演算等により求められる垂直重複領域の類似度を、垂直重複領域の画素数で除算して算出される。なお、垂直重複領域が存在しない場合、ＦＤＹは＋∞となるとする。

次にステップＳ１３０３において、ステップＳ１３０２において算出されたＦＤＹ（ＺＹ（ｘ，ｙ−１）−２），ＦＤＹ（ＺＹ（ｘ，ｙ−１）），ＦＤＹ（ＺＹ（ｘ，ｙ−１）＋２）の値を比較する。ＦＤＹ（ＺＹ（ｘ，ｙ−１））の値が最小の場合ステップＳ１３０５へ、それ以外の場合はステップＳ１３０４へ進む。

次にステップＳ１３０４において、全てのＺＹ（ｘ，ｙ）に対してＦＤＹを計算し、最小のＦＤＹを算出してステップＳ１３０５へ進む。次にステップＳ１３０５において、ステップＳ１３０３もしくはステップＳ１３０４で算出された極小もしくは最小のＦＤＹが所定の閾値以上であるか調査を行う。極小もしくは最小のＦＤＹが閾値以上である場合はステップＳ１３０６へ、それ以外はステップＳ６０７へ進む。

次にステップＳ１３０６において、ステップＳ１３０３もしくはステップＳ１３０４にて算出された極小もしくは最小のＦＤＹとなるＺＹ（ｘ，ｙ）を出力してこの決定動作を終了する。ステップＳ６０７は第１の実施例と同一であるため省略する。

次に図１４のフローチャートを用いてＺＸ（ｘ，ｙ）決定動作を説明する。
ステップＳ７００、ステップＳ７０１は第１の実施例と同一であるため省略する。

次にステップＳ１４０２において、ＺＸ（ｘ，ｙ）が、ＺＸ（ｘ−１，ｙ）−２，ＺＸ（ｘ−１，ｙ），ＺＸ（ｘ−１，ｙ）＋２の時のそれぞれの不感画素を考慮した水非平均類似度（以下、ＦＤＸと称する）を算出して、ステップＳ１４０３へ進む。

ＺＸ（ｘ，ｙ）を２刻みで計算しているのは、ベイヤ配列で同色のカラーフィルタの画素と類似度を算出する必要があるためである。ＦＤＸは、水平重複領域内のＭＬＩ（ｘ，ｙ）の画素値と、水平参照先画素決定関数ＲＸにより算出される画素値に対して、ＳＳＤ演算や、ＳＡＤ演算等により求められる水平重複領域の類似度を、水平重複領域の画素数で除算して算出される。なお、水平重複領域が存在しない場合、ＦＤＸは＋∞となるとする。

次にステップＳ１４０３において、ステップＳ１４０２において算出されたＦＤＸ（ＺＸ（ｘ−１，ｙ）−２），ＦＤＸ（ＺＸ（ｘ−１，ｙ）），ＦＤＸ（ＺＸ（ｘ−１，ｙ）＋２）の値を比較する。ＦＤＸ（ＺＸ（ｘ−１，ｙ））の値が最小の場合ステップＳ１４０５へ、それ以外の場合はステップＳ１４０４へ進む。

次にステップＳ１４０４において、全てのＺＸ（ｘ，ｙ）に対してＦＤＸを計算し、最小のＦＤＸを算出してステップＳ１４０５へ進む。次にステップＳ１４０５において、ステップＳ１４０３もしくはステップＳ１４０４で算出された極小もしくは最小のＦＤＸが所定の閾値以上であるか調査を行う。極小もしくは最小のＦＤＸが閾値以上である場合はステップＳ１４０６へ、それ以外はステップＳ７０７へ進む。

次にステップＳ１４０６において、ステップＳ１４０３もしくはステップＳ１４０４にて算出された極小もしくは最小のＦＤＸとなるをＺＸ（ｘ，ｙ）として出力してこの決定動作を終了する。ステップＳ７０７は、第１の実施例と同一であるため省略する。

ところで、本実施例では、不感画素が存在している場合に、その不感画素を適応的に避けて画像を符号化することで符号化効率を高めたが、マイクロレンズ自体が欠陥レンズである場合にも対応する画素を避けることが同様の構成で可能である。

なお、撮像素子１０３上に結像される各ＭＬＩは、周辺減光が発生するため、隣接するＭＬＩとの差分値が大きくなってしまう場合がある。そのため、ステップＳ４０７，Ｓ４０９において、差分画像を作成する際に、各ＭＬＩ（ｘ，ｙ）の画素値Ｌ（ｘ，ｙ，ｕ，ｖ）に対して一律の補正値Ｇ（ｕ，ｖ）を掛け合わせて補正する。こののちに差分画像を作成することにより、周辺減光の影響を少なくし、符号化の効率を高めることが可能となる。周辺減光に対する補正値を適用する場合は、各撮像画像毎に補正値Ｇを記録部に保存する。

同様に、平均類似度を算出する際においても、周辺減光により隣接するＭＬＩとの差分値が大きくなってしまい、正しく算出されない場合がある。その際はステップＳ６０２、Ｓ６０４、Ｓ７０２、Ｓ７０４において、平均類似度を算出する際に各ＭＬＩ（ｘ，ｙ）の画素値Ｌ（ｘ，ｙ，ｕ，ｖ）に対して一律の補正値Ｇ（ｕ，ｖ）を掛け合わせて補正する。この後に平均類似度を算出することにより、周辺減光の影響を少なくし、符号化の効率を高めることが可能となる。

また、本実施例では、左上のＭＬＩ（１，１）から右下のＭＬＩ（Ｘ，Ｙ）へ向かって順番に符号化を適用する例を示したが、それ以外の順番で符号化することも可能である。ＭＬＩ（ｘ，ｙ）の上部のＭＬＩ（ｘ，ｙ−１）、左部のＭＬＩ（ｘ−１，ｙ）との差分画像を作成するのではなく、算出済みのずらし量を参照できるように、差分画像を作成するＭＬＩを適宜選択して、符号化を実行する。

以上説明したように、本実施形態によれば、不感画素を適応的に除外しながら、隣接するＭＬＩ間で近似している部分を重ね合わせて差分を取得して符号化を行うことにより、記録データを削減することが可能となる。

また、本実施例では、撮像装置内での記録処理において本実施例の符号化装置を実現しているが、記録装置を撮像装置とは別個に設けた構成としてもよい。さらには、絞り値を含む撮影情報を画像データに付加するよう撮像装置を構成すれば、ＰＣなどの情報処理装置において本実施例の符号化装置を実現することも可能となる。この場合、情報処理装置のＣＰＵがプログラムを実行することで本実施例の符号化動作を実現する。

第１、第２の実施例においては、ずらし量算出処理による処理負荷が大きいという問題がある。本発明の第３の実施例では、上記演算負荷を軽減するため、測距センサを用いることで各ＭＬＩの中央に結像される被写体までの距離を算出し、符号化において前記距離に基づいてずらし量を求める構成ついて説明する。

図１５は、本実施例に係る符号化装置を適用した撮像装置の全体構成を示す図である。同図において、図１と同様の部分は同じ符号を付して示す。

本実施例の撮像装置は、第１の実施例における撮像装置の全体構成に加え、新たに測距センサ１５１２を有する。測距センサ１５１２は、制御部１０９からの制御により、マイクロレンズアレイ１０２から、各ＭＬＩの中心に結像される被写体までの距離を測定し、測定結果をメモリ１０４へ記録する(被写体距離測定)。

図１６は、本実施例に係る符号化装置を適用した撮像装置におけるＭＬＩ（ｘ，ｙ）の符号化動作のフローチャートを示す図である。同図において、図４と同様の部分は同じ符号を付して示す。なお、本符号化動作も、例えば制御部１０９のＣＰＵがメモリ１０４に記憶されたプログラムを実行して、撮像装置の各部、特に記録処理部１０７を制御することで実現される。

まず、ステップＳ１６０１において、フォーカスレンズ１１０の撮影時の合焦距離の値を取得して、ステップＳ１６０２へ進む。次にステップＳ１６０２において、ＭＬＩ（ｘ，ｙ）の中央に結像される被写体までの距離を、測距センサ１５１２を用いて取得し、ステップＳ１６０３へ進む。

次にステップＳ１６０３において、ステップＳ１６０１において取得したフォーカスレンズ１１０の撮影時の合焦距離と、ステップＳ１６０３において取得した符号化対象のＭＬＩ（ｘ，ｙ）の中央に結像される被写体までの距離から、デフォーカス量を算出する。そして、算出したデフォーカス量に対応するＺＹ（ｘ，ｙ）とＺＸ（ｘ，ｙ）を算出してステップＳ１０６へ進む。ステップＳ４０６以降の処理は、第１の実施例と同一であるため、ここでの説明は省略する。

なお、本実施例では不感画素を考慮せずに符号化を行う例について説明したが、第２の実施例と同様に、不感画素を適応的に考慮して符号化を行うことも可能である。

また本実施例では、各ＭＬＩ毎に中央に結像される被写体までの距離を測定できる測距センサを用いたが、複数のＭＬＩ毎に、複数ＭＬＩの中心に結像される被写体までの距離を測定できる測距センサを用いても良い。その場合は、測距センサの値に対して補間処理を行うことで、疑似的に全てのＭＬＩ毎に中央に結像される被写体までの距離を算出することで、本実施例を適用することが可能となる。

また、本実施例では、撮像装置内での記録処理において本実施例の符号化装置を実現しているが、記録装置を撮像装置とは別個に設けた構成としてもよい。さらには、測距情報おおび合焦距離を含む撮影光学系の撮影条件を画像データに付加するよう撮像装置を構成すれば、ＰＣなどの情報処理装置において本実施例の符号化装置を実現することも可能となる。この場合、情報処理装置のＣＰＵがプログラムを実行することで本実施例の符号化動作を実現する。

以上説明した本実施例によれば、隣接するＭＬＩ間で近似している部分を測距センサの値から一意に算出し、隣接するＭＬＩ間で近似している部分を重ね合わせて差分を取得して符号化を行うことにより、高速処理で画像データを削減することが可能となる。

上述した実施形態において図４、６、７、９乃至１４および１６に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して制御部１２１８のＣＰＵが実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図４、６、７、９乃至１４および１６に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。

また、上記各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

Claims (19)

1. 撮影光学系で形成された被写体の光学像を、マイクロレンズアレイの各マイクロレンズにより対応する画素ブロックに投影して光電変換により得られた画像の画像データを取得する画像データ取得手段と、
   前記各マイクロレンズに対応する画素ブロックのうちの符号化対象の第１の画素ブロックから得られた第１の画像データと、前記各マイクロレンズに対応する画素ブロックのうちの先に符号化された第２の画素ブロックから得られた第２の画像データに対して、前記第１の画素ブロックと第２の画素ブロックの画像の重複領域の相対的な位置関係を表すずらし量を決定するずらし量決定手段と、
   前記ずらし量に従って、前記第１の画像データと第２の画像データを用いて、前記重複領域の差分画像データを生成する差分画像生成手段と、
   前記差分画像データを所定の符号化方法で符号化し、前記第１の画像データのうちの前記重複領域以外の領域の画像データを符号化する符号化手段と、
   を備えることを特徴とする符号化装置。
2. 前記ずらし量決定手段は、前記第１の画素ブロックの画像に対する前記第２の画素ブロックの画像の相対位置を変化させながら、前記第１の画像データおよび第２の画像データを用いて画像の類似度を判定し、最大の類似度に対応する前記相対位置の変化量を前記ずらし量として決定し、前記ずらし量に基づいて前記重複領域を決定することを特徴とする請求項１に記載の符号化装置。
3. 前記ずらし量決定手段は、前記相対位置の変化量に従って、前記第１の画像データおよび第２の画像データを用いて差分絶対値和の平均のマッチング処理を行うことにより、前記類似度を算出することを特徴とする請求項２に記載の符号化装置。
4. 前記第２の画素ブロックは、前記第１の画素ブロックに対し、垂直方向および水平方向の少なくとも一つの方向に位置する画素ブロックであり、前記ずらし量決定手段は、前記第１の画素ブロックに対する前記第２の画素ブロックの位置する方向に応じて前記ずらし量および重複領域を決定し、前記差分画像生成手段は、前記第２の画素ブロックの位置する方向の差分画像データを生成することを特徴とする請求項１乃至３のいずれか一項に記載の符号化装置。
5. 前記マイクロレンズの透過光が照射されない不感画素を検出する不感画素検出手段を備え、前記不感画素検出手段が前記第２の画素ブロックに前記不感画素を検出した時は、前記ずらし量決定手段および前記差分画像生成手段は、前記検出された不感画素に対して、前記不感画素とは異なる画素を適応的に選択し、前記選択された画素の画像データを用いることを特徴とする請求項１乃至４のいずれか一項に記載の符号化装置。
6. 前記不感画素検出手段は、前記撮影光学系の絞り値および前記マイクロレンズの絞り値の情報を取得し、前記情報に基づいて前記不感画素を検出し、前記不感画素検出手段が前記第２の画素ブロックに前記不感画素を検出した時は、前記ずらし量決定手段および前記差分画像生成手段は、前記検出された不感画素に対して、前記第２の画素ブロックとは異なる他の先に符号化された画素ブロックの重複領域に含まれ、前記不感画素の位置に対応する位置の画素の画像データを用いることを特徴とする請求項５に記載の符号化装置。
7. 前記ずらし量決定手段は、前記被写体の撮影情報を取得し、前記撮影情報に基づいて前記ずらし量を決定し、前記ずらし量に基づいて前記重複領域を決定することを特徴とする請求項１、４、５および６のいずれか一項に記載の符号化装置。
8. 前記撮影情報は、前記撮影光学系の合焦距離と前記マイクロレンズで結像された被写体の距離であることを特徴とする請求項７に記載の符号化装置。
9. 前記第１の画像データおよび前記第２の画像データに対して、前記マイクロレンズアレイによる周辺減光の補正を行う補正手段をさらに備え、前記ずらし量決定手段は前記補正された画像データを用いて前記ずらし量を決定し、前記差分画像生成手段は、前記補正された画像データを用いて前記差分画像データを生成することを特徴とする請求項１乃至８のいずれか一項に記載の符号化装置。
10. 前記補正手段は、周辺減光の補正値のデータを有し、前記補正値のデータを前記画像データに乗算することで補正を行うことを特徴とする請求項９に記載の符号化装置。
11. 前記画像データ取得手段が取得する画像データには、前記撮影光学系の合焦距離および前記マイクロレンズで結像された被写体の距離の少なくとも一つを含んでいることを特徴とする請求項１に記載の符号化装置。
12. 撮影光学系で形成された被写体の光学像を投影するマイクロレンズアレイの各マイクロレンズに対応する画素ブロックを有し、各マイクロレンズにより投影された画像を前記対応する画素ブロックで光電変換して画像データを生成する撮像手段と、
    請求項１乃至１０のいずれか一項に記載の符号化装置と、
    前記符号化装置で符号化された画像データを記録媒体に記録する記録手段と、
    を備えることを特徴とする撮像装置。
13. 前記記録手段は、符号化された前記差分画像データ、ずらし量、および前記重複領域以外の領域の符号化された画像データを記録することを特徴とする請求項１２に記載の撮像装置。
14. 各マイクロレンズによって結像される被写体までの距離を測定する被写体距離測定手段をさらに備え、前記ずらし量決定手段は、前記撮影光学系の合焦距離及び前記マイクロレンズで結像された被写体の距離に基づいて前記ずらし量を決定することを特徴とする請求項１２又は１３に記載の撮像装置。
15. 撮影光学系で形成された被写体の光学像を、マイクロレンズアレイの各マイクロレンズにより対応する画素ブロックに投影して光電変換により得られた画像の画像データを符号化する符号化方法において、
    前記マイクロレンズアレイのすべてのマイクロレンズについて前記画像データを取得する画像データ取得ステップと、
    前記各マイクロレンズに対応する画素ブロックのうちの符号化対象の第１の画素ブロックから得られた第１の画像データと、前記各マイクロレンズに対応する画素ブロックのうちの先に符号化された第２の画素ブロックから得られた第２の画像データに対して、前記第１の画素ブロックと第２の画素ブロックの画像の重複領域の相対的な位置関係を表すずらし量を決定するずらし量決定ステップと、
    前記ずらし量に従って、前記第１の画像データと第２の画像データを用いて、前記重複領域の差分画像データを生成する差分画像生成ステップと、
    前記差分画像データを所定の符号化方法で符号化し、前記第１の画像データのうちの前記重複領域以外の領域の画像データを符号化する符号化ステップと、
    を備えることを特徴とする符号化方法。
16. 撮影光学系で形成された被写体の光学像を、マイクロレンズアレイの各マイクロレンズにより対応する画素ブロックに投影して光電変換により得られた画像の画像データを符号化する符号化装置を制御するためのプログラムであり、
    コンピュータを、
    前記マイクロレンズアレイのすべてのマイクロレンズについて前記画像データを取得する画像データ取得手段、
    前記各マイクロレンズに対応する画素ブロックのうちの符号化対象の第１の画素ブロックから得られた第１の画像データと、前記各マイクロレンズに対応する画素ブロックのうちの先に符号化された第２の画素ブロックから得られた第２の画像データに対して、前記第１の画素ブロックと第２の画素ブロックの画像の重複領域の相対的な位置関係を表すずらし量を決定するずらし量決定手段、
    前記ずらし量に従って、前記第１の画像データと第２の画像データを用いて、前記重複領域の差分画像データを生成する差分画像生成手段と、
    前記差分画像データを所定の符号化方法で符号化し、前記第１の画像データのうちの前記重複領域以外の領域の画像データを符号化する符号化手段、
    として機能させるプログラム。
17. 請求項１６のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
18. コンピュータを、請求項１乃至１１のいずれか一項に記載された符号化装置の各手段として機能させるプログラム。
19. コンピュータを、請求項１乃至１１のいずれか一項に記載された符号化装置の各手段として機能させるプログラムを格納した記憶媒体。

Images