JP5906139B2 - 補正装置、そのプログラム及び立体撮像システム - Google Patents

Description

本発明は、インテグラルフォトグラフィー方式において、撮像画像の色ずれを補正する補正装置、そのプログラム及び立体撮像システムに関する。

撮像装置（カメラ）における撮像用レンズの色収差による歪みを含めた幾何学歪みを補正する技術として、白黒パターンが規則正しく並んだ測定用パターン(例えば、チェスボードパターン)や、規則正しい間隔で表示された格子状の測定用パターンを用いる手法が提案されている（非特許文献１）。

この非特許文献１に記載の技術は、白黒パターンの頂点が隣接する点又は格子の交点を測定ポイントとし、撮像用レンズの中心から端までの範囲をＲＧＢの各撮像素子によって撮像し、各測定ポイントが直線状に配置されるように撮像装置の幾何学歪みを補正するものである。

また、複数の撮像装置を用いる場合において、被写体の中から既知の３次元自然特徴点を抽出し、それらが一致するようにキャリブレーションを行う手法が提案されている（非特許文献２）。
要するに、非特許文献１，２に記載の技術では、既知のパターンを用いて、色収差による歪みを含む幾何学歪みの補正を行なっている。

ここで、撮像装置における色収差は、ズームやアイリスなどのレンズパラメータに応じて変化する。このため、レンズパラメータに応じて変化する倍率色収差の補正パラメータを事前に求め、信号処理による色収差補正を行う技術が提案されている（非特許文献３）。

近年、立体表示装置及び立体撮像装置の研究開発が進み、特殊なメガネを用いなくても観察者に立体像を視認させることが可能なインテグラルフォトグラフィー（以下、「ＩＰ」）が注目されている。このＩＰでは、撮像部において、凹レンズ又は凸レンズを並べたレンズアレイを用いて、被写体からの光線を（撮像素子）で記録する。また、ＩＰでは、表示部において、レンズアレイを用いて、撮像部で記録した被写体からの光線を再生する。

ここで、光学系における色収差歪み及び幾何学歪みは、位置ずれの要因の一つであることから、色収差及び幾何学歪みによる再生立体像の劣化は大きくなる。そこで、ＩＰにおいても、立体撮像装置の位置ずれを補正する様々な技術が提案されている（特許文献１）。

特許文献１に記載の発明は、撮像系レンズアレイと表示系レンズアレイとの間に位置誤差が生じている場合、撮像系レンズアレイ及び表示系レンズアレイにおける各要素レンズの位置を検出して、立体撮像装置で撮像された撮像画像の各要素画像の位置を、表示系の複眼レンズの要素レンズの位置に適合させるように補正するものである。

特開２００４−３３６２３９号公報

「A flexible new technique for camera calibration」，http://opencv.jp/sample/camera_calibration.html,IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11),1330-1334,2000. 「Multiframe Image Point Matching and 3-D Surface Reconstruction.」，R.Y.Tsai.,IEEE Trans. on PAMI,5(2),159〜173,1983. 「信号処理による色収差補正における補正データ生成に関する検討」，山下、船津、三谷、野尻、中須，２０１０年電子情報通信学会総合大会，Ｄ−１１−１１０

前記した従来技術には、以下で説明するような問題がある。
非特許文献１，２に記載の技術は、ＩＰに適用した場合、既知の測定用パターンをレンズアレイの被写体側に配置する必要があるので、撮像面上ではレンズアレイ越しに既知の測定用パターンを撮像することになる。この場合、非特許文献１，２に記載の技術では、立体撮像装置での取得画像が歪んで既知の測定用パターンと異なる画像になるため、ＩＰにおいて、色ずれを補正することが困難である。
なお、色ずれとは、３原色の間で表示位置がずれることであり、色収差による歪みと同じ意味である。

また、非特許文献３に記載された技術は、レンズパラメータごとに補正パラメータを取得する。そして、非特許文献３に記載された技術は、補正パラメータのないレンズパラメータの場合、そのレンズパラメータに対応する補正パラメータを、既に取得した前後の補正パラメータから補間する。しかし、ＩＰでは、レンズアレイ及び集光レンズがカメラと一体化（固着）していないため、レンズアレイ、集光レンズ及びカメラの相対位置は、不規則に変化する。このため、非特許文献３に記載された技術は、ＩＰに適した手法と言えるものではない。

また、特許文献１に記載の発明では、撮像及び表示の光学系が一致していると仮定し、撮像系レンズアレイの製造上の位置と表示系レンズアレイの製造上の位置との誤差を補正することを目的としており、色ずれが一切考慮されていない。

本発明は、前記した問題を解決し、ＩＰにおいて、色ずれが原因となる撮像画像の画質劣化を抑制できる補正装置、そのプログラム及び立体撮像システムを提供することを課題とする。

前記した課題に鑑みて、本願第１発明に係る補正装置は、要素レンズが２次元状に配置されたレンズアレイと、撮像装置とを少なくとも含むインテグラルフォトグラフィー方式の立体撮像システムで撮像された撮像画像の色ずれを補正する補正装置であって、補正手段と、信号変換手段と、エンハンス量算出手段と、エンハンス処理手段と、信号逆変換手段と、を備えることを特徴とする。

かかる構成によれば、補正装置は、補正手段によって、撮像装置から入力された撮像画像の色収差による歪みを補正する。例えば、補正手段は、要素レンズの位置を３原色の画像間で一致させる補正データを算出し、算出した補正データに基づいて、３原色の撮像画像の色収差による歪みを補正する。しかし、この補正手段で補正された撮像画像には、色ずれが残っていることが多い。

そこで、補正装置は、信号変換手段によって、予め設定された変換式に基づいて、補正手段で補正された撮像画像のＲＧＢ信号を輝度信号及び色差信号に変換する。また、撮像画像は、エンハンス量算出手段によって、信号変換手段で変換された撮像画像の輝度信号において、予め設定されたエンハンス周波数領域の成分に所定のエンハンス係数を乗じることで、輝度信号の加算量であるエンハンス量を算出する。そして、補正装置は、エンハンス処理手段によって、エンハンス量算出手段で算出されたエンハンス量と撮像画像の輝度信号とを加算するエンハンス処理を行う。このように、エンハンス処理手段は、色ずれが原因で低下した輝度信号の高域周波数（エンハンス周波数）領域の成分を補う。

また、補正装置は、信号逆変換手段によって、予め設定された逆変換式に基づいて、信号変換手段で変換された撮像画像の色差信号及び前記エンハンス処理された撮像画像の輝度信号をＲＧＢ信号に逆変換することで、色ずれが補正された撮像画像を生成する。

また、本願第２発明に係る補正装置は、撮像画像の画素毎の奥行値が入力される奥行値入力手段、をさらに備え、エンハンス量算出手段が、エンハンス周波数領域の成分に奥行値とエンハンス係数とを乗じることで、撮像画像の画素毎にエンハンス量を算出することを特徴とする。

ここで、ＩＰ方式では、被写体の再生像がレンズアレイ付近に位置する場合よりもレンズアレイから離れるほど、色ずれが顕著になる。そこで、補正装置は、被写体の再生像がレンズアレイから最も離れた画素で最大となるように、エンハンス量を算出する。

また、本願第３発明に係る補正装置は、エンハンス量算出手段が、エンハンス周波数領域の成分に対して線形又は非線形となるようなエンハンス量を算出する。
かかる構成によれば、補正装置は、撮像画像に含まれる低輝度のノイズ成分に対するエンハンス処理を抑制することができる。

また、本願第４発明に係る補正装置は、エンハンス処理手段が、撮像画像の輝度信号において、各画素の輝度値が予め設定された閾値以上となるか否かを判定し、輝度値が前記閾値以上となる画素にエンハンス処理を行うことを特徴とする。
かかる構成によれば、補正装置は、撮像画像に含まれる低輝度のノイズ成分に対するエンハンス処理を抑制することができる。

また、本願第５発明に係る補正装置は、エンハンス量算出手段が、エンハンス周波数領域として、ナイキスト領域が予め設定されたことを特徴とする。
かかる構成によれば、補正装置は、色ずれが原因で周波数成分が低下し易く、色ずれが視認されやすいナイキスト領域に対し、エンハンス処理を行うことができる。

また、本願第６発明に係る補正装置は、レンズアレイが撮像された撮像画像の輝度信号から、レンズアレイの輪郭を示すマスク画像を生成するマスク画像生成手段、をさらに備え、エンハンス処理手段が、撮像画像の輝度信号において、マスク画像が示すレンズアレイの輪郭以外の画素に、エンハンス処理を行うことを特徴とする。
かかる構成によれば、撮像画像には、レンズアレイの輪郭が原因となって発生した高周波成分に対し、エンハンス処理を適用することがない。

また、前記した課題に鑑みて、本願第７発明に係る立体撮像システムは、撮像画像の色ずれを補正するインテグラルフォトグラフィー方式の立体撮像システムであって、レンズアレイと、光学部材と、撮像装置と、本願第１発明に係る補正装置と、を備えることを特徴とする。

かかる構成によれば、立体撮像システムは、レンズアレイによって、被写体からの光が２次元状に配置された要素レンズに入射する。また、立体撮像システムの光学部材は、撮像装置によって、レンズアレイに対向し、かつ、要素レンズに入射した前記被写体からの光の光路上に配置される。そして、立体撮像システムは、撮像装置によって、光学部材を介して被写体を撮像することで、撮像画像を生成する。さらに、立体撮像システムは、補正装置によって、色ずれが原因で低下した輝度信号の高域周波数（エンハンス周波数）領域の成分を補って、撮像画像の色ずれを補正する。

なお、本願第１，２発明に係る補正装置は、ＣＰＵ、メモリ、ハードディスク等のハードウェア資源を備える一般的なコンピュータを、前記した各手段として協調動作させる補正プログラムによって実現することもできる。この補正プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本発明によれば、以下のような優れた効果を奏する。
本願第１，７発明によれば、色ずれが原因で低下した輝度信号の高域周波数（エンハンス周波数）領域の成分を補うため、色ずれが原因となる撮像画像の画質劣化を抑制することができる。

本願第２発明によれば、被写体の再生像がレンズアレイから最も離れた画素で最大となるようにエンハンス量を算出するため、色ずれ補正の効果が最大限得られ、撮像画像の画質劣化を最小限に抑えることができる。
本願第３，４発明によれば、撮像画像に含まれる低輝度のノイズ成分に対するエンハンス処理を抑制するため、撮像画像の画質劣化を最小限に抑えることができる。

本願第５発明によれば、色ずれが視認されやすいナイキスト領域に対して、エンハンス処理を行うため、撮像画像の画質劣化を最小限に抑えることができる。
本願第６発明によれば、レンズアレイの輪郭が原因となって発生した高周波成分に対し、エンハンス処理を適用することがないため、視域の境界付近で不自然な撮像画像となることを防止し、撮像画像の画質劣化を最小限に抑えることができる。

本発明の第１実施形態に係る立体撮像システムの全体構成図である。 （ａ）は、本発明の第１実施形態における補正用画像の一例を示す図であり、（ｂ）は、色収差による歪みを説明する図である。 図１の補正装置の構成を示すブロック図である。 本発明の第１実施形態において、色ずれによる輝度信号の周波数特性の変化を示すグラフである。 本発明の第１実施形態において、色ずれによる輝度信号の波形の変化を示すグラフである。 図１の補正装置の動作を示すフローチャートである。 本発明の変形例１において、（ａ）は再生像の観察結果を示す図であり、（ｂ）は再生像の位置に応じた限界解像度特性を示したグラフである。 本発明の第２実施形態において、要素レンズによる色ずれ量の拡大を説明する説明図である。 本発明の第２実施形態に係る立体撮像システムの全体構成図である。 図９の補正装置の構成を示すブロック図である。 本発明の第３実施形態に係る補正装置の構成を示すブロック図である。 （ａ）及び（ｂ）は、図１１のマスク画像生成手段が生成したマスク画像を説明する説明図である。 本発明の第４実施形態において、図３の補正手段の構成を示すブロック図である。 図１３の補正用レンズ位置検出手段の構成を示す第１のブロック図である。 図１３の補正用レンズ位置検出手段の構成を示す第２のブロック図である。 図１３の補正用レンズ位置検出手段の構成を示す第３のブロック図である。 図１３の補正用レンズ位置検出手段の構成を示す第４のブロック図である。 図１３の補正データ算出手段を説明する説明図である。 図１３の撮像用レンズ位置検出手段の構成を示す第１のブロック図である。 図１３の撮像用レンズ位置検出手段の構成を示す第２のブロック図である。 図１３の歪み補正手段における２次元画像処理を説明する説明図である。 図１３の歪み補正手段における３次元画像処理を説明する説明図である。 図１３の補正手段が補正データを算出する動作を示すフローチャートである。 図１３の補正手段が撮像画像を補正する動作を示すフローチャートである。 本発明の参考例１に係る補正装置の構成を示すブロック図である。

以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

（第１実施形態）
［立体撮像システムの概略］
図１を参照して、本発明の第１実施形態に係る立体撮像システム１００の概略について、説明する。
立体撮像システム１００は、補正装置５０によって、補正用白色被写体１０を撮像して、色収差による歪みを補正する補正データを算出する。また、立体撮像システム１００は、補正装置５０によって、算出した補正データを用いて、撮像用被写体（被写体）９０が撮像された撮像画像の色収差による歪みを補正する。さらに、立体撮像システム１００は、補正装置５０によって、補正データで補正しきれなかった撮像画像の色ずれも補正する。

この立体撮像システム１００は、例えば、撮影スタジオ内に構築されていることとする。また、補正用白色被写体１０、屈折率分布レンズアレイ２０及び集光レンズ３０は、例えば、図示を省略した三脚に置載されており、撮影スタジオ内の任意位置に配置可能とする。

まず、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側端面がカメラ４０のフォーカス位置になるように、屈折率分布レンズアレイ２０を手動で配置する。そして、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側に集光レンズ３０を手動で配置し、屈折率分布レンズアレイ２０の被写体側に補正用白色被写体１０を手動で配置する。その後、カメラ４０は、補正用白色被写体１０を撮像する。

具体的には、カメラ４０は、赤色、緑色及び青色という３原色の補正用画像を撮像する。例えば、補正用画像は、それぞれ、図２（ａ）に示すように、屈折率分布レンズアレイ２０の屈折率分布レンズ２１の配列を示すことになる。この場合、補正用画像は、それぞれ、屈折率分布レンズアレイ２０、集光レンズ３０及び撮像用レンズ４１での色収差による歪みの影響を受けることになる。このため、図２（ｂ）に示すように、同一の屈折率分布レンズ２１であっても、緑色での屈折率分布レンズ２１_Ｇと、青色での屈折率分布レンズ２１_Ｂと、赤色での屈折率分布レンズ２１_Ｂとの間には、中心位置のずれが生じる。そこで、補正装置５０は、屈折率分布レンズ２１の位置ずれを検出して、色収差による歪みを補正するための補正データを算出する。

補正データを算出した後、カメラ４０は、補正用白色被写体１０と撮像用被写体９０とを入れ替えて、３原色の撮像画像を撮像する。そして、補正装置５０は、算出した補正データを用いて、カメラ４０で撮像された撮像画像の色収差による歪みを補正する。
以後、撮像用被写体９０を単に「被写体９０」と呼ぶ。

ここで、前記した補正データを用いることで、集光レンズ３０及び撮像用レンズ４１に起因する色収差による歪みを補正することができる。しかし、屈折率分布レンズ２１の検出位置に応じて、３原色の画像を位置合わせしても、特徴点の検出精度が完全ではないため、色収差の影響が残る。また、前記した補正データでは、カメラ４０が有する３原色の撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂにおいて、フォーカスが異なっているために生じる色ずれも補正することができない。さらに、前記した補正データでは、屈折率分布レンズ２１に起因する色収差の影響が残ってしまう。このため、補正装置５０は、後記するエンハンス処理によって、補正データで補正しきれなかった撮像画像の色ずれを補正する。

［立体撮像システムの構成］
図１に戻り、立体撮像システム１００の構成について説明する。
立体撮像システム１００は、補正用白色被写体１０と、屈折率分布レンズアレイ（レンズアレイ）２０と、集光レンズ（光学部材）３０と、カメラ（撮像装置）４０と、補正装置５０と、データ転送線６０とを備える。

補正用白色被写体１０は、屈折率分布レンズ２１に白色光を入射させるものである。このとき、補正用白色被写体１０は、全ての屈折率分布レンズ２１に白色光を入射させることが好ましい。

具体的には、補正用白色被写体１０は、例えば、屈折率分布レンズアレイ２０をカメラ側端面から撮像したとき、各屈折率分布レンズ２１のカメラ側端面が白くなるサイズの白色画像表示装置又は白色光源である。ここで、白色画像表示装置は、その表示面全体に白画像を表示する液晶モニタである。また、白色光源は、白色光を発光する照明（ライト）としてもよい。

また、補正用白色被写体１０は、後記する補正装置５０における屈折率分布レンズ２１の位置検出手法に応じて、拡散白色光又は平行白色光の何れかを出射する。ここで、拡散白色光を出射する場合、補正用白色被写体１０は、白色光を十分に拡散させるために拡散フィルタ（不図示）を装着することが好ましい。
なお、要素レンズの位置検出手法と、拡散白色光又は平行白色光との関係については、第４実施形態で説明する。

屈折率分布（ＧＲＩＮ：GRaded INdex）レンズアレイ２０は、要素レンズとしての屈折率分布レンズ２１を２次元状に配置したものである。
具体的には、屈折率分布レンズアレイ２０は、光軸に垂直な方向に屈折率分布を有する屈折率分布レンズ２１が、縦横に整列したマトリクス状に配置される。また、屈折率分布レンズアレイ２０は、屈折率分布レンズ２１が、互いに半分ずらした俵ずみ状に配置されてもよい（デルタ配列）。このように、屈折率分布レンズアレイ２０を用いることで、立体撮像システム１００は、凸レンズを用いたレンズアレイで発生する奥行き情報の反転を防止することができる。

ここで、屈折率分布レンズ２１は、光軸方向の長さをＺとし、蛇行周期長をＰとしたとき、下記の式（１）を満たすことで、屈折率分布レンズ２１の外側に主点を持つことになる。
Ｐ／２＜Ｚ＜Ｐ ・・・式（１）

さらに、屈折率分布レンズ２１は、光軸方向の長さＺが、下記の式（２）を満たすことが好ましい。この場合、屈折率分布レンズ２１は、被写体側の無限遠に焦点を持つとともにカメラ側の端面に結像する。このため、屈折率分布レンズアレイ２０は、隣接する他の屈折率分布レンズ２１との間で、クロストークを防止することができる。
Ｚ＝３Ｐ／４ ・・・式（２）

なお、屈折率分布レンズ２１は、光軸方向の長さＺが、前記した式（１）を満たす代わりに、式（３）を満たしてもよい。だたし、式（３）では、ｎは２以上の整数である。
Ｐ／２＋（ｎ−１）Ｐ＜Ｚ＜ｎＰ ・・・式（３）

また、屈折率分布レンズ２１は、光軸方向の長さＺが、前記した式（２）を満たす代わりに、式（４）を満たしてもよい。だたし、式（４）では、ｎは２以上の整数である。
Ｚ＝３Ｐ／４＋（ｎ−１）Ｐ ・・・式（４）

なお、屈折率分布レンズアレイ２０は、補正用データの算出時、全ての屈折率分布レンズ２１に、補正用白色被写体１０からの白色光が入射する。また、屈折率分布レンズアレイ２０は、被写体９０の撮像時、被写体９０からの光が入射する。

集光レンズ３０は、屈折率分布レンズアレイ２０に対向し、かつ、屈折率分布レンズ２１に入射した補正用白色被写体１０からの白色光の光路上に配置された凸レンズ等の光学部材である。ここで、集光レンズ３０は、補正用データの算出時、補正用白色被写体１０からの白色光をカメラ４０に集光する。また、集光レンズ３０は、被写体９０の撮像時、被写体９０からの光をカメラ４０に集光する。

カメラ４０は、例えば、撮像用レンズ４１と、赤色の画像を撮像する撮像素子４３_Ｒと、緑色の画像を撮像する撮像素子４３_Ｇと、青色の画像を撮像する撮像素子４３_Ｂとを有する３板式のカメラである。３原色の撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂとしては、例えば、ＣＣＤ（Charged Coupled Device）、又は、ＣＭＯＳ（相補型金属酸化膜半導体）を用いることができる。

このカメラ４０は、集光レンズ３０を介して補正用白色被写体１０を撮像することで、屈折率分布レンズ２１の配列を示す３原色の補正用画像を生成する（図２（ａ）参照）。また、カメラ４０は、集光レンズ３０を介して被写体９０を撮像することで、３原色の撮像画像を生成する。さらに、カメラ４０は、データ転送線６０を介して、この補正用画像及び撮像画像を補正装置５０に入力する。

ここで、カメラ４０は、プリズム、ハーフミラーなどの分光手段（不図示）を備えてもよい。この分光手段は、撮像用レンズ４１からの出射光を分光して、３原色の撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂに入射させる。この場合、カメラ４０は、３原色の撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂをずらして配置することで、より高精細な画像を撮像することができる。

［補正装置の構成］
図３を参照して、補正装置５０の構成について説明する（適宜図１参照）。
図３に示すように、補正装置５０は、補正手段５１と、信号変換手段５２と、パラメータ設定手段５３と、エンハンス処理手段５４と、信号逆変換手段５５とを備える。

補正手段５１は、カメラ４０から入力された補正用画像を用いて、補正データを算出すると共に、算出した補正データを用いて、カメラ４０から入力された撮像画像の色収差による歪みを補正するものである。そして、補正手段５１は、補正した撮像画像を信号変換手段５２に出力する。
なお、補正手段５１は、第４実施形態で詳細に説明する。

信号変換手段５２は、予め設定された変換式に基づいて、補正手段５１から入力された撮像画像のＲＧＢ信号を輝度信号Ｙ及び色差信号Ｐｂ，Ｐｒに変換するものである。本実施形態では、信号変換手段５２は、変換式として、下記の式（５）のカラーマトリックスを用いる。この式（５）は、ＩＴＵ（International Telecommunication Union）−Ｒ ＢＴ．７０９に規定されている。

そして、信号変換手段５２は、撮像画像の輝度信号Ｙをエンハンス処理手段５４に出力する。さらに、信号変換手段５２は、撮像画像の色差信号Ｐｂ，Ｐｒを信号逆変換手段５５に出力する。

パラメータ設定手段５３は、エンハンス処理手段５４でのエンハンス処理に必要な各種パラメータを設定するものである。そして、パラメータ設定手段５３は、設定されたパラメータをエンハンス処理手段５４に出力する。
ここで、パラメータ設定手段５３で設定されるパラメータには、例えば、エンハンス係数及びエンハンス周波数領域が含まれる。これらパラメータの詳細は、エンハンス処理手段５４と共に説明する。

＜撮像画像の色ずれ量と輝度信号との関係＞
図４，図５を参照し、エンハンス処理手段５４の前提として、撮像画像の色ずれ量と輝度信号との関係について、説明する（適宜図３参照）。

図４には、撮像画像に色ずれがある場合において、撮像画像の輝度信号の変化を示したグラフを図示した。図４では、縦軸が撮像画像の周波数特性（周波数レスポンス）であり、横軸が撮像画像の空間周波数である。また、図４には、撮像画像のＧ信号を基準として、Ｒ信号及びＢ信号が、互いに逆方向に０．０画素、０．５画素、１．０画素及び１．５画素だけ色ずれを起こしたときのシミュレーション結果を示した。ここで、色ずれ量が０．０画素のシミュレーション結果を実線で図示し、色ずれ量が０．５画素のシミュレーション結果を長破線で図示し、色ずれ量が１．０画素のシミュレーション結果を一点鎖線で図示し、色ずれ量が１．５画素のシミュレーション結果を短破線で図示した。

図４のグラフでは、色ずれ量が１．０画素以下の場合、右下がりの曲線となっている。このことから、図４から、色ずれ量が１．０画素以下であれば、輝度信号の高域周波数成分が低下していることが分かる。その結果、色ずれが、輝度信号の高域周波数成分の劣化として視認される。

図５には、撮像画像の色ずれ量と、撮像画像のＲＧＢ信号の波形と、撮像画像の輝度信号（Ｙ信号）の波形と、エンハンス処理後の輝度信号（Ｙ信号）の波形と、逆変換後のＲＧＢ信号の波形とを図示した。

ここで、図５では、ＲＧＢ信号の波形において、Ｇ信号の波形を実線で図示した。また、Ｇ信号に対してＲ信号及びＢ信号がずれている場合、Ｒ信号の波形を破線で図示し、Ｂ信号の波形を一点鎖線で図示した。言い換えるなら、撮像画像の色ずれ量が０．０画素の場合、Ｇ信号の波形だけを図示している。

図５から、色ずれ量が０．０画素であれば、撮像画像の輝度信号の波形が、撮像画像のＲＧＢ信号の波形から変化しないことが分かる。また、色ずれ量が０．５画素の場合、撮像画像の輝度信号の波形が、撮像画像のＲＧＢ信号の波形に対し、若干変形する。さらに、色ずれ量が１．０画素の場合、撮像画像の輝度信号の波形が、撮像画像のＲＧＢ信号の波形よりも低くなり、波形劣化が目立つようになる。

以上より、色ずれで、輝度信号Ｙの高周波領域成分が低下することが分かる。従って、撮像画像のＲＧＢ値を輝度信号Ｙ及び色差信号Ｐｂ，Ｐｒに変換した後、輝度信号Ｙの高周波領域にエンハンス処理を適用し、色ずれが原因で低下した輝度信号Ｙの高周波領域成分を補う。そして、エンハンス処理後の輝度信号Ｙ´と、色差信号Ｐｂ，ＰｒとをＲＧＢ信号に逆変換すると、図５に示すように、撮像画像の色ずれを抑制できる。

図４に戻り、色ずれ量が１．５画素の場合を考える。
図４では、色ずれ量が１．５画素の場合、周波数特性が低下した後に再び上昇し、輝度信号のナイキスト周波数成分が高くなっている。従って、図５に示すように、撮像画像の輝度信号の波形が、撮像画像のＲＧＢ信号の波形よりも大幅に低くなり、かつ、複数のピーク（頂点）が表れている。この状態でエンハンス処理を行うと、エンハンス処理後の輝度信号の波形において、複数のピークで凹凸が強調され、色ずれがより顕著に表れる。
以上より、エンハンス処理によって色ずれの補正効果を得るためには、前記した補正手段５１において、撮像画像の色ずれ量を１．０画以下に抑える必要がある。

図３に戻り、補正装置５０の説明を続ける。
エンハンス処理手段５４は、このエンハンス量算出手段５４ａで算出されたエンハンス量α・Ｈと、信号変換手段５２から入力された撮像画像の輝度信号Ｙとを加算するエンハンス処理を行うものである。例えば、エンハンス処理手段５４は、輝度画像（撮像画像の輝度信号Ｙ）の画素毎に、下記の式（６）で定義されたエンハンス処理を行う。そして、エンハンス処理手段５４は、エンハンス処理後の輝度信号Ｙ´を、信号逆変換手段５５に出力する。

また、エンハンス処理手段５４は、図３に示すように、エンハンス量算出手段５４ａを備える。
エンハンス量算出手段５４ａは、輝度画像の画素毎に、エンハンス周波数領域の成分Ｈにエンハンス係数αを乗じることで、輝度信号の加算量であるエンハンス量α・Ｈを算出するものである。例えば、エンハンス量算出手段５４ａは、ハイパスフィルタを用いて、撮像画像の輝度信号Ｙからエンハンス周波数領域の成分Ｈを抽出することができる。

ここで、エンハンス量算出手段５４ａがエンハンス量α・Ｈを算出するために、パラメータ設定手段５３で適切なパラメータ（エンハンス周波数領域、エンハンス係数α）を設定しておく必要がある。そこで、これらパラメータの設定例について、具体的に説明する。

＜エンハンス周波数領域の設定例＞
エンハンス周波数領域とは、撮像画像の輝度信号の周波数成分うち、エンハンス処理の対象となる空間周波数領域のことである。

エンハンス処理を行う場合、色ずれが改善される周波数領域を検討する必要がある。前記したように、色ずれにより、輝度信号の高域周波数成分が低下する（図４参照）。また、人の視覚特性を考慮すれば、色ずれが、低域周波数よりも高域周波数の方が視認され易くなる。従って、エンハンス周波数領域として輝度信号のナイキスト領域を設定することが好ましい。

なお、ナイキスト領域とは、予め設定された周波数以上、かつ、輝度信号のナイキスト周波数未満の周波数領域のことである。図４の例では、ナイキスト領域は、色ずれ量が１．５画素の曲線が再び上昇に転じる０．３５［cycles/pixel］以上、かつ、ナイキスト周波数０．５［cycles/pixel］以下の周波数領域である。

＜エンハンス係数の設定例＞
エンハンス処理を行う場合、エンハンス処理後の輝度信号にオーバーフロー（白とび）及びアンダーフロー（黒つぶれ）が発生しないことが好ましい。
ここで、補正手段５１で補正された撮像画像は、色ずれ量が最大で１．０画素であると仮定する。また、この撮像画像に残った色ずれ量は、極微少であるために正確に検出することができないと仮定する。

前記したように、色ずれ量が大きいほど、輝度信号の高域周波数成分が大きく低下する（図４参照）。すなわち、エンハンス量を大きくすれば、色ずれが大きく改善される。そこで、式（６）を用いて、エンハンス処理前の輝度信号Ｙと、エンハンス量α・Ｈと加算して、エンハンス処理後の輝度信号Ｙ´を予め計算する。そして、エンハンス処理後の輝度信号Ｙ´の最大値が、予め規定された輝度値の最大値以下となるようにエンハンス係数αを設定する。例えば、輝度値が‘０’〜‘２５５’の範囲であれば、エンハンス処理後の輝度信号Ｙ´の最大値が‘２５５’以下となるようにエンハンス係数αを設定する。これによって、エンハンス処理によるオーバーフローを抑制することができる。

さらに、前記した最大値の条件を満たし、エンハンス処理後の輝度信号Ｙ´の最小値が、予め規定された輝度値の最小値（例えば、‘０’）以上となるようにエンハンス係数αを設定すれば、エンハンス処理によるアンダーフローも抑制することができる。
さらに、理想的には、図４において、色ずれ量が０．０画素の周波数特性に一致した水平線となるように、エンハンス周波数領域及びエンハンス係数を設定することが好ましい。

なお、オーバーフローやアンダーフローは、信号逆変換手段５５から出力された撮像画像で判断することができる。つまり、補正装置５０では、異なる値をエンハンス係数αに設定してエンハンス処理を繰返し行い、信号逆変換手段５５の撮像画像でオーバーフローやアンダーフローが発生しないように、適切なエンハンス係数αを決定することが好ましい。

図３に戻り、補正装置５０の説明を続ける。
信号逆変換手段５５は、予め設定された逆変換式に基づいて、信号変換手段５２から入力された撮像画像の色差信号Ｐｂ，Ｐｒと、エンハンス処理後の輝度信号Ｙ´をＲＧＢ信号に逆変換することで、色ずれが補正された撮像画像を生成するものである。本実施形態では、信号逆変換手段５５は、逆変換式として、下記の式（７）で定義されたカラーマトリックスを用いる。

［補正装置の動作］
図６を参照して、補正装置５０の動作について、説明する（適宜図３参照）。
補正装置５０は、補正手段５１によって、カメラ４０から入力された補正用画像を用いて、補正データを算出する（ステップ１）。
このステップＳ１は、第４実施形態で詳細に説明する（図２３）。

補正装置５０は、パラメータ設定手段５３によって、エンハンス係数、エンハンス周波数領域等のパラメータを設定する（ステップＳ２）。
補正装置５０は、補正手段５１によって、補正データを用いて、カメラ４０から入力された撮像画像の色収差による歪みを補正する（ステップ３）。
このステップＳ３は、第４実施形態で詳細に説明する（図２４）。

補正装置５０は、信号変換手段５２によって、式（５）に基づいて、補正手段５１から入力された撮像画像のＲＧＢ信号を輝度信号Ｙ及び色差信号Ｐｂ，Ｐｒに変換する（ステップＳ４）。
補正装置５０は、エンハンス量算出手段５４ａによって、撮像画像の輝度信号Ｙにおいて、エンハンス周波数領域の成分Ｈにエンハンス係数αを乗じたエンハンス量α・Ｈを算出する（ステップＳ５）。

補正装置５０は、エンハンス処理手段５４によって、エンハンス量算出手段５４ａが計算したエンハンス量α・Ｈと、撮像画像の輝度信号Ｙとを加算するエンハンス処理を行う（ステップＳ６）。
補正装置５０は、信号逆変換手段５５によって、式（７）に基づいて、信号変換手段５２から入力された撮像画像の色差信号Ｐｂ，Ｐｒと、エンハンス処理後の輝度信号Ｙ´をＲＧＢ信号に逆変換する（ステップＳ７）。

以上のように、本発明の第１実施形態に係る補正装置５０は、エンハンス処理によって、色ずれが原因で低下した輝度信号の高域周波数（エンハンス周波数）領域の成分を補うため、色ずれが原因となる撮像画像の画質劣化を抑制することができる。さらに、補正装置５０は、色ずれが視認されやすいナイキスト領域に対して、エンハンス処理を行うため、撮像画像の画質劣化を最小限に抑えることができる。

（変形例１）
第１実施形態の変形例１，２に係る補正装置５０について、第１実施形態と異なる点を説明する。

ＩＰ方式において、図１の構成を採用した場合、撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂが、屈折率分布レンズアレイ２０、集光レンズ３０及び撮像用レンズ４１を通過した光を、撮像画像として記録する。このように、複数のレンズを通過してきた光を記録するため、撮像画像の輝度が低くなる。この場合、撮像画像に低振幅で高域周波数成分のノイズが含まれる。そして、輝度が低い画素も含めた撮像画像全体にエンハンス処理を適用すると、このノイズ成分もエンハンスされることになる。このため、変形例１に係る補正装置５０では、低輝度の高域周波数成分に対し、エンハンス処理を適用しないこととした。

具体的には、エンハンス処理手段５４は、輝度画像の画素に、各画素の輝度値が輝度閾値（閾値）Ｔｈ以上となるか否かを判定し、輝度値が輝度閾値Ｔｈ以上となる画素にエンハンス処理を行う。言い換えるなら、エンハンス処理手段５４は、下記の式（８）で定義されるエンハンス処理を行う。

この式（８）では、ｉｆが、後段の条件式が満たされるときに、前段の演算を行うことを示す。
なお、エンハンス処理手段５４は、輝度値が輝度閾値Ｔｈ以上とならない画素にはエンハンス処理を行わず、撮像画像の輝度信号Ｙをエンハンス処理後の輝度信号Ｙ´として、そのまま出力する。

（変形例２）
変形例２に係る補正装置５０では、エンハンス処理手段５４が、変形例１と同様の理由により、エンハンス周波数領域の成分に対し、線形的又は非線形的なエンハンス量を加算するエンハンス処理を行う。言い換えるなら、エンハンス処理手段５４は、下記の式（９）で定義されるエンハンス処理を行う。この式（９）では、Ｙ_ＭＡＸが輝度信号Ｙの最大値（例えば、‘２５５’）であり、βが輝度信号Ｙの輝度値に比例する係数である。

すなわち、エンハンス量算出手段５４ａは、前記した式（９）に示すように、エンハンス周波数領域の成分Ｈに、エンハンス係数αと、係数βとを乗じることで、エンハンス量α・β・Ｈを算出する。

以上のように、本発明の変形例１，２に係る補正装置５０は、第１実施形態と同様の効果に加え、撮像画像に含まれる低輝度のノイズ成分に対するエンハンス処理を抑制するため、撮像画像の画質劣化を最小限に抑えることができる。

（変形例３）
図７を参照して、第１実施形態の変形例３として、エンハンス係数αの設定を説明する。
第１実施形態では、オーバーフローやアンダーフローが発生しないようにエンハンス係数αを設定する例を説明したが、エンハンス係数αの設定例は、これに限定されない。

図７（ａ）には、屈折率分布レンズアレイ２０と再生像との位置関係に応じて、再生像がどのように観察されるかを図示した。
まず、観察者から見て、画面手前に位置する再生像「Ｋ」では、ぼけが大きくなる。また、観察者から見て、屈折率分布レンズアレイ２０付近に位置する再生像「Ｈ」では、ぼけが殆ど発生しない。さらに、観察者から見て、画面奥側に位置する再生像「Ｎ」では、ぼけが発生してしまう（最も奥に位置する山の再生像も同様）。
なお、図７（ａ）では、図面を見やすくするため、屈折率分布レンズアレイ２０が備える屈折率分布レンズ２１の図示を省略した。

また、図７（ｂ）には、再生像の位置と限界空間周波数との関係を図示した。この図７（ｂ）では、屈折率分布レンズアレイ２０の密度による限界を破線で図示し、ＩＰ方式の解像度特性（ナイキスト限界）を実線で図示した。つまり、再生像は、図７（ｂ）に示す破線と実線とで囲われた領域（ハッチング部分）の周波数成分のみが表示できることを示している。その結果、図７（ａ）に示すように、屈折率分布レンズアレイ２０から離れるに従って、再生像にぼけが発生する。

ここで、屈折率分布レンズアレイ２０から最も離れた再生像において、エンハンス量が適切でなくオーバーフロー又はアンダーフローが生じた場合を考える。この場合でも、図７に示すように、再生像が、観察者から見て、ローパスフィルターを通過させたのと同じ状態で観察されることになる。以上より、エンハンス係数αは、再生像の位置によっては、オーバーフローやアンダーフローが発生するような値で設定しても、問題ないことが分かる。

（第２実施形態）
図８を参照して、本発明の第２実施形態に係る立体撮像システム１００Ａ（図９）について、第１実施形態と異なる点を説明する。

第１実施形態では、オーバーフロー及びアンダーフローを防止するため、エンハンス処理後の輝度信号Ｙ´の最大値が輝度値の最大値以下、かつ、エンハンス処理後の輝度信号Ｙ´の最小値が輝度値の最小値以上となるようにエンハンス係数αを設定することとした。

その一方、オーバーフロー及びアンダーフローが発生する可能性が高くなるが、エンハンス量が大きくなる程、エンハンス処理による色ずれの補正効果は、大きくなる。また、図８に示すように、ＩＰ方式では、２次元画像上での色ずれは、下記の式（１０）に示すように、屈折率分布レンズ２１で拡大される。

この式（１０）では、ΔＤが２次元画像上での色ずれ量であり、ΔＤ´が屈折率分布レンズ２１で拡大された色ずれ量であり、Ｌが屈折率分布レンズ２１から被写体の再生像までの距離（奥行き）であり、ｆが屈折率分布レンズ２１の焦点距離である。この式（１０）より、色ずれは、屈折率分布レンズ２１付近で再生される被写体の再生像よりも、屈折率分布レンズ２１から離れる程、顕著になることが分かる。つまり、色ずれ量は、被写体の奥行きに比例する。

［立体撮像システムの構成］
そこで、図９に示すように、立体撮像システム１００Ａは、撮像画像に含まれる被写体の奥行情報をエンハンス量に反映させるため、補正用白色被写体１０と、屈折率分布レンズアレイ２０と、集光レンズ３０と、カメラ４０と、補正装置５０Ａと、データ転送線６０と、ハーフミラー７０と、奥行情報取得カメラ８０とをさらに備える。

ハーフミラー７０は、集光レンズ３０を通過した被写体９０からの光を、カメラ４０と、奥行情報取得カメラ８０とに分光するものである。このハーフミラー７０は、カメラ４０の光軸と、奥行情報取得カメラ８０の光軸との交点に配置される。そして、ハーフミラー７０は、被写体９０からの光の半分をカメラ４０に透過させると共に、残り半分の光を奥行情報取得カメラ８０に向けて反射させる。

奥行情報取得カメラ８０は、被写体９０の奥行情報（奥行値）を取得し、データ転送線６０を介して、補正装置５０Ａに出力するカメラ（例えば、ステレオカメラ）である。ここで、奥行情報取得カメラ８０は、被写体９０の奥行情報として、画素毎の奥行値を輝度値で示した奥行画像を生成する。
なお、奥行情報取得カメラ８０は、被写体９０の撮像時に奥行情報を取得すればよく、補正用データの算出時に奥行情報を取得しなくともよい。

この奥行画像は、屈折率分布レンズアレイ２０と被写体９０との距離が近づく程、奥行値が小さく、両者の距離が離れる程、奥行値が大きくなる。また、奥行画像は、奥行画像と撮像画像との画素同士を対応付けるため、撮像画像と同一画素数であることが好ましい。

［補正装置の構成］
図１０に示すように、補正装置５０Ａは、補正手段５１と、信号変換手段５２と、パラメータ設定手段５３と、エンハンス処理手段５４Ａと、信号逆変換手段５５と、奥行情報入力手段（奥行値入力手段）５６とを備える。

奥行情報入力手段５６は、奥行情報取得カメラ８０から奥行情報が入力されるものである。そして、奥行情報入力手段５６は、入力された奥行情報を、エンハンス処理手段５４Ａに出力する。

エンハンス処理手段５４Ａは、エンハンス量算出手段５４Ａａで算出されたエンハンス量α・Ｈ・Ｚと、信号変換手段５２から入力された撮像画像の輝度信号Ｙとを加算するエンハンス処理を行うものである。例えば、エンハンス処理手段５４は、輝度画像（撮像画像の輝度信号Ｙ）の画素毎に、下記の式（１１）で定義されたエンハンス処理を行う。

エンハンス量算出手段５４Ａａは、輝度画像（撮像画像の輝度信号Ｙ）において、エンハンス周波数領域の成分Ｈに、奥行情報（奥行値）Ｚと、エンハンス係数αとを乗じることで、エンハンス量α・Ｈ・Ｚを画素毎に算出するものである。つまり、エンハンス量算出手段５４Ａａは、撮像画像に含まれる被写体９０の奥行情報Ｚを、エンハンス量α・Ｈ・Ｚに反映させる。

以上のように、本発明の第２実施形態に係る補正装置５０Ａは、第１実施形態と同様の効果に加え、被写体の再生像がレンズアレイから最も離れた画素で最大となるようにエンハンス量を算出するため、色ずれ補正の効果が最大限得られ、撮像画像の画質劣化を最小限に抑えることができる。

なお、第２実施形態では、奥行情報取得カメラ８０で奥行情報を取得することとして説明したが、本発明は、これに限定されない。
補正装置５０Ａは、図示を省略した奥行情報推定手段を備えてもよい。そして、奥行情報推定手段は、カメラ４０から入力された撮像画像（要素画像群）に含まれる要素画像にステレオマッチングを行い、画素毎の視差情報を求める。さらに、奥行情報推定手段は、求めた視差情報から奥行情報を推定して、奥行情報入力手段５６に出力する。

（第３実施形態）
図１１を参照し、本発明の第３実施形態に係る補正装置５０Ｂについて、第２実施形態と異なる点を説明する（適宜図９参照）。

カメラ４０で撮像した撮像画像は、屈折率分布レンズアレイ２０が撮像された画像、つまり、屈折率分布レンズアレイ２０の形状が含まれる画像となる。ＩＰ方式では、各屈折率分布レンズ２１で取得した要素画像を、立体表示システム（不図示）の各要素レンズが拡大することで、撮像時に取得した被写体からの光線を、立体像として再生する。すなわち、撮像画像で必要な情報は、要素画像である。

しかし、屈折率分布レンズ２１が円形の場合、屈折率分布レンズ２１同士に隙間が生じてしまうため、要素画像同士でも隙間が生じる。また、要素画像は、屈折率分布レンズ２１のレンズ面の周辺がエッジになっているため、円形のエッジが含まれることになる。

以上より、ＩＰ方式の要素画像は、その淵に高域周波数成分（屈折率分布レンズ２１のエッジ）が含まれる。この状態では、要素画像のエッジにも、そのままエンハンス処理が適用されてしまう。この要素画像のエッジは、再生像を視認できるエリア（視域）の境界付近に寄与する。このため、視域の境界付近で不自然な再生像が表示されてしまう。

そこで、立体撮像システム１００Ｂでは、屈折率分布レンズアレイ２０のエッジ（輪郭）を示すマスク画像を生成し、このマスク画像でマスクしてエンハンス処理を行う。このため、補正装置５０Ｂは、補正手段５１と、信号変換手段５２と、パラメータ設定手段５３と、エンハンス処理手段５４Ｂと、信号逆変換手段５５と、奥行情報入力手段５６と、マスク画像生成手段５７とを備える。

＜マスク画像の生成＞
まず、マスク画像を生成する方法について、説明する。
カメラ４０は、通常の撮像画像と同様、補正用白色被写体１０を配置した状態で撮像を行う。以後、この撮像画像を「レンズアレイ撮像画像」と呼ぶ。そして、カメラ４０は、このレンズアレイ撮像画像を補正手段５１に出力する。

ここで、レンズアレイ撮像画像（要素画像群）は、屈折率分布レンズ２１のレンズ面が白色となっている。従って、レンズアレイ撮像画像に含まれる各要素画像は、屈折率分布レンズ２１のエッジを除いて、白色の直流成分のみを有する周波数特性となる。すなわち、レンズアレイ撮像画像は、エッジのみが高域周波数成分となる。

補正手段５１は、通常の撮像画像と同様、補正データを用いて、カメラ４０から入力されたレンズアレイ撮像画像の色収差による歪みを補正する。そして、補正手段５１は、補正したレンズアレイ撮像画像を、信号変換手段５２に出力する。

信号変換手段５２は、通常の撮像画像と同様、式（５）を用いて、レンズアレイ撮像画像のＲＧＢ信号を、輝度信号及び色差信号に変換する。そして、信号変換手段５２は、レンズアレイ撮像画像の輝度信号を、マスク画像生成手段５７に出力する。
なお、レンズアレイ撮像画像の色差信号は、特に用途がないため、削除してもよい。

マスク画像生成手段５７は、信号変換手段５２から入力されたレンズアレイ撮像画像の輝度信号から、屈折率分布レンズアレイ２０のエッジを示すマスク画像を生成するものである。例えば、マスク画像生成手段５７は、レンズアレイ撮像画像の輝度信号に２値化処理を施して、マスク画像を生成する。ここで、マスク画像は、図１２（ａ）に示すように、屈折率分布レンズアレイ２０が備える屈折率分布レンズ２１のエッジのみをマスクしてもよい。また、マスク画像は、図１２（ｂ）に示すように、屈折率分布レンズアレイ２０が備える屈折率分布レンズ２１のエッジと、屈折率分布レンズ２１同士の隙間とをマスクしてもよい。そして、マスク画像生成手段５７は、生成したマスク画像を、エンハンス処理手段５４Ｂに出力する。

＜マスク画像を用いたエンハンス処理＞
次に、マスク画像を用いたエンハンス処理について、説明する。
エンハンス処理手段５４Ｂは、撮像画像の輝度信号Ｙにおいて、マスク画像が示す屈折率分布レンズアレイ２０のエッジ以外の画素に、エンハンス処理を行うものである。ここで、撮像画像及びレンズアレイ撮像画像は、同一のカメラ４０で撮像されているため、画素同士の対応が取れている。従って、エンハンス処理手段５４Ｂは、撮像画像の輝度信号Ｙにおいて、屈折率分布レンズアレイ２０のエッジ以外の画素に、エンハンス処理手段５４Ａと同様のエンハンス処理を行う。

なお、エンハンス処理手段５４Ｂは、撮像画像の輝度信号Ｙにおいて、屈折率分布レンズアレイ２０のエッジに含まれる画素にはエンハンス処理を行わず、撮像画像の輝度信号Ｙをエンハンス処理後の輝度信号Ｙ´として、そのまま出力する。
また、エンハンス量算出手段５４Ｂａは、図１０のエンハンス量算出手段５４Ａａと同様のため、説明を省略する。

以上のように、本発明の第３実施形態に係る補正装置５０Ｂは、第２実施形態と同様の効果に加え、視域の境界付近で不自然な撮像画像となることを防止し、撮像画像の画質劣化を最小限に抑えることができる。
なお、第３実施形態では、第２実施形態に係る補正装置５０Ａにマスク処理を適用することとして説明したが、第１実施形態に係る補正装置５０にもマスク処理を適用することができる。

（第４実施形態）
［補正手段の構成］
第４実施形態として、図３の補正手段５１の構成について、説明する（適宜図１参照）。
図１３に示すように、補正手段５１は、補正用画像入力手段５０１と、補正用２値化手段５０２と、補正用レンズ位置検出手段５０３と、補正データ算出手段５０４と、撮像画像入力手段５０５と、撮像用２値化手段５０６と、検出対象要素レンズ設定手段５０７と、撮像用レンズ位置検出手段５０８と、補正データ修正手段５０９と、歪み補正手段５１０とを備える。

補正用画像入力手段５０１は、カメラ４０から３原色の補正用画像が入力されるものであり、Ｒ補正用画像バッファ５０１_Ｒと、Ｇ補正用画像バッファ５０１_Ｇと、Ｂ補正用画像バッファ５０１_Ｂとを備える。

Ｒ補正用画像バッファ５０１_Ｒは、カメラ４０から入力された赤色の補正用画像を蓄積するバッファメモリである。このＲ補正用画像バッファ５０１_Ｒが蓄積する赤色の補正用画像は、後記するＲ補正用２値化手段５０２_Ｒによって読み出される。

Ｇ補正用画像バッファ５０１_Ｇ及びＢ補正用画像バッファ５０１_Ｂは、それぞれ、Ｒ補正用画像バッファ５０１_Ｒと同様、緑色の補正用画像及び青色の補正用画像を蓄積するバッファメモリである。

補正用２値化手段５０２は、３原色の補正用画像に対して、２値化処理を行うものであり、Ｒ補正用２値化手段５０２_Ｒと、Ｇ補正用２値化手段５０２_Ｇと、Ｂ補正用２値化手段５０２_Ｂとを備える。

Ｒ補正用２値化手段５０２_Ｒは、Ｒ補正用画像バッファ５０１_Ｒから赤色の補正用画像を読み出して、この赤色の補正用画像を輝度画像に変換する。そして、Ｒ補正用２値化手段５０２_Ｒは、この輝度画像に２値化処理を行って２値化画像を生成する。例えば、Ｒ補正用２値化手段５０２_Ｒは、輝度画像の各画素（注目画素）の輝度値と予め設定した閾値とを比較して、注目画素の輝度値が閾値以上の場合には注目画素を白色とし、注目画素の輝度値が閾値未満の場合には注目画素を黒色とする。このようにして、Ｒ補正用２値化手段５０２_Ｒは、赤色の補正用画像から、前景となる屈折率分布レンズ２１に対応する画素が白色で、背景となる補正用白色被写体１０に対応する画素が黒色で表された２値化画像を生成する。つまり、この２値化画像は、屈折率分布レンズ２１の領域（屈折率分布レンズ２１のレンズ面内）が白色で、屈折率分布レンズ２１以外の領域（屈折率分布レンズ２１同士の隙間）が黒色となる。その後、Ｒ補正用２値化手段５０２_Ｒは、生成した２値化画像を補正用レンズ位置検出手段５０３に出力する。

Ｇ補正用２値化手段５０２_Ｇ及びＢ補正用２値化手段５０２_Ｂは、それぞれ、Ｒ補正用２値化手段５０２_Ｒと同様、緑色の補正用画像及び青色の補正用画像に２値化処理を行うため、詳細な説明を省略する。

補正用レンズ位置検出手段５０３は、補正用２値化手段５０２によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理又はパターンマッチングの何れか１以上を行うことで、屈折率分布レンズ２１の位置を検出するものである。ここで、補正用レンズ位置検出手段５０３は、重心検出処理、点像群検出処理又はパターンマッチングを単独で行うか、又は、重心検出処理と点像群検出処理とを組み合わせることができる。以下、屈折率分布レンズ２１の位置検出手法について、第１例〜第４例をあげて説明する。

＜第１例：重心検出処理＞
図１４を参照して、屈折率分布レンズ２１の位置検出手法の第１例について説明する（適宜図１３参照）。
図１４に示すように、補正用レンズ位置検出手段５０３は、重心検出処理を行うため、Ｒ補正用重心検出手段５２３_Ｒと、Ｇ補正用重心検出手段５２３_Ｇと、Ｂ補正用重心検出手段５２３_Ｂとを備える。

Ｒ補正用重心検出手段５２３_Ｒは、Ｒ補正用２値化手段５０２_Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用重心検出手段５２３_Ｒは、この２値化画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。例えば、Ｒ補正用重心検出手段５２３_Ｒは、入力された赤色の補正用画像（２値化画像）に含まれる各白色領域（各屈折率分布レンズ２１の領域）において、縦横の中間位置を重心として検出する、又は、この白色領域の面積により重心を検出することができる。その後、Ｒ補正用重心検出手段５２３_Ｒは、検出した屈折率分布レンズ２１の重心を、その屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。このように、Ｒ補正用重心検出手段５２３_Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。

Ｇ補正用重心検出手段５２３_Ｇ及びＢ補正用重心検出手段５２３_Ｂは、それぞれ、Ｒ補正用重心検出手段５２３_Ｒと同様、２値化処理を施した緑色の補正用画像及び青色の補正用画像に重心検出処理を行うため、詳細な説明を省略する。

＜第２例：点像群検出処理＞
図１５を参照して、屈折率分布レンズ２１の位置検出手法の第２例について説明する（適宜図１３参照）。
図１５に示すように、補正用レンズ位置検出手段５０３は、点像群検出処理を行うため、Ｒ補正用点像群検出手段５３３_Ｒと、Ｇ補正用点像群検出手段５３３_Ｇと、Ｂ補正用点像群検出手段５３３_Ｂとを備える。

ここで、補正用白色被写体１０が平行白色光を出射する場合、屈折率分布レンズアレイ２０の各屈折率分布レンズ２１における焦平面には、屈折率分布レンズアレイ２０が有する屈折率分布レンズ２１と同数の点像群が形成される。従って、この点像群を検出することで、屈折率分布レンズ２１の中心位置を求めることができる。

Ｒ補正用点像群検出手段５３３_Ｒは、Ｒ補正用２値化手段５０２_Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用点像群検出手段５３３_Ｒは、この２値化画像に点像群検出処理を行って、点像群を検出する。その後、Ｒ補正用点像群検出手段５３３_Ｒは、検出した点像群における各点像の位置を、各屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。このように、Ｒ補正用点像群検出手段５３３_Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。

なお、点像群検出処理としては、例えば、文献“「インテグラル方式における幾何光学を用いた奥行き制御手法」，洗井、河北、岡野，映像情報メディア学会技術報告 vol.32,no.44,pp.41-44,3DIT2008-74,IDY2008-102 (Oct.2008)”に記載された手法を用いることができる。

Ｇ補正用点像群検出手段５３３_Ｇ及びＢ補正用点像群検出手段５３３_Ｂは、Ｒ補正用点像群検出手段５３３_Ｒと同様、２値化処理を施した緑色の補正用画像及び青色の補正用画像に点像群検出処理を行うため、詳細な説明を省略する。

＜第３例：重心検出処理と点像群検出処理との組み合わせ＞
図１６を参照して、屈折率分布レンズ２１の位置検出手法の第３例について説明する（適宜図１３参照）。

図１６に示すように、補正用レンズ位置検出手段５０３は、重心検出処理と点像群検出処理との両方を行うため、Ｒ補正用重心検出手段５２３_Ｒと、Ｇ補正用重心検出手段５２３_Ｇと、Ｂ補正用重心検出手段５２３_Ｂと、Ｒ補正用点像群検出手段５３３_Ｒと、Ｇ補正用点像群検出手段５３３_Ｇと、Ｂ補正用点像群検出手段５３３_Ｂとを備える。

Ｒ補正用点像群検出手段５３３_Ｒは、Ｒ補正用２値化手段５０２_Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用点像群検出手段５３３_Ｒは、この２値化画像に点像群検出処理を行って、点像群の検出結果である点像群検出画像を生成する。その後、Ｒ補正用点像群検出手段５３３_Ｒは、この点像群検出画像をＲ補正用重心検出手段５２３_Ｒに出力する。

Ｒ補正用重心検出手段５２３_Ｒは、Ｒ補正用点像群検出手段５３３_Ｒから、点像群検出画像（点像群検出処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用重心検出手段５２３_Ｒは、この点像群検出画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。その後、Ｒ補正用重心検出手段５２３_Ｒは、検出した屈折率分布レンズ２１の重心を、その屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。

このように、Ｒ補正用重心検出手段５２３_Ｒは、点像群の位置を参考として、点像群画像を２値化してから重心を求めることで、屈折率分布レンズ２１の中心位置をより高い精度で求めることができる。

＜第４例：パターンマッチング＞
図１７を参照して、屈折率分布レンズ２１の位置検出手法の第４例について説明する（適宜図１３参照）。
図１７に示すように、補正用レンズ位置検出手段５０３は、パターンマッチングを行うため、Ｒ補正用パターンマッチング手段５４３_Ｒと、Ｇ補正用パターンマッチング手段５４３_Ｇと、Ｂ補正用パターンマッチング手段５４３_Ｂとを備える。

Ｒ補正用パターンマッチング手段５４３_Ｒは、Ｒ補正用２値化手段５０２_Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用パターンマッチング手段５４３_Ｒは、この２値化画像にパターンマッチングを行って、各屈折率分布レンズ２１の中心位置を検出する。例えば、Ｒ補正用パターンマッチング手段５４３_Ｒには、屈折率分布レンズ２１を予め撮像して、屈折率分布レンズ２１のテンプレート画像を手動で登録しておく。そして、Ｒ補正用パターンマッチング手段５４３_Ｒは、パターンマッチング（例えば、正規化相関法）によって、入力された２値化画像からテンプレート画像にマッチする画像領域（つまり、屈折率分布レンズ２１の領域）を検出する。さらに、Ｒ補正用パターンマッチング手段５４３_Ｒは、検出した各画像領域での中心位置を、各屈折率分布レンズ２１の中心位置として、補正データ算出手段５０４に出力する。このように、Ｒ補正用パターンマッチング手段５４３_Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。

Ｇ補正用パターンマッチング手段５４３_Ｇ及びＢ補正用パターンマッチング手段５４３_Ｂは、それぞれ、Ｒ補正用パターンマッチング手段５４３_Ｒと同様、２値化処理を施した緑色の補正用画像及び青色の補正用画像にパターンマッチングを行うため、詳細な説明を省略する。

ここで、要素レンズの位置検出手法と、拡散白色光又は平行白色光との関係について説明する。前記したように、点像群検出処理を行う場合（第２例及び第３例）、補正用白色被写体１０が平行白色光を出射するとよい。その一方、点像群検出処理を利用しない場合（第１例及び第４例）、拡散白色光を照射するとよい。

図１３に戻り、補正手段５１の構成について説明を続ける。
補正データ算出手段５０４は、補正用レンズ位置検出手段５０３が検出した屈折率分布レンズ２１の位置を３原色の補正用画像の間で一致させる補正データを算出するものである。

具体的には、補正データ算出手段５０４は、補正用レンズ位置検出手段５０３から、赤色、緑色及び青色の補正用画像で検出された各屈折率分布レンズ２１の中心位置が入力される。そして、補正データ算出手段５０４は、赤色、緑色及び青色の何れか一色を基準色として、この基準色での屈折率分布レンズ２１の中心位置に対する、他の２原色での屈折率分布レンズ２１の中心位置のずれ量を算出する。

以下、緑色を基準色として説明する。この場合、補正データ算出手段５０４は、図１８に示すように、緑色での屈折率分布レンズ２１_Ｇの中心位置Ｃ_Ｇに対する、青色での屈折率分布レンズ２１_Ｂの中心位置Ｃ_Ｂのずれ量ΔＧ−Ｂを求める。また、補正データ算出手段５０４は、緑色での屈折率分布レンズ２１_Ｇの中心位置Ｃ_Ｇに対する、赤色での屈折率分布レンズ２１_Ｒの中心位置Ｃ_Ｒのずれ量ΔＧ−Ｒを求める。そして、補正データ算出手段５０４は、このずれ量ΔＧ−Ｂ，ΔＧ−Ｒをゼロにする補正データを算出する。その後、補正データ算出手段５０４は、この補正データと、赤色、緑色及び青色での各屈折率分布レンズ２１の中心位置とを、後記する補正データ修正手段５０９に出力する。

また、補正データ算出手段５０４は、フィッティング関数を用いて、補正データを算出できる。例えば、屈折率分布レンズ２１が縦横に３×３個マトリクス上に配置され、撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂが縦横に３００×３００画素を有する場合を考える。この場合、屈折率分布レンズアレイ２０内での屈折率分布レンズ２１が９個であるため、各原色の補正用画像から検出できる屈折率分布レンズ２１の最大位置数は、それぞれ９個となる。また、９個の屈折率分布レンズ２１は、それぞれの位置ずれ量が異なる。その一方、９個の位置ずれをもとに、３００×３００画素の画像を補正するためには、画素ごとに補正データが必要となる。つまり、各屈折率分布レンズ２１と、撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂの各画素とを対応させるため、９個の位置ずれを通るような曲面を生成する必要がある。そこで、この曲面として、９個の位置ずれにおける二乗誤差が最小になる高次関数の曲面を生成する。すなわち、フィッティング関数とは、この二乗誤差が最小になる高次関数のことである。

なお、フィッティング関数を生成する手法としては、例えば、文献“「超高精細映像表示システムのコンバーゼンス誤差と素子位置調整の自動化」，日下部祐一、金澤勝、岡野文男，映像情報メディア学会誌vol.60,no.2,pp.234-241,2006年”に記載された手法を用いることができる。

なお、屈折率分布レンズ２１の位置ずれを算出する数は、屈折率分布レンズアレイ２０内での屈折率分布レンズ２１の個数に依存する。従って、補正データ算出手段５０４は、全ての屈折率分布レンズ２１から補正データを算出してもよく、一部の屈折率分布レンズ２１から補正データを算出してもよい。一部の屈折率分布レンズ２１から補正データを算出した場合、補正データ算出手段５０４は、残りの屈折率分布レンズ２１の補正データを補間するとよい。

撮像画像入力手段５０５は、カメラ４０から、３原色の撮像画像が入力されるものであり、Ｒ撮像画像バッファ５０５_Ｒと、Ｇ撮像画像バッファ５０５_Ｇと、Ｂ撮像画像バッファ５０５_Ｂとを備える。

Ｒ撮像画像バッファ５０５_Ｒは、カメラ４０から入力された赤色の撮像画像を蓄積するバッファメモリである。このＲ撮像画像バッファ５０５_Ｒが蓄積する赤色の撮像画像は、後記するＲ撮像用２値化手段５０６_Ｒによって読み出される。

Ｇ撮像画像バッファ５０５_Ｇ及びＢ撮像画像バッファ５０５_Ｂは、それぞれ、Ｒ撮像画像バッファ５０５_Ｒと同様、緑色の撮像画像及び青色の撮像画像を蓄積するバッファメモリである。

撮像用２値化手段５０６は、３原色の撮像画像に対して、２値化処理を行うものであり、Ｒ撮像用２値化手段５０６_Ｒと、Ｇ撮像用２値化手段５０６_Ｇと、Ｂ撮像用２値化手段５０６_Ｂとを備える。

Ｒ撮像用２値化手段５０６_Ｒは、Ｒ撮像画像バッファ５０５_Ｒから赤色の撮像画像を読み出して、この赤色の撮像画像を輝度画像に変換する。そして、Ｒ撮像用２値化手段５０６_Ｒは、Ｒ補正用２値化手段５０２_Ｒと同様、この輝度画像に２値化処理を行って２値化画像を生成する。その後、Ｒ撮像用２値化手段５０６_Ｒは、生成した２値化画像をＲ検出対象要素レンズ設定手段５０７_Ｒに出力する。

Ｇ撮像用２値化手段５０６_Ｇ及びＢ撮像用２値化手段５０６_Ｂは、それぞれ、Ｒ撮像用２値化手段５０６_Ｒと同様、緑色の撮像画像及び青色の撮像画像に２値化処理を行うため、詳細な説明を省略する。

検出対象要素レンズ設定手段５０７は、２値化処理が行われた３原色の撮像画像において、屈折率分布レンズ２１のレンズ面全体が撮像されたか否かをパターンマッチング又は要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定するものである。このため、検出対象要素レンズ設定手段５０７は、Ｒ検出対象要素レンズ設定手段５０７_Ｒと、Ｇ検出対象要素レンズ設定手段５０７_Ｇと、Ｂ検出対象要素レンズ設定手段５０７_Ｂとを備える。

Ｒ検出対象要素レンズ設定手段５０７_Ｒは、Ｒ撮像用２値化手段５０６_Ｒから２値化画像（２値化処理が行われた赤色の撮像画像）が入力される。そして、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、この２値化画像にパターンマッチングを行うか、又は、屈折率分布レンズ２１の総輝度値を算出することで、各屈折率分布レンズ２１が検出対象要素レンズであるか否かを判定する。さらに、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定する。その後、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、設定した検出対象要素レンズを一意に識別する検出対象要素レンズ識別情報と、入力された２値化画像とを撮像用レンズ位置検出手段５０８に出力する。以下、検出対象要素レンズの判定手法について、第１例及び第２例をあげて説明する。

＜第１例：パターンマッチング＞
Ｒ検出対象要素レンズ設定手段５０７_Ｒには、レンズ面全体が見えるように屈折率分布レンズ２１を予め撮像して、屈折率分布レンズ２１のレンズ面全体を示すテンプレート画像を手動で登録しておく。そして、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、入力された２値化画像に対して、このテンプレート画像を用いて、パターンマッチング（例えば、正規化相関法）を行う。

ここで、例えば、レンズ面が半月状で撮像された屈折率分布レンズ２１のように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、パターンマッチングで検出されないことになる。その一方、レンズ面全体が撮像された屈折率分布レンズ２１は、パターンマッチングで検出されることになる。そこで、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、パターンマッチングで検出された屈折率分布レンズ２１を検出対象要素レンズとして設定する。

＜第２例：屈折率分布レンズの総輝度値＞
Ｒ検出対象要素レンズ設定手段５０７_Ｒは、レンズ面全体が見える状態で屈折率分布レンズ２１を撮像した２値化画像から、屈折率分布レンズ２１に対応する画像領域内画素の輝度値を合計した判定用総輝度値を予め算出する。つまり、この判定用総輝度値は、レンズ面全体が撮像された状態での屈折率分布レンズ２１に対応する画像領域の総輝度値である。そして、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、入力された２値化画像において、屈折率分布レンズ２１に対応する画像領域内の画素の輝度値を合計して、屈折率分布レンズ２１ごとに総輝度値を算出する。さらに、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、算出した屈折率分布レンズ２１の総輝度値が判定用総輝度値以上であるか否かを判定する。

ここで、例えば、レンズ面が半月状で撮像された屈折率分布レンズ２１のように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、その総輝度値が判定用総輝度値未満となる。その一方、レンズ面全体が撮像された屈折率分布レンズ２１は、その総輝度値が判定用総輝度値以上となる。そこで、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、算出した総輝度値が判定用総輝度値以上と判定された屈折率分布レンズ２１を、検出対象要素レンズとして設定する。

Ｇ検出対象要素レンズ設定手段５０７_Ｇ及びＢ検出対象要素レンズ設定手段５０７_Ｂは、それぞれ、Ｒ検出対象要素レンズ設定手段５０７_Ｒと同様、２値化処理を施した緑色の撮像画像及び青色の撮像画像において検出対象要素レンズを設定するため、詳細な説明を省略する。

撮像用レンズ位置検出手段５０８は、撮像用２値化手段５０６によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理又はパターンマッチングを行うことで、検出対象要素レンズの位置を検出するものである。以下、検出対象要素レンズの位置検出手法について、第１例及び第２例をあげて説明する。

＜第１例：重心検出処理＞
図１９を参照し、検出対象要素レンズの位置検出手法の第１例について説明する（適宜図１３参照）。
図１９に示すように、撮像用レンズ位置検出手段５０８は、重心検出処理を行うため、Ｒ撮像用重心検出手段５２８_Ｒと、Ｇ撮像用重心検出手段５２８_Ｇと、Ｂ撮像用重心検出手段５２８_Ｂとを備える。

Ｒ撮像用重心検出手段５２８_Ｒは、Ｒ検出対象要素レンズ設定手段５０７_Ｒから、検出対象要素レンズ識別情報と、２値化画像（２値化処理が施された赤色の撮像画像）とが入力される。そして、Ｒ撮像用重心検出手段５２８_Ｒは、Ｒ補正用重心検出手段５２３_Ｒと同様、この２値化画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。その後、Ｒ撮像用重心検出手段５２８_Ｒは、検出した全ての屈折率分布レンズ２１のうち、検出対象要素レンズ識別情報で検出対象要素レンズとして設定された屈折率分布レンズ２１の重心を、検出対象要素レンズの中心位置として補正データ修正手段５０９に出力する。このように、Ｒ撮像用重心検出手段５２８_Ｒは、検出対象要素レンズの中心位置をサブピクセル精度で求めることができる。

Ｇ撮像用重心検出手段５２８_Ｇ及びＢ撮像用重心検出手段５２８_Ｂは、それぞれ、Ｒ撮像用重心検出手段５２８_Ｒと同様、２値化処理を施した緑色の撮像画像及び青色の撮像画像に重心検出処理を行うため、詳細な説明を省略する。

＜第２例：パターンマッチング＞
図２０を参照し、検出対象要素レンズの位置検出手法の第２例について説明する（適宜図１３参照）。
図２０に示すように、撮像用レンズ位置検出手段５０８は、パターンマッチングを行うため、Ｒ撮像用パターンマッチング手段５４８_Ｒと、Ｇ撮像用パターンマッチング手段５４８_Ｇと、Ｂ撮像用パターンマッチング手段５４８_Ｂとを備える。

Ｒ撮像用パターンマッチング手段５４８_Ｒは、Ｒ検出対象要素レンズ設定手段５０７_Ｒから、検出対象要素レンズ識別情報と、２値化画像（２値化処理が施された赤色の撮像画像）とが入力される。そして、Ｒ撮像用パターンマッチング手段５４８_Ｒは、Ｒ補正用パターンマッチング手段５４３_Ｒと同様、この２値化画像にパターンマッチングを行って、各屈折率分布レンズ２１の中心位置を検出する。さらに、Ｒ撮像用パターンマッチング手段５４８_Ｒは、検出した全ての屈折率分布レンズ２１のうち、検出対象要素レンズ識別情報で検出対象要素レンズとして設定された屈折率分布レンズ２１の中心位置を、検出対象要素レンズの中心位置として補正データ修正手段５０９に出力する。このように、Ｒ撮像用パターンマッチング手段５４８_Ｒは、検出対象要素レンズの中心位置をサブピクセル精度で求めることができる。

Ｇ撮像用パターンマッチング手段５４８_Ｇ及びＢ撮像用パターンマッチング手段５４８_Ｂは、それぞれ、Ｒ撮像用パターンマッチング手段５４８_Ｒと同様、２値化処理を施した緑色の撮像画像及び青色の撮像画像にパターンマッチングを行うため、詳細な説明を省略する。

前記したように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、検出対象要素レンズとして設定されることがない。このため、第１例〜第４例の何れを用いた場合でも、撮像用レンズ位置検出手段５０８は、検出対象要素レンズの位置を検出できない事態や、検出対象要素レンズの位置を誤検出する事態を防止して、検出対象要素レンズの位置検出精度を高くすることができる。

図１３に戻り、補正手段５１の構成について説明を続ける。
補正データ修正手段５０９は、撮像用レンズ位置検出手段５０８が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した検出対象要素レンズの位置ずれの平均値に基づいて、補正データ算出手段５０４が算出した補正データを修正するものである。

ここで、補正用白色被写体１０を撮像してから、被写体９０を撮像するまでの間に、屈折率分布レンズアレイ２０、集光レンズ３０及び撮像用レンズ４１の相対位置にずれが生じる場合がある。そこで、補正データ修正手段５０９は、補正用画像から検出した屈折率分布レンズ２１の中心位置と、検出対象要素レンズの中心位置との位置ずれの平均値を算出し、この平均値を補正データに反映させる。

具体的には、補正データ修正手段５０９は、補正データ算出手段５０４から、補正データと、赤色、緑色及び青色での各屈折率分布レンズ２１の中心位置とが入力される。また、補正データ修正手段５０９は、撮像用レンズ位置検出手段５０８から、赤色、緑色及び青色での検出対象要素レンズの中心位置が入力される。そして、補正データ修正手段５０９は、３原色ごとに、この検出対象要素レンズの中心位置と、この検出対象要素レンズに対応する屈折率分布レンズ２１の中心位置との位置ずれ量を算出する。さらに、補正データ修正手段５０９は、３原色ごとに、算出した全ての位置ずれ量の平均値を算出して、この平均値を補正データに加算する。その後、補正データ修正手段５０９は、修正した補正データを歪み補正手段５１０に出力する。これによって、補正データ修正手段５０９は、補正用白色被写体１０を撮像してから、被写体９０を撮像するまでの間に生じた中心位置ずれを補正データに反映させることができる。

歪み補正手段５１０は、補正データ修正手段５０９が修正した補正データに基づいて、３原色の撮像画像を２次元画像処理又は３次元画像処理によって補正するものである。具体的には、歪み補正手段５１０は、カメラ４０から、３原色ごとの撮像画像（動画）が入力される。この撮像画像（動画）は、被写体９０を撮像した撮像画像がフレーム画像として連続したものである。また、歪み補正手段５１０は、補正データ修正手段５０９から、修正済みの補正データが入力される。そして、基準色が緑色であるため、歪み補正手段５１０は、赤色及び青色の撮像画像での屈折率分布レンズ２１の中心位置か、緑色の撮像画像での屈折率分布レンズ２１の中心位置に一致するように、赤色及び青色の撮像画像を補正する（図１８参照）。その後、歪み補正手段５１０は、緑色の撮像画像と、補正済みの赤色及び青色の撮像画像とを合成して出力する。以下、撮像画像の補正方法について、第１例及び第２例をあげて説明する。

＜第１例：２次元画像処理＞
以下、図２１を参照して、撮像画像の補正方法の第１例について説明する（適宜図１，図１３参照）。

屈折率分布レンズアレイ２０は、カメラ側端面が平面である（図１参照）。このため、歪み補正手段５１０は、２次元画像処理によって、色収差による歪みだけでなく、姿勢変化による位置ずれ（例えば、水平、垂直、回転及びあおり）も補正することが可能となる。

図２１（ａ）のように、補正用白色被写体１０を撮像してから、図２１（ｂ）のように、被写体９０を撮像するまでの間、屈折率分布レンズアレイ２０とカメラ４０との相対的な姿勢が変化することがある。図２１（ｂ）の例では、屈折率分布レンズアレイ２０とカメラ４０との間で、相対的な姿勢変化によって、水平方向の位置ずれが生じる。この場合、図２１（ｃ）に示すように、歪み補正手段５１０は、２次元画像処理によって、補正用画像から検出された屈折率分布レンズ２１の中心位置と、撮像画像から検出された検出対象要素レンズの中心位置とを比較、一致させる。これによって、歪み補正手段５１０は、姿勢変化による位置ずれも補正することができる

例えば、補正用白色被写体１０を撮像してから、被写体９０を撮像するまでの間、右方向に１画素分移動した場合を考える。この場合、歪み補正手段５１０は、補正用画像を右方向に１画素移動させた後、移動させた補正用画像と撮像画像とを用いて補正を行うことになる。
なお、移動方向と逆の方向（本例では左）にある補正用画像の左端の縦１列（右に１画素移動したので縦１列）では、その補正データが存在しないため、歪み補正手段５１０は、周辺画素の補正データから補間する。

＜第２例：３次元画像処理＞
以下、図２２を参照して、撮像画像の補正方法の第２例について説明する（適宜図１，図１３参照）。
ここで、図２２（ａ）のように、補正用白色被写体１０を撮像してから、図２２（ｂ）のように、被写体９０を撮像するまでの間、屈折率分布レンズアレイ２０とカメラ４０との相対的な姿勢が変化したとする。

この場合、図２２（ｃ）に示すように、歪み補正手段５１０は、３次元画像処理（例えば、光線追跡法）によって、この姿勢変化から、屈折率分布レンズアレイ２０とカメラ４０とが相対的に正しい位置での光線を推定することができる。従って、歪み補正手段５１０は、３次元画像処理を用いて、高い精度で補正を行うことができる。特に、屈折率分布レンズ２１の中心位置が設計位置からずれる場合（屈折率分布レンズアレイ２０に製造上の誤差がある場合）でも、歪み補正手段５１０は、３次元画像処理によって光線を正確に推定できるので、より高い精度で補正を行うことができる。

ここで、光線追跡法としては、例えば、文献“「インテグラル方式における幾何光学を用いた奥行き制御手法」，洗井、河北、岡野，映像情報メディア学会技術報告 vol.32,no.44,pp.41-44,3DIT2008-74,IDY2008-102 (Oct.2008)”に記載された手法を用いることができる。この文献に記載された手法を用いる場合、奥行き変更を行わない。

なお、補正用白色被写体１０を撮像して補正データを算出する際、屈折率分布レンズアレイ２０とカメラ４０とを適切な位置に手動で配置しておくとよい。
また、歪み補正手段５１０は、動画として撮像された撮像画像だけでなく、静止画として撮像された撮像画像を補正できることは言うまでもない。

［補正手段の動作：補正データの算出］
図２３，図２４を参照して、補正データの算出及び撮像画像の補正に分けて、図３の補正手段の動作について説明する（適宜図１３参照）。
なお、図２３，図２４では、手動で行われる処理を破線で図示した。

図２３に示すように、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ端面がカメラ４０の焦点位置になるように屈折率分布レンズアレイ２０を手動で配置する（ステップＳ１１）。

立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側に集光レンズ３０を手動で配置する（ステップＳ１２）。また、立体撮像システム１００では、屈折率分布レンズアレイ２０の被写体側に補正用白色被写体１０を手動で配置する（ステップＳ１３）。

カメラ４０は、屈折率分布レンズアレイ２０のカメラ側端面を撮像する。すなわち、カメラ４０は、集光レンズ３０を介して補正用白色被写体１０を撮像する。そして、補正手段５１は、カメラ４０から、屈折率分布レンズアレイ２０の屈折率分布レンズ２１の配列を示す補正用画像が、補正用画像入力手段５０１に入力される（ステップＳ１４）。

補正手段５１は、補正用２値化手段５０２によって、３原色の補正用画像に対して、２値化処理を行う（ステップＳ１５）。そして、補正手段５１は、補正用レンズ位置検出手段５０３によって、３原色の補正用画像に対して、重心検出処理、点像群検出処理又はパターンマッチングの何れか１以上を行うことで、３原色の補正用画像ごとに屈折率分布レンズ２１の位置を検出する（ステップＳ１６）。

補正手段５１は、補正データ算出手段５０４によって、屈折率分布レンズ２１ごとに、この基準色での屈折率分布レンズ２１の中心位置に対する、他の２原色での屈折率分布レンズ２１の中心位置のずれ量を算出する（ステップＳ１７）。

補正手段５１は、補正データ算出手段５０４によって、屈折率分布レンズ２１の中心位置を一致させる補正データを算出する。すなわち、補正手段５１は、補正データ算出手段５０４によって、色収差による歪みを補正する補正データを算出する（ステップＳ１８）。

［補正手段の動作：撮像画像の補正］
図２４に示すように、立体撮像システム１００では、補正用白色被写体１０に代えて、被写体９０を屈折率分布レンズアレイ２０の被写体側に手動で配置する（ステップＳ３１）。

カメラ４０は、屈折率分布レンズアレイ２０のカメラ側端面を撮像する。すなわち、カメラ４０は、集光レンズ３０を介して被写体９０を撮像する。そして、補正手段５１は、カメラ４０から、被写体９０が撮像された撮像画像が、撮像画像入力手段５０５に入力される（ステップＳ３２）。

補正手段５１は、撮像用２値化手段５０６によって、３原色の撮像画像に対して、２値化処理を行う（ステップＳ３３）。そして、補正手段５１は、検出対象要素レンズ設定手段５０７によって、３原色の撮像画像において、屈折率分布レンズ２１のレンズ面全体が撮像されたか否かをパターンマッチング又は要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定する（ステップＳ３４）。

補正手段５１は、撮像用レンズ位置検出手段５０８によって、３原色の撮像画像ごとに、重心検出処理又はパターンマッチングを行うことで、検出対象要素レンズの位置を検出する（ステップＳ３５）。

補正手段５１は、補正データ修正手段５０９によって、検出した検出対象要素レンズの位置ずれ量の平均値を算出する（ステップＳ３６）。そして、補正手段５１は、補正データ修正手段５０９によって、この平均値を補正データに加算して、補正データを修正する（ステップＳ３７）。さらに、補正手段５１は、歪み補正手段５１０によって、修正済みの補正データに基づいて、３原色の撮像画像を２元画像処理又は３次元画像処理によって補正する（ステップＳ３８）。

（その他変形例）
第１〜３実施形態では、レンズアレイの一例として、屈折率分布レンズアレイ２０を説明したが、本発明は、これに限定されない。
例えば、本発明は、レンズアレイとして、屈折率分布レンズアレイ２０の代わりに、凹レンズを２次元に配置した凹レンズアレイ（不図示）を用いることもできる。
さらに、本発明は、レンズアレイとして、屈折率分布レンズアレイ２０の代わりに、凸レンズアレイの対（不図示）を備えてもよい。

第１〜３実施形態では、光学部材の一例として、集光レンズ３０を説明したが、本発明は、これに限定されない。例えば、本発明は、光学部材として、集光レンズ３０の代わりに、拡散板（不図示）を用いることもできる。

第１〜３実施形態では、撮像装置の一例として、３板式のカメラ４０を説明したが、本発明は、これに限定されない。例えば、本発明は、撮像装置として、単板式のカメラ（不図示）を用いることもできる。

第１〜３実施形態では、ＲＧＢ信号から輝度信号及び色差信号への変換式が式（５）であり、輝度信号及び色差信号からＲＧＢ信号への逆変換式が式（７）であることとして説明したが、本発明は、これに限定されない。

第４実施形態では、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間における光学系の相対位置のずれを考慮して、補正データを修正することとしたが、本発明は、これに限定されない。つまり、補正手段５１は、補正データを修正しなくともよい。

第４実施形態として、第１〜３実施形態に適用可能な補正手段５１を説明したが、本発明は、これに限定されない。つまり、補正手段５１は、撮像画像の色ずれ量を１．０画以下に抑えることが可能であれば、第４実施形態の構成に限定されない。

（参考例１）
図２５を参照し、本発明の参考例１に係る補正装置５０Ｃについて、第２実施形態と異なる点を説明する。
参考例１に係る補正装置５０Ｃでは、エンハンス処理の代わりに、点拡がり関数（ＰＳＦ：Point Spread Function）を用いることが、第２実施形態と異なる。このため、補正装置５０Ｃは、図２５に示すように、補正手段５１と、信号変換手段５２と、パラメータ設定手段５３と、信号逆変換手段５５と、奥行情報入力手段５６と、点拡がり関数処理手段５８とを備える。

具体的には、点拡がり関数処理手段５８は、輝度画像（撮像画像の輝度信号Ｙ）の画素毎に、下記の式（１２）で定義された演算処理を行う。つまり、点拡がり関数処理手段５８は、撮像画像の輝度信号Ｙに点拡がり関数Ｚ´の計算値を乗算することで、撮像画像の輝度信号Ｙを輝度信号Ｙ´に補正している。

この式（１２）では、＊が畳み込み演算であり、がＺ´が点拡がり関数であり、ｘ，ｙがそれぞれ画素の水平座標及び垂直座標である。
また、σが、点の拡がり（点のぼけ）を示す係数である。点拡がり関数を用いる際、奥行情報が考慮されていなかったが、奥行が遠くなるほど、点の拡がりも大きくなると考えられる。そこで、係数σは、パラメータ設定手段５３を用いて、奥行情報Ｚに依存するように予め設定することが好ましい。

以上のように、参考例１に係る補正装置５０Ｃは、被写体９０の奥行情報に応じたぼけを撮像画像の輝度信号に反映させるため、撮像画像の色ずれをより正確に補正することができる。

本発明は、ＩＰ方式の立体像（静止画及び動画）の撮像に利用することができる。例えば、本発明は、ＩＰ方式の立体テレビ受信機で視聴される立体画像などの立体映像コンテンツの撮像に利用することができる。

１０ 補正用白色被写体
２０ 屈折率分布レンズアレイ（レンズアレイ）
２１ 屈折率分布レンズ（要素レンズ）
３０ 集光レンズ（光学部材）
４０ カメラ（撮像装置）
４１ 撮像用レンズ
４３_Ｒ，４３_Ｇ，４３_Ｂ 撮像素子
５０，５０Ａ，５０Ｂ，５０Ｃ 補正装置
５１ 補正手段
５２ 信号変換手段
５３ パラメータ設定手段
５４，５４Ａ，５４Ｂ エンハンス処理手段
５４ａ，５４Ａａ，５４Ｂａ エンハンス量算出手段
５５ 信号逆変換手段
５６ 奥行情報入力手段（奥行値入力手段）
５７ マスク画像生成手段
５８ 点拡がり関数処理手段
６０ データ転送線
７０ ハーフミラー
８０ 奥行情報取得カメラ
９０ 撮像用被写体（被写体）
１００，１００Ａ，１００Ｂ，１００Ｃ 立体撮像システム
５０１ 補正用画像入力手段
５０２ 補正用２値化手段
５０３ 補正用レンズ位置検出手段
５０４ 補正データ算出手段
５０５ 撮像画像入力手段
５０６ 撮像用２値化手段
５０７ 検出対象要素レンズ設定手段
５０８ 撮像用レンズ位置検出手段
５０９ 補正データ修正手段
５１０ 歪み補正手段

Claims (9)

1. 要素レンズが２次元状に配置されたレンズアレイと、撮像装置とを少なくとも含むインテグラルフォトグラフィー方式の立体撮像システムで撮像された撮像画像の色ずれを補正する補正装置であって、
   前記撮像装置から入力された撮像画像の色収差による歪みを補正する補正手段と、
   予め設定された変換式に基づいて、前記補正手段で補正された撮像画像のＲＧＢ信号を輝度信号及び色差信号に変換する信号変換手段と、
   前記信号変換手段で変換された撮像画像の輝度信号において、予め設定されたエンハンス周波数領域の成分に所定のエンハンス係数を乗じることで、当該輝度信号の加算量であるエンハンス量を算出するエンハンス量算出手段と、
   前記エンハンス量算出手段で算出されたエンハンス量と前記撮像画像の輝度信号とを加算するエンハンス処理を行うエンハンス処理手段と、
   予め設定された逆変換式に基づいて、前記信号変換手段で変換された撮像画像の色差信号及び前記エンハンス処理された撮像画像の輝度信号をＲＧＢ信号に逆変換することで、色ずれが補正された撮像画像を生成する信号逆変換手段と、
   を備えることを特徴とする補正装置。
2. 前記撮像画像の画素毎の奥行値が入力される奥行値入力手段、をさらに備え、
   前記エンハンス量算出手段は、前記エンハンス周波数領域の成分に前記奥行値と前記エンハンス係数とを乗じることで、前記撮像画像の画素毎に前記エンハンス量を算出することを特徴とする請求項１に記載の補正装置。
3. 前記エンハンス量算出手段は、前記エンハンス周波数領域の成分に対して線形又は非線形となるような前記エンハンス量を算出することを特徴とする請求項１に記載の補正装置。
4. 前記エンハンス処理手段は、前記撮像画像の輝度信号において、各画素の輝度値が予め設定された閾値以上となるか否かを判定し、前記輝度値が前記閾値以上となる画素に前記エンハンス処理を行うことを特徴とする請求項１に記載の補正装置。
5. 前記エンハンス量算出手段は、前記エンハンス周波数領域として、ナイキスト領域が予め設定されたことを特徴とする請求項１から請求項４の何れか一項に記載の補正装置。
6. 前記レンズアレイが撮像された撮像画像の輝度信号から、前記レンズアレイの輪郭を示すマスク画像を生成するマスク画像生成手段、をさらに備え、
   前記エンハンス処理手段は、被写体が撮像された撮像画像の輝度信号において、前記マスク画像が示すレンズアレイの輪郭以外の画素に、前記エンハンス処理を行うことを特徴とする請求項１から請求項５の何れか一項に記載の補正装置。
7. 要素レンズが２次元状に配置されたレンズアレイと、撮像装置とを少なくとも含むインテグラルフォトグラフィー方式の立体撮像システムで撮像された撮像画像の色ずれを補正するために、コンピュータを、
   前記撮像装置から入力された撮像画像の色収差による歪みを補正する補正手段、
   予め設定された変換式に基づいて、前記補正手段で補正された撮像画像のＲＧＢ信号を輝度信号及び色差信号に変換する信号変換手段、
   前記信号変換手段で変換された撮像画像の輝度信号において、予め設定されたエンハンス周波数領域の成分に所定のエンハンス係数を乗じることで、当該輝度信号の加算量であるエンハンス量を算出するエンハンス量算出手段、
   前記エンハンス量算出手段で算出されたエンハンス量と前記撮像画像の輝度信号とを加算するエンハンス処理を行うエンハンス処理手段、
   予め設定された逆変換式に基づいて、前記信号変換手段で変換された撮像画像の色差信号及び前記エンハンス処理された撮像画像の輝度信号をＲＧＢ信号に逆変換することで、色ずれが補正された撮像画像を生成する信号逆変換手段、
   として機能させるための補正プログラム。
8. 前記コンピュータを、前記撮像画像の画素毎の奥行値が入力される奥行値入力手段、としてさらに機能させ、
   前記エンハンス量算出手段は、前記エンハンス周波数領域の成分に前記奥行値と前記エンハンス係数とを乗じることで、前記撮像画像の画素毎に前記エンハンス量を算出することを特徴とする請求項７に記載の補正プログラム。
9. 撮像画像の色ずれを補正するインテグラルフォトグラフィー方式の立体撮像システムであって、
   被写体からの光が２次元状に配置された要素レンズに入射するレンズアレイと、
   前記レンズアレイに対向し、かつ、前記要素レンズに入射した前記被写体からの光の光路上に配置された光学部材と、
   前記光学部材を介して前記被写体を撮像することで、前記撮像画像を生成する撮像装置と、
   請求項１に記載の補正装置と、
   を備えることを特徴とする立体撮像システム。

Images