JP5453328B2 - 立体撮像システム、補正装置およびそのプログラム - Google Patents

Description

本発明は、インテグラル方式の立体撮像において、少なくとも色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体が撮像された撮像画像を補正する技術に関する。

撮像装置（カメラ）における撮像用レンズの色収差による歪みを含めた幾何学歪みを補正する技術として、白黒パターンが規則正しく並んだ測定用パターン(例えば、チェスボードパターン)や、規則正しい間隔で表示された格子状の測定用パターンを用いる手法が提案されている（非特許文献１）。

この非特許文献１に記載の技術は、白黒パターンの頂点が隣接する点または格子の交点を測定ポイントとし、撮像用レンズの中心から端までの範囲をＲＧＢの各撮像素子によって撮像し、各測定ポイントが直線状に配置されるように撮像装置の幾何学歪みを補正するものである。

また、複数台の撮像装置を用いる場合において、被写体の中から既知の３次元自然特徴点を抽出し、それらが一致するようにキャリブレーションを行う手法が提案されている（非特許文献２）。
要するに、非特許文献１，２に記載の技術では、既知のパターンを用いて、色収差による歪みを含む幾何学歪みの補正を行なっている。

ここで、撮像装置における色収差は、ズームやアイリスなどのレンズパラメータに応じて変化する。このため、レンズパラメータに応じて変化する倍率色収差の補正パラメータを事前に求め、信号処理による色収差補正を行う技術が提案されている（非特許文献３）。

近年、立体表示装置および立体撮像装置の研究開発が進み、特殊なメガネを用いなくても観察者に立体像を視認させることが可能なインテグラルフォトグラフィー（以下、「ＩＰ」）が注目されている。このＩＰにおいて、１画素の位置ずれ量が２次元画像と比較して大きいことが知られている（非特許文献４および特許文献１）。光学系における色収差歪みおよび幾何学歪みは、位置ずれの要因の一つであることから、色収差および幾何学歪みによる再生立体像の劣化は大きくなる。そこで、ＩＰにおいても、立体撮像装置の位置ずれを補正する様々な技術が提案されている（特許文献２，３）。

特許文献２に記載の発明は、レンズアレイの各要素レンズを原色ごとに利用することで色収差をなくしている。すなわち、特許文献２に記載の発明は、ある要素レンズでは赤色のみの要素画像の光線を再生し、別の要素レンズでは緑色のみの要素画像の光線を再生し、さらに別の要素レンズでは青色のみの要素画像の光線を再生する。つまり、特許文献２に記載の発明は、各要素レンズがベイヤー配列の単板カラー撮像素子のように利用されることになる。このため、特許文献２に記載の発明は、各要素レンズを出力する色ごとに最適化することで、色収差による歪みを抑えている。

特許文献３に記載の発明は、撮像系レンズアレイと表示系レンズアレイとの間に位置誤差が生じている場合、撮像系レンズアレイおよび表示系レンズアレイにおける各要素レンズの位置を検出して、立体撮像装置で撮像された映像の各要素画像の位置を、表示系の複眼レンズの要素レンズの位置に適合させるように補正するものである。

特開平１０−１８６２７６号公報 特開２００１−１３３７２７号公報 特開２００４−３３６２３９号公報

「A flexible new technique for camera calibration」，http://opencv.jp/sample/camera_calibration.html,IEEE Transactions on Pattern Analysis and Machine Intelligence,22(11),1330-1334,2000. 「Multiframe Image Point Matching and 3-D Surface Reconstruction.」，R.Y.Tsai.,IEEE Trans. on PAMI,5(2),159〜173,1983. 「信号処理による色収差補正における補正データ生成に関する検討」，山下、船津、三谷、野尻、中須，２０１０年電子情報通信学会総合大会，Ｄ−１１−１１０ 「Geometrical effects of positional errors in integral photography」,J.Arai,M.Okui,M.Kobayashi,F.Okano,Journal of Optical Society of America,vol.21,no.6,June 2004

前記した従来技術には、以下で説明するような問題がある。
非特許文献１，２に記載の技術は、ＩＰに適用した場合、既知の測定用パターンをレンズアレイの被写体側に配置する必要があるので、撮像面上ではレンズアレイ越しに既知の測定用パターンを撮影することになる。この場合、非特許文献１，２に記載の技術では、立体撮像装置での取得画像が歪んで既知の測定用パターンと異なる画像になるため、ＩＰにおいて、色収差による歪みおよび幾何学歪みを補正することが困難である。

また、非特許文献３に記載された技術は、レンズパラメータごとに補正パラメータを取得する。そして、非特許文献３に記載された技術は、補正パラメータのないレンズパラメータの場合、そのレンズパラメータに対応する補正パラメータを、既に取得した前後の補正パラメータから補間する。しかし、ＩＰでは、レンズアレイおよび集光レンズがカメラと一体化（固着）していないため、レンズアレイ、集光レンズおよびカメラの相対位置は、不規則に変化する。このため、非特許文献３に記載された技術は、ＩＰに適した手法と言えるものではない。

特許文献２に記載の発明では、要素レンズを３原色で共通にした場合に比べて、３原色ごとに専用の要素レンズを必要とするため、立体像を生成する実質的な画素数が減少してしまう。さらに、特許文献２に記載の発明では、レンズアレイ以外の撮像用レンズおよび集光レンズによる色収差による歪みおよび幾何学歪みが考慮されていない。言い換えるなら、ＩＰでは、レンズアレイ、撮像用レンズおよび集光レンズが含まれる光学系において、色収差による歪みおよび幾何学歪みを補正する必要がある。

また、特許文献１および非特許文献４に記載の発明でも、特許文献２に記載の発明と同様、撮像用レンズおよび集光レンズが含まれる光学系において、色収差による歪みおよび幾何学歪みの補正が考慮されていない。

特許文献３に記載の発明では、撮像および表示の光学系が一致していると仮定し、撮像系レンズアレイの製造上の位置と表示系レンズアレイの製造上の位置との誤差を補正することを目的としており、色収差による要素レンズの位置ずれが一切考慮されていない。

そこで、本発明は、前記した問題を解決し、レンズアレイおよび光学部材が含まれる光学系において、画質劣化を防止して、少なくとも色収差による歪みを容易に補正するインテグラル方式の立体撮像技術を提供することを目的とする。

前記した課題に鑑みて、本願第１発明に係る立体撮像システムは、補正用白色被写体を撮像して、少なくとも色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体が撮像された撮像画像を補正するインテグラル方式の立体撮像システムであって、白色光を発光する補正用白色被写体と、レンズアレイと、光学部材と、撮像装置と、補正装置と、を備えることを特徴とする。

かかる構成によれば、立体撮像システムのレンズアレイは、補正用白色被写体からの白色光が２次元に配置された要素レンズに入射する。このように、立体撮像システムは、３原色ごとに専用の要素レンズを必要としないため、実質的な画素数の減少を抑えることができる。また、立体撮像システムの光学部材は、レンズアレイに対向し、かつ、要素レンズに入射した補正用白色被写体からの白色光の光路上に配置される。

また、立体撮像システムの撮像装置は、例えば、３原色の撮像素子と、撮像用レンズとを有する。そして、立体撮像システムは、撮像装置によって、光学部材を介して補正用白色被写体を撮像することで、要素レンズの配列を示す３原色の補正用画像を生成する。つまり、撮像装置は、白色光を照射する補正用白色被写体を背にレンズアレイを撮像する。従って、撮像装置が撮像した補正用画像は、白い背景に要素レンズの配列が写るものとなり、測定用パターンが含まれないことになる。このため、立体撮像システムは、測定用パターンの歪みを考慮する必要がない。

また、立体撮像システムは、補正装置によって、撮像装置が生成した３原色の補正用画像から要素レンズの位置を検出し、検出した要素レンズの位置を一致させる補正データを算出し、補正データを用いて、撮像画像を補正する。つまり、立体撮像システムは、補正装置によって、撮像用被写体を撮像する前、レンズアレイおよび光学部材を介して補正用白色被写体を撮像し、レンズアレイの各要素レンズの位置を３原色ごとに検出し、各要素レンズの位置を３原色の補正用画像の間で一致させる補正データを算出する。そして、立体撮像システムは、補正装置によって、この補正データを用いて、撮像用被写体を撮像した撮像画像から、少なくとも色収差による歪みを補正する。

本願第２発明に係る立体撮像システムは、補正用白色被写体が、白色画像を表示する白色画像表示装置、または、白色光を発光する白色光源であることを特徴とする。
かかる構成によれば、立体撮像システムは、レンズアレイの全面に白色光を入射させるので、レンズアレイの外縁部に配列された要素レンズの位置も補正用画像から容易に検出することができる。

前記した課題に鑑みて、本願第３発明に係る補正装置は、白色光を発光する補正用白色被写体と、要素レンズが２次元に配置されたレンズアレイと、レンズアレイに対向するように配置された光学部材と、３原色の撮像素子を有し、レンズアレイおよび光学部材を介して補正用白色被写体を撮像する撮像装置とを備える立体撮像システムに用いられ、少なくとも色収差による歪みを補正する補正データを算出するものであって、補正用画像入力手段と、補正用２値化手段と、補正用レンズ位置検出手段と、補正データ算出手段と、を備えることを特徴とする。

かかる構成によれば、補正装置は、補正用画像入力手段によって、撮像装置から、要素レンズの配列を示す３原色の補正用画像が入力される。ここで、３原色ごとに専用の要素レンズを必要とせずに撮像可能な補正用画像を用いるため、補正装置は、実質的な画素数の減少を抑えることができる。また、撮像装置によって撮像された補正用画像は、白い背景に要素レンズの配列が写るものとなり、測定用パターンが含まれないことになる。このため、補正装置は、測定用パターンの歪みを考慮する必要がない。

また、補正装置は、補正用２値化手段によって、３原色の補正用画像に対して、２値化処理を行う。そして、補正装置は、補正用レンズ位置検出手段によって、補正用２値化手段によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、要素レンズの位置を検出する。さらに、補正装置は、補正データ算出手段によって、補正用レンズ位置検出手段が検出した要素レンズの位置を３原色の補正用画像の間で一致させる補正データを算出する。

つまり、補正装置は、撮像画像を補正する前、レンズアレイおよび光学部材を介して撮像された補正用画像から、レンズアレイの各要素レンズの位置を３原色ごとに検出し、各要素レンズの位置を３原色の補正用画像の間で一致させる補正データを算出する。

本願第４発明に係る補正装置は、補正データ算出手段が、３原色のうちの何れか１原色である基準色の補正用画像から検出した要素レンズの位置に、他の２原色の補正用画像から検出した要素レンズの位置を一致させる補正データを算出することを特徴とする。
かかる構成によれば、補正装置は、色収差による歪みを補正する補正データを、高い精度で算出することができる。

本願第５発明に係る補正装置は、要素レンズの基準位置を予め記憶する補正基準位置記憶手段をさらに備え、補正データ算出手段が、補正基準位置記憶手段が記憶する要素レンズの基準位置に、３原色の補正用画像から検出した要素レンズの位置を一致させる補正データを算出することを特徴とする。
かかる構成によれば、補正装置は、色収差による歪に加えて幾何学歪みも補正できる補正データを、高い精度で算出することができる。

本願第６発明に係る補正装置は、撮像装置から、撮像用被写体が撮像された３原色の撮像画像が入力される撮像画像入力手段と、撮像画像入力手段に入力された３原色の撮像画像に対して、２値化処理を行う撮像用２値化手段と、２値化処理が行われた３原色の撮像画像において、要素レンズのレンズ面全体が撮像されたか否かをパターンマッチングまたは要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された要素レンズを検出対象要素レンズとして設定する検出対象要素レンズ設定手段と、撮像用２値化手段によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理またはパターンマッチングを行うことで、検出対象要素レンズの位置を検出する撮像用レンズ位置検出手段と、撮像用レンズ位置検出手段が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した検出対象要素レンズの位置ずれの平均値に基づいて補正データ算出手段が算出した補正データを修正する補正データ修正手段と、補正データ修正手段が修正した補正データに基づいて、３原色の撮像画像を２次元画像処理または３次元画像処理によって補正する歪み補正手段と、をさらに備えることを特徴とする。

ここで、例えば、円形のレンズ面を有する要素レンズの場合、撮像画像では、要素レンズのレンズ面が半月状で撮像されるというように、要素レンズのレンズ面全体が撮像されないことがある。この撮像画像に対して、重心検出処理、点像群検出処理またはパターンマッチングを行うと、補正装置は、要素レンズの位置を検出できない場合や、要素レンズの位置を誤検出する場合がある。この状態で算出した補正データを用いて補正を行うと、撮像画像の歪みがかえって大きくなることがある。そこで、撮像装置は、検出対象要素レンズ設定手段によって、レンズ面全体が撮像された検出対象要素レンズを設定し、撮像用レンズ位置検出手段によって、レンズ面全体が撮像された検出対象要素レンズの位置を撮像画像から検出する。

また、補正用白色被写体を撮像してから、撮像用被写体を撮像するまでの間に、レンズアレイ、撮像用レンズおよび光学部材の相対位置にずれが生じる場合がある。そこで、補正装置は、補正データ修正手段によって、補正用画像から検出した要素レンズと検出対象要素レンズとの位置ずれの平均値を算出し、この平均値を補正データに反映させる。その後、補正装置は、修正済みの補正データを用いて、撮像用被写体を撮像した撮像画像から、少なくとも色収差による歪みを補正する。

本願第７発明に係る補正装置は、３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出するシェーディング補正データ算出手段と、補正用画像入力手段に入力された３原色の補正用画像に対して、シェーディング補正データに基づいてシェーディング補正を行う補正用シェーディング補正手段と、撮像装置から入力された３原色の撮像画像に対して、シェーディング補正データに基づいてシェーディング補正を行う撮像用シェーディング補正手段と、をさらに備え、補正用２値化手段が、補正用シェーディング補正手段によってシェーディング補正が行われた３原色の補正用画像に対して、２値化処理を行い、撮像用２値化手段が、撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像に対して、２値化処理を行い、歪み補正手段が、補正データに基づいて、撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像を補正することを特徴とする。

ここで、例えば、補正用白色被写体、光学部材、撮像装置の撮像用レンズおよび撮像素子の特性によって、補正用画像および撮像画像にシェーディングが発生することがある。この状態で２値化処理を行っても、補正用画像および撮像画像から正確な２値化画像を得ることが困難である。その結果、補正装置は、要素レンズの位置検出精度が低下することがある。そこで、補正装置は、補正用シェーディング補正手段および撮像用シェーディング補正手段によって、補正用画像および撮像画像にそれぞれシェーディング補正を行う。

なお、本願第３発明に係る補正装置は、一般的なコンピュータを、補正用画像入力手段、補正用２値化手段、補正用レンズ位置検出手段および補正データ算出手段として機能させる補正プログラムによって実現することもできる。

本発明によれば、以下のような優れた効果を奏する。
本願第１，３発明によれば、３原色ごとに専用の要素レンズを必要としないため、実質的な画素数の減少を抑えて、撮像画像の画質劣化を防止することができる。さらに、本願第１，３発明によれば、白い背景に要素レンズの配列が写る補正用画像を用いるため、測定用パターンの歪みを考慮する必要がなく、レンズアレイおよび光学部材が含まれる光学系において、少なくとも色収差による歪みを容易に補正することができる。従って、本願第１，３発明によれば、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。

本願第２発明によれば、レンズアレイの外縁部に配列された要素レンズの位置も補正用画像から容易に検出でき、要素レンズの位置検出精度を向上させることができる。
本願第４発明によれば、色収差による歪みを高い精度で補正することができる。
本願第５発明によれば、色収差による歪みおよび幾何学歪みを高い精度で補正することができる。

本願第６発明によれば、レンズ面全体が撮像された検出対象要素レンズの位置を検出するため、検出対象要素レンズの位置を検出できない事態や、検出対象要素レンズの位置を誤検出する事態を防止して、検出対象要素レンズの位置検出精度を高くすることができる。さらに、本願第６発明によれば、撮像用被写体を撮像するまでの間に、レンズアレイ、撮像用レンズおよび光学部材の相対位置にずれが生じた場合でも、その相対位置のずれを修正データに反映するため、少なくとも色収差による歪みを高い精度で補正することができる。

本願第７発明によれば、シェーディングによる悪影響を防止するので、要素レンズの配列を正確に示した２値化画像が容易に得られ、要素レンズの位置検出精度の低下を防止できる。さらに、本願第７発明によれば、撮像画像にシェーディングを行うため、撮像画像の画質劣化を防止することができる。

本発明の第１実施形態に係る立体撮像システムの全体構成図である。 （ａ）は、本発明の第１実施形態における補正用画像の一例を示す図であり、（ｂ）は、色収差による歪みを説明する図である。 図１の補正装置の構成を示すブロック図である。 図３の補正用レンズ位置検出手段の構成を示す第１のブロック図である。 図３の補正用レンズ位置検出手段の構成を示す第２のブロック図である。 図３の補正用レンズ位置検出手段の構成を示す第３のブロック図である。 図３の補正用レンズ位置検出手段の構成を示す第４のブロック図である。 図３の補正データ算出手段を説明する図である。 図３の撮像用レンズ位置検出手段の構成を示す第１のブロック図である。 図３の撮像用レンズ位置検出手段の構成を示す第２のブロック図である。 図３の歪み補正手段における２次元画像処理を説明する図である。 図３の歪み補正手段における３次元画像処理を説明する図である。 図１の立体撮像システムにおいて、補正データを算出する動作を示すフローチャートである。 図１の立体撮像システムにおいて、撮像画像を補正する動作を示すフローチャートである。 本発明の第２実施形態に係る立体撮像システムの全体構成図である。 本発明の第３実施形態に係る補正装置の構成を示すブロック図である。 図１６の補正データ算出手段を説明する図である。 本発明の第３実施形態に係る立体撮像システムにおいて、補正データを算出する動作を示すフローチャートである。 本発明の第４実施形態において、シェーディングの影響を説明する図である。 本発明の第４実施形態において、補正データを算出するときのシェーディング補正を説明する図である。 本発明の第４実施形態において、撮像画像を補正するときのシェーディング補正を説明する図である。 本発明の第４実施形態に係る補正装置の構成を示すブロック図である。 本発明の第４実施形態に係る立体撮像システムにおいて、補正データを算出する動作を示すフローチャートである。 本発明の第４実施形態に係る立体撮像システムにおいて、撮像画像を補正する動作を示すフローチャートである。 本発明の実施例１として、基準位置と、緑色の補正用画像での要素レンズの中心位置との位置ずれを補正する補正データをベクトル表現した図である。 本発明の実施例１として、緑色および赤色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをベクトル表現した図である。 本発明の実施例１として、緑色および青色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをベクトル表現した図である。 本発明の実施例２として、基準位置と、緑色の補正用画像での要素レンズの中心位置との位置ずれを補正する補正データをメッシュ表現したグラフである。 本発明の実施例２として、緑色および赤色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをメッシュ表現したグラフである。 本発明の実施例２として、緑色および青色の補正用画像での要素レンズの中心位置の位置ずれを補正する補正データをメッシュ表現したグラフである。

（第１実施形態：色収差による歪みの補正）
［立体撮像システムの概略］
以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略する。
図１を参照して、本発明の第１実施形態に係る立体撮像システム１００において、色収差による歪みの補正方法を簡単に説明する。

立体撮像システム１００は、インテグラル方式で立体像を撮像するときに、補正用白色被写体１０を撮像して色収差による歪みを補正する補正データを算出すると共に、補正データを用いて、撮像用被写体（不図示）が撮像された撮像画像を補正するものである。
この立体撮像システム１００は、例えば、撮影スタジオ内に構築されていることとする。また、補正用白色被写体１０、屈折率分布レンズアレイ２０および集光レンズ３０は、例えば、図示を省略した三脚に置載されており、撮影スタジオ内の任意位置に配置可能とする。

まず、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側端面がカメラ４０のフォーカス位置になるように、屈折率分布レンズアレイ２０を手動で配置する。そして、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側に集光レンズ３０を手動で配置し、屈折率分布レンズアレイ２０の被写体側に補正用白色被写体１０を手動で配置する。その後、カメラ４０は、補正用白色被写体１０を撮像する。

具体的には、カメラ４０は、赤色、緑色および青色という３原色ごとの補正用画像を撮像する。例えば、補正用画像は、それぞれ、図２（ａ）に示すように、屈折率分布レンズアレイ２０の屈折率分布レンズ２１の配列を示すことになる。この場合、補正用画像は、それぞれ、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１での色収差による歪みの影響を受けることになる。このため、図２（ｂ）に示すように、同一の屈折率分布レンズ２１であっても、緑色での屈折率分布レンズ２１_Ｇと、青色での屈折率分布レンズ２１_Ｂと、赤色での屈折率分布レンズ２１_Ｂとの間には、中心位置のずれが生じる。そこで、立体撮像システム１００は、補正装置５０によって、屈折率分布レンズ２１の位置ずれを検出して、色収差による歪みを補正する。

［立体撮像システムの構成］
図１に戻り、立体撮像システム１００の構成について説明する。
立体撮像システム１００は、補正用白色被写体１０と、屈折率分布レンズアレイ（レンズアレイ）２０と、集光レンズ（光学部材）３０と、カメラ（撮像装置）４０と、補正装置５０と、データ転送線６０とを備える。

補正用白色被写体１０は、屈折率分布レンズ２１に白色光を入射させるものである。このとき、補正用白色被写体１０は、全ての屈折率分布レンズ２１に白色光を入射させることが好ましい。

具体的には、補正用白色被写体１０は、例えば、屈折率分布レンズアレイ２０をカメラ側端面から撮像したとき、各屈折率分布レンズ２１のカメラ側端面が白くなるサイズの白色画像表示装置または白色光源である。この白色画像表示装置は、その表示面全体に白画像を表示する液晶モニタである。また、この白色光源は、白色光を発光する照明（ライト）である。

また、補正用白色被写体１０は、後記する補正装置５０における屈折率分布レンズ２１の位置検出手法に応じて、拡散白色光または平行白色光の何れかを出射する。ここで、拡散白色光を出射する場合、補正用白色被写体１０は、白色光を十分に拡散させるために拡散フィルタ（不図示）を装着することが好ましい。
なお、要素レンズの位置検出手法と、拡散白色光または平行白色光との関係については、後記する。

屈折率分布（ＧＲＩＮ：Graded INdex）レンズアレイ２０は、要素レンズとしての屈折率分布レンズ２１を２次元に配置したものである。また、屈折率分布レンズアレイ２０は、全ての屈折率分布レンズ２１に、補正用白色被写体１０からの白色光が入射する。

具体的には、屈折率分布レンズアレイ２０は、光軸に垂直な方向に屈折率分布を有する屈折率分布レンズ２１が、縦横に整列したマトリクス状に配置される。また、屈折率分布レンズアレイ２０は、屈折率分布レンズ２１が、互いに半分ずらした俵ずみ状に配置されてもよい（デルタ配列）。このように、屈折率分布レンズアレイ２０を用いることで、立体撮像システム１００は、凸レンズを用いたレンズアレイで発生する奥行き情報の反転を防止することができる。

ここで、屈折率分布レンズ２１は、光軸方向の長さをＺとし、蛇行周期長をＰとしたとき、下記の式（１）を満たすことで、屈折率分布レンズ２１の外側に主点を持つことになる。
Ｐ／２＜Ｚ＜Ｐ ・・・式（１）

さらに、屈折率分布レンズ２１は、光軸方向の長さＺが、下記の式（２）を満たすことが好ましい。この場合、屈折率分布レンズ２１は、被写体側の無限遠に焦点を持つとともにカメラ側の端面に結像する。このため、屈折率分布レンズアレイ２０は、隣接する他の屈折率分布レンズ２１との間で、クロストークを防止することができる。
Ｚ＝３Ｐ／４ ・・・式（２）

なお、屈折率分布レンズ２１は、光軸方向の長さＺが、前記した式（１）を満たす代わりに、式（３）を満たしてもよい。だたし。式（３）では、ｎは２以上の整数である。
Ｐ／２＋（ｎ−１）Ｐ＜Ｚ＜ｎＰ ・・・式（３）

また、屈折率分布レンズ２１は、光軸方向の長さＺが、前記した式（２）を満たす代わりに、式（４）を満たしてもよい。だたし。式（４）では、ｎは２以上の整数である。
Ｚ＝３Ｐ／４＋（ｎ−１）Ｐ ・・・式（４）

集光レンズ３０は、屈折率分布レンズアレイ２０に対向し、かつ、屈折率分布レンズ２１に入射した補正用白色被写体１０からの白色光の光路上に配置されるものである。例えば、集光レンズ３０は、凸レンズであり、補正用白色被写体１０からの白色光をカメラ４０に集光する。

カメラ４０は、撮像用レンズ４１と、赤色の画像を撮像する撮像素子４３_Ｒと、緑色の画像を撮像する撮像素子４３_Ｇと、青色の画像を撮像する撮像素子４３_Ｂとを有する３板式のカメラである。３原色の撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂとしては、例えば、ＣＣＤ（Charged Coupled Device）、または、ＣＭＯＳ（相補型金属酸化膜半導体）を用いることができる。

また、カメラ４０は、集光レンズ３０を介して補正用白色被写体１０を撮像することで、屈折率分布レンズ２１の配列を示す３原色の補正用画像を生成する（図２（ａ）参照）。また、カメラ４０は、集光レンズ３０を介して撮像用被写体を撮像することで、３原色の撮像画像を生成する。その後、カメラ４０は、データ転送線６０を介して、この補正用画像および撮像画像を補正装置５０に転送する。

ここで、カメラ４０は、プリズム、ハーフミラーなどの分光手段（不図示）を備えてもよい。この分光手段は、撮像用レンズ４１からの出射光を分光して、３原色の撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂに入射させる。この場合、カメラ４０は、３原色の撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂをずらして配置することで、より高精細な画像を撮像することができる。

補正装置５０は、カメラ４０によって転送された３原色の補正用画像から屈折率分布レンズ２１の位置を検出し、検出した屈折率分布レンズ２１の位置を一致させる補正データを算出するものである。そして、補正装置５０は、算出した補正データを用いて、カメラ４０から転送された３原色の撮像画像を補正する。

［補正装置の構成］
図３を参照して、補正装置５０の構成について説明する（適宜図１参照）。
図３に示すように、補正装置５０は、補正用画像入力手段５０１と、補正用２値化手段５０２と、補正用レンズ位置検出手段５０３と、補正データ算出手段５０４と、撮像画像入力手段５０５と、撮像用２値化手段５０６と、検出対象要素レンズ設定手段５０７と、撮像用レンズ位置検出手段５０８と、補正データ修正手段５０９と、歪み補正手段５１０とを備える。

補正用画像入力手段５０１は、カメラ４０から３原色の補正用画像が転送されるものであり、Ｒ補正用画像バッファ５０１_Ｒと、Ｇ補正用画像バッファ５０１_Ｇと、Ｂ補正用画像バッファ５０１_Ｂとを備える。

Ｒ補正用画像バッファ５０１_Ｒは、カメラ４０から転送された赤色の補正用画像を蓄積するバッファメモリである。このＲ補正用画像バッファ５０１_Ｒが蓄積する赤色の補正用画像は、後記するＲ補正用２値化手段５０２_Ｒによって読み出される。

Ｇ補正用画像バッファ５０１_ＧおよびＢ補正用画像バッファ５０１_Ｂは、それぞれ、Ｒ補正用画像バッファ５０１_Ｒと同様、緑色の補正用画像および青色の補正用画像を蓄積するバッファメモリである。

補正用２値化手段５０２は、３原色の補正用画像に対して、２値化処理を行うものであり、Ｒ補正用２値化手段５０２_Ｒと、Ｇ補正用２値化手段５０２_Ｇと、Ｂ補正用２値化手段５０２_Ｂとを備える。

Ｒ補正用２値化手段５０２_Ｒは、Ｒ補正用画像バッファ５０１_Ｒから赤色の補正用画像を読み出して、この赤色の補正用画像を輝度画像に変換する。そして、Ｒ補正用２値化手段５０２_Ｒは、この輝度画像に２値化処理を行って２値化画像を生成する。例えば、Ｒ補正用２値化手段５０２_Ｒは、輝度画像の各画素（注目画素）の輝度値と予め設定した閾値とを比較して、注目画素の輝度値が閾値以上の場合には注目画素を白色とし、注目画素の輝度値が閾値未満の場合には注目画素を黒色とする。このようにして、Ｒ補正用２値化手段５０２_Ｒは、赤色の補正用画像から、前景となる屈折率分布レンズ２１に対応する画素が白色で、背景となる補正用白色被写体１０に対応する画素が黒色で表された２値化画像を生成する。つまり、この２値化画像は、屈折率分布レンズ２１の領域（屈折率分布レンズ２１のレンズ面内）が白色で、屈折率分布レンズ２１以外の領域（屈折率分布レンズ２１同士の隙間）が黒色となる。その後、Ｒ補正用２値化手段５０２_Ｒは、生成した２値化画像を補正用レンズ位置検出手段５０３に出力する。

Ｇ補正用２値化手段５０２_ＧおよびＢ補正用２値化手段５０２_Ｂは、それぞれ、Ｒ補正用２値化手段５０２_Ｒと同様、緑色の補正用画像および青色の補正用画像に２値化処理を行うため、詳細な説明を省略する。

補正用レンズ位置検出手段５０３は、補正用２値化手段５０２によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、屈折率分布レンズ２１の位置を検出するものである。ここで、補正用レンズ位置検出手段５０３は、重心検出処理、点像群検出処理またはパターンマッチングを単独で行うか、または、重心検出処理と点像群検出処理とを組み合わせることができる。以下、屈折率分布レンズ２１の位置検出手法について、第１例〜第４例をあげて説明する。

＜第１例：重心検出処理＞
図４を参照して、屈折率分布レンズ２１の位置検出手法の第１例について説明する（適宜図３参照）。
図４に示すように、補正用レンズ位置検出手段５０３は、重心検出処理を行うため、Ｒ補正用重心検出手段５２３_Ｒと、Ｇ補正用重心検出手段５２３_Ｇと、Ｂ補正用重心検出手段５２３_Ｂとを備える。

Ｒ補正用重心検出手段５２３_Ｒは、Ｒ補正用２値化手段５０２_Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用重心検出手段５２３_Ｒは、この２値化画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。例えば、Ｒ補正用重心検出手段５２３_Ｒは、入力された赤色の補正用画像（２値化画像）に含まれる各白色領域（各屈折率分布レンズ２１の領域）において、縦横の中間位置を重心として検出する、または、この白色領域の面積により重心を検出することができる。その後、Ｒ補正用重心検出手段５２３_Ｒは、検出した屈折率分布レンズ２１の重心を、その屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。このように、Ｒ補正用重心検出手段５２３_Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。

Ｇ補正用重心検出手段５２３_ＧおよびＢ補正用重心検出手段５２３_Ｂは、それぞれ、Ｒ補正用重心検出手段５２３_Ｒと同様、２値化処理を施した緑色の補正用画像および青色の補正用画像に重心検出処理を行うため、詳細な説明を省略する。

＜第２例：点像群検出処理＞
図５を参照して、屈折率分布レンズ２１の位置検出手法の第２例について説明する（適宜図３参照）。
図５に示すように、補正用レンズ位置検出手段５０３は、点像群検出処理を行うため、Ｒ補正用点像群検出手段５３３_Ｒと、Ｇ補正用点像群検出手段５３３_Ｇと、Ｂ補正用点像群検出手段５３３_Ｂとを備える。

ここで、補正用白色被写体１０が平行白色光を出射する場合、屈折率分布レンズアレイ２０の各屈折率分布レンズ２１における焦平面には、屈折率分布レンズアレイ２０が有する屈折率分布レンズ２１と同数の点像群が形成される。従って、この点像群を検出することで、屈折率分布レンズ２１の中心位置を求めることができる。

Ｒ補正用点像群検出手段５３３_Ｒは、Ｒ補正用２値化手段５０２_Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用点像群検出手段５３３_Ｒは、この２値化画像に点像群検出処理を行って、点像群を検出する。その後、Ｒ補正用点像群検出手段５３３_Ｒは、検出した点像群における各点像の位置を、各屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。このように、Ｒ補正用点像群検出手段５３３_Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。

なお、点像群検出処理としては、例えば、文献“「インテグラル方式における幾何光学を用いた奥行き制御手法」，洗井、河北、岡野，映像情報メディア学会技術報告 vol.32,no.44,pp.41-44,3DIT2008-74,IDY2008-102 (Oct.2008)”に記載された手法を用いることができる。

Ｇ補正用点像群検出手段５３３_ＧおよびＢ補正用点像群検出手段５３３_Ｂは、Ｒ補正用点像群検出手段５３３_Ｒと同様、２値化処理を施した緑色の補正用画像および青色の補正用画像に点像群検出処理を行うため、詳細な説明を省略する。

＜第３例：重心検出処理と点像群検出処理との組み合わせ＞
図６を参照して、屈折率分布レンズ２１の位置検出手法の第３例について説明する（適宜図３参照）。

図６に示すように、補正用レンズ位置検出手段５０３は、重心検出処理と点像群検出処理との両方を行うため、Ｒ補正用重心検出手段５２３_Ｒと、Ｇ補正用重心検出手段５２３_Ｇと、Ｂ補正用重心検出手段５２３_Ｂと、Ｒ補正用点像群検出手段５３３_Ｒと、Ｇ補正用点像群検出手段５３３_Ｇと、Ｂ補正用点像群検出手段５３３_Ｂとを備える。

Ｒ補正用点像群検出手段５３３_Ｒは、Ｒ補正用２値化手段５０２_Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用点像群検出手段５３３_Ｒは、この２値化画像に点像群検出処理を行って、点像群の検出結果である点像群検出画像を生成する。その後、Ｒ補正用点像群検出手段５３３_Ｒは、この点像群検出画像をＲ補正用重心検出手段５２３_Ｒに出力する。

Ｒ補正用重心検出手段５２３_Ｒは、Ｒ補正用点像群検出手段５３３_Ｒから、点像群検出画像（点像群検出処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用重心検出手段５２３_Ｒは、この点像群検出画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。その後、Ｒ補正用重心検出手段５２３_Ｒは、検出した屈折率分布レンズ２１の重心を、その屈折率分布レンズ２１の中心位置として補正データ算出手段５０４に出力する。

このように、Ｒ補正用重心検出手段５２３_Ｒは、点像群の位置を参考として、点像群画像を２値化してから重心を求めることで、屈折率分布レンズ２１の中心位置をより高い精度で求めることができる。

＜第４例：パターンマッチング＞
図７を参照して、屈折率分布レンズ２１の位置検出手法の第４例について説明する（適宜図３参照）。
図７に示すように、補正用レンズ位置検出手段５０３は、パターンマッチングを行うため、Ｒ補正用パターンマッチング手段５４３_Ｒと、Ｇ補正用パターンマッチング手段５４３_Ｇと、Ｂ補正用パターンマッチング手段５４３_Ｂとを備える。

Ｒ補正用パターンマッチング手段５４３_Ｒは、Ｒ補正用２値化手段５０２_Ｒから、２値化画像（２値化処理が施された赤色の補正用画像）が入力される。そして、Ｒ補正用パターンマッチング手段５４３_Ｒは、この２値化画像にパターンマッチングを行って、各屈折率分布レンズ２１の中心位置を検出する。例えば、Ｒ補正用パターンマッチング手段５４３_Ｒには、屈折率分布レンズ２１を予め撮像して、屈折率分布レンズ２１のテンプレート画像を手動で登録しておく。そして、Ｒ補正用パターンマッチング手段５４３_Ｒは、パターンマッチング（例えば、正規化相関法）によって、入力された２値化画像からテンプレート画像にマッチする画像領域（つまり、屈折率分布レンズ２１の領域）を検出する。さらに、Ｒ補正用パターンマッチング手段５４３_Ｒは、検出した各画像領域での中心位置を、各屈折率分布レンズ２１の中心位置として、補正データ算出手段５０４に出力する。このように、Ｒ補正用パターンマッチング手段５４３_Ｒは、屈折率分布レンズ２１の中心位置をサブピクセル精度で求めることができる。

Ｇ補正用パターンマッチング手段５４３_ＧおよびＢ補正用パターンマッチング手段５４３_Ｂは、それぞれ、Ｒ補正用パターンマッチング手段５４３_Ｒと同様、２値化処理を施した緑色の補正用画像および青色の補正用画像にパターンマッチングを行うため、詳細な説明を省略する。

ここで、要素レンズの位置検出手法と、拡散白色光または平行白色光との関係について説明する。前記したように、点像群検出処理を行う場合（第２例および第３例）、補正用白色被写体１０が平行白色光を出射するとよい。その一方、点像群検出処理を利用しない場合（第１例および第４例）、拡散白色光を照射するとよい。

図３に戻り、補正装置５０の構成について説明を続ける。
補正データ算出手段５０４は、補正用レンズ位置検出手段５０３が検出した屈折率分布レンズ２１の位置を３原色の補正用画像の間で一致させる補正データを算出するものである。

具体的には、補正データ算出手段５０４は、補正用レンズ位置検出手段５０３から、赤色、緑色および青色の補正用画像で検出された各屈折率分布レンズ２１の中心位置が入力される。そして、補正データ算出手段５０４は、赤色、緑色および青色の何れか一色を基準色として、この基準色での屈折率分布レンズ２１の中心位置に対する、他の２原色での屈折率分布レンズ２１の中心位置のずれ量を算出する。

以下、緑色を基準色として説明する。この場合、補正データ算出手段５０４は、図８に示すように、緑色での屈折率分布レンズ２１_Ｇの中心位置Ｃ_Ｇに対する、青色での屈折率分布レンズ２１_Ｂの中心位置Ｃ_Ｂのずれ量ΔＧ−Ｂを求める。また、補正データ算出手段５０４は、緑色での屈折率分布レンズ２１_Ｇの中心位置Ｃ_Ｇに対する、赤色での屈折率分布レンズ２１_Ｒの中心位置Ｃ_Ｒのずれ量ΔＧ−Ｒを求める。そして、補正データ算出手段５０４は、このずれ量ΔＧ−Ｂ，ΔＧ−Ｒをゼロにする補正データを算出する。その後、補正データ算出手段５０４は、この補正データと、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置とを、後記する補正データ修正手段５０９に出力する。

また、補正データ算出手段５０４は、フィッティング関数を用いて、補正データを算出できる。例えば、屈折率分布レンズ２１が縦横に３×３個マトリクス上に配置され、撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂが縦横に３００×３００画素を有する場合を考える。この場合、屈折率分布レンズアレイ２０内での屈折率分布レンズ２１が９個であるため、各原色の補正用画像から検出できる屈折率分布レンズ２１の最大位置数は、それぞれ９個となる。また、９個の屈折率分布レンズ２１は、それぞれの位置ずれ量が異なる。その一方、９個の位置ずれをもとに、３００×３００画素の画像を補正するためには、画素ごとに補正データが必要となる。つまり、各屈折率分布レンズ２１と、撮像素子４３_Ｒ，４３_Ｇ，４３_Ｂの各画素とを対応させるため、９個の位置ずれを通るような曲面を生成する必要がある。そこで、この曲面として、９個の位置ずれにおける二乗誤差が最小になる高次関数の曲面を生成する。すなわち、フィッティング関数とは、この二乗誤差が最小になる高次関数のことである。

なお、フィッティング関数を生成する手法としては、例えば、文献“「超高精細映像表示システムのコンバーゼンス誤差と素子位置調整の自動化」，日下部祐一、金澤勝、岡野文男，映像情報メディア学会誌vol.60,no.2,pp.234-241,2006年”に記載された手法を用いることができる。

なお、屈折率分布レンズ２１の位置ずれを算出する数は、屈折率分布レンズアレイ２０内での屈折率分布レンズ２１の個数に依存する。従って、補正データ算出手段５０４は、全ての屈折率分布レンズ２１から補正データを算出してもよく、一部の屈折率分布レンズ２１から補正データを算出してもよい。一部の屈折率分布レンズ２１から補正データを算出した場合、補正データ算出手段５０４は、残りの屈折率分布レンズ２１の補正データを補間するとよい。

撮像画像入力手段５０５は、カメラ４０から、３原色の撮像画像が転送されるものであり、Ｒ撮像画像バッファ５０５_Ｒと、Ｇ撮像画像バッファ５０５_Ｇと、Ｂ撮像画像バッファ５０５_Ｂとを備える。

Ｒ撮像画像バッファ５０５_Ｒは、カメラ４０から転送された赤色の撮像画像を蓄積するバッファメモリである。このＲ撮像画像バッファ５０５_Ｒが蓄積する赤色の撮像画像は、後記するＲ撮像用２値化手段５０６_Ｒによって読み出される。

Ｇ撮像画像バッファ５０５_ＧおよびＢ撮像画像バッファ５０５_Ｂは、それぞれ、Ｒ撮像画像バッファ５０５_Ｒと同様、緑色の撮像画像および青色の撮像画像を蓄積するバッファメモリである。

撮像用２値化手段５０６は、３原色の撮像画像に対して、２値化処理を行うものであり、Ｒ撮像用２値化手段５０６_Ｒと、Ｇ撮像用２値化手段５０６_Ｇと、Ｂ撮像用２値化手段５０６_Ｂとを備える。

Ｒ撮像用２値化手段５０６_Ｒは、Ｒ撮像画像バッファ５０５_Ｒから赤色の撮像画像を読み出して、この赤色の撮像画像を輝度画像に変換する。そして、Ｒ撮像用２値化手段５０６_Ｒは、Ｒ補正用２値化手段５０２_Ｒと同様、この輝度画像に２値化処理を行って２値化画像を生成する。その後、Ｒ撮像用２値化手段５０６_Ｒは、生成した２値化画像をＲ検出対象要素レンズ設定手段５０７_Ｒに出力する。

Ｇ撮像用２値化手段５０６_ＧおよびＢ撮像用２値化手段５０６_Ｂは、それぞれ、Ｒ撮像用２値化手段５０６_Ｒと同様、緑色の撮像画像および青色の撮像画像に２値化処理を行うため、詳細な説明を省略する。

検出対象要素レンズ設定手段５０７は、２値化処理が行われた３原色の撮像画像において、屈折率分布レンズ２１のレンズ面全体が撮像されたか否かをパターンマッチングまたは要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定するものである。このため、検出対象要素レンズ設定手段５０７は、Ｒ検出対象要素レンズ設定手段５０７_Ｒと、Ｇ検出対象要素レンズ設定手段５０７_Ｇと、Ｂ検出対象要素レンズ設定手段５０７_Ｂとを備える。

Ｒ検出対象要素レンズ設定手段５０７_Ｒは、Ｒ撮像用２値化手段５０６_Ｒから２値化画像（２値化処理が行われた赤色の撮像画像）が入力される。そして、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、この２値化画像にパターンマッチングを行うか、または、屈折率分布レンズ２１の総輝度値を算出することで、各屈折率分布レンズ２１が検出対象要素レンズであるか否かを判定する。さらに、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定する。その後、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、設定した検出対象要素レンズを一意に識別する検出対象要素レンズ識別情報と、入力された２値化画像とを撮像用レンズ位置検出手段５０８に出力する。以下、検出対象要素レンズの判定手法について、第１例および第２例をあげて説明する。

＜第１例：パターンマッチング＞
Ｒ検出対象要素レンズ設定手段５０７_Ｒには、レンズ面全体が見えるように屈折率分布レンズ２１を予め撮像して、屈折率分布レンズ２１のレンズ面全体を示すテンプレート画像を手動で登録しておく。そして、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、入力された２値化画像に対して、このテンプレート画像を用いて、パターンマッチング（例えば、正規化相関法）を行う。

ここで、例えば、レンズ面が半月状で撮像された屈折率分布レンズ２１のように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、パターンマッチングで検出されないことになる。その一方、レンズ面全体が撮像された屈折率分布レンズ２１は、パターンマッチングで検出されることになる。そこで、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、パターンマッチングで検出された屈折率分布レンズ２１を検出対象要素レンズとして設定する。

＜第２例：屈折率分布レンズの総輝度値＞
Ｒ検出対象要素レンズ設定手段５０７_Ｒは、レンズ面全体が見える状態で屈折率分布レンズ２１を撮像した２値化画像から、屈折率分布レンズ２１に対応する画像領域内画素の輝度値を合計した判定用総輝度値を予め算出する。つまり、この判定用総輝度値は、レンズ面全体が撮像された状態での屈折率分布レンズ２１に対応する画像領域の総輝度値である。そして、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、入力された２値化画像において、屈折率分布レンズ２１に対応する画像領域内の画素の輝度値を合計して、屈折率分布レンズ２１ごとに総輝度値を算出する。さらに、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、算出した屈折率分布レンズ２１の総輝度値が判定用総輝度値以上であるか否かを判定する。

ここで、例えば、レンズ面が半月状で撮像された屈折率分布レンズ２１のように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、その総輝度値が判定用総輝度値未満となる。その一方、レンズ面全体が撮像された屈折率分布レンズ２１は、その総輝度値が判定用総輝度値以上となる。そこで、Ｒ検出対象要素レンズ設定手段５０７_Ｒは、算出した総輝度値が判定用総輝度値以上と判定された屈折率分布レンズ２１を、検出対象要素レンズとして設定する。

Ｇ検出対象要素レンズ設定手段５０７_ＧおよびＢ検出対象要素レンズ設定手段５０７_Ｂは、それぞれ、Ｒ検出対象要素レンズ設定手段５０７_Ｒと同様、２値化処理を施した緑色の撮像画像および青色の撮像画像において検出対象要素レンズを設定するため、詳細な説明を省略する。

撮像用レンズ位置検出手段５０８は、撮像用２値化手段５０６によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理またはパターンマッチングを行うことで、検出対象要素レンズの位置を検出するものである。以下、検出対象要素レンズの位置検出手法について、第１例および第２例をあげて説明する。

＜第１例：重心検出処理＞
図９を参照し、検出対象要素レンズの位置検出手法の第１例について説明する（適宜図３参照）。
図９に示すように、撮像用レンズ位置検出手段５０８は、重心検出処理を行うため、Ｒ撮像用重心検出手段５２８_Ｒと、Ｇ撮像用重心検出手段５２８_Ｇと、Ｂ撮像用重心検出手段５２８_Ｂとを備える。

Ｒ撮像用重心検出手段５２８_Ｒは、Ｒ検出対象要素レンズ設定手段５０７_Ｒから、検出対象要素レンズ識別情報と、２値化画像（２値化処理が施された赤色の撮像画像）とが入力される。そして、Ｒ撮像用重心検出手段５２８_Ｒは、Ｒ補正用重心検出手段５２３_Ｒと同様、この２値化画像に重心検出処理を行って、屈折率分布レンズ２１の重心を検出する。その後、Ｒ撮像用重心検出手段５２８_Ｒは、検出した全ての屈折率分布レンズ２１のうち、検出対象要素レンズ識別情報で検出対象要素レンズとして設定された屈折率分布レンズ２１の重心を、検出対象要素レンズの中心位置として補正データ修正手段５０９に出力する。このように、Ｒ撮像用重心検出手段５２８_Ｒは、検出対象要素レンズの中心位置をサブピクセル精度で求めることができる。

Ｇ撮像用重心検出手段５２８_ＧおよびＢ撮像用重心検出手段５２８_Ｂは、それぞれ、Ｒ撮像用重心検出手段５２８_Ｒと同様、２値化処理を施した緑色の撮像画像および青色の撮像画像に重心検出処理を行うため、詳細な説明を省略する。

＜第２例：パターンマッチング＞
図１０を参照し、検出対象要素レンズの位置検出手法の第２例について説明する（適宜図３参照）。
図１０に示すように、撮像用レンズ位置検出手段５０８は、パターンマッチングを行うため、Ｒ撮像用パターンマッチング手段５４８_Ｒと、Ｇ撮像用パターンマッチング手段５４８_Ｇと、Ｂ撮像用パターンマッチング手段５４８_Ｂとを備える。

Ｒ撮像用パターンマッチング手段５４８_Ｒは、Ｒ検出対象要素レンズ設定手段５０７_Ｒから、検出対象要素レンズ識別情報と、２値化画像（２値化処理が施された赤色の撮像画像）とが入力される。そして、Ｒ撮像用パターンマッチング手段５４８_Ｒは、Ｒ補正用パターンマッチング手段５４３_Ｒと同様、この２値化画像にパターンマッチングを行って、各屈折率分布レンズ２１の中心位置を検出する。さらに、Ｒ撮像用パターンマッチング手段５４８_Ｒは、検出した全ての屈折率分布レンズ２１のうち、検出対象要素レンズ識別情報で検出対象要素レンズとして設定された屈折率分布レンズ２１の中心位置を、検出対象要素レンズの中心位置として補正データ修正手段５０９に出力する。このように、Ｒ撮像用パターンマッチング手段５４８_Ｒは、検出対象要素レンズの中心位置をサブピクセル精度で求めることができる。

Ｇ撮像用パターンマッチング手段５４８_ＧおよびＢ撮像用パターンマッチング手段５４８_Ｂは、それぞれ、Ｒ撮像用パターンマッチング手段５４８_Ｒと同様、２値化処理を施した緑色の撮像画像および青色の撮像画像にパターンマッチングを行うため、詳細な説明を省略する。

前記したように、レンズ面全体が撮像されていない屈折率分布レンズ２１は、検出対象要素レンズとして設定されることがない。このため、第１例〜第４例の何れを用いた場合でも、撮像用レンズ位置検出手段５０８は、検出対象要素レンズの位置を検出できない事態や、検出対象要素レンズの位置を誤検出する事態を防止して、検出対象要素レンズの位置検出精度を高くすることができる。

図３に戻り、補正装置５０の構成について説明を続ける。
補正データ修正手段５０９は、撮像用レンズ位置検出手段５０８が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した検出対象要素レンズの位置ずれの平均値に基づいて、補正データ算出手段５０４が算出した補正データを修正するものである。

ここで、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間に、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１の相対位置にずれが生じる場合がある。そこで、補正データ修正手段５０９は、補正用画像から検出した屈折率分布レンズ２１の中心位置と、検出対象要素レンズの中心位置との位置ずれの平均値を算出し、この平均値を補正データに反映させる。

具体的には、補正データ修正手段５０９は、補正データ算出手段５０４から、補正データと、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置とが入力される。また、補正データ修正手段５０９は、撮像用レンズ位置検出手段５０８から、赤色、緑色および青色での検出対象要素レンズの中心位置が入力される。そして、補正データ修正手段５０９は、３原色ごとに、この検出対象要素レンズの中心位置と、この検出対象要素レンズに対応する屈折率分布レンズ２１の中心位置との位置ずれ量を算出する。さらに、補正データ修正手段５０９は、３原色ごとに、算出した全ての位置ずれ量の平均値を算出して、この平均値を補正データに加算する。その後、補正データ修正手段５０９は、修正した補正データを歪み補正手段５１０に出力する。これによって、補正データ修正手段５０９は、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間に生じた中心位置ずれを補正データに反映させることができる。

歪み補正手段５１０は、補正データ修正手段５０９が修正した補正データに基づいて、３原色の撮像画像を２次元画像処理または３次元画像処理によって補正するものである。具体的には、歪み補正手段５１０は、カメラ４０から、３原色ごとの撮像画像（動画）が入力される。この撮像画像（動画）は、撮像用被写体を撮像した撮像画像がフレーム画像として連続したものである。また、歪み補正手段５１０は、補正データ修正手段５０９から、修正済みの補正データが入力される。そして、基準色が緑色であるため、歪み補正手段５１０は、赤色および青色の撮像画像での屈折率分布レンズ２１の中心位置か、緑色の撮像画像での屈折率分布レンズ２１の中心位置に一致するように、赤色および青色の撮像画像を補正する（図８参照）。その後、歪み補正手段５１０は、緑色の撮像画像と、補正済みの赤色および青色の撮像画像とを合成して出力する。以下、撮像画像の補正方法について、第１例および第２例をあげて説明する。

＜第１例：２次元画像処理＞
以下、図１１を参照して、撮像画像の補正方法の第１例について説明する（適宜図１，図３参照）。

屈折率分布レンズアレイ２０は、カメラ側端面が平面である（図１参照）。このため、歪み補正手段５１０は、２次元画像処理によって、色収差による歪みだけでなく、姿勢変化による位置ずれ（例えば、水平、垂直、回転およびあおり）も補正することが可能となる。

図１１（ａ）のように、補正用白色被写体１０を撮像してから、図１１（ｂ）のように、撮像用被写体を撮像するまでの間、屈折率分布レンズアレイ２０とカメラ４０との相対的な姿勢が変化することがある。図１１（ｂ）の例では、屈折率分布レンズアレイ２０とカメラ４０との間で、相対的な姿勢変化によって、水平方向の位置ずれが生じる。この場合、図１１（ｃ）に示すように、歪み補正手段５１０は、２次元画像処理によって、補正用画像から検出された屈折率分布レンズ２１の中心位置と、撮像画像から検出された検出対象要素レンズの中心位置とを比較、一致させる。これによって、歪み補正手段５１０は、姿勢変化による位置ずれも補正することができる

例えば、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間、右方向に１画素分移動した場合を考える。この場合、歪み補正手段５１０は、補正用画像を右方向に１画素移動させた後、移動させた補正用画像と撮像画像とを用いて補正を行うことになる。
なお、移動方向と逆の方向（本例では左）にある補正用画像の左端の縦１列（右に１画素移動したので縦１列）では、その補正データが存在しないため、歪み補正手段５１０は、周辺画素の補正データから補間する。

＜第２例：３次元画像処理＞
以下、図１２を参照して、撮像画像の補正方法の第２例について説明する（適宜図１，図３参照）。
ここで、図１２（ａ）のように、補正用白色被写体１０を撮像してから、図１２（ｂ）のように、撮像用被写体を撮像するまでの間、屈折率分布レンズアレイ２０とカメラ４０との相対的な姿勢が変化したとする。

この場合、図１２（ｃ）に示すように、歪み補正手段５１０は、３次元画像処理（例えば、光線追跡法）によって、この姿勢変化から、屈折率分布レンズアレイ２０とカメラ４０とが相対的に正しい位置での光線を推定することができる。従って、歪み補正手段５１０は、３次元画像処理を用いて、高い精度で補正を行うことができる。特に、屈折率分布レンズ２１の中心位置が設計位置からずれる場合（屈折率分布レンズアレイ２０に製造上の誤差がある場合）でも、歪み補正手段５１０は、３次元画像処理によって光線を正確に推定できるので、より高い精度で補正を行うことができる。

ここで、光線追跡法としては、例えば、文献“「インテグラル方式における幾何光学を用いた奥行き制御手法」，洗井、河北、岡野，映像情報メディア学会技術報告 vol.32,no.44,pp.41-44,3DIT2008-74,IDY2008-102 (Oct.2008)”に記載された手法を用いることができる。この文献に記載された手法を用いる場合、奥行き変更を行わない。

なお、補正用白色被写体１０を撮像して補正データを算出する際、屈折率分布レンズアレイ２０とカメラ４０とを適切な位置に手動で配置しておくとよい。
また、歪み補正手段５１０は、動画として撮像された撮像画像だけでなく、静止画として撮像された撮像画像を補正できることは言うまでもない。

［立体撮像システムの動作：補正データの算出］
図１３，図１４を参照して、補正データの算出および撮像画像の補正に分けて、図１の立体撮像システムの動作について説明する（適宜図１，図３参照）。
なお、図１３，図１４では、手動で行われる処理を破線で図示した。

図１３に示すように、立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ端面がカメラ４０の焦点位置になるように屈折率分布レンズアレイ２０を手動で配置する（ステップＳ１）。

立体撮像システム１００では、屈折率分布レンズアレイ２０のカメラ側に集光レンズ３０を手動で配置する（ステップＳ２）。また、立体撮像システム１００では、屈折率分布レンズアレイ２０の被写体側に補正用白色被写体１０を手動で配置する（ステップＳ３）。

カメラ４０は、屈折率分布レンズアレイ２０のカメラ側端面を撮像する。すなわち、カメラ４０は、集光レンズ３０を介して補正用白色被写体１０を撮像する。そして、補正装置５０は、カメラ４０から、屈折率分布レンズアレイ２０の屈折率分布レンズ２１の配列を示す補正用画像が、補正用画像入力手段５０１に転送される（ステップＳ４）。

補正装置５０は、補正用２値化手段５０２によって、３原色の補正用画像に対して、２値化処理を行う（ステップＳ５）。そして、補正装置５０は、補正用レンズ位置検出手段５０３によって、３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、３原色の補正用画像ごとに屈折率分布レンズ２１の位置を検出する（ステップＳ６）。

補正装置５０は、補正データ算出手段５０４によって、屈折率分布レンズ２１ごとに、この基準色での屈折率分布レンズ２１の中心位置に対する、他の２原色での屈折率分布レンズ２１の中心位置のずれ量を算出する（ステップＳ７）。

補正装置５０は、補正データ算出手段５０４によって、屈折率分布レンズ２１の中心位置を一致させる補正データを算出する。すなわち、補正装置５０は、補正データ算出手段５０４によって、色収差による歪みを補正する補正データを算出する（ステップＳ８）。

［立体撮像システムの動作：撮像画像の補正］
図１４に示すように、立体撮像システム１００では、補正用白色被写体１０に代えて、撮像用被写体を屈折率分布レンズアレイ２０の被写体側に手動で配置する（ステップＳ１０）。

カメラ４０は、屈折率分布レンズアレイ２０のカメラ側端面を撮像する。すなわち、カメラ４０は、集光レンズ３０を介して撮像用被写体を撮像する。そして、補正装置５０は、カメラ４０から、撮像用被写体が撮像された撮像画像が、撮像画像入力手段５０５に転送される（ステップＳ１１）。

補正装置５０は、撮像用２値化手段５０６によって、３原色の撮像画像に対して、２値化処理を行う（ステップＳ１２）。そして、補正装置５０は、検出対象要素レンズ設定手段５０７によって、３原色の撮像画像において、屈折率分布レンズ２１のレンズ面全体が撮像されたか否かをパターンマッチングまたは要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された屈折率分布レンズ２１を検出対象要素レンズとして設定する（ステップＳ１３）。

補正装置５０は、撮像用レンズ位置検出手段５０８によって、３原色の撮像画像ごとに、重心検出処理またはパターンマッチングを行うことで、検出対象要素レンズの位置を検出する（ステップＳ１４）。

補正装置５０は、補正データ修正手段５０９によって、検出した検出対象要素レンズの位置ずれ量の平均値を算出する（ステップＳ１５）。そして、補正装置５０は、補正データ修正手段５０９によって、この平均値を補正データに加算して、補正データを修正する（ステップＳ１６）。さらに、補正装置５０は、歪み補正手段５１０によって、修正済みの補正データに基づいて、３原色の撮像画像を２元画像処理または３次元画像処理によって補正する（ステップＳ１７）。

以上のように、本発明の第１実施形態に係る立体撮像システム１００は、３原色ごとに専用の要素レンズを必要としないため、実質的な画素数の減少を抑えて、撮像画像の画質劣化を防止することができる。さらに、立体撮像システム１００は、白い背景で各要素レンズを撮像した補正用画像を用いるため、測定用パターンの歪みを考慮する必要がない。このため、立体撮像システム１００は、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１が含まれる光学系において、色収差による歪みを容易、かつ、高い精度で補正することができる。従って、立体撮像システム１００は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。

（変形例１：凹レンズアレイ）
前記した立体撮像システム１００は、種々の変更を加えることができるため、その変形例を具体的に説明する。
図１に示すように、第１実施形態では、レンズアレイの一例として、屈折率分布レンズアレイ２０を説明したが、これに限定されない。例えば、レンズアレイとして、屈折率分布レンズアレイ２０の代わりに、凹レンズを２次元に配置した凹レンズアレイ（不図示）を用いることもできる。

（変形例２：拡散板）
図１に示すように、第１実施形態では、光学部材の一例として、集光レンズ３０を説明したが、これに限定されない。例えば、光学部材として、集光レンズ３０の代わりに、拡散板（不図示）を用いることもできる。

一般的な拡散板は、例えば、光を拡散する用途と、隣り合う画素間の境界をぼかす用途との２種類に分類できる。ここで、光学部材として、前者を用途とする拡散板を用いる場合、下記の式（５）で定義される拡散角度θを満たすことが好ましい。この式（５）で定義される拡散角度θを満たさない場合、補正用白色被写体１０からの白色光がカメラ４０に入射されなくなるためである。

なお、式（５）では、Ｗが屈折率分布レンズアレイ２０の中心から最端部までの長さであり、Ｄが撮像用レンズ４１から拡散板までの距離である。また、撮像用レンズ４１の光軸が屈折率分布レンズアレイ２０の中心を通過することとする。

一方、光学部材として、後者を用途とする拡散板を用いる場合、なるべく拡散板での拡散が少ないことが好ましい。
このように、光学部材として拡散板を用いた場合、色収差による歪みおよび幾何学歪みが拡散板で発生しないため、立体撮像システム１００では、歪みの発生要因を１つ取り除くことができる。このため、立体撮像システム１００は、色収差による歪みおよび幾何学歪みが少ない補正用画像および撮像画像を撮像できる。

（変形例３：補正データの修正なし）
図３に示すように、第１実施形態では、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間における光学系の相対位置のずれを考慮して、補正データを修正することとしたが、これに限定されない。つまり、補正装置５０は、補正データを修正しなくともよい。

この場合、図３の補正装置５０において、撮像画像入力手段５０５、撮像用２値化手段５０６、検出対象要素レンズ設定手段５０７、撮像用レンズ位置検出手段５０８および補正データ修正手段５０９を備えない構成とする。また、補正データ算出手段５０４は、算出した補正データを歪み補正手段５１０に出力する。そして、歪み補正手段５１０は、補正データ算出手段５０４から入力された補正データ（つまり、未修正の補正データ）に基づいて、撮像画像を補正する。
なお、補正用白色被写体１０を撮像してから、撮像用被写体を撮像するまでの間における光学系の相対位置のずれは、補正されないことは言うまでもない。

（第２実施形態：凸レンズアレイの対）
［立体撮像システムの構成］
図１５を参照して、本発明の第２実施形態に係る立体撮像システム１０１の構成について、第１実施形態と異なる点を説明する（適宜図１参照）。
図１５に示すように、立体撮像システム１０１は、図１の屈折率分布レンズアレイ２０の代わりに、凸レンズアレイの対２２を備える。

凸レンズアレイの対２２は、凸レンズアレイ２３ａ，２３ｂが互いに対向するように配置されたものである。また、凸レンズアレイ２３ａ，２３ｂは、それぞれ、要素レンズとしての凸レンズ２４ａ，２４ｂが２次元に配置される。すなわち、凸レンズアレイ２３ａ，２３ｂは、同数の凸レンズ２４ａ，２４ｂを有する。さらに、各凸レンズ２４ａ，２４ｂは、互いに対応するように、その中心位置が一致する。

ここで、凸レンズアレイ２３ａ，２３ｂの焦点距離をｆＡとして説明する。
凸レンズアレイ２３ａが被写体側に配置され、凸レンズアレイ２３ｂが凸レンズアレイ２３ａのカメラ側に配置される。このとき、凸レンズアレイ２３ｂは、カメラ４０が焦点距離ｆＡの２倍の位置を撮像でき、かつ、凸レンズアレイ２３ａからの焦点距離ｆＡが４倍となる位置に配置される。

また、凸レンズアレイ２３ａ，２３ｂは、互いに焦点距離が異なってもよい。この場合、凸レンズアレイ２３ａが有する凸レンズ２４ａは、全て同一の焦点距離を有する。さらに、凸レンズアレイ２３ｂが有する凸レンズ２４ｂは、全て同一の焦点距離を有する。

以上のように、本発明の第２実施形態に係る立体撮像システム１０１は、屈折率分布レンズアレイ２０の代わりに、凸レンズアレイの対２２を用いた光学系においても、色収差による歪みを容易、かつ、高い精度で補正することができる。従って、立体撮像システム１０１は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。
なお、第２実施形態では、凸レンズアレイの対２２以外の各手段、および、立体撮像システム１０１の動作が第１実施形態と同様のため、詳細な説明を省略する。

（変形例４：新たな凸レンズアレイ）
前記した立体撮像システム１０１は、種々の変更を加えることができるため、その変形例を具体的に説明する。

図１５の立体撮像システム１０１は、凸レンズアレイ２３ａのカメラ側であって、凸レンズアレイ２３ａからの焦点距離ｆＡが２倍となる位置に、新たな凸レンズアレイ（不図示）をさらに配置してもよい。

新たな凸レンズアレイは、凸レンズアレイ２３ａ，２３ｂと同じ焦点距離ｆＡを有する。また、新たな凸レンズアレイは、凸レンズアレイ２３ａ，２３ｂと同数の凸レンズ（要素レンズ）を有する。さらに、新たな凸レンズアレイの各凸レンズは、対応する凸レンズ２４ａ，２４ｂの中心位置と一致する。

（第３実施形態：色収差による歪みおよび幾何学歪みの補正）
［補正装置の構成］
図１６を参照して、本発明の第３実施形態に係る補正装置５１の構成について、第１実施形態と異なる点を説明する（適宜図１，図３参照）。
図１６に示すように、補正装置５１は、色収差による歪みに加えて幾何学歪みを補正するため、補正基準位置記憶手段５１１をさらに備え、図３の補正データ算出手段５０４の代わりに補正データ算出手段５０４Ａを備える。

補正基準位置記憶手段５１１は、図１の屈折率分布レンズ２１（要素レンズ）の基準位置を予め記憶するメモリ、ハードディスクなどの記憶手段である。この基準位置は、各屈折率分布レンズ２１の中心位置の基準となり、例えば、各屈折率分布レンズ２１の中心位置の設計値である。

補正データ算出手段５０４Ａは、補正基準位置記憶手段５１１が記憶する基準位置に、３原色での屈折率分布レンズ２１の位置を一致させる補正データを算出するものである。

具体的には、補正データ算出手段５０４Ａは、補正用レンズ位置検出手段５０３から、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置が入力される。また、補正データ算出手段５０４Ａは、補正基準位置記憶手段５１１から基準位置を読み出す。そして、補正データ算出手段５０４Ａは、この基準位置に対する、３原色での屈折率分布レンズ２１の中心位置のずれ量を算出する。

この場合、補正データ算出手段５０４Ａは、図１７に示すように、基準位置Ｃに対する、赤色での屈折率分布レンズ２１_Ｒの中心位置Ｃ_Ｒのずれ量ΔＣ−Ｒを求める。また、補正データ算出手段５０４Ａは、基準位置Ｃに対する、緑色での屈折率分布レンズ２１_Ｇの中心位置Ｃ_Ｇのずれ量ΔＣ−Ｇを求める。そして、補正データ算出手段５０４Ａは、基準位置Ｃに対する、青色での屈折率分布レンズ２１_Ｂの中心位置Ｃ_Ｂのずれ量ΔＣ−Ｂを求める。さらに、補正データ算出手段５０４Ａは、このずれ量ΔＣ−Ｇ，ΔＧ−Ｂ，ΔＧ−Ｒをゼロにする補正データを算出する。その後、補正データ算出手段５０４Ａは、この補正データと、赤色、緑色および青色での各屈折率分布レンズ２１の中心位置とを、後記する補正データ修正手段５０９に出力する。

なお、立体撮像システム１００の全体構成は、図１と同様のため、詳細な説明を省略する。また、図１６の補正データ算出手段５０４Ａおよび補正基準位置記憶手段５１１以外の各手段は、図３の各手段と同様のため、詳細な説明を省略する。

［立体撮像システムの動作：補正データの算出］
図１８を参照して、第３実施形態に係る立体撮像システム１００が補正データを算出する動作について説明する（適宜図１，図１６参照）。
なお、図１８のステップＳ１〜ステップＳ６は、図１３の各ステップと同様のため、詳細な説明を省略する。また、立体撮像システム１００が撮像画像を補正する動作は、図１４と同様のため、詳細な説明を省略する。

補正装置５１は、補正データ算出手段５０４Ａによって、屈折率分布レンズ２１ごとに、基準位置に対する、３原色での屈折率分布レンズ２１の中心位置のずれ量を算出する（ステップＳ２０）。

補正装置５１は、補正データ算出手段５０４Ａによって、屈折率分布レンズ２１の中心位置を基準位置に一致させる補正データを算出する。すなわち、補正装置５１は、補正データ算出手段５０４Ａによって、色収差による歪みおよび幾何学歪みを補正する補正データを算出する（ステップＳ２１）。

以上のように、本発明の第３実施形態に係る立体撮像システム１００は、屈折率分布レンズアレイ２０、集光レンズ３０および撮像用レンズ４１が含まれる光学系において、色収差による歪みだけでなく幾何学歪みを、容易、かつ、高い精度で補正することができる。従って、立体撮像システム１００は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。

（第４実施形態：シェーディング補正）
［シェーディング補正の概略］
図１９を参照して、本発明の第４実施形態に係る補正装置５２（図２２参照）ついて、第１実施形態と異なる点を説明する（適宜図１，図３参照）。
補正装置５２は、補正用画像および撮像画像にシェーディング補正を行った後、図３の補正装置５０と同様、色収差による歪みを補正する。

補正装置５２の構成を説明する前にシェーディング補正の概略について説明する。
図１９（ａ）に示すように、屈折率分布レンズ２１には、その特性によって、シェーディングが発生する。また、図１９（ｂ）に示すように、補正用白色被写体１０、集光レンズ３０、撮像用レンズ４１および撮像素子４３にも、その特性によって、シェーディングが発生する。従って、カメラ４０で撮像された補正用画像および撮像画像には、図１９（ａ）および（ｂ）に示したシェーディングの影響が総合的に含まれている。このため、図１９（ｃ）に示すように、補正用画像では、中心側に位置する屈折率分布レンズ２１が高い輝度（明るく）で撮像され、外周側に位置する屈折率分布レンズ２１が低い輝度（暗く）で撮像される。この状態で２値化処理を行っても、補正用画像から、屈折率分布レンズ２１の配列を示す２値化画像を得ることが困難である。

このため、補正装置５２は、図２０に示すように、補正データを算出するとき、補正用画像にシェーディング補正を行う。まず、補正装置５２は、カメラ４０から、シェーディングの影響が含まれる補正用画像（シェーディングあり補正用画像）が入力される。そこで、補正装置５２は、このシェーディングあり補正用画像において、全画素の最大画素値を注目画素の画素値で除算して、注目画素ごとのシェーディング補正データを算出する。さらに、補正装置５２は、カメラ４０からの入力画像（シェーディングあり補正用画像）において、この入力画像での注目画素の画素値に、この注目画素のシェーディング補正を乗算することで、シェーディング補正を行う。その後、補正装置５２は、シェーディング補正が施された出力画像（シェーディング補正後補正用画像）に対して、２値化処理を行う。

言い換えるなら、補正データ算出時におけるシェーディング補正は、下記の式（６）で表される。この式（６）では、Ｗｉｍがシェーディングあり補正用画像であり、Ｗｉｍ２がシェーディング補正後補正用画像であり、ｉが注目画素の水平座標であり、ｊが注目画素の垂直座標であり、ｋが各原色を識別する値（例えば、赤色＝１、緑色＝２、青色＝３）であり、ｍａｘが、ｋ色での最大画素値を求める関数である。

つまり、式（６）では、ｍａｘ（Ｗｉｍ（：，：，ｋ））が、シェーディングあり補正用画像における、ｋ色での最大画素値である。また、式（６）では、Ｗｉｍ（ｉ，ｊ，ｋ）が、シェーディングあり補正用画像の注目画素（ｉ，ｊ）における、ｋ色での画素値である。さらに、式（６）では、右辺第２項が、シェーディング補正データである。

また、補正装置５２は、図２１に示すように、撮像画像を補正するとき、撮像画像にシェーディング補正を行う。
なお、屈折率分布レンズ２１のレンズ面には撮像用被写体が映ることになるが、図面を見やすくするため、図２１では省略した。

ここで、補正装置５２は、カメラ４０からの入力画像（シェーディングあり撮像画像）において、この入力画像での注目画素の画素値に、前記したシェーディング補正データを乗算することで、シェーディング補正を行う。その後、補正装置５２は、シェーディング補正が施された出力画像（シェーディング補正後撮像画像）に対して、２値化処理を行う。

つまり、撮像画像補正時におけるシェーディング補正は、下記の式（７）で表される。この式（７）では、ｉｍ１がシェーディングあり撮像画像であり、ｉｍ２がシェーディング補正後撮像画像である。さらに、式（７）では、右辺第２項が、シェーディング補正データである。

［補正装置の構成］
図２２を参照して、本発明の第４実施形態に係る補正装置５２の構成について、第１実施形態と異なる点を説明する（適宜図１，図３参照）。
図２２に示すように、補正装置５２は、シェーディング補正データ算出手段５１２と、補正用シェーディング補正手段５１３と、撮像用シェーディング補正手段５１４，５１５とをさらに備える。

シェーディング補正データ算出手段５１２は、３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出するものである。ここで、シェーディング補正データ算出手段５１２は、カメラ４０から、３原色の補正用画像が転送される。そして、シェーディング補正データ算出手段５１２は、この３原色の補正用画像から、前記したシェーディング補正データ（式（６）および式（７）の右辺第２項）を算出する。シェーディング補正データ算出手段５１２は、このシェーディング補正データを、補正用シェーディング補正手段５１３と、撮像用シェーディング補正手段５１４，５１５とに出力する。

補正用シェーディング補正手段５１３は、３原色の補正用画像に対して、シェーディング補正データに基づいてシェーディング補正を行うものであり、Ｒ補正用シェーディング補正手段５１３_Ｒと、Ｇ補正用シェーディング補正手段５１３_Ｇと、Ｂ補正用シェーディング補正手段５１３_Ｂとを備える。

Ｒ補正用シェーディング補正手段５１３_Ｒは、Ｒ補正用画像バッファ５０１_Ｒから赤色の補正用画像を読み出すと共に、シェーディング補正データ算出手段５１２からシェーディング補正データが入力される。そして、Ｒ補正用シェーディング補正手段５１３_Ｒは、この赤色の補正用画像に対して、式（６）で定義されるシェーディング補正を行う。その後、Ｒ補正用シェーディング補正手段５１３_Ｒは、シェーディング補正が施された赤色の補正用画像をＲ補正用２値化手段５０２_Ｒに出力する。

ここで、式（６）のシェーディング補正を補正用画像全体に行った場合、屈折率分布レンズ２１同士の隙間もシェーディング補正され、補正用画像が、屈折率分布レンズ２１の配列を示さない真っ白な画像になってしまう。通常、屈折率分布レンズ２１同士の隙間は、白色光が透過せずに黒色になるため、シェーディング補正を行う必要がない。さらに、屈折率分布レンズ２１同士の隙間をシェーディング補正した場合、屈折率分布レンズ２１の位置検出が困難になる。このため、Ｒ補正用シェーディング補正手段５１３_Ｒは、赤色の補正用画像に対して、屈折率分布レンズ２１の領域検出処理（例えば、２値化処理、エッジ検出処理等）を行ってから、検出された屈折率分布レンズ２１の領域のみを式（６）でシェーディング補正することが好ましい。

Ｇ補正用シェーディング補正手段５１３_ＧおよびＢ補正用シェーディング補正手段５１３_Ｂは、それぞれ、Ｒ補正用シェーディング補正手段５１３_Ｒと同様、緑色の補正用画像および青色の補正用画像にシェーディング補正を行うため、詳細な説明を省略する。

撮像用シェーディング補正手段５１４は、３原色の撮像画像に対して、シェーディング補正データに基づいてシェーディング補正を行うものであり、Ｒ撮像用シェーディング補正手段５１４_Ｒと、Ｇ撮像用シェーディング補正手段５１４_Ｇと、Ｂ撮像用シェーディング補正手段５１４_Ｂとを備える。

Ｒ撮像用シェーディング補正手段５１４_Ｒは、Ｒ撮像画像バッファ５０５_Ｒから赤色の撮像画像を読み出すと共に、シェーディング補正データ算出手段５１２からシェーディング補正データが入力される。そして、Ｒ撮像用シェーディング補正手段５１４_Ｒは、この赤色の撮像画像に対して、式（７）で定義されるシェーディング補正を行う。その後、Ｒ撮像用シェーディング補正手段５１４_Ｒは、シェーディング補正が施された赤色の撮像画像をＲ撮像用２値化手段５０６_Ｒに出力する。

なお、Ｒ撮像用シェーディング補正手段５１４_Ｒは、赤色の撮像画像にシェーディング補正を行うとき、赤色の補正用画像と赤色の撮像画像との間で屈折率分布レンズ２１の位置が一致するように、赤色の撮像画像の位置を調整するとよい。
また、Ｒ撮像用シェーディング補正手段５１４_Ｒは、Ｒ補正用シェーディング補正手段５１３_Ｒと同様、赤色の撮像画像に対して、屈折率分布レンズ２１の領域検出処理を行ってから、検出された屈折率分布レンズ２１の領域のみを式（７）でシェーディング補正することが好ましい。

Ｇ撮像用シェーディング補正手段５１４_Ｇと、Ｂ撮像用シェーディング補正手段５１４_Ｂは、それぞれ、Ｒ撮像用シェーディング補正手段５１４_Ｒと同様、緑色の撮像画像および青色の撮像画像にシェーディング補正を行うため、詳細な説明を省略する。

撮像用シェーディング補正手段５１５は、カメラ４０から、３原色の撮像画像がフレーム画像として連続した動画が入力される。また、撮像用シェーディング補正手段５１５は、シェーディング補正データ算出手段５１２からシェーディング補正データが入力される。そして、撮像用シェーディング補正手段５１５は、この撮像画像（フレーム画像）に対してシェーディング補正を行う。その後、撮像用シェーディング補正手段５１５は、シェーディング補正が施された撮像画像（動画）を歪み補正手段５１０に出力する。

なお、撮像用シェーディング補正手段５１５は、撮像用シェーディング補正手段５１４と同様のものであるため、詳細な説明を省略する。
また、図２２では、撮像用シェーディング補正手段５１４，５１５は、個別に図示したが、これらを一体化してもよい。

［立体撮像システムの動作：補正データの算出］
図２３を参照して、第４実施形態に係る立体撮像システム１００が補正データを算出する動作について説明する（適宜図１，図２２参照）。
なお、図２３のステップＳ１〜ステップＳ８は、図１３の各ステップと同様のため、詳細な説明を省略する。

補正装置５２は、シェーディング補正データ算出手段５１２によって、３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出する。そして、補正装置５２は、補正用シェーディング補正手段５１３によって、３原色の補正用画像に対して、シェーディング補正データに基づいてシェーディング補正を行う（ステップＳ３０）。

［立体撮像システムの動作：撮像画像の補正］
図２４を参照して、立体撮像システム１００が撮像画像の補正する動作について説明する（適宜図１，図２２参照）。
なお、図２４のステップＳ１０〜ステップＳ１７は、図１４の各ステップと同様のため、詳細な説明を省略する。

補正装置５２は、撮像用シェーディング補正手段５１４によって、３原色の撮像画像に対して、シェーディング補正データに基づいてシェーディング補正を行う（ステップＳ４０）。

補正装置５２は、撮像用シェーディング補正手段５１５によって、３原色の撮像画像（動画）に対して、シェーディング補正データに基づいてシェーディング補正を行う（ステップＳ４１）。

以上のように、本発明の第４実施形態に係る立体撮像システム１００は、シェーディングによる悪影響を防止するので、屈折率分布レンズ２１の配列を正確に示した２値化画像が容易に得られ、要素レンズの位置検出精度の低下を防止できる。さらに、立体撮像システム１００は、撮像画像にシェーディングを行うため、撮像画像の画質劣化を防止することができる。従って、立体撮像システム１００は、ＩＰにおいて、高精細、かつ、高品質な立体像を撮像することができる。

なお、第４実施形態において、補正用白色被写体１０のシェーディングも考慮する場合、補正用白色被写体１０のシェーディング特性データを予め設定する。そして、補正装置５２は、このシェーディング特性データを用いて、式（６）および式（７）の第２項と同様のシェーディング補正データを求めた後、このシェーディング補正データを式の第３項として乗算すればよい。

なお、各実施形態では、本発明に係る補正装置を独立した装置として説明したが、本発明は、一般的なコンピュータを補正装置として機能される補正プログラムによって実現することもできる。この場合、この補正プログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録された補正プログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、このプログラムは、前述した補正装置の一部機能を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

なお、各実施形態では、補正用白色被写体を撮像した補正用画像を用いることとして説明したが、本発明は、これに限定されない。つまり、本発明では、この補正用画像の代わりに、低周波成分が多く含まれる低周波成分画像を用いることもできる。この場合、この低周波成分画像が補正用画像と類似するため、補正用画像を撮像してから撮像画像を撮像するまでに生じた、回転やあおりといった相対姿勢の変化を補正することも可能である。さらに、この場合、補正用画像を用いなくても、色収差による歪みや幾何学歪みを補正するための補正データを２値化画像（２値化処理を施した撮像画像）から直接求めることもできる。

以上、本発明の各実施形態について図面を参照して詳述してきたが、本発明は各実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

（実施例１：補正データのベクトル表現）
図２５〜図２７を参照して、本発明の実施例１として、本発明に係る補正装置が算出した補正データの一例について説明する。

この実施例１では、補正用白色被写体を撮像した補正用画像から、各要素レンズの中心位置を求めた。また、水平方向および垂直方向の補正データを算出し、一定のレンズ間隔でのサンプルデータ（水平方向に２０個、垂直方向に１３個）取得した。そして、図２５〜図２７に示すように、このサンプルとなる補正データをベクトル表現した。

図２５〜図２７では、各ベクトルは、その向きが要素レンズの位置ずれの方向を表しており、その長さが要素レンズの位置ずれ量を表している。
なお、各ベクトルの長さは、正規化されているため、位置ずれ量と比例するが、位置ずれ量と等しいわけではない。

（実施例２：補正データのメッシュ表現）
図２８〜図３０を参照して、本発明の実施例２として、本発明に係る補正装置が算出した補正データの一例について説明する。

ここで、要素レンズの水平方向の間隔が、１．１４（ｍｍ）≒１９．２（ｐｉｘ）であった。また、レンズアレイは、各要素レンズをデルタ配列（俵ずみ）したものであり、横４５６（ｍｍ）×縦２０９．６（ｍｍ）の大きさであった。

この実施例２では、補正用白色被写体を撮像した補正用画像から、各要素レンズの中心位置を求めた。また、水平方向および垂直方向の補正データを算出し、一定のレンズ間隔でのサンプルデータ（水平方向に４０個、垂直方向に２６個）取得した。そして、図２８〜図３０に示すように、このサンプルとなる補正データをメッシュ表現した（水平成分のみ）。

図２８より、基準位置と緑色での要素レンズ（要素画像）の位置ずれは、［ｍａｘ ｍｉｎ］＝［７．３ −２２．５］（ｐｉｘ）となった。
図２９より、緑色での要素レンズ（要素画像）と、赤色での要素レンズ（要素画像）との位置ずれは、［ｍａｘ ｍｉｎ］＝［３．３ −２．１］（ｐｉｘ）となった。
図３０より、緑色での要素レンズ（要素画像）と、青色での要素レンズ（要素画像）との位置ずれは、［ｍａｘ ｍｉｎ］＝［２．４ −１．８］（ｐｉｘ）となった。
以上、実施例１，２より、本発明に係る補正装置は、要素レンズごとに高い精度で補正データを算出できることがわかる。

本発明は、インテグラル方式の立体像（静止画および動画）の撮像に利用することができる。例えば、本発明は、インテグラル方式の立体テレビ受信機で視聴される立体画像などの立体映像コンテンツの撮像に利用することができる。

１０ 補正用白色被写体
２０ 屈折率分布レンズアレイ（レンズアレイ）
２１ 屈折率分布レンズ（要素レンズ）
２２ 凸レンズアレイの対（レンズアレイ）
２３ａ，２３ｂ 凸レンズアレイ
２４ａ，２４ｂ 凸レンズ（要素レンズ）
３０ 集光レンズ（光学部材）
４０ カメラ（撮像装置）
４１ 撮像用レンズ
４３_Ｒ，４３_Ｇ，４３_Ｂ 撮像素子
５０，５１，５２ 補正装置
１００，１０１ 立体撮像システム
５０１ 補正用画像入力手段
５０２ 補正用２値化手段
５０３ 補正用レンズ位置検出手段
５０４，５０４Ａ 補正データ算出手段
５０５ 撮像画像入力手段
５０６ 撮像用２値化手段
５０７ 検出対象要素レンズ設定手段
５０８ 撮像用レンズ位置検出手段
５０９ 補正データ修正手段
５１０ 歪み補正手段
５１１ 補正基準位置記憶手段
５１２ シェーディング補正データ算出手段
５１３ 補正用シェーディング補正手段
５１４，５１５ 撮像用シェーディング補正手段

Claims (8)

1. 白色光を発光する補正用白色被写体を撮像して、少なくとも色収差による歪みを補正する補正データを算出すると共に、前記補正データを用いて、撮像用被写体が撮像された撮像画像を補正するインテグラル方式の立体撮像システムであって、
   前記補正用白色被写体と、
   前記補正用白色被写体からの白色光が２次元に配置された要素レンズに入射するレンズアレイと、
   前記レンズアレイに対向し、かつ、前記要素レンズに入射した前記補正用白色被写体からの白色光の光路上に配置された光学部材と、
   ３原色の撮像素子を有し、前記光学部材を介して前記補正用白色被写体を撮像することで、前記要素レンズの配列を示す前記３原色の補正用画像を生成する撮像装置と、
   前記撮像装置が生成した３原色の補正用画像から前記要素レンズの位置を検出し、検出した当該要素レンズの位置を前記３原色の補正用画像の間で一致させる補正データを算出し、当該補正データを用いて、前記撮像画像を補正する補正装置と、
   を備えることを特徴とする立体撮像システム。
2. 前記補正用白色被写体は、白色画像を表示する白色画像表示装置、または、白色光を発光する白色光源であることを特徴とする請求項１に記載の立体撮像システム。
3. 白色光を発光する補正用白色被写体と、要素レンズが２次元に配置されたレンズアレイと、前記レンズアレイに対向するように配置された光学部材と、３原色の撮像素子を有し、前記レンズアレイおよび前記光学部材を介して前記補正用白色被写体を撮像する撮像装置とを備える請求項１に記載の立体撮像システムに用いられ、少なくとも色収差による歪みを補正する補正データを算出する補正装置であって、
   前記撮像装置から、前記要素レンズの配列を示す前記３原色の補正用画像が入力される補正用画像入力手段と、
   前記３原色の補正用画像に対して、２値化処理を行う補正用２値化手段と、
   前記補正用２値化手段によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、前記要素レンズの位置を検出する補正用レンズ位置検出手段と、
   前記補正用レンズ位置検出手段が検出した要素レンズの位置を前記３原色の補正用画像の間で一致させる補正データを算出する補正データ算出手段と、
   を備えることを特徴とする補正装置。
4. 前記補正データ算出手段は、前記３原色のうちの何れか１原色である基準色の前記補正用画像から検出した前記要素レンズの位置に、他の２原色の前記補正用画像から検出した前記要素レンズの位置を一致させる前記補正データを算出することを特徴とする請求項３に記載の補正装置。
5. 前記要素レンズの基準位置を予め記憶する補正基準位置記憶手段をさらに備え、
   前記補正データ算出手段は、前記補正基準位置記憶手段が記憶する前記要素レンズの基準位置に、前記３原色の補正用画像から検出した前記要素レンズの位置を一致させる前記補正データを算出することを特徴とする請求項３に記載の補正装置。
6. 前記撮像装置から、撮像用被写体が撮像された前記３原色の撮像画像が入力される撮像画像入力手段と、
   前記撮像画像入力手段に入力された３原色の撮像画像に対して、２値化処理を行う撮像用２値化手段と、
   前記２値化処理が行われた前記３原色の撮像画像において、前記要素レンズのレンズ面全体が撮像されたか否かをパターンマッチングまたは前記要素レンズの総輝度値によって判定し、レンズ面全体が撮像されたと判定された前記要素レンズを検出対象要素レンズとして設定する検出対象要素レンズ設定手段と、
   前記撮像用２値化手段によって２値化処理が行われた３原色の撮像画像に対して、重心検出処理またはパターンマッチングを行うことで、前記検出対象要素レンズの位置を検出する撮像用レンズ位置検出手段と、
   前記撮像用レンズ位置検出手段が検出した検出対象要素レンズの位置ずれの平均値を算出し、算出した当該検出対象要素レンズの位置ずれの平均値に基づいて前記補正データ算出手段が算出した補正データを修正する補正データ修正手段と、
   前記補正データ修正手段が修正した補正データに基づいて、前記３原色の撮像画像を２次元画像処理または３次元画像処理によって補正する歪み補正手段と、
   をさらに備えることを特徴とする請求項３から請求項５の何れか一項に記載の補正装置。
7. 前記３原色の補正用画像における全画素の最大画素値を注目画素の画素値で除算してシェーディング補正データを算出するシェーディング補正データ算出手段と、
   前記補正用画像入力手段に入力された３原色の補正用画像に対して、前記シェーディング補正データに基づいてシェーディング補正を行う補正用シェーディング補正手段と、
   前記撮像装置から入力された３原色の撮像画像に対して、前記シェーディング補正データに基づいてシェーディング補正を行う撮像用シェーディング補正手段と、
   をさらに備え、
   前記補正用２値化手段は、前記補正用シェーディング補正手段によってシェーディング補正が行われた３原色の補正用画像に対して、２値化処理を行い、
   前記撮像用２値化手段は、前記撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像に対して、２値化処理を行い、
   前記歪み補正手段は、前記補正データに基づいて、前記撮像用シェーディング補正手段によってシェーディング補正が行われた３原色の撮像画像を補正することを特徴とする請求項６に記載の補正装置。
8. 白色光を発光する補正用白色被写体と、要素レンズが２次元に配置されたレンズアレイと、前記レンズアレイに対向するように配置された光学部材と、３原色の撮像素子を有し、前記レンズアレイおよび前記光学部材を介して前記補正用白色被写体を撮像する撮像装置とを備える請求項１に記載の立体撮像システムに用いられ、少なくとも色収差による歪みを補正する補正データを算出するために、コンピュータを、
   前記撮像装置から、前記要素レンズの配列を示す前記３原色の補正用画像が入力される補正用画像入力手段、
   前記３原色の補正用画像に対して、２値化処理を行う補正用２値化手段、
   前記補正用２値化手段によって２値化処理が行われた３原色の補正用画像に対して、重心検出処理、点像群検出処理またはパターンマッチングの何れか１以上を行うことで、前記要素レンズの位置を検出する補正用レンズ位置検出手段、
   前記補正用レンズ位置検出手段が検出した要素レンズの位置を前記３原色の補正用画像の間で一致させる補正データを算出する補正データ算出手段、
   として機能させるための補正プログラム。