JPWO2014136392A1 - 画像処理装置および画像処理方法ならびに撮像装置 - Google Patents

Abstract

本発明の画像処理装置および画像処理方法ならびに撮像装置では、撮像光学系によって受光面に結像された被写体の光学像を受光することによって撮像素子から出力された電気信号に基づいて撮像光学系のイメージサークルの境界位置が検出され、この検出された前記イメージサークルの境界位置に基づいて所定の画像補正処理に関する所定のパラメータが決定され、そして、この決定された所定のパラメータを用いて被写体の画像が補正される。

Description

本発明は、画像を処理する画像処理装置および画像処理方法に関する。そして、本発明は、この画像処理装置および画像処理方法を用いた撮像装置に関する。

近年、撮像装置（カメラ）は、携帯機器、車載機器、医療機器および産業機器等における情報取得手段として利用されている。特に、近年の携帯電話やスマートフォンには、標準的に撮像装置が搭載されている。これら撮像装置には、比較的安価で大量に生産できる等の利点から、プラスチック等の樹脂材料製のレンズが採用されていることが多い。この樹脂材料製レンズは、前記利点を有するが、温度変化の影響を受け易く、前記温度変化によってレンズの光学特性（焦点距離、画像中心および歪係数等）が変わってしまうという欠点を有している。レンズを含む撮像光学系を介して撮像素子で得られた電気信号に基づいて被写体の画像を生成する場合、画像生成の処理は、一般に、これら光学特性が変化しないものとして実行されているため、光学特性の変化は、そのまま画質の劣化に繋がる。光学特性の変化を検出してそれに合ったパラメータを使用することができれば、画質の劣化を低減した画像を得ることができる。

このような温度変化による光学特性の変化を補正する技術が、例えば特許文献１に開示されている。この特許文献１に開示の撮像装置は、被写体と対向する位置に配設され、複数のレンズをアレイ状に配列したレンズアレイと、該レンズアレイの像面側に設けられ、前記複数のレンズにより結像された前記被写体の縮小像（個眼像）の集合である複眼像を撮像する撮像素子と、該撮像素子により撮像された前記複眼像を処理する演算器とを備えた撮像装置において、前記レンズアレイを構成する隣接する各レンズ間での光線のクロストークを防止する遮光壁を備え、前記演算器は、前記撮像素子に入射した輝度情報に基づいて、前記各レンズの中心位置、焦点距離およびレンズ歪みにかかる内部パラメータを決定して前記遮光壁の周囲温度による歪み量を算出して補正するものである。そして、この特許文献１には、各温度のカメラ固有の内部パラメータおよび外部パラメータを求める手法として、非特許文献１に開示されたＺｈａｎｇの手法が提案されている。

ところで、前記特許文献１に開示の撮像装置は、撮像素子で撮像された遮光壁の輝度情報に基づいて各レンズの位置を計算することによって、温度変化による影響を取り除いている。したがって、前記特許文献１に開示の撮像装置は、温度変化による影響を取り除くために、前記遮光壁が必須である。このため、前記特許文献１に開示の撮像装置では、遮光壁の製造工数やコストがかかってしまう。

特開２０１１−１４７０７９号公報

Ｚｈｅｎｇｙｏｕ Ｚｈａｎｇ，"Ａ Ｆｌｅｘｉｂｌｅ Ｎｅｗ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ"，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＰＡＴＴＥＲＮ ＡＮＡＬＹＳＩＳ ＡＮＤ ＭＡＣＨＩＮＥ ＩＮＴＥＬＬＩＧＥＮＣＥ，ＶＯＬ．２２，ＮＯ．１１，ＮＯＶＥＭＢＥＲ ２０００，ｐｐ１３３０−１３３４

本発明は、上述の事情に鑑みて為された発明であり、その目的は、特別な光学部材を設けることなくレンズの光学特性の変化を検出し、前記光学特性の変化に応じた画像の補正を行うことができる画像処理装置および画像処理方法ならびに撮像装置を提供することである。

本発明にかかる画像処理装置および画像処理方法ならびに撮像装置では、撮像光学系によって受光面に結像された被写体の光学像を受光することによって撮像素子から出力された電気信号に基づいて撮像光学系のイメージサークルの境界位置が検出され、この検出された前記イメージサークルの境界位置に基づいて所定の画像補正処理に関する所定のパラメータが決定され、そして、この決定された所定のパラメータを用いて被写体の画像が補正される。したがって、このような画像処理装置および画像処理方法ならびに撮像装置は、画像補正処理に関するパラメータの決定に、撮像光学系が本来的に有しているイメージサークルを利用するので、特別な光学部材を設けることなく、レンズの光学特性の変化を検出し、前記光学特性の変化に応じた画像の補正を行うことができる。

上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。

実施形態における撮像装置の構成を示すブロック図である。 前記撮像装置における撮像素子の受光面（撮像面）を説明するための図である。 前記撮像装置における記憶部に記憶されるパラメータテーブルの構成を示す図である。 前記撮像装置において、温度変化によるイメージサークルの変化を説明するための図である。 前記撮像装置における画像の補正に関する動作を示すフローチャートである。 前記撮像装置において、イメージサークルの輝度分布を説明するための図である。 前記撮像装置において、イメージサークルの境界位置を決定する決定手法を説明するための図である。 前記撮像装置において、イメージサークルの境界位置の決定に用いるデータを説明するための図である。 前記撮像装置において、温度変化によるイメージサークルの境界位置変化および輝度分布変化を説明するための図である。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。また、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

図１は、実施形態における撮像装置の構成を示すブロック図である。図２は、実施形態の撮像装置における撮像素子の受光面（撮像面）を説明するための図である。図３は、実施形態の撮像装置における記憶部に記憶されるパラメータテーブルの構成を示す図である。

本実施形態における撮像装置は、被写体を撮像光学系によって撮像し、被写体の画像を生成する装置である。このような撮像装置ＣＡは、例えば、図１に示すように、撮像光学系１と、画像処理部２とを備える。そして、この撮像装置ＣＡは、入力部６、表示部７およびインターフェース部（ＩＦ部）８のうちの少なくとも１つを必要に応じてさらに備えてよい。

撮像光学系１は、被写体の光学像を所定面に結像する光学系であり、１または複数の光学素子を備える。撮像光学系１は、例えば、光学絞り、１または複数のレンズを備え、そして、いわゆる迷光を防止するために、必要に応じて光学素子間に遮光板を備える。そして、撮像光学系１は、被写体の１個の光学像（１個のイメージサークル）を形成する単眼であってもよいが、本実施形態では、撮像光学系１は、複数のレンズ（個眼）を備えるレンズアレイを含み、被写体の複数の光学像（複数のイメージサークル）を形成する複眼である。これら複数のレンズは、それら各光軸が互いに平行となるように、並列的にアレイ状に配列される。レンズアレイは、直線上に一列で並列的に１次元アレイ状に配列された複数のレンズを備える１次元レンズアレイであってもよいが、本実施形態では、レンズアレイは、線形独立な２方向に、より具体的には互いに直交する２方向に並列的に２次元アレイ状に配列された複数のレンズを備える２次元レンズアレイである。また、２次元レンズアレイは、並列方向（並設方向）にハニカム構造で複数のレンズを備えてもよい。また前記個眼のレンズは、１枚構成であってよく、複数枚構成であってよい。

画像処理部２は、被写体の画像を生成する装置である。画像処理部２は、例えば、図１に示すように、撮像素子３と、制御演算部４と、記憶部５とを備える。画像処理部２は、撮像素子３の受光面が撮像光学系１の所定面となるように組み付けられる（撮像光学系１の所定面の位置＝撮像素子の受光面の位置）。

撮像素子３は、複数の光電変換素子（複数の画素）を備え、これら複数の光電変換素子で形成された受光面に、撮像光学系１によって結像された被写体の光学像を、前記複数の光電変換素子を用いて電気信号に変換する素子である。より具体的には、撮像素子３は、制御演算部４に接続され、例えば、撮像光学系１によって結像された被写体の光学像における光量に応じてＲ（赤）、Ｇ（緑）、Ｂ（青）の各成分の画像信号に光電変換して制御演算部４へ出力する。このように被写体の光学像は、撮像光学系１によってその光軸に沿って所定の倍率で撮像素子３の受光面まで導かれ、撮像素子３によって前記被写体の光学像が撮像される。

本実施形態では、撮像光学系１が２次元レンズアレイを含むので、撮像素子３の受光面には、２次元レンズアレイにおけるレンズの個数と同数の被写体の光学像（個眼像）が、２次元アレイレンズにおける複数のレンズの配列態様に応じた態様で、並列的に２次元アレイ状に結像される。このため、撮像素子３の受光面（有効画素領域）は、２次元レンズアレイにおける各レンズが受光面上に形成する各イメージサークルの各位置に対応した複数の撮像領域に分割され、これら複数の撮像領域は、レンズごと（個眼ごと）の撮像領域となる。より具体的には、例えば、２次元アレイレンズが、互いに直交するＸＹ方向の２方向に４×４の２次元アレイ状に並列的に配列された１６個のレンズから成る場合、撮像素子３の受光面（有効画素領域）３０は、図２に示すように、２次元レンズアレイにおける１６個の各レンズが受光面３０上に形成する１６個の各イメージサークルＩＣの各位置に対応した１６個の撮像領域（個眼ごとの撮像領域）３１（３１−１１〜３１−４４）に分割され、これら１６個の撮像領域３１それぞれには、被写体の光学像が結像される。なお、図２には、１行１列目の撮像領域３１−１１に対するイメージサークルＩＣのみが図示され、他は、省略されている。これら１６個の撮像領域３１は、上述の１６個のレンズの配列態様に応じて、互いに直交するＸＹ方向の２方向に４×４の２次元アレイ状に並列的に配列される。そして、これら１６個の撮像領域３１は、それぞれ、所定の設計条件（例えば室温２３℃）の下で形成されるイメージサークルＩＣに内接する矩形状に設定される。すなわち、撮像領域３１は、その対角線が前記イメージサークルＩＣの直径となるように設定される。１個の撮像領域３１には、撮像素子３の総画素数に対する１／１６以下である個数の複数の画素（光電変換素子）を含む。

そして、撮像素子３は、撮像光学系１のイメージサークルＩＣの境界位置を検出するための境界位置検出部を備える。より具体的には、撮像素子３の受光面（有効画素領域）３０には、撮像領域３１に隣接する領域に、イメージサークルＩＣの境界位置を含む大きさで前記境界位置検出部として境界位置検出領域３２が設定される。図２に示す例では、境界位置検出領域３２は、１行１列目の撮像領域３１−１１に隣接する領域に１個設定されている。このように境界位置検出領域３２は、受光面３０において、撮像領域３１として使用していない光電変換素子を利用している。なお、境界位置検出領域３２は、複数設定されてもよく、例えば、全ての撮像領域３１に対して複数設定されてよく、また例えば、１行目の撮像領域３１に対して複数設定されてよく、また例えば、１列目の撮像領域３１に対して複数設定されてよく、また例えば、対角線上の撮像領域３１に対して複数設定されてよく、また例えば、１行おきに撮像領域３１に対して複数設定されてよく、また例えば、１列おきに撮像領域３１に対して複数設定されてよい。このように境界位置検出領域３２を複数設けることによって、境界位置の検出精度を向上できる。ここで、一体成型されたレンズは、その製造方法によって温度変化によるレンズの歪み方に傾向がある。また一体成型ではないレンズを複数用いる場合に、撮像装置内の温度分布（この温度分布は例えば電子回路の発熱による影響で生じる）によって、レンズの配置位置によって歪み方に傾向があることが多い。例えば、一体成型されたレンズの場合、撮像素子３の中央位置を中心にレンズが等方膨張することが考えられる。このような場合、温度変化によるレンズの歪みは、周辺（対角、四隅）の位置が最も歪み量が大きくなるため、周辺に位置する複数の個眼に対し複数の検出領域を設けることで、精度良く歪み量を計測できる。これによって検出領域を全個眼に対し設ける必要がなくなり、効率的に複数の検出領域を配置できる。また、製造方法によって、縦方向または横方向のみにレンズが膨張することもある。このような場合、１行、あるいは１列に、検出領域を複数配置することで、精度良く歪み量を計測できる。

なお、上述では、１個の撮像素子３の受光面が２次元レンズアレイのレンズの個数に応じて分割されたが、２次元レンズアレイの各レンズごとに撮像素子が設けられてもよい。上述の４×４の２次元レンズアレイの場合、１６個のレンズに応じた１６個の撮像素子が設けられることになる。

記憶部５は、制御演算部４に接続され、撮像装置ＣＡ全体を制御するための制御プログラム、被写体の画像を形成するための画像形成プログラムおよび被写体の画像を補正する画像補正プログラム等の各種プログラム、および、これら各種プログラムを実行する上で必要なデータや実行中に生じるデータ等の各種データを記憶する素子である。記憶部５は、例えば、前記各種プログラムを記憶する不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、前記各種データを記憶する書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や、揮発性の記憶素子であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶素子、および、これらの周辺回路とを備えて構成される。記憶部５の前記ＲＡＭは、制御演算部４の後述のＣＰＵのいわゆるワーキングメモリとしても機能する。

そして、記憶部５は、機能的に、画像データを記憶する画像記憶部５１と、撮像光学系１における各温度（イメージサークルの各境界位置）に応じたパラメータを予め記憶するパラメータ記憶部５２とを備える。

所定の画像補正処理に関する所定のパラメータは、被写体の画像を補正する際に用いられる値である。この所定のパラメータとして、例えば、内部パラメータおよび外部パラメータならびにボケ係数等が挙げられる。内部パラメータは、例えば、撮像光学系１の焦点位置、中心位置および歪み係数等であり、外部パラメータは、撮像光学系１の並進係数および回転係数等である。ボケ係数は、いわゆる超解像処理で使用される係数である。このような所定のパラメータの各値は、撮像光学系１の各温度ごとに予め求められる。本実施形態では、撮像光学系１の温度は、イメージサークルＩＣの境界位置で求められる。このため、前記所定のパラメータの各値は、撮像光学系１におけるイメージサークルＩＣの各境界位置ごとに予め求められる。例えば、撮像装置ＣＡの使用温度範囲の仕様を考慮することによって、温度０℃、２０℃、４０℃、６０℃および８０℃の各場合に対し、撮像光学系１におけるイメージサークルＩＣの各境界位置が予め求められ、そして、所定のパラメータの各値が予め求められる。なお、前記内部パラメータおよび外部パラメータは、例えば、上述の非特許文献１に開示されているＺｈａｎｇの手法によって予め求められてよい。これによって撮像光学系１におけるイメージサークルＩＣの各境界位置と所定のパラメータの各値との対応関係が予め求められる。

このように予め作成された前記対応関係から、イメージサークルの各境界位置と所定のパラメータの各値との対応関係を示す例えば所定の関数式等が、求められてパラメータ記憶部５２に記憶され、所定の画像補正処理に関する所定のパラメータは、この予め作成された所定の関数式等を用いることによって、イメージサークルの境界位置から決定されてもよいが、本実施形態では、このように予め作成された前記対応関係を示すルックアップテーブルが作成されてパラメータ記憶部５２に記憶され、所定の画像補正処理に関する所定のパラメータは、この予め作成されたルックアップテーブル（パラメータテーブル）を用いることによって、イメージサークルの境界位置から決定される。

このようなパラメータテーブルＰＴは、例えば、図３に示すように、ｘ方向の境界位置ｘを登録するための境界位置ｘフィールド５２１１、ｙ方向の境界位置ｙを登録するための境界位置ｙフィールド５２１２、温度を登録するための温度フィールド５２２、ｘ方向の焦点距離ｆｘを登録するための焦点距離ｆｘフィールド５２３１、ｙ方向の焦点距離ｆｙを登録するための焦点距離ｆｙフィールド５２３２、ｘ方向の画像中心位置ｃｘを登録するための画像中心ｃｘフィールド５２４１、ｙ方向の画像中心位置ｃｙを登録するための画像中心ｃｙフィールド５２４２、第１歪係数ｋ１を登録するための歪係数ｋ１フィールド５２５１、第２歪係数ｋ２を登録するための歪係数ｋ２フィールド５２５２、第３歪係数ｐ１を登録するための歪係数ｐ１フィールド５２５３、および、第４歪係数ｐ２を登録するための歪係数ｐ２フィールド５２５４の各種フィールドを備え、温度ごとにレコードを備えている。

このように図３に示す例では、イメージサークルの各境界位置と内部パラメータ（焦点位置、中心位置および歪み係数）の各値との対応関係がパラメータテーブルＰＴに登録されている。

例えば、図３に示す例では、温度フィールド５２２に”２０”が登録されているレコードでは、境界位置ｘフィールド５２１１には、”３”が登録されており、境界位置ｙフィールド５２１２には、”４”が登録されており、焦点距離ｆｘフィールド５２３１には、”ｆｘ２”が登録されており、焦点距離ｆｙフィールド５２３２には、”ｆｙ２”が登録されており、画像中心ｃｘフィールド５２４１には、”ｃｘ１”が登録されており、画像中心ｃｙフィールド５２４２には、”ｃｙ１”が登録されており、歪係数ｋ１フィールド５２５１には、”ｋ１２”が登録されており、歪係数ｋ２フィールド５２５２には、”ｋ２２”が登録されており、歪係数ｐ１フィールド５２５３には、”ｐ１２”が登録されており、そして、歪係数ｐ２フィールド５２５４には、”ｐ２２”が登録されている。

なお、もちろん、イメージサークルの各境界位置と外部パラメータ（並進係数および回転係数）の各値との対応関係がパラメータテーブルＰＴに登録されてよく、イメージサークルの各境界位置とボケ係数の各値との対応関係がパラメータテーブルＰＴに登録されてよい。また、上述では、パラメータテーブルＰＴは、レンズアレイにおける全てのレンズに対し、適用される（全個眼共通）が、レンズ（個眼）ごとに用意されてもよい。このようにレンズ（個眼）別に当該レンズ（個眼）に対応したパラメータテーブルＰＴが用意されることによって、温度変化に対する当該レンズの光学特性に応じて適切にパラメータ値を設定することができる。

制御演算部４は、各部を当該機能に応じて制御することによって撮像装置ＣＡ全体の動作を司るとともに、所定の画像補正処理に関する所定のパラメータを用いることによって画像を補正しつつ、被写体の画像を形成する装置である。制御演算部４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、中央処理装置）およびこれらの周辺回路とを備えて構成される。制御演算部４は、各種プログラムが実行されることによって、機能的に、制御部４１と、画像生成部４２と、境界検出部４３と、パラメータ決定部４４と、画像補正部４５とを備える。

制御部４１は、各部を当該機能に応じて制御することによって撮像装置ＣＡ全体の動作を司るものである。

画像生成部４２は、撮像素子３から出力された電気信号に基づいて被写体の画像を生成するものである。この生成された画像の画像データは、記憶部５の画像記憶部５１に記憶される。

境界検出部４３は、撮像素子３から出力された電気信号に基づいて撮像光学系１のイメージサークルの境界位置を検出するものである。

パラメータ決定部４４は、境界検出部４３によって検出されたイメージサークルの境界位置に基づいて所定の画像補正処理に関する所定のパラメータを決定するものである。

画像補正部４５は、パラメータ決定部４４によって決定された前記所定のパラメータを用いて、画像生成部４２で生成され画像記憶部５１に記憶されている被写体の画像を補正するものである。この補正された画像の画像データは、記憶部５の画像記憶部５１に記憶される。

入力部６は、例えば撮影条件の指示や撮影開始の指示等の各種指示を、外部から撮像装置ＣＡに入力するための装置であり、例えば、回転式スイッチやボタン式スイッチ等である。表示部７は、入力部６から入力された指示内容や、被写体の画像等の制御演算部４の処理結果を出力するための装置であり、例えばＬＣＤ（液晶ディスプレイ）や有機ＥＬディスプレイ等である。表示部７は、いわゆるライブビューファインダーとして機能してもよい。なお、入力部６は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置を含んでよく、この位置入力装置と表示部７とでいわゆるタッチパネルが構成されてよい。

このタッチパネルでは、表示部の表示面上に位置入力装置が設けられ、表示部に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として撮像装置ＣＡに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い撮像装置ＣＡが提供される。そして、表示部７に表示される表示内容を変えることで、様々な入力内容を入力することができ、撮像装置ＣＡに対し様々な操作を行うことが可能となる。

ＩＦ部６は、外部機器との間でデータの入出力を行う回路であり、例えば、Ｗｉ−Ｆｉ（Ｗｉｒｅｌｅｓｓ ｆｉｄｅｌｉｔｙ）と呼称されるＩＥＥＥ８０２．１１シリーズの規格を用いたインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェース回路等である。

次に、本実施形態における撮像装置の動作について説明する。図４は、実施形態の撮像装置において、温度変化によるイメージサークルの変化を説明するための図である。図４Ａは、温度変化によるイメージサークルの大きさの変化を説明するための図であり、図４Ｂは、温度変化によるイメージサークルの中心位置の変化を説明するための図である。

このような撮像装置ＣＡでは、使用される環境温度等の変化によって撮像光学系１の温度が変化する。このため、撮像光学系１の光学素子に膨縮や歪みが生じる場合がある。特に、撮像光学系１の光学素子が例えばプラスチック等の樹脂材料で形成された樹脂材料製レンズである場合には、その温度特性により膨縮や歪みがより生じ易い。撮像光学系１の光学素子に前記膨縮が生じると、図４Ａに示すように、イメージサークルＩＣの大きさ（面積）が拡縮し、これに伴ってイメージサークルＩＣの境界位置が変化し、シフトする。図４Ａに示す例では、撮像光学系１の温度が温度２０℃から温度６０℃へ変化した場合、イメージサークルＩＣは、イメージサークルＩＣ（２０）からイメージサークルＩＣ（６０）へ大きくなる。なお、ＩＣ（ｔ）は、温度ｔ℃の場合のイメージサークルＩＣを表している。また、撮像光学系１の光学素子に前記歪みが生じると、図４Ｂに示すように、イメージサークルＩＣの中心位置（画像中心位置）がずれ、これに伴ってイメージサークルＩＣの境界位置が変化し、シフトする。図４Ｂに示す例では、撮像光学系１の温度が温度２０℃から温度６０℃へ変化した場合、イメージサークルＩＣの中心位置（ｃｘ、ｃｙ）は、イメージサークルＩＣ（２０）の中心位置（ｃｘ２、ｘｙ２）からイメージサークルＩＣ（６０）の中心位置（ｃｘ４、ｘｙ４）へずれる。

したがって、イメージサークルＩＣの境界位置は、撮像光学系１の温度と相関し、撮像光学系１の温度ごとに与えられる画像補正処理に関する所定のパラメータと相関することになる。このため、予め相互に対応付けることによって、イメージサークルＩＣの境界位置を検出することで、温度変化に起因して画像に与えられた誤差を除去または低減するための画像補正処理に関する所定のパラメータを設定することが可能となる。

より具体的には、本実施形態の撮像装置ＣＡは、次のように動作することによって、イメージサークルＩＣの境界位置を検出し、画像補正処理に関する所定のパラメータの値を決定し、この決定した所定のパラメータを用いることによって被写体の画像を補正する。

図５は、実施形態の撮像装置における画像の補正に関する動作を示すフローチャートである。図６は、実施形態の撮像装置において、イメージサークルの輝度分布を説明するための図である。図６Ａは、輝度分布が略均一な被写体を撮像した場合に、撮像素子の受光面の様子を模式的に示した図であり、図６Ｂは、図６Ａに示すＸ１−Ｘ２線での輝度分布を示す図である。図６Ｂの横軸は、前記Ｘ１−Ｘ２線上における位置を示し、その縦軸は、輝度値を示す。図７は、実施形態の撮像装置において、イメージサークルの境界位置を決定する決定手法を説明するための図である。図７の横軸は、位置を示し、その縦軸は、輝度値を示す。図８は、実施形態の撮像装置において、イメージサークルの境界位置の決定に用いるデータを説明するための図である。図８Ａは、輝度分布が均一な被写体（均一被写体）を撮像した場合に得られるイメージサークルの境界付近における輝度分布を示す。図８Ｂは、輝度分布が不均一な一般的な被写体（一般被写体Ａ）を撮像した場合に得られるイメージサークルの境界付近における輝度分布ＢＡを示す。図８Ｃは、輝度分布が不均一な一般的な他の被写体（一般被写体Ｂ）を撮像した場合に得られるイメージサークルの境界付近における輝度分布ＢＢを示す。図８Ｄは、輝度分布が不均一な一般的な被写体（一般被写体Ｃ）を撮像した場合に得られるイメージサークルの境界付近における輝度分布ＢＣを示す。図８Ｅは、これら図８Ｂないし図８Ｄに示す輝度分布ＢＡ〜ＢＣを平均した平均輝度分布Ｂａｖｅを示す。図９は、実施形態の撮像装置において、温度変化によるイメージサークルの境界位置変化および輝度分布変化を説明するための図である。図９Ａは、温度変化によるイメージサークルの境界位置変化を示し、図９Ｂは、温度変化によるイメージサークルの輝度分布変化を示す。図９Ｂの横軸は、位置を示し、その縦軸は、輝度値を示す。

例えば、撮像装置ＣＡにおける入力部６に含まれる図略の電源スイッチが操作され、撮像装置ＣＡが起動されると、制御演算部４は、記憶部５に格納されている制御プログラムや画像補正プログラム等の各種プログラムが実行される。これによって制御演算部４には、制御部４１、画像生成部４２、境界検出部４３、パラメータ決定部４４および画像補正部４５が機能的に構成される。

そして、例えば、撮像装置ＣＡにおける入力部６に含まれる図略のシャッタボタンが操作されると、撮像装置ＣＡは、被写体の画像を生成する。より具体的には、被写体からの光束が撮像光学系１に入射され、被写体の光学像が撮像光学系１によって撮像素子３の受光面３０に結像される。本実施形態では、撮像光学系１が上述したように２次元レンズアレイを含むので、撮像素子３の受光面３０には、イメージサークルＩＣの大きさで複数の被写体の光学像（個眼像）が結像される。

撮像素子３は、被写体の光学像を各光電変換素子によって、その受光量に応じた大きさの電気信号にそれぞれ変換する。これら電気信号は、撮像素子３から制御演算部４へ出力される。

制御演算部４の画像生成部４２は、各撮像領域３１のそれぞれについて、その撮像領域３１に対応する各光電変換素子によって得られた各電気信号に基づいて被写体の画像（個眼画像）の画像データを生成する。そして、画像生成部４２は、この生成した画像データを撮像領域３１に対応付けて画像記憶部５１に記憶する。

図５において、制御演算部４の境界検出部４３は、境界位置検出領域３２に対応する各光電変換素子によって得られた各電気信号に基づいて撮像光学系１のイメージサークルＩＣの境界位置を検出する。そして、境界検出部４３は、この検出したイメージサークルＩＣの境界位置をパラメータ決定部４４へ通知する（Ｓ１）。このイメージサークルＩＣの境界位置の検出は、例えば、次のように実行される。

例えば、輝度分布の略均一な被写体である場合、撮像素子３の受光面３０には、図６Ａに示すように、イメージサークルＩＣ内が略一様に明るい光学像が形成され、イメージサークルＩＣ外では、略一様に暗い。このため、イメージサークルＩＣ内だけでなくイメージサークルＩＣ外の画素（光電変換素子）も含む直線Ｘ１−Ｘ２上の輝度分布は、図６Ｂに示すように、イメージサークルＩＣの一方の外側では輝度値が略０であり、イメージサークルＩＣにおける一方の境界付近で急激に輝度値が大きくなり、イメージサークルＩＣ内では輝度値が所定値で略一定であり、イメージサークルＩＣにおける他方の境界付近で急激に輝度値が小さくなり、そして、イメージサークルＩＣの他方の外側では輝度値が再び略０であるプロファイルを持つ。すなわち、イメージサークルＩＣの中心（中央）では、光量が多く、イメージサークルＩＣの周辺へ行くほど光量が落ちる。

このため、イメージサークルＩＣの境界位置であるか否かを判定する閾値Ｔｈを所定値、例えば、図７に示すように、０の第１閾値Ｔｈ０（Ｔｈ０＝０）に設定することによって、イメージサークルＩＣの境界位置が検出可能となる。すなわち、境界検出部４３は、まず、境界位置検出領域３２における所定の直線に沿って配列された各光電変換素子（各画素）によって得られた各電気信号それぞれに対し、その輝度値が第１閾値Ｔｈ０（＝０）を超えるか否かを判定する。そして、境界検出部４３は、輝度値が第１閾値Ｔｈ０を超えたと判定した場合に、この輝度値が第１閾値Ｔｈ０を超えた光電変換素子（画素）の位置をイメージサークルＩＣの境界位置として検出する。また例えば、図７に示すように、イメージサークルＩＣの境界位置であるか否かを判定する閾値Ｔｈを、例えば中間値の第２閾値Ｔｈ１（Ｔｈ１＝中間値）に設定することによって、イメージサークルＩＣの境界位置が検出可能となる。すなわち、境界検出部４３は、まず、境界位置検出領域３２における所定の直線に沿って配列された各光電変換素子（各画素）によって得られた各電気信号それぞれに対し、その輝度値が第２閾値Ｔｈ１（＝中間値）を超えるか否かを判定する。そして、境界検出部４３は、輝度値が第２閾値Ｔｈ１を超えたと判定した場合に、この輝度値が第２閾値Ｔｈ１を超えた光電変換素子（画素）の位置をイメージサークルＩＣの境界位置として検出する。前記中間値は、最大輝度値と最低輝度値との中央の値である。このような中間値は、例えば、撮像素子３の光電変換素子が取り得る最大の輝度値と最低の輝度値との中央の値に予め設定されてよく（静的設定）、また例えば、境界位置検出領域３２における所定の直線に沿って配列された各光電変換素子（各画素）の実際の輝度分布から求めた最大の輝度値と最低の輝度値との中央の値に設定されてよい（動的設定）。このように閾値Ｔｈが０を除く所定値に設定されることによって、ノイズの影響が低減され、イメージサークルＩＣの境界位置の検出精度が向上する。

本実施形態では、図２および図７に示すように、矩形の境界位置検出領域３２における互いに隣接する２辺に沿うようにＸＹ座標系が設定された場合に、Ｘ軸に沿った直線、より具体的には、Ｙ＝４の直線に沿って配列された各光電変換素子（各画素）によって得られた各電気信号それぞれに対し、境界検出部４３は、その輝度値が第２閾値Ｔｈ１を超えるか否かを判定し、輝度値が第２閾値Ｔｈ１を超えたと判定した場合に、この輝度値が第２閾値Ｔｈ１を超えた光電変換素子（画素）の位置をイメージサークルＩＣの境界位置として検出する。

なお、上述では、被写体の輝度分布が略均一とされたが、被写体の輝度分布は、必ずしも均一であるとは限らない。このため、境界検出部４３は、複数の光学像それぞれを撮像素子３で変換することによって得られた複数の電気信号に基づいて撮像光学系１のイメージサークルＩＣの境界位置を検出するように構成されてもよい。前記複数の光学像は、同一の被写体に対し異なる時点で形成されたものであってよく、異なる被写体に対して形成されたものであってよい。

このような場合において、境界検出部４３は、前記複数の電気信号を積分することによって得られた積分信号に基づいて撮像光学系１のイメージサークルの境界位置を検出するように構成されてよい。より具体的には、例えば、図８ＢないしＤに示すように、輝度分布の異なる複数の光学像それぞれを、撮像素子３で変換することによって、まず、複数の電気信号が得られる。そして、これら複数の電気信号が各光電変換素子（各画素）ごとに加算され、前記複数の光学像の個数で平均化される。これによって前記積分信号が得られる。この積分信号は、様々な輝度分布を持つ複数の光学像の平均であるので、図８Ｅに示すように略均一な輝度分布となり、図７および図８Ａに示す輝度分布に近似する。

また、このような場合において、前記境界検出部４３は、前記複数の電気信号の中から対応画素での最大の輝度値を選択し、前記選択した最大の輝度値に基づいて前記撮像光学系のイメージサークルの境界位置を検出するように、構成されてもよい。より具体的には、例えば、輝度分布の異なる複数の光学像それぞれを、撮像素子３で変換することによって、まず、複数の電気信号が得られる。そして、これら複数の電気信号において、各光電変換素子（各画素）ごとにその最大の輝度値が選択され、この選択された最大の輝度値が当該光電変換素子（当該画素）の輝度値とされる。これによって各光電変換素子（各画素）における最大の輝度値で構成された信号が得られ、この信号の輝度分布から上述と同様に前記撮像光学系のイメージサークルの境界位置が検出される。

次に、制御演算部４のパラメータ決定部４４は、境界検出部４３によって検出されたイメージサークルＩＣの境界位置に基づいて所定の画像補正処理に関する所定のパラメータを決定する。そして、パラメータ決定部４４は、この決定したパラメータの値を画像補正部４５へ通知する（Ｓ２）。このパラメータの決定は、例えば、次のように実行される。

例えば、本実施形態では、パラメータの決定の際に、上述のようにパラメータ記憶部５２に予め記憶されたルックアップテーブルのパラメータテーブルＰＴが用いられる。より具体的には、パラメータ決定部４４は、境界検出部４３によって検出されたイメージサークルＩＣの境界位置をキーに、境界位置ｘフィールド５２１１および境界位置ｙフィールド５２１２を検索し、境界検出部４３によって検出されたイメージサークルＩＣの境界位置を境界位置ｘフィールド５２１１および境界位置ｙフィールド５２１２に登録するレコードを見つけ出す。そして、パラメータ決定部４４は、この見つけ出したレコードにおける焦点距離ｆｘフィールド５２３１、焦点距離ｆｙフィールド５２３２、画像中心ｃｘフィールド５２４１、画像中心ｃｙフィールド５２４２、歪係数ｋ１フィールド５２５１、歪係数ｋ２フィールド５２５２、歪係数ｐ１フィールド５２５３および歪係数ｐ２フィールド５２５４の各フィールドから、それぞれ、焦点距離ｆｘ、焦点距離ｆｙ、画像中心位置ｃｘ、画像中心位置ｃｙ、第１歪係数ｋ１、第２歪係数ｋ２、第３歪係数ｐ１および第４歪係数ｐ２の各パラメータ値を取得する。これによって各パラメータの各値が決定される。

次に、画像補正部４５は、パラメータ決定部４４によって決定された各パラメータの各値を用いて画像生成部４２で生成され画像記憶部５１に記憶されている被写体の画像を補正する（Ｓ３）。

例えば、撮像光学系１における焦点距離のずれを補正する場合、焦点距離のずれは、画像の大きさの変化として画像に現れる。このため、画像補正部４５は、パラメータ決定部４４で決定された焦点距離ｆｘおよび焦点距離ｆｙを用いた、焦点距離のずれ量に応じた拡大率で画像を拡大縮小処理する公知の補正方法によって、画像を補正する。なお、拡大率が１より大きい場合には、前記拡大縮小処理は、拡大処理となり、拡大率が１である場合には、前記拡大縮小処理は、等倍処理となり、そして、拡大率が１未満である場合には、前記拡大縮小処理は、縮小処理となる。

また例えば、撮像光学系１における中心位置のずれを補正する場合、中心位置のずれは、ステレオカメラでは、基線長のずれとして現れる。このため、画像補正部４５は、パラメータ決定部４４で決定された画像中心位置ｃｘおよび画像中心位置ｃｙを用いた中心位置のずれ量に応じて基線長を補正する公知の補正方法によって、画像を補正する。中心位置のずれによって基線長が本来の基線長より長くずれている場合には、前記中心位置のずれ量に応じて基線長が短く補正され、中心位置のずれによって基線長が本来の基線長より短くずれている場合には、前記中心位置のずれ量に応じて基線長が長く補正される。また、中心位置のずれは、個眼像間の姿勢の位置ずれ（画像位置の偏り）として現れる。このため、画像補正部４５は、パラメータ決定部４４で決定された画像中心位置ｃｘおよび画像中心位置ｃｙを用いて、姿勢の位置を公知の補正方法で補正することによって、画像を補正する。

また例えば、撮像光学系１における歪みを補正する場合、歪みは、画像の歪み、特に画像における周辺部分の歪みとなって現れる。このため、画像補正部４５は、パラメータ決定部４４で決定された第１ないし第４歪係数ｋ１、ｋ２、ｐ１、ｐ２を用いて、歪んだ画像を肉眼で見える光景と同様な相似形の略歪みのない自然な画像に補正する公知の補正方法によって、画像を補正する。

また例えば、回転を補正する場合、画像補正部４５は、パラメータ決定部４４で決定されたパラメータ値を用いた、画像を回転するための行列によって画像を回転させる公知の補正方法によって、画像を補正する。また例えば、並進を補正する場合、画像補正部４５は、パラメータ決定部４４で決定されたパラメータ値を用いた、画像を並進するための行列によって画像を並進させる公知の補正方法によって、画像を補正する。

また例えば、ボケを補正する場合、画像補正部４５は、パラメータ決定部４４で決定されたボケ係数を用いて超解像処理におけるボケ推定の係数を補正し、そして、公知の超解像処理を行うことによって、画像を補正する。この超解像処理は、複数の低解像度の画像から１つの高解像度の画像を生成する技術であり、例えば、重なりを持つ複数の低解像度画像をサブピクセル精度で位置合わせを行うことによって高解像度画像の画素値を補完し、その後、ボケやノイズ等を除去することで、１つの高解像度画像を生成する。このような超解像処理は、例えば、特開２００３−１４１５２９号公報、特開２００９−６５５３５号公報および特開２０１１−１８２２３７号公報等に開示されている。なお、ボケは、上述の焦点距離のずれの補正、中心位置のずれの補正および歪みの補正等の内部パラメータに関する画像補正の処理によっても生じる。このため、ボケの補正は、内部パラメータに関する画像補正の処理後に実行されることが好ましい。

このような補正処理を行うことによって撮像光学系１における光学特性の変化に応じて画像を補正することができる。

一具体例では、撮像光学系１の温度が約２０℃から約６０℃に変化すると、図９Ａに示すように、イメージサークルＩＣの大きさは、大きくなり、イメージサークルＩＣの境界位置は、シフトする。この結果、輝度分布も図９Ｂに示すように、シフトする。このシフトしたイメージサークルＩＣの境界位置（Ｘ、４）は、処理Ｓ１で境界検出部４３によって例えば座標（７、４）と検出される。この結果、処理Ｓ２では、座標（７、４）でパラメータテーブルＰＴがパラメータ決定部４４によって検索され、座標（７、４）に対応するレコードの各フィールド５２３１〜５２５４から、焦点距離ｆｘ、焦点距離ｆｙ、画像中心位置ｃｘ、画像中心位置ｃｙ、第１歪係数ｋ１、第２歪係数ｋ２、第３歪係数ｐ１および第４歪係数ｐ２の各パラメータ値ｆｘ４、ｆｙ４、ｃｘ４、ｘｙ４、ｋ１４、ｋ２４、ｐ１４およびｐ２４が取得され、各パラメータの各値が決定される。そして、処理Ｓ３では、これら各パラメータ値ｆｘ４、ｆｙ４、ｃｘ４、ｘｙ４、ｋ１４、ｋ２４、ｐ１４およびｐ２４が用いられ、被写体の画像が補正される。

なお、上述では、被写体の画像の形成ごとにパラメータが決定されたが、パラメータの決定のタイミングは、これに限定されるものではない。例えば、パラメータは、撮像装置ＣＡの起動の際に決定され、撮像装置ＣＡの電源がオフされるまで、このパラメータが使用されてよい。また例えば、パラメータは、予め設定された所定の時間間隔で決定されて更新されてよい。また例えば、パラメータは、前記図略のシャッタボタンが操作されることによって形成された被写体の画像が予め設定された所定の枚数に達するごとに決定されて更新されてよい。

このように本実施形態における撮像装置ＣＡおよび画像処理部２は、撮像素子３から出力された電気信号に基づいて撮像光学系１のイメージサークルＩＣの境界位置を検出し、この検出したイメージサークルＩＣの境界位置に基づいて所定の画像補正処理に関する所定のパラメータを決定し、そして、この決定した所定のパラメータを用いて被写体の画像を補正する。このため、このような本実施形態における撮像装置ＣＡおよび画像処理部２は、画像補正処理に関するパラメータの決定に、撮像光学系１が本来的に有しているイメージサークルＩＣを利用するので、従来技術のような特別な光学部材を設けることなくレンズの光学特性の変化を検出し、前記光学特性の変化に応じた画像の補正を行うことができる。

また、本実施形態における撮像装置ＣＡおよび画像処理部２は、複数の光学像それぞれを撮像素子３で変換することによって得られた複数の電気信号に基づいて撮像光学系１のイメージサークルＩＣの境界位置を検出するので、より高精度にイメージサークルＩＣの境界位置を検出できる。したがって、このような本実施形態における撮像装置ＣＡおよび画像処理部２は、より高精度に画像の補正を行うことができる。

また、本実施形態における撮像装置ＣＡは、撮像光学系１が径の小さいレンズを並べたレンズアレイを含むので、撮像光学系１のバックフォーカスを短くすることができ、低背化が可能となる。このような撮像装置ＣＡは、特に、薄型化の進む携帯電話やスマートフォンに好適である。

本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。

一態様にかかる画像処理装置は、撮像光学系によって受光面に結像された被写体の光学像を電気信号に変換する撮像素子と、前記撮像素子から出力された電気信号に基づいて前記被写体の画像を生成する画像生成部と、前記撮像素子から出力された電気信号に基づいて前記撮像光学系のイメージサークルの境界位置を検出する境界検出部と、前記境界検出部によって検出された前記イメージサークルの境界位置に基づいて所定の画像補正処理に関する所定のパラメータを決定するパラメータ決定部と、前記パラメータ決定部によって決定された前記所定のパラメータを用いて前記画像生成部で生成された前記被写体の画像を補正する画像補正部とを備える。

撮像光学系のイメージサークルは、撮像光学系に含まれるレンズを通った光が像を結ぶ円形の範囲である。このため、イメージサークルの境界は、撮像光学系に含まれるレンズの光学特性の影響を受ける。上記画像処理装置は、撮像素子から出力された電気信号に基づいて撮像光学系のイメージサークルの境界位置を検出し、この検出した前記イメージサークルの境界位置に基づいて所定の画像補正処理に関する所定のパラメータを決定し、そして、この決定した所定のパラメータを用いて被写体の画像を補正する。このように上記画像処理装置は、画像補正処理に関するパラメータの決定に、撮像光学系が本来的に有しているイメージサークルを利用するので、例えば前記特許文献１に開示の遮光壁等のような特別な光学部材を設けることなく、レンズの光学特性の変化を検出し、前記光学特性の変化に応じた画像の補正を行うことができる。

他の一態様では、上述の画像処理装置において、前記境界検出部は、複数の光学像それぞれを前記撮像素子で変換することによって得られた複数の電気信号に基づいて前記撮像光学系のイメージサークルの境界位置を検出する。好ましくは、前記境界検出部は、前記複数の電気信号を積分することによって得られた積分信号に基づいて前記撮像光学系のイメージサークルの境界位置を検出するものである。また好ましくは、前記境界検出部は、前記複数の電気信号の中から対応画素での最大の輝度値を選択し、前記選択した最大の輝度値に基づいて前記撮像光学系のイメージサークルの境界位置を検出するものである。

このような画像処理装置は、複数の光学像それぞれを前記撮像素子で変換することによって得られた複数の電気信号に基づいて前記撮像光学系のイメージサークルの境界位置を検出するので、より高精度に前記イメージサークルの境界位置を検出できる。したがって、このような画像処理装置は、より高精度に画像の補正を行うことができる。

他の一態様では、上述の画像処理装置において、前記所定のパラメータは、焦点位置、中心位置、歪み係数、並進係数、回転係数およびボケ係数のうちの１または複数である。

これによれば、焦点位置、中心位置、歪み係数、並進係数、回転係数およびボケ係数のうちの１または複数を前記所定のパラメータとして画像の補正を行う画像処理装置が提供される。

また、他の一態様にかかる画像処理方法は、撮像光学系によって撮像素子の受光面に結像された被写体の光学像を電気信号に変換する撮像工程と、前記撮像工程によって得られた電気信号に基づいて前記被写体の画像を生成する画像生成工程と、前記撮像工程によって得られた電気信号に基づいて前記撮像光学系のイメージサークルの境界位置を検出する境界検出工程と、前記境界検出工程によって検出された前記イメージサークルの境界位置に基づいて所定の画像補正処理に関する所定のパラメータを決定するパラメータ決定工程と、前記パラメータ決定工程によって決定された前記所定のパラメータを用いて前記画像生成部で生成された前記被写体の画像を補正する画像補正工程とを備える。

このような画像処理方法は、撮像素子から出力された電気信号に基づいて撮像光学系のイメージサークルの境界位置を検出し、この検出した前記イメージサークルの境界位置に基づいて所定の画像補正処理に関する所定のパラメータを決定し、そして、この決定した所定のパラメータを用いて被写体の画像を補正する。このように上記画像処理方法は、画像補正処理に関するパラメータの決定に、撮像光学系が本来的に有しているイメージサークルを利用するので、特別な光学部材を設けることなくレンズの光学特性の変化を検出し、前記光学特性の変化に応じた画像の補正を行うことができる。

また、他の一態様にかかる撮像装置は、被写体の光学像を所定面に結像する撮像光学系と、前記被写体の画像を生成する画像処理部とを備え、前記画像処理部は、前記撮像素子の受光面が前記撮像光学系の所定面となるように組み付けられた上述のいずれかの画像処理装置である。

このような撮像装置は、上述のいずれかの画像処理装置を用いるので、特別な光学部材を設けることなくレンズの光学特性の変化を検出し、前記光学特性の変化に応じた画像の補正を行うことができる。

また、他の態様では、上述の撮像装置において、前記撮像光学系は、アレイ状に配列された複数のレンズを備えるレンズアレイを含む。

このような撮像装置は、撮像光学系が径の小さいレンズを並べたレンズアレイを含むので、撮像光学系のバックフォーカスを短くすることができ、低背化が可能となる。このような撮像装置は、特に、薄型化の進む携帯電話やスマートフォンに好適である。

この出願は、２０１３年３月５日に出願された日本国特許出願特願２０１３−４２７７１を基礎とするものであり、その内容は、本願に含まれるものである。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

本発明によれば、画像処理装置および画像処理方法ならびに撮像装置を提供することができる。

Claims (8)

1. 撮像光学系によって受光面に結像された被写体の光学像を電気信号に変換する撮像素子と、
   前記撮像素子から出力された電気信号に基づいて前記被写体の画像を生成する画像生成部と、
   前記撮像素子から出力された電気信号に基づいて前記撮像光学系のイメージサークルの境界位置を検出する境界検出部と、
   前記境界検出部によって検出された前記イメージサークルの境界位置に基づいて所定の画像補正処理に関する所定のパラメータを決定するパラメータ決定部と、
   前記パラメータ決定部によって決定された前記所定のパラメータを用いて前記画像生成部で生成された前記被写体の画像を補正する画像補正部とを備えること
   を特徴とする画像処理装置。
2. 前記境界検出部は、複数の光学像それぞれを前記撮像素子で変換することによって得られた複数の電気信号に基づいて前記撮像光学系のイメージサークルの境界位置を検出すること
   を特徴とする請求項１に記載の画像処理装置。
3. 前記境界検出部は、前記複数の電気信号を積分することによって得られた積分信号に基づいて前記撮像光学系のイメージサークルの境界位置を検出すること
   を特徴とする請求項２に記載の画像処理装置。
4. 前記境界検出部は、前記複数の電気信号の中から対応画素での最大の輝度値を選択し、前記選択した最大の輝度値に基づいて前記撮像光学系のイメージサークルの境界位置を検出すること
   を特徴とする請求項２に記載の画像処理装置。
5. 前記所定のパラメータは、焦点位置、中心位置、歪み係数、並進係数、回転係数およびボケ係数のうちの１または複数であること
   を特徴とする請求項１ないし請求項４のいずれか１項に記載の画像処理装置。
6. 撮像光学系によって撮像素子の受光面に結像された被写体の光学像を電気信号に変換する撮像工程と、
   前記撮像工程によって得られた電気信号に基づいて前記被写体の画像を生成する画像生成工程と、
   前記撮像工程によって得られた電気信号に基づいて前記撮像光学系のイメージサークルの境界位置を検出する境界検出工程と、
   前記境界検出工程によって検出された前記イメージサークルの境界位置に基づいて所定の画像補正処理に関する所定のパラメータを決定するパラメータ決定工程と、
   前記パラメータ決定工程によって決定された前記所定のパラメータを用いて前記画像生成部で生成された前記被写体の画像を補正する画像補正工程とを備えること
   を特徴とする画像処理方法。
7. 被写体の光学像を所定面に結像する撮像光学系と、
   前記被写体の画像を生成する画像処理部とを備え、
   前記画像処理部は、前記撮像素子の受光面が前記撮像光学系の所定面となるように組み付けられた請求項１ないし請求項５のいずれか１項に記載の画像処理装置であること
   を特徴とする撮像装置。
8. 前記撮像光学系は、アレイ状に配列された複数のレンズを備えるレンズアレイを含むこと
   を特徴とする請求項７に記載の撮像装置。

Images