JP6137941B2 - 画像処理システム、画像処理方法およびプログラム、並びに撮像装置 - Google Patents

Description

本発明は、マイクロレンズアレイを用いた撮像装置で撮像された撮像信号を処理する画像処理システムに関し、特に撮像装置の欠陥画素を補正するための画像処理システムに関する。

近年、光の強度分布に加えて、光の進行方向の情報も含むようにして撮像データを取得し、ユーザーが指定した任意の焦点位置における画像を再構成できるカメラが提案されている。例えば、非特許文献１では、「Light Field Photography」と呼ばれる手法を用いたライトフィールドカメラが提案されている。非特許文献１では、撮影レンズと撮像素子の間にマイクロレンズアレイを配置し、撮影レンズの異なる瞳領域を通過した光が各マイクロレンズに収束するように構成されている。そして、１つのマイクロレンズに対して複数の画素が割り当てられており、マイクロレンズに収束した光は複数の画素によって入射方向別に取得される。こうして取得した撮像画像から、仮想の像面（リフォーカス面）で結像して各マイクロレンズに入射する光線が受光されている画素の信号を集めてくることで、任意の焦点位置における画像を再構成できる。

ところで、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの固体撮像素子では、半導体基板上に存在する局所的な結晶欠陥などにより欠陥画素が発生することがある。こういった欠陥画素の画素信号からは正しい出力が得られないため、欠陥画素の画素信号を補正する必要がある。例えば、特許文献１には、撮像装置もしくは撮像素子の製造工程において、あらかじめ撮影した画像に基づいて欠陥画素のアドレスを記録して撮像装置のメモリに保存し、前記アドレスに従って撮影画像中の欠陥画素の信号を補正する方法が開示されている。

また、欠陥画素からの画素信号を補正する方法としては、欠陥画素の画素値を、欠陥画素に隣接する画素の画素値と置き換える方法や、欠陥画素の画素値を、欠陥画素に隣接する複数の画素の画素値の平均値と置き換える方法などが一般的である。

Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

特開２００５−２６７９４号公報

非特許文献１に記載されているようなライトフィールドカメラでは、リフォーカス面で結像する複数の光線は複数の画素に別々に受光されている。さらに、リフォーカス面の位置がマイクロレンズアレイの位置から離れるほど、前記複数の光線はより離れた位置にある画素にそれぞれ受光されている。

そのため、特許文献１のように、あらかじめ取得した欠陥画素のアドレスをもとに欠陥画素の画素値を隣接画素の画素値を使って補正する方法では、リフォーカス面の位置によっては好適な補正ができないという問題があった。

そこで本発明の目的は、光の進行方向の情報を含むようにして取得した撮像データに対して、適切な欠陥補正処理を施すことが可能な画像処理システムを提供することである。

前記目的を達成するために、本発明によれば、撮影レンズの瞳分割手段と、撮影レンズと瞳分割手段によって形成される光学像を撮像する画素配列を有する撮像手段で生成された画像信号を処理する画像処理システムは、画素配列が有する欠陥画素についての欠陥画素情報を保持する保持手段と、再構成画像を生成するリフォーカス位置を設定する設定手段と、リフォーカス位置の再構成画像を、画像信号を用いて生成するリフォーカス手段と、欠陥画素情報に基づいて、生成された再構成画像を補正する補正手段とを備え、補正手段は、設定されたリフォーカス位置の再構成画像に対応した欠陥画素の位置情報と出力レベル情報を用いて生成された再構成画像を補正する。

本発明によれば、ライトフィールドカメラの画像処理システムにおいて、撮像素子の欠陥画素を適切に補正することが可能となる画像処理システムを提供する。

本発明の第１の実施例に係る画像処理システムを適用した撮像装置の全体ブロック図 本発明の第１の実施例の撮像装置の撮像素子とマイクロレンズアレイの構成を説明するための図 本発明の第１の実施例の撮像装置の撮影レンズ、マイクロレンズアレイおよび撮像素子の構成を説明するための図 本発明の第１の実施例の撮像装置における撮影レンズの瞳領域と受光画素の対応関係を説明するための図 本発明の第１の実施例の撮像装置における撮影レンズの瞳領域、リフォーカス面上の画素およびマイクロレンズの対応関係を説明するための図 本発明の第１の実施例に係る画像処理システムを構成する画像処理部の構成を説明するための図 本発明の第１の実施例に係る欠陥画素情報のデータ構成例を示す図 本発明の第１の実施例に係る欠陥画素情報の生成動作のフローチャートを示す図 本発明の第１の実施例のキズレベルテーブルの例を示す図 本発明の第１の実施例に係る欠陥画素情報の変換例を示す図 本発明の第１の実施例における撮像装置の撮影動作のフローチャートを示す図 本発明の第１の実施例の欠陥補正動作のフローチャートを示す図 本発明の第２の実施例に係る画像処理システムを適用した撮像装置の撮影動作のフローチャートを示す図

以下、図面を参考にして本発明の好適な実施形態を詳細に説明する。

図１は、本発明の第１の実施例に係る画像処理システムを適用した撮像装置の全体ブロック図である。図において、１０１は複数のレンズから構成された撮影レンズであり、被写体の焦点状態の調節を可能とする光学系である。撮影レンズ１０１を通過した光は撮影レンズ１０１の焦点位置近傍に光学像を形成する。１０２はマイクロレンズアレイであ(以下、ＭＬＡと記す)、複数のマイクロレンズ１２０で構成されている。ＭＬＡ１０２は撮影レンズ１０１の焦点位置近傍に配置される。撮影レンズ１０１の異なる瞳領域を通過した光はＭＬＡ１０２に入射し、瞳領域ごとに分離して出射される（瞳分割手段）。

１０３は撮像素子であり、ＭＬＡ１０２によって分離して出射された光を受光することで光学像を撮像する。撮像素子１０３は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサを用いたものであり、ＭＬＡ１０２の焦点位置付近に配置される。１１２はタイミング発生部（ＴＧ）であり、撮像素子１０３を駆動する各種タイミングを生成する。

１０４はアナログフロントエンド（ＡＦＥ）であり、撮像素子１０３からの画像信号に対して基準レベルの調整（クランプ処理）やアナログデジタル変換処理等を行う。１０５はデジタルフロントエンド（ＤＦＥ）であり、ＡＦＥ１０４からのデジタル出力画像に対して、微小な基準レベルのずれ等のデジタル補正処理を行う。１０６は画像処理部であり、ＤＦＥ１０５からのデジタル画像に対して所定の画像処理を施し、画像データを生成、出力する。また、画像処理部１０６では、後述するリフォーカス処理による画像の再構成および欠陥画素補正処理も行う。メモリ部１０７は欠陥画素情報（アドレス、キズレベル）等を保持しておくための不揮発性メモリで構成されている。１０８は制御部であり、撮像装置全体を統括的に制御し、周知のＣＰＵなどを内蔵し、各部を制御するプログラムを実行する。１０９は、ボタン、タッチパネルなどの操作部であり、デジタルカメラにある操作部材を電気的に受け付ける。

ユーザーは操作部１０９を使ってリフォーカス画像を生成するための任意のリフォーカス位置を設定できるようになっている。なお、このリフォーカス位置の設定は、制御部１０８が自動で設定するようにしてもよい。１１０は画像等を表示するための表示部であり、液晶ディスプレイなどで構成される。１１１はメモリカードやハードディスクなどの記録部である。

なお、本実施例の画像処理部１０６は、図６に示すように再構成部６０１と欠陥補正部６０２を有している。再構成部６０１では「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いた演算処理を行うことにより、撮像データから、設定された任意の焦点位置（リフォーカス位置）での画像を再構成することが可能である。

欠陥補正部６０２はメモリ部１０７に記録された欠陥画素情報に基づいて、再構成部６０１で生成された画像に対して欠陥画素の補正処理を行う。再構成部６０１および欠陥補正部６０２の詳細については後述する。

次に、本実施例の撮像装置における撮影レンズ１０１、ＭＬＡ１０２および撮像素子１０３の構成について図２〜４を用いて説明する。なお、図１乃至図４において同じ部分は、同じ符号を付して示す。

図２は、撮像素子１０３とＭＬＡ１０２の構成を説明する図である。同図は撮像素子１０３およびＭＬＡ１０２を図１の光軸Ｚ方向から観察した図である。複数の単位画素２０１に対して１つのマイクロレンズ１２０が対応するように配置されている。1つのマイクロレンズ後方にある複数の単位画素２０１をまとめて画素配列２００と定義する。なお、本実施例では画素配列２００には、単位画素２０１が５行５列の計２５個あるものとする。

図３は、撮影レンズ１０１から出射された光束が１つのマイクロレンズ１２０を通過して撮像素子１０３で受光される様子を、光軸Ｚに対して垂直方向から観察した図である。撮影レンズ１０１の各瞳領域ａ1〜ａ5から出射され、マイクロレンズ１２０を通過した光は、後方の対応する単位画素ｐ1〜ｐ5でそれぞれ結像する。

図４（ａ）は撮影レンズの開口を光軸Ｚ方向から見た図である。図４（ｂ）は１つのマイクロレンズ１２０とその後方に配置された画素配列２００を光軸Ｚ方向から見た図である。図４（ａ）に示すように撮影レンズ１０１の瞳領域を１つのマイクロレンズ下にある画素と同数の領域に分割した場合、１つの画素には撮影レンズ１０１の１つの瞳分割領域からの光が結像されることになる。ただし、ここでは撮影レンズとマイクロレンズ１２０のＦナンバーがほぼ一致しているものとする。図４（ａ）に示す撮影レンズ１０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す画素ｐ１１〜ｐ５５との対応関係は、光軸Ｚ方向から見て点対称となる。したがって、撮影レンズの瞳分割領域ａ１１から出射した光はマイクロレンズの後方にある画素配列２０のうち、画素ｐ１１に結像する。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズを通過する光も、そのマイクロレンズの後方にある画素配列２００の中の画素ｐ１１に結像する。

次に、上記撮影レンズ１０１、ＭＬＡ１０２および撮像素子１０３の構成によって取得された撮像データに対して、任意に設定した焦点位置（リフォーカス面）での画像の再構成処理について述べる。再構成処理は図６に示した再構成部６０１において、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」と呼ばれる手法を用いて行う。

図５は、任意に設定したリフォーカス面上のある画素を通過する光束が、撮影レンズ１０１のどの瞳分割領域から出射され、どのマイクロレンズへ入射するかを、光軸Ｚの垂直方向から見た場合の図である。同図において、撮影レンズ１０１の瞳分割領域の位置を座標（ｕ，ｖ）、リフォーカス面上の画素位置を座標（ｘ，ｙ）、ＭＬＡ１０２上のマイクロレンズの位置を座標（ｘ’，ｙ’）とする。また、撮影レンズ１０１からＭＬＡ１０２までの距離をＦ、撮影レンズ１０１からリフォーカス面までの距離をαＦとする。ここで、αはリフォーカス面の位置を決定するためのリフォーカス係数であり、ユーザーが任意に設定することが可能である。なお、図５ではｕ、ｘ、ｘ’の方向のみを示し、ｖ、ｙ、ｙ’については省略してある。

図５に示すように、座標（ｕ，ｖ）と座標（ｘ，ｙ）を通過した光束５００は、ＭＬＡ上の座標（ｘ’，ｙ’）に到達する。この座標（ｘ’，ｙ’）は式（１）のように表すことができる。

そして、この光束５００が受光される画素の出力をＬ（ｘ’，ｙ’，ｕ，ｖ）とすると、リフォーカス面上の座標（ｘ，ｙ）で得られる出力Ｅ（ｘ，ｙ）は、Ｌ（ｘ’，ｙ’，ｕ，ｖ）を撮影レンズ１０１の瞳領域に関して積分したものとなるため、式（２）のようになる。

式（２）において、リフォーカス係数αはユーザーによって決定されるため、（ｘ，ｙ）、（ｕ，ｖ）を与えれば、光束の入射するマイクロレンズの位置（ｘ’，ｙ’）がわかる。そして、そのマイクロレンズに対応する画素配列２００から（ｕ，ｖ）の位置に対応する画素がわかる。この画素の出力がＬ（ｘ’，ｙ’，ｕ，ｖ）となる。これをすべての瞳分割領域について行い、求めた画素出力を合計（積分）することでＥ（ｘ，ｙ）が算出できる。なお、（ｕ，ｖ）を撮影レンズ１０１の瞳分割領域の代表座標とすれば、式（２）の積分は、単純加算により計算することができる。

以上のようにして、式（２）の演算処理を行うことで、任意の焦点位置における画像を再構成することができる。

次に、メモリ部１０７に記録される欠陥画素情報について図７を用いて説明する。
図７はメモリ部１０７に記録される欠陥画素情報のデータ構成の例を示す図である。Ｘアドレス、Ｙアドレスはリフォーカス処理により再構成された画像における欠陥画素の座標を示す位置情報である。キズレベルは欠陥画素からの異常出力信号の大きさに応じて設定される値であり(出力レベル情報）、撮影条件（ＩＳＯ感度、露光時間等）によって、対象となる欠陥画素を補正するかどうかの判定に用いられる。リフォーカス位置は、欠陥画素情報がどのリフォーカス位置におけるデータかを示すものであり、図５で説明したリフォーカス係数αに相当する。本実施例では、Ｘアドレス、Ｙアドレスにそれぞれ１４ビット、キズレベルに４ビット、リフォーカス位置に８ビットのデータ長を割り当てている。

次に、メモリ部１０７に記録するための欠陥画素情報の生成動作を、図８に示すフローチャートを用いて説明する。なお、このフローチャートに従った動作は、撮像装置の工場調整等において、例えばＰＣなどの情報処理装置を用いて行う。

Ｓ８０１では、撮像装置の調整工程等において取得した画像から撮像素子上の欠陥画素のアドレスを検出する。また、欠陥画素からの異常出力信号の大きさに応じてキズレベルを設定する。キズレベルは、例えば、異常出力信号の大きさに応じて図９に示すテーブルに従って設定すればよい。

Ｓ８０２では、Ｓ８０１で取得した欠陥画素の撮像素子上のアドレスを複数のリフォーカス位置の再構成画像上のアドレスに変換する。この変換は式（１）をリフォーカス面上の座標（ｘ，ｙ）について変形させた式（３）によって行われる。

式（３）によって変換される欠陥画素情報の例を図１０に示す。図１０に示すように、撮像素子の欠陥画素情報を複数のリフォーカス位置の各位置における欠陥画素情報に変換しておき、リフォーカス位置の情報も同時に関連付けて付加しておく。また、式（３）の座標変換では、撮像素子の複数の欠陥画素が変換後に同一の座標になることがある。座標変換後に座標が重複した欠陥画素情報は、１つにまとめる。図１０では、座標Ｘ３、Ｙ３が一つにまとめられた欠陥画素情報である。このとき時、各欠陥画素のキズレベルを、図９のテーブルに従って画素出力（例えば、各テーブル毎に最小の画素出力）に変換してから合算する。その後、図９のテーブルに従って、キズレベルを再設定する。なお、Ｓ８０２の処理は、撮像装置の工場調整工程等において、外部のＰＣ等で行うが、撮像装置内の画像処理部１０６で行うようにしてもよい。

最後に、図８のＳ８０３で、Ｓ８０２で変換した欠陥画素情報をメモリ部１１７に記録して、欠陥画素情報の生成動作を終了する。

本発明にかかる撮像装置の撮影制御動作を図１１に示すフローチャートを用いて説明する。この制御動作は、制御部１０８が撮像装置の各部を制御することで実行される。

図１１において、まずステップＳ１１０１で、ＩＳＯ感度、露光時間等の撮影条件が、ユーザーによる操作部１０９の操作に従って設定する。なお、この設定は、制御部１０８が、自動で設定するようにしてもよい。

続けて、ステップＳ１１０２で、制御部１０８がＴＧ１１２制御して駆動信号を撮像素子１０３に供給させ、撮像素子１０３を駆動して撮影を行ない、画像データを生成する。

次に、ステップＳ１１０３で、操作部１０９等によって任意のリフォーカス位置（リフォーカス係数α）を設定し、ステップＳ１１０４で、再構成部６０２が、図５を用いて説明したリフォーカス処理により、再構成画像を生成する。ステップＳ１１０４で生成された再構成画像には、ステップＳ１１０５において、欠陥補正部６０２より欠陥補正処理が行われる。この欠陥補正処理の詳細は後述する。

次に、ステップＳ１１０６において、ステップＳ１１０５で欠陥補正処理が行われた再構成画像に対して、ホワイトバランス補正、ガンマ補正等の各種信号処理を行い、ステップＳ１１０７において、記録部１１１が最終的な画像を記録する。以上で、図１１に示すフローチャートに従った撮影制御動作を終了する。

次に、ステップＳ１１０６における欠陥補正部６０２による欠陥補正処理の動作について図１２に示すフローチャートを用いて説明する。本動作は、制御部１０８による制御の下で、画像処理部１０６が行う。

ステップＳ１２０１において、画素毎に欠陥画素情報をメモリ部１０７から読み出す。ここで読み出される欠陥画素情報は、図１０に示す再構成画像上の欠陥画素情報である。

ステップＳ１２０２では、読み出した欠陥画素情報のリフォーカス位置情報を参照し、再構成画像のリフォーカス位置と一致しているかどうかを判定し、その結果を保持する。次いで、ステップＳ１２０３において、読み出した欠陥画素情報のキズレベルを参照し、撮影条件（ＩＳＯ感度、露光時間等）毎に決められた補正対象となるレベルを満たしているかどうかを判定し、その結果を保持する。

ステップＳ１２０４では、ステップＳ１２０２、Ｓ１２０３で保持された判定結果に基づいて、対象画素が補正対象であるか否かを判定する。具体的には、欠陥画素情報のリフォーカス位置が再構成画像のリフォーカス位置と一致し、かつキズレベルが補正対象となるレベルを満たしている場合にステップＳ１２０５の補正処理を行う。それ以外の場合は、ステップＳ１２０５の補正処理を行わず、ステップＳ１２０６に移行する。

ステップＳ１２０５では、画像処理部１０６は補正対象画素の補正処理を行う。補正処理の一例として、本実施例では、欠陥画素情報のアドレスの位置にある補正対象画素の上下または左右に隣接する同色の画素値から、補正対象の画素値を補間する方法を用いる。上下または左右に隣接する同色画素のどちらを用いるかは任意であるが、例えば被写体により適応的に判断しても良い。

ステップＳ１２０６では、ステップＳ１２０１からＳ１２０５までの処理を、メモリ部１０７に記録されている全ての欠陥画素情報に対して実行したか否かを判定する。判定の結果、記録されている全ての欠陥画素情報に対して本動作を実行した場合には、欠陥補正処理動作を終了する。未処理の欠陥画素情報が残っていれば、未処理の欠陥画素情報を読み出してステップＳ１２０１からＳ１２０５の処理を実行する。以上で、図１２の欠陥補正処理の動作を終了する。

以上、説明したように本実施形態によれば、欠陥画素の位置情報をリフォーカス後の座標に変換しておき、リフォーカス後の再構成画像に対して欠陥画素補正処理を行う。そのため、リフォーカス位置によらず適切に補正することが可能である。

次に、図１３を用いて、本発明の第２の実施例を説明する。本実施例における撮像装置の構成、欠陥画素情報の構成、キズレベルのテーブル構成、および欠陥補正処理は第１の実施例と同様であるので、ここでの説明は省略する。

第１の実施例では、撮像素子の欠陥画素情報をあらかじめ工場調整等に複数のリフォーカス位置における欠陥画素情報に変換し、メモリ部１０７に記録しておいた。これに対し、本実施例では、変換前の撮像素子の欠陥画素情報をメモリ部１０７に記録しておき、その変換処理をリフォーカス処理後に行う。

図１３は本発明の第２の実施例に係る画像処理システムを適用した撮像装置の撮影制御動作のフローチャート図である。図１３は、第１の実施例における図１１に対応し、第１の実施例と同一の処理を行う箇所は同一の番号で示し、その説明は省略する。以下、第１の実施例と相違する処理動作について説明する。

ステップＳ１３０１では、画像処理部１０６が、メモリ部１０７に記録した撮像素子の欠陥画素情報をリフォーカス後の座標に変換する。この処理は図８のステップＳ８０２で説明した処理と同じであるが、第１の実施例では、欠陥画素情報を複数のリフォーカス位置における座標に変換したのに対し、本実施例では、ステップＳ１１０３で設定したリフォーカス位置における座標のみに変換する。その後は、変換した欠陥画素情報を用いてステップＳ１１０５において欠陥補正処理を行う。したがって、第１の実施例と同様にリフォーカス位置によらず適切に欠陥補正することが可能である。

また、本実施例では、リフォーカス後に欠陥画素情報の変換を行うため、その分、最終画像を出力するまでの処理に時間がかかるが、メモリ部には撮像素子の欠陥画素情報のみを記録しておけばよいため、必要なメモリ容量は第１の実施例よりも少なくて済む。

以上、本発明の各実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。例えば、上述した実施例では撮像装置を例に本件発明を説明したが、本件発明を、ＰＣ等の情報処理装置において記録媒体などから提供される画像信号の画像処理システムに適用してもよい。

上述した実施形態において図１１乃至１３に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して制御部１０８のＣＰＵが実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図１１乃至１３に示した各処理の全部または一部の機能を、専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記憶媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記憶媒体より構成されてもよい。

また、図１１乃至１３に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記憶媒体に記録して、この記憶媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記憶媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記憶媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）も含む。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

Claims (13)

1. 撮影レンズの瞳分割手段と、前記撮影レンズと瞳分割手段によって形成される光学像を撮像する画素配列を有する撮像手段で生成された画像信号を処理する画像処理システムにおいて、
   前記画素配列が有する欠陥画素についての欠陥画素情報を保持する保持手段と、
   再構成画像を生成するリフォーカス位置を設定する設定手段と、
   前記リフォーカス位置の再構成画像を、前記画像信号を用いて生成するリフォーカス手段と、
   前記欠陥画素情報に基づいて、前記生成された再構成画像を補正する補正手段と
   を備え、
   前記補正手段は、前記設定されたリフォーカス位置の再構成画像に対応した欠陥画素の位置情報と出力レベル情報を用いて前記生成された再構成画像を補正することを特徴とする画像処理システム。
2. 前記保持手段は、前記欠陥画素情報として、複数の異なるリフォーカス位置の各位置での再構成画像に対応した欠陥画素の位置情報と出力レベル情報を、対応するリフォーカス位置の情報に関連付けて保持することを特徴とする請求項１に記載された画像処理システム。
3. 前記保持手段は、前記欠陥画素情報として、前記画素配列に対応した欠陥画素の位置情報および出力レベル情報とを保持し、前記補正手段は、前記保持手段に保持された位置情報及び出力レベル情報を、前記設定されたリフォーカス位置の情報に関連付けて、前記設定されたリフォーカス位置の再構成画像に対応した位置情報及び出力レベル情報に変換し、前記変換された位置情報および出力レベル情報を用いて前記生成された再構成画像の補正を行うことを特徴とする請求項１に記載された画像処理システム。
4. 前記補正手段は、前記画素配列に対応した異なる欠陥画素の位置情報が、前記設定されたリフォーカス位置の再構成画像に対応した同じ位置情報に変換されたときは、前記画素配列に対応した異なる欠陥画素の出力レベル情報を、前記再構成画像に対応した同じ位置情報に関連付けられた一つの出力レベル情報に変換ことを特徴とする請求項３に記載された画像処理システム。
5. 前記補正手段は、前記リフォーカス位置の情報、前記リフォーカス位置の情報で示されるリフォーカス位置の再構成画像に対応した出力レベル情報、および前記設定されたリフォーカス位置に基づいて、前記欠陥画素情報に基づいて前記生成された再構成画像の補正を行うかどうかを決定し、決定の結果に従って前記補正を行うことを特徴とする請求項２乃至４のいずれか一項に記載された画像処理システム。
6. 前記補正手段は、前記生成された再構成画像に対応する欠陥画素の位置情報で示される位置に隣接する画素を用いて、前記再構成画像を補正することを特徴とする請求項１乃至５のいずれか一項に記載された画像処理システム。
7. 被写体の光学像を形成する撮影レンズを有する光学系と、
   前記撮影レンズの瞳分割手段を有し、前記撮影レンズと瞳分割手段によって形成される光学像を撮像して画像信号を生成する画素配列を有する撮像手段と、
   前記画素配列が有する欠陥画素についての欠陥画素情報を保持する保持手段と、
   再構成画像を生成するリフォーカス位置を設定する設定手段と、
   前記画像信号を処理する画像処理手段を備え、
   前記画像処理手段は、
   前記リフォーカス位置の再構成画像を、前記画像信号を用いて生成するリフォーカス手段と、
   前記欠陥画素情報に基づいて、前記生成された再構成画像を補正する補正手段と
   を含み、
   前記補正手段は、前記設定されたリフォーカス位置の再構成画像に対応した欠陥画素の位置情報と出力レベル情報を用いて前記生成された再構成画像を補正することを特徴とる撮像装置。
8. 前記画素配列に対応した欠陥画素の位置情報および出力レベル情報を取得し、前記取得した位置情報と出力レベル情報を、複数の異なるリフォーカス位置の各位置での再構成画像に対応した欠陥画素の位置情報および出力レベル情報に変換し、前記変換された位置情報および出力レベル情報を、対応する前記リフォーカス位置の情報と関連付けて欠陥画素情報として前記保持手段に保持する変換手段をさらに備えることを特徴とする請求項７に記載された撮像装置。
9. 撮影レンズの瞳分割手段と、前記撮影レンズと瞳分割手段によって形成される光学像を撮像する画素配列を有する撮像手段で生成された画像信号を処理する画像処理システムの制御方法において、
   前記画素配列が有する欠陥画素についての欠陥画素情報をメモリ手段に保持する保持ステップと、
   再構成画像を生成するリフォーカス位置を設定する設定ステップと、
   前記リフォーカス位置の再構成画像を、前記画像信号を用いて生成するリフォーカスステップと、
   前記欠陥画素情報に基づいて、前記生成された再構成画像を補正する補正ステップと
   を備え、
   前記補正ステップは、前記設定されたリフォーカス位置の再構成画像に対応した欠陥画素の位置情報と出力レベル情報を用いて前記生成された再構成画像を補正することを特徴とする制御方法。
10. 撮影レンズの瞳分割手段と、前記撮影レンズと瞳分割手段によって形成される光学像を撮像する画素配列を有する撮像手段で生成された画像信号を処理する画像処理システムを制御するプログラムであり、
    コンピュータを、
    前記画素配列が有する欠陥画素についての欠陥画素情報を保持する保持手段、
    再構成画像を生成するリフォーカス位置を設定する設定手段、
    前記リフォーカス位置の再構成画像を、前記画像信号を用いて生成するリフォーカス手段、
    前記欠陥画素情報に基づいて、前記生成された再構成画像を補正する補正手段であり、前記設定されたリフォーカス位置の再構成画像に対応した欠陥画素の位置情報と出力レベル情報を用いて前記生成された再構成画像を補正する補正手段として機能させるプログラム。
11. 請求項８のプログラムを記録したコンピュータが読み取り可能な記憶媒体。
12. コンピュータを、請求項１乃至６のいずれか一項に記載された画像処理システムの各手段として機能させるプログラム。
13. 請求項１２のプログラムを記録した記憶媒体。

Images