JP6494328B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像の画質を向上させる画像処理方法に関する。

カメラなどの撮像装置により撮像を行うと、光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、ゴーストやフレアなどの不要成分として撮影画像中に現れる。また、望遠レンズにおいて、軸上色収差や倍率色収差の補正のために回折光学素子を用いると、撮像画角外に存在する太陽などの高強度物体からの光が回折光学素子に当たることで、画像全体に渡って不要光が不要成分として現れる場合がある。そこで従来から、不要成分をデジタル画像処理により除去する方法が知られている。

特許文献１には、被写体に対して光学系が合焦状態にあるときの画像（合焦画像）と光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像からゴーストを検出する方法が開示されている。しかし、特許文献１の方法では、複数回の撮像が必要であり、動きのある被写体の静止画撮像や動画撮像には適さない。

特許文献２には、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する方法が開示されている。特許文献２の方法では、１回の撮像で複数の視差画像を得られるため、動きのある被写体の静止画撮像や動画撮像にも対応可能である。

特開２００８−５４２０６号公報 特開２０１１−２０５５３１号公報

しかしながら、特許文献２に開示された方法では、ゴースト光路が理想的な瞳分割光路から外れ、輝度分布は異なっているものの同じゴーストが主画素および副画素の両方に現れた場合、このようなゴーストを効果的に低減することはできない。

そこで本発明は、複数の撮像を行うことなく撮影画像に含まれる不要成分の強度を効果的に決定し、撮影画像から不要成分を低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、複数の視差画像間の差分に関する差分情報を生成する生成手段と、前記差分情報に基づいてゲイン分布を決定するゲイン分布決定手段と、前記ゲイン分布に基づいて不要成分強度を決定する強度決定手段と、前記視差画像および前記不要成分強度に基づいて、不要成分を低減した不要成分低減画像を生成する低減手段とを有する。

本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、前記複数の視差画像間の差分に関する差分情報を決定する決定手段と、前記差分情報に基づいてゲイン分布を算出する算出手段と、前記ゲイン分布に基づいて不要成分強度を決定する強度決定手段と、前記視差画像および前記不要成分強度に基づいて、不要成分を低減した不要成分低減画像を生成する低減手段とを有する。

本発明の他の側面としての画像処理方法は、複数の視差画像間の差分に関する差分情報を決定するステップと、前記差分情報に基づいてゲイン分布を算出するステップと、前記ゲイン分布に基づいて不要成分強度を決定するステップと、前記視差画像および前記不要成分強度に基づいて、不要成分を低減した不要成分低減画像を生成するステップとを有する。

本発明の他の側面としての画像処理プログラムは、複数の視差画像間の差分に関する差分情報を決定するステップと、前記差分情報に基づいてゲイン分布を算出するステップと、前記ゲイン分布に基づいて不要成分強度を決定するステップと、前記視差画像および前記不要成分強度に基づいて、不要成分を低減した不要成分低減画像を生成するステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、複数の撮像を行うことなく撮影画像に含まれる不要成分の強度を効果的に決定し、撮影画像から不要成分を低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１、２における画像処理方法の手順を示す図である。 実施例１、２における画像処理方法による出力画像の一例である。 実施例１、２の撮像系において、撮像素子の受光部と光学系の瞳との関係図である。 実施例１、２における撮像系の模式図である。 各実施例における撮像装置のブロック図である。 各実施例における光学系の構成および光学系にて発生する不要光の説明図である。 実施例１、２における光学系の絞りを透過する不要光の説明図である。 実施例１、２における画像処理方法による出力画像の一例である。 実施例１、２における画像処理方法による出力画像の一例である。 実施例１における画像処理方法を示すフローチャートである。 実施例２、３における画像処理方法を示すフローチャートである。 実施例２における低減率分布を示す図である。 実施例３における撮像素子を示す図である。 実施例３における光学系の絞りを透過する不要光の説明図である。 実施例３における画像処理方法の手順を示す図である。 実施例３における画像処理方法の手順を示す図である。 実施例３における低減率分布を示す図である。 実施例３における画像処理方法による出力画像の一例である。 実施例４における撮像系を示す図である。 実施例４における撮像系を示す図である。 実施例４における撮像系を示す図である。 従来の撮像素子を示す図である。 図１９の撮像系により得られた画像を示す図である。 図２０および図２１の撮像系により得られた画像を示す図である。 実施例４における撮像装置の例を示す図である。 実施例４における撮像装置の例を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

各実施例において、複数の視差画像を生成可能な撮像装置は、光学系（撮像光学系）の瞳のうち互いに異なる領域を通過した複数の光束を、撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

まず、本発明の実施例１について説明する。図３は、本実施例の撮像系における撮像素子の受光部と光学系の瞳との関係を示す図である。図３において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは光学系の射出瞳（瞳）であり、Ｐ１、Ｐ２は射出瞳ＥＸＰの領域である。Ｇ１、Ｇ２は画素（受光部）であり、１つの画素Ｇ１と１つの画素Ｇ２とが互いに対をなしている（画素Ｇ１、Ｇ２は１つのマイクロレンズＭＬを共有するように設けられている）。撮像素子には、画素Ｇ１と画素Ｇ２の対（画素対）が複数配列されている。対の画素Ｇ１と画素Ｇ２は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。各実施例において、撮像素子に配列された複数の画素Ｇ１、Ｇ２を、それぞれまとめて画素群Ｇ１、Ｇ２という場合がある。

図４は、本実施例における撮像系の模式図であり、図３に示されるマイクロレンズＭＬの代わりに、射出瞳ＥＸＰの位置に薄肉レンズが設けられていると仮定した場合の撮像系を示している。画素Ｇ１は、射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光する。画素Ｇ２は、射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。ＯＳＰは、撮像している物点である。物点ＯＳＰには、必ずしも物体が存在している必要はない。物点ＯＳＰを通った光束は、その光束が通過する瞳（射出瞳ＥＸＰ）内での位置（本実施例では領域Ｐ１または領域Ｐ２）に応じて、画素Ｇ１または画素Ｇ２のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられた画素Ｇ１、Ｇ２のうち、画素Ｇ１からの出力信号を用いて生成された画像と、画素Ｇ２からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割という場合がある。

また、図３および図４に示される射出瞳ＥＸＰの位置ずれなどにより、前述の共役関係が完全でなくなる場合や、領域Ｐ１、Ｐ２が部分的に互いに重複（オーバーラップ）する場合でも、各実施例において、得られた複数の画像を視差画像として扱う。また、画像を構成する最小要素を画素（ピクセル）と呼び（以降、撮像素子上の画素と区別するためにピクセルと呼ぶ）、各ピクセルは、数値によって光の強さや色を表す。各ピクセルの値を画素値という。画素値はモノクロ画像であれば画素値＝輝度値とし、本発明の各実施例では簡単に説明するためにモノクロ画像として説明する。よってここでは画素値と輝度値は同じ意味を示す。ＲＧＢカラー画像の場合は各色の画素値について色ごとに同様の計算を行えばよい。以下の各実施例についても同様である。

次に、図５を参照して、本実施例における画像処理方法を実行する撮像装置について説明する。図５は、本実施例における撮像装置２００の構成を示すブロック図である。光学系２０１（撮像光学系）は、絞り２０１ａおよびフォーカスレンズ２０１ｂを含み、不図示の被写体からの光を撮像素子２０２上に結像（集光）させる。撮像素子２０２（撮像手段）は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、図３および図４を参照して説明した瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する（瞳分割を行う）。このように撮像素子２０２は、光学系２０１を介して形成された被写体像（光学像）を光電変換し、複数の視差画像である画像信号（アナログ電気信号）を出力する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部２０４に出力する。

画像処理部２０４は、デジタル信号に対して、一般的に行われる画像処理を行うとともに、不要光（不要成分）の決定処理および不要光を低減または除去する補正処理を行う。本実施例において、画像処理部２０４は、撮像装置２００に搭載された画像処理装置に相当する。また画像処理部２０４は、不要成分検出部２０４ａ（生成手段）、ゲイン分布取得部２０４ｂ（ゲイン分布決定手段）、不要成分強度決定部２０４ｃ（強度決定手段）、および、不要成分低減部２０４ｄ（低減手段）を有する。

不要成分検出部２０４ａは、視差画像を生成（取得）し、その視差画像から不要成分を検出（決定）する。ゲイン分布取得部２０４ｂは、後段の不要成分強度を決定するための画面内のゲイン分布を算出する。不要成分強度決定部２０４ｃは、検出した不要成分とゲイン分布とに基づいて、低減させるべき不要成分強度を決定する。不要成分低減部２０４ｄは、不要成分強度に応じて、各視差画像から不要成分を低減させる。なお本実施例において、視差画像の生成方法として、「画素群Ｇ１のみからなる画像」と「画素群Ｇ２のみからなる画像」のように最初から２つに分離した形で出力して生成することができる。または、「画素群Ｇ１のみからなる画像」と「画素群Ｇ１と画素群Ｇ２との合成画像」を最初に出力し、合成画像から画素群Ｇ１のみからなる画像を差し引くことにより画素群Ｇ２のみからなる画像に相当する画像を演算で求めてもよい。

画像処理部２０４で処理された出力画像（画像データ）は、半導体メモリや光ディスクなどの画像記録媒体２０９に保存される。また、画像処理部２０４からの出力画像を表示部２０５に表示することもできる。記憶部２０８は、画像処理部２０４による画像処理に必要な画像処理プログラムや各種情報などを記憶している。

システムコントローラ２１０（制御手段）は、撮像素子２０２の動作、画像処理部２０４での処理、および、光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御を行う。光学系制御部２０６は、システムコントローラ２１０からの制御指示に応じて、光学系２０１の絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動を行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じて、その開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整（フォーカス制御）を行うために、不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０の制御指示に応じて、現在の撮影条件情報を取得する。なお本実施例において、光学系２０１は、撮像素子２０２を備えた撮像装置２００の一部として（撮像装置２００と一体的に）構成されているが、これに限定されるものではない。本実施例は、一眼レフカメラのように、交換式の光学系（交換レンズ）を撮像装置本体に着脱可能に構成された撮像システムにも適用可能である。

図６は、光学系２０１の構成および光学系２０１にて発生する不要光の説明図である。図６（Ａ）は、光学系２０１の具体的な構成例を示す。図６（Ａ）において、ＳＴＰは絞り（絞り２０１ａに相当）、ＩＭＧは撮像面である。撮像面ＩＭＧの位置には、図５に示される撮像素子２０２が配置される。図６（Ｂ）は、光学系２０１に高輝度物体の例としての太陽ＳＵＮから強い光が入射し、光学系２０１を構成するレンズの界面で反射した光が不要成分Ａ（ゴーストやフレアなどの不要光）として撮像面ＩＭＧに到達する様子を示している。図６（Ｃ）は、図６（Ｂ）と同様に強い光が入射し、不要光Ａとは異なるレンズの界面で反射した光が不要成分Ｂ（ゴーストやフレアなどの不要光）として撮像面ＩＭＧに到達する様子を示している。

図７は、絞りＳＴＰのうち、図４に示される画素Ｇ１、Ｇ２に入射する光束が通過する領域Ｐ１、Ｐ２（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、光学系２０１の射出瞳ＥＸＰ（光学系２０１の像面位置から見た虚像）に相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なる。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰのほぼ全域を通過するが、画素Ｇ１、Ｇ２に入射する光束が通過する領域は、領域Ｐ１、Ｐ２（瞳領域）に分割される。図６（Ｂ）、（Ｃ）に示される例では、高輝度物体からの光束は絞りＳＴＰの略下半分の領域を通過しており、図４を参照すると、領域Ｐ１に一部の光束が通過し、領域Ｐ２に残りの全ての光束が通過している。領域Ｐ１を通過した光束は画素Ｇ１に入射し、領域Ｐ２を通過した光束は画素Ｇ２に入射する。

続いて、図１および図２を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。図１は、本実施例における画像処理方法の手順を示す図である。図２は、本実施例における画像処理方法による出力画像の一例である。なお、図６（Ａ）の光学系２０１で撮像すると、図６（Ｂ）の光路で発生する不要成分Ａと図６（Ｃ）の光路で発生する不要成分Ｂとが互いに重なり合って撮像される。ただし図１および図２においては、説明の簡略化のため、不要成分Ａと不要成分Ｂとを分けて示している。複数の不要成分が重なっていても分離していても、本実施例の趣旨や基本的な考え方は変わらず、後述するゲイン分布の算出方法や不要成分の低減方法も変わらない。

図２は、「瞳分割を行わない撮像」により生成された撮影画像を示す。この撮影画像には、簡単のために細かい被写体は省略されており、背景（被写体を含む）となっているグレーの部分と、ゴースト（被写体や背景よりも輝度が高い不要成分）を意味する二つの四角（不要成分Ａと不要成分Ｂ）とが横並びで写っている。実際には、これらの不要成分の背景には、被写体がある程度透けている。また、不要成分は、撮影被写体に不要光が被った状態であるため、撮影被写体よりも高輝度化する部分である。このため、背景のグレー部分よりも輝度を高くして示している。この点は、後述する他の実施例における図でも同様である。

図１（Ａ−１）および図１（Ｂ−１）は、それぞれ、領域Ｐ１、Ｐ２（瞳領域）を通過した光束を画素群Ｇ１、Ｇ２にて光電変換した結果として得られた一対の視差画像を示す。一対の視差画像には、画像成分に視差に対応する差（被写体視差成分）が存在する。ただし、説明を簡単にするため、視差成分については省略している。また、一対の視差画像にも均一な輝度の白い四角として模式的に示す不要成分Ａと不要成分Ｂが含まれているが、その輝度は視差画像間で互いに異なる。ここでは、前述のように不要成分Ａと不要成分Ｂとが互いに重なり合うことなく分離された状態の例を示しているが、重なり合っていて輝度差がある状態でもよい。すなわち、不要成分の位置や輝度が視差画像間で互いに異なった状態であればよい。

図１（Ａ−２）および図１（Ｂ−２）は、一対の視差画像の縦方向中心付近における横方向の輝度断面を示す。図１（Ａ−２）、（Ｂ−２）のグラフ内の数値は、不要成分の輝度値である。例えば図１（Ａ−２）では、背景輝度値が７０、不要成分Ａの輝度値および不要成分Ｂの輝度値は共に１３０である。図１（Ｃ−１）は、図１（Ａ−１）と図１（Ｂ−１）を加算合成した画像（視差合成画像）を示す。図１（Ｃ−２）は、視差合成画像の縦方向中心付近における横方向の輝度断面を示す。この視差合成画像は、「瞳分割を行わない撮像」により生成された撮影画像（図２）と等価である。本実施例では、一対の視差画像を加算合成することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになる。一対の視差画像を加算平均することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになるような撮像装置を用いても構わない。その場合に関しては、実施例３にて後述する。

図１（Ｄ−１）は、一対の視差画像に関し、図１（Ａ−１）から図１（Ｂ−１）の画像を差し引いた状態の画像を示す。図１（Ｄ−２）は、その縦方向中心付近における横方向の輝度断面を示す。同様に、図１（Ｅ−１）は、一対の視差画像に関し、図１（Ｂ−１）から図１（Ａ−１）の画像を差し引いた状態の画像を示す。図１（Ｅ−２）は、その縦方向中心付近における横方向の輝度断面を示す。このとき、差分値が負の値になった場合、処理の簡易化のため、負の値を切り捨ててゼロに置き換える処理を行う。このため、図１（Ｅ−１）に示される差分画像は、全てゼロ値となっている。

図１（Ｆ−１）は、図１（Ｄ−１）と図１（Ｅ−１）とを加算合成した画像である。このため、図１（Ｆ−１）に示される差分合成画像は、図１（Ｃ−１）から被写体や背景が取り除かれ、図１（Ｃ−１）に含まれる不要成分のみを示している。このように、各視差画像について差分計算を行うことにより、不要成分のみを残存させ（換言すると、分離又は抽出し）、不要成分を決定することができる。

本実施例は、図１（Ｆ−１）を算出するため、前述のように２回差分を取ってから加算合成を行っているが、以下の式（１）のように、差分の絶対値を得る演算を行っても等価である。

Ｆｉｇ１Ｆ１（ｘ，ｙ）＝│Ｆｉｇ１Ａ１（ｘ，ｙ）−Ｆｉｇ１Ｂ１（ｘ，ｙ）│ … （１）
式（１）において、Ｆｉｇ１Ｆ１（ｘ，ｙ）、Ｆｉｇ１Ａ１（ｘ，ｙ）、Ｆｉｇ１Ｂ１（ｘ，ｙ）は、それぞれ、図１（Ｆ−１）、図１（Ａ−１）、図１（Ｂ−１）の各座標での輝度値を表す。この結果、１度の演算で図１（Ｆ−１）の結果が得られる。

図１（Ｆ−１）は、決定された不要成分に関する画像（不要成分画像１）である。説明の簡易化のため、各差分画像を図１（Ｆ−１）のように一つの画像に加算合成して「不要成分画像１」としているが、個々の差分画像をそれぞれ「不要成分画像１−１」「不要成分画像１−２」のように分けて別々に次の演算処理に続けてもよい。ここで決定した不要成分に基づいて後述の処理を行う。本実施例では、後で表示してユーザが確認できるような、いわゆる「画像」として不要成分画像１を保存する必要はない。不要成分画像１は、処理フローの中において、数値データとして利用できればよい。

次に、出力すべき画像において、前述のようにして決定された不要成分を除去または低減する補正処理を行う。仮に、後述の「ゲイン分布」を考慮せずに不要成分を除去または低減する補正処理を行うと、単純に図１（Ｃ−１）から不要成分画像１である図１（Ｆ−１）を差し引けばよい。図１（Ｇ−１）は、「ゲイン分布」を考慮せずに図１（Ｃ−１）から図１（Ｆ−１）の成分を差し引いた場合の不要成分低減画像を示している。この結果、図１（Ｃ−１）に示されるような「瞳分割を行わない撮像」により生成された撮影画像よりも不要成分が低減された画像が得られる。しかし、この例のように、領域Ｐ１、Ｐ２にゴーストの光路が完全には分離されず、ある比率で領域Ｐ１、Ｐ２の両方に光束が通過する場合、不要成分は完全には除去されず、図１（Ｇ−１）に示されるように不要成分低減画像には不要成分が残存してしまう。

残存する不要成分が１つの場合、十分に除去できるまで不要成分画像１（図１（Ｆ−１））に対してゲインを一様にかけてから低減処理を行えばよい。例えば、図１（Ｃ−１）内の不要成分Ａだけを十分に除去する場合を考える。不要成分Ａの輝度値は２４０であり、背景輝度値１４０に対して１００ほど大きい。現状の不要成分画像１（図１（Ｆ−１））での不要成分Ａの輝度値は２０であるため、ゲインアップ（具体的には不要成分画像１の輝度値を全体的に５倍）した後、図１（Ｃ−１）から図１（Ｆ−１）を差し引けばよい。

しかし、図１に示されるように、不要成分が複数あり、また図１（Ｇ−２）のグラフ内に示されるように不要成分ごとに低減率が異なる場合、単純なゲインアップ処理では除去できない。ここで、低減率Ｒ（ｘ，ｙ）とは、以下の式（２）により算出されるピクセルごとの値である。式（２）において、Ｇ１（ｘ，ｙ）、Ｃ１（ｘ，ｙ）は、それぞれ、図１（Ｇ−１）、図１（Ｃ−１）の各座標での輝度値を表す。ここで、分母がゼロとなる場合、その座標においての低減率はゼロである。

Ｒ（ｘ，ｙ）＝１−｛Ｇ１（ｘ，ｙ）÷Ｃ１（ｘ，ｙ）｝ … （２）
本実施例では、簡単のため、輝度値が一様な四角で不要成分を示しているため単純であるが、実際には低減率はピクセルごとに異なる。図１（Ｇ−２）に示される低減率は、式（２）に１００をかけたパーセンテージで示している。図１（Ｇ−２）は、不要成分Ａは、「瞳分割を行わない撮像」により生成された撮影画像より８．３％低減され、不要成分Ｂは１８．２％低減されていることを示している。

ここまでは不要成分Ａのみについて説明したが、同様の演算により、不要成分Ｂにも着目する。図８は、本実施例における画像処理方法による出力画像の一例であり、不要成分Ｂに関する画像を示している。図８（Ａ−１）は、前述のように不要成分Ａを十分に除去するために不要成分画像１の輝度値を全体的に５倍した結果である。図８（Ａ−２）は、その縦方向中心付近における横方向の輝度断面である。図８（Ｂ−１）は、図１（Ｃ−１）から図８（Ａ−１）を差し引いた結果であり、図８（Ｂ−２）は、その縦方向中心付近における横方向の輝度断面である。

図８（Ｂ−１）を見ると、不要成分Ａが除去されて不要成分Ａが存在していた箇所は背景輝度で埋められているが、不要成分Ｂは補正過剰となり、黒沈みが発生している。このように、不要成分が複数あり、不要成分ごとに低減率が異なる場合には単純なゲインアップ処理では除去できない。低減率が異なる複数の不要成分が画面内に存在する場合、いずれか１つの不要成分の輝度値に合わせて均一なゲインをかけても、他の不要成分は補正過剰または補正不足となる。従って、均一なゲイン調整では、全ての不要成分に対して良好な低減結果を得ることはできない。

そこで本実施例では、画面内で均一にゲインを調整するのではなく、画面内に分布を持たせたゲイン分布を作成し、作成したゲイン分布に基づいて画面内でゲインを変更する。これにより、低減率の異なる複数の不要成分を効果的に低減することができる。

なお本実施例では、比率を用いて低減率を算出しているが、更に簡易的に低減率を算出する方法として、図１（Ｇ−１）の輝度値と図１（Ｃ−１）の輝度値との差分を求めるだけでもよい。厳密には、ゲインをかけたときの振る舞いが比率計算での結果と異なるが、低減処理後の不要光成分の黒沈みを抑えられる傾向には変わりない。

次に、ゲイン分布を作成する方法の例として、不要成分画像１に基づいてゲイン分布を作成する方法について説明する。視差画像から不要成分画像１（図１（Ｆ−１））を算出するまでは、前述の方法と同じである。続いて、各座標の不要成分画像１の輝度値Ｌ（ｘ，ｙ）について、以下の式（３）で表されるように、２次元座標（ｘ，ｙ）のゲイン分布ｇａｉｎ（ｘ，ｙ）を算出する。式（３）において、αとβはパラメータである。

ゲイン分布作成の考え方は、低減率の低い不要成分を効果的に低減するためにかけるゲインにより、低減率の高い不要成分が低減され過ぎて黒沈みが発生することを防ぐことにある。このため、低減率の高い不要成分にかかるゲインを他よりも低く抑えることが好ましい。不要成分画像１内で輝度値が高い部分は、次の低減処理で視差画像から他の部分より多く引かれることになるため、低減率が高い部分であると推測することができる。このため、式（３）で表されるように、不要成分画像１内での輝度値が高い部分についてはゲインを低く設定し、輝度値が低い部分についてはゲインを高く設定する。

図９（Ａ−１）は、本実施例におけるゲイン分布を示している。このとき、パラメータα、βの値は、以下のように設定されている。

α＝２６２．３２４
β＝１．３２２
本実施例において、パラメータα、βの算出方法は、特に限定されるものではない。同じ不要成分でも、光源や撮影条件に応じて、不要成分の明るさが異なる。また各レンズに応じて、不要成分の低減率も変化するため、厳密には撮影時の条件に応じて、パラメータα、βの値は変化する。このため、従来手法を用いて適応処理的に自動で求めるか、初期値としてパラメータα、βにそれぞれ１を入れ、低減処理時にユーザが数値入力やスライダーなどで不要光成分の低減度合いを見ながら画像を調整するようにしてもよい。

続いて、以下の式（４）で表されるように、ゲイン分布ｇａｉｎ（ｘ，ｙ）を不要成分画像１の輝度値Ｌ（ｘ，ｙ）に掛けることにより、不要成分強度Ｉ（ｘ，ｙ）を決定する。不要成分強度を画像化することにより、不要成分画像２が得られる。

図９（Ｂ−１）は、式（４）より算出された不要成分画像２を示している。図９（Ｂ−２）は、その縦方向中心付近における横方向の輝度断面を示している。なお、ゲイン分布を作成する考え方は前述の通りであるため、その考え方に合致していれば、ゲイン分布作成方法として式（２）に限定されるものではない。図９（Ｃ−１）は、図１（Ｃ−１）から不要成分画像２（図９（Ｂ−１））を差し引いた画像を示している。図９（Ｃ−２）は、その縦方向中心付近における横方向の輝度断面を示している。図９（Ｃ−１）、（Ｃ−２）に示されるように、不要成分Ａおよび不要成分Ｂの両方が効果的に低減されている。

なお本実施例において、説明の都合上、不要成分画像２という画像を作成しているが、実際の処理上は、後でユーザに表示可能ないわゆる「画像」として不要成分画像２を作成して保存しておく必要はない。不要成分画像２は、処理中に使用できる数値データであればよく、不要成分画像１とゲイン分布とに基づいて不要成分強度を決定し、低減処理を行うことにより低減画像を作成すればよい。

次に、図１０を参照して、本実施例における画像処理方法（不要成分の決定処理および不要成分の低減処理）について説明する。図１０は、画像処理方法を示すフローチャートである。図１０の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

まずステップＳ１０１において、システムコントローラ２１０は、光学系２０１および撮像素子２０２により構成される撮像部を制御して被写体を撮像する。画像処理部２０４は、撮影画像を入力画像として取得する。

続いてステップＳ１０２において、画像処理部２０４は、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて、一対の視差画像を生成する。ここで画像処理部２０４では、視差画像を生成するため、通常の現像処理や各種の画像補正処理を実施してもよい。

続いてステップＳ１０３において、画像処理部２０４（不要成分検出部２０４ａ）は、一対の視差画像の差分情報を求める。すなわち画像処理部２０４は、図１（Ａ−１）から図１（Ｂ−１）を差し引いた差分画像図１（Ｄ−１）、および、図１（Ｂ−１）から図１（Ａ−１）を差し引いた差分画像図１（Ｅ−１）を生成する。このように単純な差分計算では、不要成分の差分値は正および負の値をとる。例えば本実施例では、差分画像図１（Ｄ−１）を生成するために図１（Ａ−１）から図１（Ｂ−１）を差し引いた場合、図１（Ａ−１）に含まれる不要成分の輝度値のほうが図１（Ｂ−１）に含まれる不要成分の輝度値よりも大きい。このため、差分値は正値となる。同様に、図１（Ｂ−１）から図１（Ａ−１）を差し引いた場合、その差分値は負の値となる。ここで本実施例では、後段で説明する不要成分低減処理の簡易化のため、前記の負の値を切り捨ててゼロ値とする処理を行う。このため、図１（Ｅ−１）の画像の輝度値は、全てゼロになっている。

また、近距離被写体を含む画像について差分情報を求める際に、本実施例では視差成分の表示を省略しているが、被写体視差成分を除去するために、一対の視差画像の位置合わせを行う処理を行ってもよい。位置合わせは、一対の視差画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながらこれら画像間の相関が最大となるシフト位置を決定することで行うことができる。また位置合わせは、視差画像間の差分の２乗和が最小化するシフト位置を決定することで行ってもよい。また、視差画像中の合焦領域を、位置合わせのためのシフト位置の決定の対象としてもよい。

また、予めそれぞれの視差画像においてエッジ検出を行い、検出されたエッジを示した画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によれば、合焦領域はコントラストの高いエッジが検出され、背景のような非合焦領域はコントラストが低く、エッジとして検出されにくいため、必然的に合焦領域が重視されたシフト位置の決定が行われる。さらに、ノイズなどの影響を除去するために閾値処理などのステップを加えても構わない。

続いてステップＳ１０４において、画像処理部２０４（不要成分検出部２０４ａ）は、ステップＳ１０３にて得られた差分画像中に残存した成分を不要成分と決定する。ここで、不要成分を画像化したものが不要成分画像１である。具体的には、図１（Ｄ−１）と図１（Ｅ−１）とを加算合成することにより、図１（Ａ−１）と図１（Ｂ−１）に含まれる不要成分の差分値のみが正値として検出される。不要成分検出部２０４ａは、これを不要成分と決定し、不要成分画像１（図１（Ｆ−１））を生成する。ただし、前述のように必ずしも不要成分画像１を生成または保存する必要はないため、処理速度向上のため、ステップＳ１０３にて得られた差分画像を不要成分であると扱ってもよい。この場合、ステップＳ１０４をスキップし、ステップＳ１０３に続いてステップＳ１０５へ進む。

続いてステップＳ１０５において、画像処理部２０４（ゲイン分布取得部２０４ｂ）は、ステップＳ１０４にて得られた不要成分に基づいて、ゲイン分布（例えば図９（Ａ−１））を生成（決定）する。

続いてステップＳ１０６において、画像処理部２０４（不要成分強度決定部２０４ｃ）は、ステップＳ１０３またはステップＳ１０４にて決定された不要成分と、ステップＳ１０５にて決定されたゲイン分布に基づいて、不要成分強度を決定する。具体的には、不要成分強度決定部２０４ｃは、式（４）で表されるように不要成分画像１の各輝度値と各座標でのゲイン分布を掛けることにより、不要成分強度を決定する。

続いてステップＳ１０７において、画像処理部２０４は、ステップＳ１０６の結果に基づいて不要成分画像２（例えば図９（Ｂ−１））を生成する。なお、差分画像とゲイン分布とを掛けることにより不要成分強度は決定されるため、本実施例では、ステップＳ１０７を経ずに、不要成分低減処理を行っても構わない。この場合、ステップＳ１０７をスキップし、ステップＳ１０６の直後にステップＳ１０８を実行する。

続いてステップＳ１０８において、画像処理部２０４は、視差画像を加算合成処理することにより、１枚の「瞳分割を行わない撮像」により生成された撮影画像と等価の画像（視差合成画像）を生成する。例えば、ステップＳ１０２にて生成された図１（Ａ−１）の視差画像と、図１（Ｂ−１）の視差画像とを足し合わせる処理を実行することにより、図１（Ｃ−１）に示される加算合成処理された視差合成画像が生成される。または、ステップＳ１０８は、視差画像を生成するステップ（Ｓ１０２）を経ずに、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を加算することで生成してもよい。また、ステップＳ１０８は、必ずしもこの位置で実行される必要はなく、次のステップＳ１０９で視差合成画像が使用できるようにステップＳ１０９よりも前に実行されていれば、このステップの実行位置は特に限定されるものではない。

続いてステップＳ１０９において、画像処理部（不要成分低減部２０４ｄ）は、ステップＳ１０８にて生成された視差合成画像から不要成分を低減または除去する補正処理を行う。具体的には、不要成分低減部２０４ｄは、図１（Ｃ−１）の画像から図９（Ｂ−１）の画像を差し引くことにより、不要成分を低減または除去することができる。また、図９（Ｂ−１）の画像を生成しない場合、図１（Ｃ−１）−｛図１（Ｆ−１）×図９（Ａ−１）｝という演算を直接行えばよい。これにより、不要成分低減画像が生成される。

最後に、ステップＳ１１０において、システムコントローラ２１０は、不要成分が除去または低減された出力画像、すなわち不要成分低減画像（図９（Ｃ−１））を、画像記録媒体２０９に保存し、または表示部２０５に表示する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分画像から不要光（ゴーストやフレア）により形成された不要成分を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また、互いに異なる瞳領域を通過する複数の不要成分（ゴーストやフレア）が存在する場合でも、ゲイン分布に基づいて不要成分強度を決定することにより、複数の不要成分を効果的に低減することができる。なお本実施例では、説明簡略化のため、グレースケール画像の例を示しているが、カラー画像でも同様に適用可能である。この場合、各色チャンネルで独立して前述の処理を行い、最終的に各色を合成して１枚の画像にすればよい。

次に、本発明の実施例２について説明する。本実施例は、ゲイン分布の算出方法に関して、実施例１とは異なる。本実施例において、撮像装置の基本構成については、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。また本実施例の画像処理方法は、実施例１と処理フローや算出方法が異なるだけであり、その結果は同様であるため、図１や図９を参照して説明する。

図１１を参照して、本実施例における画像処理方法（不要成分の決定処理および不要成分の低減処理）について説明する。図１１は、画像処理方法を示すフローチャートである。図１１の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

図１１において、ステップＳ２０１〜Ｓ２０４は、実施例１における図１０のステップＳ１０１〜Ｓ１０４とそれぞれ同様である。続いてステップＳ２０５において、画像処理部２０４は、視差画像を加算合成処理することにより、１枚の「瞳分割を行わない撮像」により生成された撮影画像と同等の画像（視差合成画像）を生成する。本実施例では、ステップＳ２０２にて生成された図１（Ａ−１）の視差画像と図１（Ｂ−１）の視差画像とを足し合わせる処理を実行することにより、図１（Ｃ−１）に示される加算合成処理された合成画像（視差合成画像）が生成される。または、画像処理部２０４は、ステップＳ２０５を経ずに、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を加算することで視差合成画像を生成してもよい。

続いてステップＳ２０６において、画像処理部２０４は、ステップＳ２０５にて生成された視差合成画像、および、ステップＳ２０４にて決定された不要成分（不要成分を画像化したものが不要成分画像１）に基づいて、不要成分低減画像１を生成する。具体的には、画像処理部２０４は、図１（Ｃ−１）の画像から図１（Ｆ−１）の画像を差し引くことにより、不要成分低減画像１（図１（Ｇ−１））を取得する。

続いてステップＳ２０７において、画像処理部２０４は、ステップＳ２０５にて生成された視差合成画像、および、ステップＳ２０６にて生成された不要成分低減画像１に基づいて、低減率分布を作成（算出）する。具体的には、画像処理部２０４は、実施例１で説明した式（２）で表される低減率を全てのピクセルに対して算出する。なお、分母がゼロとなることがあれば、その座標においての低減率は０とする。または、不要成分の存在する領域が既知である場合、全てのピクセルに関して計算することなく、不要成分が存在する領域のみの計算でもよい。この場合、以降の処理を不要成分が存在する領域のみについて行うか、または、不要成分が存在する領域以外の低減率を全て０とするなどとすればよい。また、前述のように、ここでの低減率についても更に簡易的に算出する方法として、図１（Ｇ−１）の輝度値と図１（Ｃ−１）の輝度値との差分を求めるだけでもよい。厳密には、比率計算とはゲインをかけたときの振る舞いが異なるが、低減処理後の不要光成分の黒沈みを抑えられる傾向には変わりない。図１２は、図１（Ｃ−１）、（Ｇ−１）から、式（２）を用いて求めた低減率分布である。

続いてステップＳ２０８において、画像処理部２０４（ゲイン分布取得部２０４ｂ）は、ステップＳ２０７にて得られた低減率分布に基づいて、ゲイン分布を算出する。具体的には、ゲイン分布取得部２０４ｂは、各座標（ｘ，ｙ）について、以下の式（５）で表されるように低減率分布Ｒ（ｘ，ｙ）ゲイン分布ｇａｉｎ（ｘ，ｙ）を算出する。式（５）において、αとβはそれぞれパラメータである。

図９（Ａ−１）は、本実施例でのゲイン分布を示す。このときのパラメータα、βの値は、以下のとおりである。

α＝０．２７０
β＝１．１７４
本実施例において、パラメータα、βの算出方法は特に限定されない。同じ不要成分でも、光源などの撮影条件に応じて、不要成分の明るさは異なる。また、各レンズに応じて不要成分の低減率も変わる。このため、厳密には、撮影時の条件によりパラメータα、βの値は変化する。従って、従来手法を用いて適応処理的に自動で求めるか、初期値としてαとβに１を入れ、低減処理時にユーザが数値入力やスライダーなどで不要成分の低減度合いを見ながら画像を調整するようにしてもよい。なお、ゲイン分布を作成する考え方は実施例１で述べたとおりであるため、その考え方に合致していれば、ゲイン分布作成方法は式（５）を用いる方法に限定されるものではない。

続いてステップＳ２０９において、画像処理部２０４（不要成分強度決定部２０４ｃ）は、ステップＳ２０３またはステップＳ２０４にて決定された不要成分と、ステップＳ２０８にて決定されたゲイン分布に基づいて、不要成分強度を決定する。具体的には、不要成分強度決定部２０４ｃは、式（４）で表されるように不要成分画像１の各輝度値と各座標でのゲイン分布を掛けることにより、不要成分強度を決定する。

続いてステップＳ２１０において、画像処理部２０４は、ステップＳ２０９の結果に基づいて不要成分画像２（例えば図９（Ｂ−１））を生成する。なお、差分画像とゲイン分布とを掛けることにより不要成分強度は決定されるため、本実施例では、ステップＳ２１０を経ずに、不要成分低減処理を行っても構わない。この場合、ステップＳ２１０をスキップし、Ｓ２０９の直後にステップＳ２１１を実行する。

続いてステップＳ２１１において、画像処理部（不要成分低減部２０４ｄ）は、ステップＳ２０５にて生成された視差合成画像から不要成分を低減または除去する補正処理（不要成分低減画像２の生成処理）を行う。具体的には、不要成分低減部２０４ｄは、図１（Ｃ−１）の画像から図９（Ｂ−１）の画像を差し引くことにより、不要成分を低減または除去することができる。また、図９（Ｂ−１）の画像を生成しない場合、図１（Ｃ−１）−｛図１（Ｆ−１）×図９（Ａ−１）｝という演算を直接行えばよい。これにより、不要成分低減画像２が生成される。

最後に、ステップＳ２１２において、システムコントローラ２１０は、不要成分が除去または低減された出力画像、すなわち不要成分低減画像２（図９（Ｃ−１））を、画像記録媒体２０９に保存し、または表示部２０５に表示する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分画像から不要光（ゴーストやフレア）により形成された不要成分を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また、互いに異なる瞳領域を通過する複数の不要成分（ゴーストやフレア）が存在する場合でも、ゲイン分布に基づいて不要成分強度を決定することにより、複数の不要成分を効果的に低減することができる。なお本実施例では、説明簡略化のため、グレースケール画像の例を示しているが、カラー画像でも同様に適用可能である。この場合、各色チャンネルで独立して前述の処理を行い、最終的に各色を合成して１枚の画像にすればよい。

次に、本発明の実施例３（複数の瞳分割）について説明する。本実施例は、視差数や視差画像の取り扱い方、および、ゲイン分布を算出式の点で、実施例１、２とは異なる。本実施例において、撮像装置の基本構成および画像処理方法の基本フローは、実施例２と同様であるため、それらの説明は省略する。

図１３は、本実施例における撮像素子（受光部）を示す図である。図１３において、ＭＬはマイクロレンズ、Ｇ１、Ｇ２、Ｇ３、Ｇ４は受光部（画素）であり、各画素は互いに組をなしている。撮像素子には、画素組Ｇ１、Ｇ２、Ｇ３、Ｇ４が複数配列されている。画素組は、共通の（すなわち、画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。本実施例では、「瞳分割を行わない撮像」により生成された撮影画像と等価な画像を出力する際には、４つの画素組Ｇ１、Ｇ２、Ｇ３、Ｇ４から得られた信号を加算平均処理することにより、１つの信号値を生成する。

本実施例において、光学系の具体的な構成例も、図６を参照して説明した実施例１の光学系２０１と同様であるため、その説明は省略する。ただし、実施例１、２において、不要成分は不要成分Ａおよび不要成分Ｂの２つであるが、本実施例では、図６中に示されていない不要成分Ｃを更に有する。

図１４は、絞りＳＴＰのうち、図１３に示される画素Ｇ１、Ｇ２、Ｇ３、Ｇ４に入射する光束が通過する領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、光学系２０１の射出瞳ＥＸＰ（光学系２０１の像面位置から見た虚像）に相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なる。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰを通過して各画素に入射する場合、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域）に分割される。

続いて、図１５および図１６を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。図１５および図１６は、本実施例における画像処理方法の手順を示す図である。

図１５（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）は、それぞれ、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４を通過した光束を画素群Ｇ１、Ｇ２、Ｇ３、Ｇ４にて光電変換した結果として得られた一組の視差画像を示す。また、一組の視差画像には、四角として模式的に示される不要成分Ａ、不要成分Ｂ、不要成分Ｃが含まれており、それぞれが部分的に重なり合っている。視差画像間での各不要成分は、図１５（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）において、それぞれ同じ位置にあり、輝度が互いに異なっている。図１５（Ａ−２）、（Ｂ−２）、（Ｃ−２）、（Ｄ−２）は、各視差画像の縦方向中心付近における横方向の輝度断面を示す。各図中のグラフ内の数値は、不要成分の輝度値である。例えば図１５（Ａ−２）において、背景輝度値は５０、不要成分Ａの輝度値は１８０、不要成分Ｂの輝度値は１３０、不要成分Ｃの輝度値は１１０である。不要成分が重なっている部分は、重なっている各不要成分の輝度値と背景輝度値とが加算合成された値となっている。

図１５（Ｅ−１）は、図１５（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）に対して加算平均処理を行って合成した画像である。具体的には、図１５（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）の各座標の輝度値を足して４で割ることにより、図１５（Ｅ−１）の各座標の輝度値を算出している。これは、本実施例の撮像装置において、「瞳分割を行わない撮像」により生成された撮影画像と等価となる。また図１５（Ｅ−２）は、図１５（Ｅ−１）の画像の縦方向中心付近における横方向の輝度断面を示す。

図１６（Ａ−１）、（Ｂ−１）、（Ｃ−１）は、一組の視差画像に対して、図１５（Ａ−１）を基準画像として図１５（Ｂ−１）、（Ｃ−１）、（Ｄ−１）の画像を差し引いた差分画像である。これらの差分画像には、実施例１と同様に、差分情報として不要成分が含まれている。また、実施例１と同様に、差分計算により、図１６（Ａ−１）、（Ｂ−１）、（Ｃ−１）に含まれる不要成分が負値として算出される部分があるが、ここでも後段の不要成分低減処理の簡易化のため、負値を切り捨てて０に置き換えている。これは、他の全ての差分画像についても同様である。図１６（Ｄ−１）は、２次元データとして取得されている差分情報である図１６（Ａ−１）、（Ｂ−１）、（Ｃ−１）の差分画像内の各画素位置における差分情報間の最大値を抽出した情報（差分最大値情報または差分最大値画像）である。

図１６（Ａ−２）、（Ｂ−２）、（Ｃ−２）は、一組の視差画像に対して、図１５（Ｂ−１）を基準画像として図１５（Ａ−１）、（Ｃ−１）、（Ｄ−１）の画像を差し引いた差分画像である。図１６（Ｄ−２）は、２次元データとして取得されている差分情報である図１６（Ａ−２）、（Ｂ−２）、（Ｃ−２）の差分画像内の各画素位置における差分情報間の差分最大値情報である。

図１６（Ａ−３）、（Ｂ−３）、（Ｃ−３）は、一組の視差画像に対して、図１５（Ｃ−１）を基準画像として図１５（Ａ−１）、（Ｂ−１）、（Ｄ−１）の画像を差し引いた差分画像である。図１６（Ｄ−３）は、２次元データとして取得されている差分情報である図１６（Ａ−３）、（Ｂ−３）、（Ｃ−３）の差分画像内の各画素位置における差分情報間の差分最大値情報である。

図１６（Ａ−４）、（Ｂ−４）、（Ｃ−４）は、一組の視差画像に対して、図１５（Ｄ−１）を基準画像として図１５（Ａ−１）、（Ｂ−１）、（Ｃ−１）の画像を差し引いた差分画像である。図１６（Ｄ−４）は、２次元データとして取得されている差分情報である図１６（Ａ−４）、（Ｂ−４）、（Ｃ−４）の差分画像内の各画素位置における差分情報間の差分最大値情報である。これらの差分最大値情報は、各視差画像から不要成分を抽出した結果である。

ここで、実施例１、２にて説明したように、不要成分（不要成分を画像化したものが不要成分画像１）を決定する場合について考える。このとき、前述のように、差分最大値情報として視差画像ごとに不要成分が抽出されているため、一つの手法として各差分最大値情報が各々不要成分画像１に対応すると考えられる。しかしながら、画像として以降の処理を視差画像枚数分だけ実行する必要があり、処理工程の複雑さを招く。そこで本実施例では、各差分最大値情報を１つに合成することにより、以降の処理を簡略化する。具体的には、図１６（Ｄ−１）、（Ｄ−２）、（Ｄ−３）、（Ｄ−４）に対して加算平均処理を行い、これらの画像を合成する。図１６（Ｅ−１）はその合成結果であり、図１６（Ｅ−２）は、その縦方向中心付近における横方向の輝度断面である。図１６（Ｆ−１）は、視差合成画像である図１５（Ｅ−１）から不要成分画像１である図１６（Ｅ−１）を差し引いた画像であり、実施例２で説明した図１１の不要成分低減画像１に対応する。図１６（Ｆ−２）は、その縦方向中心付近における横方向の輝度断面である。

このように、視差数が増えた場合でも、「視差合成画像」および「不要成分画像１」を算出することができる。以降の処理フローや基本的な取り扱い方は実施例２と同じであるため、ここからは図１１の処理フローに従って実施例２と異なる部分について主に説明する。

本実施例は、ステップＳ２０８におけるゲイン分布の算出手法が実施例２とは異なる。図１７は、ステップＳ２０７にて作成（算出）された低減率分布を示す図である。

本実施例において、ゲイン分布ｇａｉｎ（ｘ，ｙ）は、以下の式（６）を用いて算出される。式（６）において、Ｒ（ｘ，ｙ）は低減率分布、Ａ、Ｂ、Ｃ、Ｄ、Ｅはそれぞれパラメータである。

ここで、低減率Ｒ（ｘ，ｙ）とは、式（２）と同様の考え方で、以下の式（７）により算出されるピクセルごとの値である。ここで、分母がゼロとなる場合、その座標においての低減率はゼロである。

Ｒ（ｘ，ｙ）＝１−｛Ｆ１（ｘ，ｙ）÷Ｅ１（ｘ，ｙ）｝ … （７）
式（７）において、Ｆ１（ｘ，ｙ）、Ｅ１（ｘ，ｙ）は、それぞれ、図１６（Ｆ−１）、図１５（Ｅ−１）の各座標での輝度値を表す。

図１８（Ａ−１）は、本実施例におけるゲイン分布を示している。このときのパラメータＡ、Ｂ、Ｃ、Ｄ、Ｅの値は、以下のとおりである。

Ａ＝７５．６９４７８
Ｂ＝−８８．７０８６
Ｃ＝３７．０２５０９
Ｄ＝−６．４８４７９
Ｅ＝０．４０８８２６
本実施例において、パラメータＡ、Ｂ、Ｃ、Ｄ、Ｅの算出方法は特に限定されない。同じ不要成分でも、光源などの撮影条件に応じて、不要成分の明るさは異なる。また、各レンズに応じて不要成分の低減率も変わる。このため、厳密には、撮影時の条件に応じてパラメータの値は変化する。よって、従来手法を用いて適応処理的に自動で求めるか、または、初期値として任意の値を各パラメータに入れておいてもよい。なお、ゲイン分布を作成する考え方は実施例１、２で説明したとおりであり、その考え方に合致していれば、ゲイン分布の作成方法は式（６）に限定されるものではない。

続いてステップＳ２０９において、画像処理部２０４（不要成分強度決定部２０４ｃ）は、決定した不要成分（不要成分画像１）とゲイン分布とに基づいて不要成分強度を決定する。具体的には、不要成分強度決定部２０４ｃは、式（４）で表されるように不要成分画像１の各座標（ｘ，ｙ）での輝度値Ｌ（ｘ，ｙ）とゲイン分布ｇａｉｎ（ｘ，ｙ）とを掛けることにより、不要成分強度Ｉ（ｘ，ｙ）を算出する。

続いてステップＳ２１０において、画像処理部２０４は、ステップＳ２０９の結果に基づいて、不要成分画像２（図１８（Ｂ−１））を生成する。図１８（Ｂ−２）は、図１８（Ｂ−１）の縦方向中心付近における横方向の輝度断面を示す。なお、実施例１、２で説明したように、ステップＳ２０９、Ｓ２１０をスキップしてステップＳ２０８の直後にステップＳ２１１を実行してもよい。

続いてステップＳ２１１において、画像処理部２０４（不要成分低減部２０４ｄ）は、ステップＳ２０５にて生成された視差合成画像から不要成分を低減または除去する補正処理（不要成分低減画像２の生成処理）を行う。具体的には、不要成分低減部２０４ｄは、図１５（Ｅ−１）の画像から図１８（Ｂ−１）の画像を差し引くことにより、不要成分を低減または除去することができる。また、図１８（Ｂ−１）の画像を生成しない場合、図１５（Ｅ−１）−｛（図１６（Ｅ−１））×（図１８（Ａ−１））｝という演算を直接行えばよい。

最後に、ステップＳ２１２において、システムコントローラ２１０は、不要成分が除去または低減された出力画像、すなわち不要成分低減画像２（図１８（Ｃ−１））を、画像記録媒体２０９に保存し、または表示部２０５に表示する。なお図１８（Ｃ−２）は、図１８（Ｃ−１）の縦方向中心付近における横方向の輝度断面を示す。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分画像から不要光（ゴーストやフレア）により形成された不要成分を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また、互いに異なる瞳領域を通過する複数の不要成分（ゴーストやフレア）が存在する場合でも、ゲイン分布に基づいて不要成分強度を決定することにより、複数の不要成分を効果的に低減することができる。なお本実施例では、説明簡略化のため、グレースケール画像の例を示しているが、カラー画像でも同様に適用可能である。この場合、各色チャンネルで独立して前述の処理を行い、最終的に各色を合成して１枚の画像にすればよい。

次に、本発明の実施例４について説明する。Ｒｅｎ．Ｎｇ等の「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２）において、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」が提案されている。「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」において「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。

図１９は、本実施例における撮像装置の撮像系を示す図であり、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」の撮像系の構成を示している。光学系３０１は、主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとを備えて構成される。光学系３０１の結像位置には、マイクロレンズアレイ３０１ｃが配置されており、さらにその後方（像側）に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータ（分離手段）としての機能を有する。図１９から分かるように、点Ａからの上線、主光線および下線は、それぞれ異なる画素によって受光される。このため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。

また、Ｔｏｄｏｒ Ｇｅｏｒｇｉｖｅ等による「Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８）が知られている。この文献では、光線の位置と角度の情報（Ｌｉｇｈｔ Ｆｉｅｌｄ）を取得する方法として、図２０および図２１に示される撮像系を提案している。

図２０に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方（像側）に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図２１に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方（物体側）に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。そして、これらの構成では、撮像素子３０２は、図２２に示されるように、１つのマイクロレンズＭＬと１つの受光部Ｇ１とカラーフィルタＣＦを介して対になっている従来の撮像素子を用いることができる。

図１９に示される光学系３０１を用いると、図２３（ａ）に示されるような画像が得られる。図２３（ｂ）は、図２３（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１、２、３、…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図２０および図２１に示される光学系３０１を用いると、図２４に示されるような視差画像が得られる。図２３（ａ）に示される画像において、各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２４に示すような複数の視差画像が得られる。

実施例１〜３で説明したように、ゴーストなどの不要光は、瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜３にて説明した画像処理方法を使用することにより、不要成分を決定し、更には不要成分を低減することができる。

また、別の例として、図２５に示されるような複数のカメラを用いて同一被写体を撮像する場合でも、視差画像が得られる。このため、このような複数のカメラにおいても、実施例１〜３にて説明した画像処理方法を用いることができる。Ｃ１、Ｃ２、Ｃ３は、実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。また、図２６に示されるように、１つの撮像装置に複数の光学系ＯＳｊ（ｊ＝１、２、３、…）を設けることで瞳分割を行うことも可能である。

上記各実施例では、各実施例の画像処理方法を実行する（画像処理装置を搭載した）撮像装置について説明したが、各実施例の画像処理方法は、パーソナルコンピュータにインストールされる画像処理プログラムによっても実施することができる。この場合、パーソナルコンピュータが各実施例の画像処理装置に相当する。パーソナルコンピュータは、撮像装置により生成された画像回復処理前の画像（入力画像）を取り込み（取得し）、画像処理プログラムによって画像回復処理を行って、その結果得られた画像を出力する。

各実施例において、画像処理装置（画像処理部２０４）は、生成手段（不要成分検出部２０４ａ）、ゲイン分布決定手段（ゲイン分布取得部２０４ｂ）、強度決定手段（不要成分強度決定部２０４ｃ）、および、低減手段（不要成分低減部２０４ｄ）を有する。生成手段は、複数の視差画像に関する差分情報を生成する。ゲイン分布決定手段は、差分情報に基づいてゲイン分布を決定する。強度決定手段は、ゲイン分布に基づいて不要成分強度を決定する。低減手段は、視差画像および不要成分強度に基づいて、不要成分を低減した不要成分低減画像を生成する。

好ましくは、低減手段は、不要成分強度に基づいて、視差画像を合成して得られた視差合成画像から不要成分を低減し、不要成分低減画像を生成する（Ｓ１０９、Ｓ２１１）。また好ましくは、生成手段は、差分情報に基づいて不要成分を決定する（Ｓ１０４、Ｓ２０４）。そしてゲイン分布決定手段は、不要成分に基づいてゲイン分布を決定する。より好ましくは、生成手段は、不要成分に関する画像（不要成分画像１）を生成する。そしてゲイン分布決定手段は、画像（不要成分画像１）の輝度値Ｌ（ｘ，ｙ）に応じてゲイン分布を決定する（式（３））。より好ましくは、強度決定手段は、ゲイン分布および画像の輝度値に基づいて不要成分強度Ｉ（ｘ，ｙ）を決定する（式（４））。

好ましくは、生成手段は、視差画像および不要成分に基づいて低減率分布Ｒ（ｘ，ｙ）を決定する。そしてゲイン分布決定手段は、低減率分布に応じてゲイン分布を決定する。より好ましくは、生成手段は、視差画像および差分情報に基づいて低減率分布を決定する（Ｓ２０６、Ｓ２０７）。

好ましくは、差分情報は、複数の視差画像のそれぞれを基準画像として設定し、基準画像とこの基準画像を除く他の視差画像との差分を算出して得られる。また好ましくは、差分情報は、２つの視差画像の差分の絶対値を算出して得られる。また好ましくは、複数の視差画像は、光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像である。

（その他の実施例）
本発明は、上述の各実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、複数の撮像を行うことなく撮影画像に含まれる不要成分の強度を効果的に決定し、撮影画像から不要成分を低減可能な画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４ 画像処理部（画像処理装置）
２０４ａ 不要成分検出部（生成手段）
２０４ｂ ゲイン分布取得部（ゲイン分布決定手段）
２０４ｃ 不要成分強度決定部（強度決定手段）
２０４ｄ 不要成分低減部（低減手段）

Claims (17)

1. 複数の視差画像間の差分に関する差分情報を生成する生成手段と、
   前記差分情報に基づいてゲイン分布を決定するゲイン分布決定手段と、
   前記ゲイン分布に基づいて不要成分強度を決定する強度決定手段と、
   前記視差画像および前記不要成分強度に基づいて、不要成分を低減した不要成分低減画像を生成する低減手段と、を有することを特徴とする画像処理装置。
2. 前記低減手段は、前記不要成分強度に基づいて、前記視差画像を合成して得られた視差合成画像から前記不要成分を低減し、前記不要成分低減画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成手段は、前記差分情報に基づいて不要成分を決定し、
   前記ゲイン分布決定手段は、前記不要成分に基づいて前記ゲイン分布を決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記生成手段は、前記不要成分に関する画像を生成し、
   前記ゲイン分布決定手段は、前記画像の輝度値に応じて前記ゲイン分布を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記強度決定手段は、前記ゲイン分布および前記画像の輝度値に基づいて不要成分強度を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、前記視差画像および前記不要成分に基づいて低減率分布を決定し、
   前記ゲイン分布決定手段は、前記低減率分布に応じて前記ゲイン分布を決定することを特徴とする請求項３に記載の画像処理装置。
7. 前記生成手段は、前記視差画像および前記差分情報に基づいて前記低減率分布を決定することを特徴とする請求項６に記載の画像処理装置。
8. 前記差分情報は、前記複数の視差画像のそれぞれを基準画像として設定し、該基準画像と該基準画像を除く他の視差画像との差分を算出して得られることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記差分情報は、２つの視差画像の差分の絶対値を算出して得られることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
10. 前記複数の視差画像は、光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記強度決定手段は、前記ゲイン分布と前記差分情報の積に基づいて前記不要成分を決定することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
12. 光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、
    前記複数の視差画像間の差分に関する差分情報を決定する決定手段と、
    前記差分情報に基づいてゲイン分布を算出する算出手段と、
    前記ゲイン分布に基づいて不要成分強度を決定する強度決定手段と、
    前記視差画像および前記不要成分強度に基づいて、不要成分を低減した不要成分低減画像を生成する低減手段と、を有することを特徴とする撮像装置。
13. 前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であり、
    前記撮像手段は、一つのマイクロレンズを共有する複数の画素を有し、
    前記複数の画素は、前記光学系の瞳のうち互いに異なる領域を通過した光束を受光するように構成されていることを特徴とする請求項１２に記載の撮像装置。
14. 前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束を、前記撮像手段における互いに異なる画素に導いて生成された複数の画像であることを特徴とする請求項１２に記載の撮像装置。
15. 複数の視差画像間の差分に関する差分情報を決定するステップと、
    前記差分情報に基づいてゲイン分布を算出するステップと、
    前記ゲイン分布に基づいて不要成分強度を決定するステップと、
    前記視差画像および前記不要成分強度に基づいて、不要成分を低減した不要成分低減画像を生成するステップと、を有することを特徴とする画像処理方法。
16. 複数の視差画像間の差分に関する差分情報を決定するステップと、
    前記差分情報に基づいてゲイン分布を算出するステップと、
    前記ゲイン分布に基づいて不要成分強度を決定するステップと、
    前記視差画像および前記不要成分強度に基づいて、不要成分を低減した不要成分低減画像を生成するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
17. 請求項１６に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。