JP6478711B2 - 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 - Google Patents

Description

本発明は、撮影画像の画質を向上させる画像処理方法に関する。

カメラなどの撮像装置により撮像を行うと、光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射し、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、ゴーストやフレアなどの不要成分として撮影画像中に現れる。また、望遠レンズにおいて、軸上色収差や倍率色収差の補正のために回折光学素子を用いると、撮像画角外に存在する太陽などの高強度物体からの光が回折光学素子に当たることで、画像全体に渡って不要光が現れる場合がある。このような不要光も、不要成分として撮影画像中に現れる。そこで従来から、不要成分をデジタル画像処理により除去する方法が知られている。

特許文献１には、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する方法が開示されている。特許文献１の方法によれば、１回の撮像で複数の視差画像を得られるため、動きのある被写体の静止画撮像や動画撮像にも対応可能である。特許文献２には、ステレオ撮影画像を比較してゴーストを検出し、ゴーストを低減、表示、または、警告する方法が開示されている。

特開２０１１−２０５５３１号公報 特開２０１３−１６２５０５号公報

しかしながら、特許文献１、２には、検出されたゴーストの低減率情報を機器に表示させる方法は記載されていない。

そこで本発明は、複数の撮像を行うことなく撮影画像に含まれる不要成分の強度を効果的に決定し、不要成分の低減率情報を表示する画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理装置は、複数の視差画像に基づいて不要成分を決定する決定手段と、前記不要成分に基づいて該不要成分の低減率情報を算出する算出手段と、前記低減率情報を表示手段に表示させるための信号を出力する出力手段とを有する。

本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、前記複数の視差画像に基づいて不要成分を決定する決定手段と、前記不要成分に基づいて該不要成分の低減率情報を算出する算出手段と、前記低減率情報を表示する表示手段とを有する。

本発明の他の側面としての画像処理方法は、複数の視差画像に基づいて不要成分を決定するステップと、前記不要成分に基づいて該不要成分の低減率情報を算出するステップと、前記低減率情報を表示手段に表示させるための信号を出力するステップとを有する。

本発明の他の側面としての画像処理プログラムは、複数の視差画像に基づいて不要成分を決定するステップと、前記不要成分に基づいて該不要成分の低減率情報を算出するステップと、前記低減率情報を表示手段に表示させるための信号を出力するステップと、をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記画像処理プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、複数の撮像を行うことなく撮影画像に含まれる不要成分の強度を効果的に決定し、不要成分の低減率情報を表示する画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

実施例１〜３における画像処理方法の手順を示す図である。 実施例１〜３における画像処理方法による出力画像の一例である。 実施例１〜４の撮像系において、撮像素子の受光部と光学系の瞳との関係図である。 実施例１〜４における撮像系の模式図である。 各実施例における撮像装置のブロック図である。 各実施例における光学系の構成および光学系にて発生する不要光の説明図である。 実施例１〜４における光学系の絞りを透過する不要光の説明図である。 実施例１における画像処理方法を示すフローチャートである。 実施例２における画像処理方法を示すフローチャートである。 実施例３における画像処理方法を示すフローチャートである。 実施例３における画像処理方法による出力画像の一例である。 実施例３における撮像装置の背面図である。 実施例４における画像処理方法を示すフローチャートである。 実施例４における画像処理方法の手順を示す図である。 実施例４における画像処理方法による出力画像の一例である。 実施例５における撮像素子を示す図である。 実施例５における光学系の絞りを透過する不要光の説明図である。 実施例５における画像処理方法の手順を示す図である。 実施例５における画像処理方法の手順を示す図である。 実施例６における撮像系を示す図である。 実施例６における撮像系を示す図である。 実施例６における撮像系を示す図である。 従来の撮像素子を示す図である。 図２０の撮像系により得られた画像を示す図である。 図２１および図２２の撮像系により得られた画像を示す図である。 実施例６における撮像装置の例を示す図である。 実施例６における撮像装置の例を示す図である。 実施例７における撮像システムの構成図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

各実施例において、複数の視差画像を生成可能な撮像装置は、光学系（撮像光学系）の瞳のうち互いに異なる領域を通過した複数の光束を、撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

まず、本発明の実施例１について説明する。図３は、本実施例の撮像系における撮像素子の受光部と光学系の瞳との関係を示す図である。図３において、ＭＬはマイクロレンズであり、ＣＦはカラーフィルタである。ＥＸＰは光学系の射出瞳（瞳）であり、Ｐ１、Ｐ２は射出瞳ＥＸＰの領域である。Ｇ１、Ｇ２は画素（受光部）であり、１つの画素Ｇ１と１つの画素Ｇ２とが互いに対をなしている（画素Ｇ１、Ｇ２は１つのマイクロレンズＭＬを共有するように設けられている）。撮像素子には、画素Ｇ１と画素Ｇ２の対（画素対）が複数配列されている。対の画素Ｇ１と画素Ｇ２は、共通の（すなわち、画素対ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。各実施例において、撮像素子に配列された複数の画素Ｇ１、Ｇ２を、それぞれまとめて画素群Ｇ１、Ｇ２という場合がある。

図４は、本実施例における撮像系の模式図であり、撮像している物点ＯＳＰ、射出瞳ＥＸＰ、および、撮像素子の結像関係を示している。画素Ｇ１は、射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光する。画素Ｇ２は、射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。ＯＳＰは、撮像している物点である。物点ＯＳＰには、必ずしも物体が存在している必要はない。物点ＯＳＰを通った光束は、その光束が通過する瞳（射出瞳ＥＸＰ）内での位置（本実施例では領域Ｐ１または領域Ｐ２）に応じて、画素Ｇ１または画素Ｇ２のいずれかの画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられた画素Ｇ１、Ｇ２のうち、画素Ｇ１からの出力信号を用いて生成された画像と、画素Ｇ２からの出力信号を用いて生成された画像とが、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割という場合がある。

また、図３および図４に示される射出瞳ＥＸＰの位置ずれなどにより、前述の共役関係が完全でなくなる場合や、領域Ｐ１、Ｐ２が部分的に互いに重複（オーバーラップ）する場合でも、各実施例において、得られた複数の画像を視差画像として扱う。また、画像を構成する最小要素を画素（ピクセル）と呼び（以降、撮像素子上の画素と区別するためにピクセルと呼ぶ）、各ピクセルは、数値によって光の強さや色を表す。各ピクセルの値を画素値という。画素値はモノクロ画像であれば画素値＝輝度値とし、本発明の各実施例では簡単に説明するためにモノクロ画像として説明する。よってここでは画素値と輝度値は同じ意味を示す。ＲＧＢカラー画像の場合は各色の画素値について色ごとに同様の計算を行えばよい。以下の各実施例についても同様である。

次に、図５を参照して、本実施例における画像処理方法を実行する撮像装置について説明する。図５は、本実施例における撮像装置２００の構成を示すブロック図である。光学系２０１（撮像光学系）は、絞り２０１ａおよびフォーカスレンズ２０１ｂを含み、不図示の被写体からの光を撮像素子２０２上に結像（集光）させる。撮像素子２０２（撮像手段）は、ＣＣＤセンサやＣＭＯＳセンサなどの光電変換素子により構成され、図３および図４を参照して説明した瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する（瞳分割を行う）。このように撮像素子２０２は、光学系２０１を介して形成された被写体像（光学像）を光電変換し、複数の視差画像である画像信号（アナログ電気信号）を出力する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されたアナログ電気信号をデジタル信号に変換し、デジタル信号を画像処理部２０４に出力する。

画像処理部２０４は、デジタル信号に対して、一般的に行われる画像処理を行うとともに、不要光（不要成分）の決定処理および不要光を低減または除去する補正処理を行う。また画像処理部２０４は、低減率分布（低減率情報）を取得する。本実施例において、画像処理部２０４は、撮像装置２００に搭載された画像処理装置に相当する。また画像処理部２０４は、不要成分検出部２０４ａ（決定手段）、低減率分布取得部２０４ｂ（算出手段）、低減率分布出力部２０４ｃ（出力手段）、および、不要成分低減部２０４ｄ（低減手段）を有する。

不要成分検出部２０４ａは、視差画像を生成（取得）し、その視差画像から不要成分を検出（決定）する。低減率分布取得部２０４ｂは、不要成分の低減率分布（低減率情報）を取得（決定）する。低減率分布出力部２０４ｃは、低減率分布を表示部２０５に表示させるための信号を出力する。不要成分低減部２０４ｄは、各視差画像から不要成分を低減させる。なお本実施例において、視差画像の生成方法として、「画素群Ｇ１のみからなる画像」と「画素群Ｇ２のみからなる画像」のように最初から２つに分離した形で出力して生成することができる。または、「画素群Ｇ１のみからなる画像」と「画素群Ｇ１と画素群Ｇ２との合成画像」を最初に出力し、合成画像から画素群Ｇ１のみからなる画像を差し引くことにより画素群Ｇ２のみからなる画像に相当する画像を演算で求めてもよい。

画像処理部２０４で処理された出力画像（画像データ）は、半導体メモリや光ディスクなどの画像記録媒体２０９に保存される。また、画像処理部２０４からの出力画像を表示部２０５に表示することもできる。記憶部２０８は、画像処理部２０４による画像処理に必要な画像処理プログラムや各種情報などを記憶している。また表示部２０５は、出力画像に含まれる不要成分の存在を示す情報、および、不要成分の低減可能な量に関する情報（不要成分の低減率情報）を表示する。

システムコントローラ２１０（制御手段）は、撮像素子２０２の動作、画像処理部２０４での処理、および、光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御を行う。光学系制御部２０６は、システムコントローラ２１０からの制御指示に応じて、光学系２０１の絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動を行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じて、その開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整（フォーカス制御）を行うために、不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０の制御指示に応じて、現在の撮影条件情報を取得する。なお本実施例において、光学系２０１は、撮像素子２０２を備えた撮像装置２００の一部として（撮像装置２００と一体的に）構成されているが、これに限定されるものではない。本実施例は、一眼レフカメラのように、交換式の光学系（交換レンズ）を撮像装置本体に着脱可能に構成された撮像装置にも適用可能である。

図６は、光学系２０１の構成および光学系２０１にて発生する不要光の説明図である。図６（Ａ）は、光学系２０１の具体的な構成例を示す。図６（Ａ）において、ＳＴＰは絞り（絞り２０１ａに相当）、ＩＭＧは撮像面である。撮像面ＩＭＧの位置には、図５に示される撮像素子２０２が配置される。図６（Ｂ）は、光学系２０１に高輝度物体の例としての太陽ＳＵＮから強い光が入射し、光学系２０１を構成するレンズの界面で反射した光が不要成分Ａ（ゴーストやフレアなどの不要光）として撮像面ＩＭＧに到達する様子を示している。図６（Ｃ）は、図６（Ｂ）と同様に強い光が入射し、不要光Ａとは異なるレンズの界面で反射した光が不要成分Ｂ（ゴーストやフレアなどの不要光）として撮像面ＩＭＧに到達する様子を示している。

図７は、絞りＳＴＰのうち、図４に示される画素Ｇ１、Ｇ２に入射する光束が通過する領域Ｐ１、Ｐ２（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、光学系２０１の射出瞳ＥＸＰ（光学系２０１の像面位置から見た虚像）に相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なる。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰのほぼ全域を通過するが、画素Ｇ１、Ｇ２に入射する光束が通過する領域は、領域Ｐ１、Ｐ２（瞳領域）に分割される。図６（Ｂ）、（Ｃ）に示される例では、高輝度物体からの光束は絞りＳＴＰの略下半分の領域を通過しており、図４を参照すると、領域Ｐ１に一部の光束が通過し、領域Ｐ２に残りの全ての光束が通過している。領域Ｐ１を通過した光束は画素Ｇ１に入射し、領域Ｐ２を通過した光束は画素Ｇ２に入射する。

続いて、図１および図２を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定し、それを表示する方法について説明する。図１は、本実施例における画像処理方法の手順を示す図である。図２は、本実施例における画像処理方法による出力画像の一例である。なお、図６（Ａ）の光学系２０１で撮像すると、図６（Ｂ）の光路で発生する不要成分Ａと図６（Ｃ）の光路で発生する不要成分Ｂとが互いに重なり合って撮像される。ただし図１および図２においては、説明の簡略化のため、不要成分Ａと不要成分Ｂとを分けて示している。複数の不要成分が重なっていても分離していても、本実施例の趣旨や基本的な考え方は変わらず、後述する低減率分布（低減率情報）の算出方法、不要成分の低減方法、および、表示手法は変わらない。

図２は、「瞳分割を行わない撮像」により生成された撮影画像を示す。この撮影画像には、簡単のために細かい被写体は省略されており、背景のグレー部分、被写体である丸および三角、および、ゴースト（被写体や背景よりも輝度が高い不要成分）を意味する二つの四角（互いに重なっている不要成分Ａと不要成分Ｂ）が写っている。実際には、これらの不要成分の背景には、被写体がある程度透けている。また、不要成分は、撮影被写体に不要光が被った状態であるため、撮影被写体よりも高輝度化する部分である。このため、背景のグレー部分よりも輝度を高くして示している。この点は、後述する他の実施例における図でも同様である。

図１（Ａ−１）、（Ｂ−１）は、それぞれ、領域Ｐ１、Ｐ２（瞳領域）を通過した光束を画素群Ｇ１、Ｇ２にて光電変換した結果として得られた一対の視差画像を示す。一対の視差画像には、画像成分の視差に応じた差（被写体視差成分）が存在する。ただし、説明を簡単にするため、視差成分については省略している。また、一対の視差画像にも均一な輝度の白い四角として模式的に示す不要成分Ａと不要成分Ｂが含まれているが、その輝度は視差画像間で互いに異なる。ここでは、前述のように不要成分Ａと不要成分Ｂとが互いに重なり合っている状態の例を示しているが、これらが重なり合うことなく分離された状態であってもよい。すなわち、不要成分の位置や輝度が視差画像間で互いに異なった状態であればよい。

図１（Ａ−２）、（Ｂ−２）は、図１（Ａ−１）、（Ｂ−１）中の破線部に沿った一対の視差画像の輝度断面をそれぞれ示す。図１（Ａ−２）、（Ｂ−２）のグラフ内の数値は、不要成分の輝度値Ｙである。例えば図１（Ａ−２）において、背景輝度値は５０、不要成分Ａの輝度値は１３０、不要成分Ｂの輝度値は１６０である。図１（Ｃ−１）は、図１（Ａ−１）と図１（Ｂ−１）を加算合成した画像（視差合成画像であり、表示部２０５で表示される表示画像）を示す。図１（Ｃ−２）は、図１（Ｃ−１）中の破線部に沿った視差合成画像の輝度断面を示す。この視差合成画像は、「瞳分割を行わない撮像」により生成された撮影画像（図２）と等価である。本実施例では、一対の視差画像を加算合成することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになる。一対の視差画像を加算平均することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになるような撮像装置を用いても構わない。その場合に関しては、実施例５にて後述する。

図１（Ｄ−１）は、一対の視差画像に関し、図１（Ａ−１）から図１（Ｂ−１）の画像を差し引いた状態の画像を示す。図１（Ｄ−２）は、図１（Ｄ−１）中の破線部に沿った輝度断面を示す。同様に、図１（Ｅ−１）は、一対の視差画像に関し、図１（Ｂ−１）から図１（Ａ−１）の画像を差し引いた状態の画像を示す。図１（Ｅ−２）は、図１（Ｅ−１）中の破線部に沿った輝度断面を示す。このとき、差分値が負の値になった場合、処理の簡易化のため、負の値を切り捨ててゼロに置き換える処理を行う。このため、図１（Ｅ−１）に示される差分画像は、全てゼロ値となっている。

図１（Ｆ−１）は、図１（Ｄ−１）と図１（Ｅ−１）とを加算合成した画像である。このため、図１（Ｆ−１）に示される差分合成画像は、図１（Ｃ−１）から被写体や背景が取り除かれ、図１（Ｃ−１）に含まれる不要成分のみを示している。このように、各視差画像について差分計算を行うことにより、不要成分のみを残存させ（換言すると、分離または抽出し）、不要成分を決定することができる。

本実施例は、図１（Ｆ−１）を算出するため、前述のように２回差分を取ってから加算合成を行っているが、以下の式（１）のように、差分の絶対値を得る演算を行っても等価である。

Ｆｉｇ１Ｆ１（ｘ，ｙ）＝│Ｆｉｇ１Ａ１（ｘ，ｙ）−Ｆｉｇ１Ｂ１（ｘ，ｙ）│ … （１）
式（１）において、Ｆｉｇ１Ｆ１（ｘ，ｙ）、Ｆｉｇ１Ａ１（ｘ，ｙ）、Ｆｉｇ１Ｂ１（ｘ，ｙ）は、それぞれ、図１（Ｆ−１）、図１（Ａ−１）、図１（Ｂ−１）の各座標での輝度値を表す。この結果、１度の演算で図１（Ｆ−１）の結果が得られる。

図１（Ｆ−１）は、決定された不要成分に関する画像（不要成分画像）である。図１（Ｆ−２）は、図１（Ｆ−１）中の破線部に沿った輝度断面である。説明の簡易化のため、各差分画像を図１（Ｆ−１）のように一つの画像に加算合成して「不要成分画像」としているが、個々の差分画像をそれぞれ「不要成分画像１」「不要成分画像２」のように分けて別々に次の演算処理に続けてもよい。ここで決定した不要成分に基づいて後述の処理を行う。本実施例では、後で表示してユーザが確認できるような、いわゆる「画像」として不要成分画像を保存する必要はない。不要成分画像は、処理フローの中において、数値データとして利用できればよい。

次に、低減率分布（低減率情報）を算出するため、前述のようにして決定された不要成分を除去または低減する補正処理を行う。具体的には、図１（Ｃ−１）から不要成分画像である図１（Ｆ−１）を差し引けばよい。図１（Ｇ−１）は、図１（Ｃ−１）から図１（Ｆ−１）の成分を差し引いて得られた不要成分低減画像を示している。図１（Ｇ−２）は、図１（Ｇ−１）中の破線部に沿った輝度断面を示している。このように本実施例によれば、図１（Ｃ−１）に示されるような「瞳分割を行わない撮像」により生成された撮影画像よりも不要成分が低減された画像が得られる。しかし、この例のように、領域Ｐ１、Ｐ２（瞳領域）にゴーストの光路が完全には分離されず、ある比率で領域Ｐ１、Ｐ２の両方に光束が通過する場合、不要成分は完全には除去されず、図１（Ｇ−１）に示されるように不要成分低減画像には不要成分が残存する。このように低減処理後に不要成分が残存する場合、撮影の段階で、このまま撮影すると不要成分が残存することや、不要成分がどの程度残存する可能性があるかに関する情報が示されると、撮影時にユーザが対策できるため便利である。

そこで、次に、不要成分の低減率を算出する。低減率Ｒ（ｘ，ｙ）とは、以下の式（２）により算出されるピクセルごとの値である。式（２）において、Ｇ１（ｘ，ｙ）、Ｃ１（ｘ，ｙ）は、それぞれ、図１（Ｇ−１）、図１（Ｃ−１）の各座標での輝度値を表す。ここで、分母がゼロとなる場合、その座標においての低減率はゼロである。

Ｒ（ｘ，ｙ）＝１−｛Ｇ１（ｘ，ｙ）÷Ｃ１（ｘ，ｙ）｝ … （２）
本実施例では、簡単のため、輝度値が一様な四角で不要成分を示しているため単純であるが、実際には低減率はピクセルごとに異なる。不要成分が存在する領域が既知である場合、全てのピクセルに関して計算を行うことなく、不要成分が存在する領域のみの計算でもよい。この場合、以降の処理を不要成分が存在する領域のみについて行うか、または、不要成分が存在する領域以外の低減率を全て０とするなどとすればよい。

前述のように、低減率を更に簡易的に算出する方法として、図１（Ｇ−１）の輝度値と図１（Ｃ−１）の輝度値との差分を求めるだけでもよい。厳密には比率計算とは異なるが、低減処理を行うことにより概略的にどの程度低減効果があるかに関する情報を示すだけであれば、差分計算でも問題ない。

図１（Ｈ−１）は、低減率に基づいて背景部分も含めた画像全領域の低減率分布（低減率情報）を示している。図１（Ｈ−２）は、図１（Ｈ−１）中の破線部に沿った低減率（断面）を示している。図１（Ｈ−２）に示されるように、「瞳分割を行わない撮像」により生成された撮影画像と比較して、不要成分Ａは２８％低減され、不要成分Ｂは２４％低減されている。

図１（Ｉ−１）は、最終的に表示部２０５で表示される画像である。図１（Ｉ−１）に示される画像は、図１（Ｃ−１）と図１（Ｈ−１）との合成画像である。本実施例において、図１（Ｉ−１）の合成画像は、図１（Ｈ−１）に示される低減率分布において、分布値がゼロ値以外の部分を図１（Ｃ−１）の同じ座標の画像と差し替えて合成された画像である。画像を差し替える際に、図１（Ｉ−１）に示されるように低減率分布をグラデーションマップとして詳細に表示することができる。また、図１（Ｉ−２）に示されるように数値を用いて表示してもよい。また煩雑さを回避するため、閉じた不要成分領域内の低減率分布を平均し、図１（Ｉ−３）に示されるように、その平均値をグラデーションマップの色に置き換えるか、または、平均値を数値表示してもよい。

なお本実施例では、説明をわかりやすくするため、図１（Ｇ−１）のような「不要成分低減画像」や、図１（Ｈ−１）のような「低減率分布画像」を作成している。ただし、これらは不要成分画像（不要成分）と視差合成画像とから算出されるため、ユーザが確認できるようないわゆる「画像データ」として作成または保存する必要はなく、処理の計算上で使用可能にしておけばよい。

次に、図８を参照して、本実施例における画像処理方法（低減率情報の表示処理）について説明する。図８は、画像処理方法を示すフローチャートである。図８の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

まずステップＳ１０１において、システムコントローラ２１０は、光学系２０１および撮像素子２０２により構成される撮像部を制御して被写体を撮像する。画像処理部２０４は、撮影画像を入力画像として取得する。

続いてステップＳ１０２において、画像処理部２０４は、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて、一対の視差画像を生成する。ここで画像処理部２０４では、視差画像を生成するため、通常の現像処理や各種の画像補正処理を実施してもよい。

続いてステップＳ１０３において、画像処理部２０４（不要成分検出部２０４ａ）は、一対の視差画像の差分情報を求める。すなわち画像処理部２０４は、図１（Ａ−１）から図１（Ｂ−１）を差し引いた差分画像図１（Ｄ−１）、および、図１（Ｂ−１）から図１（Ａ−１）を差し引いた差分画像図１（Ｅ−１）を生成する。このように単純な差分計算では、不要成分の差分値は正および負の値をとる。例えば本実施例では、差分画像図１（Ｄ−１）を生成するために図１（Ａ−１）から図１（Ｂ−１）を差し引いた場合、図１（Ａ−１）に含まれる不要成分の輝度値のほうが図１（Ｂ−１）に含まれる不要成分の輝度値よりも大きい。このため、差分値は正値となる。同様に、図１（Ｂ−１）から図１（Ａ−１）を差し引いた場合、その差分値は負の値となる。ここで本実施例では、後段で説明する不要成分低減処理の簡易化のため、前記の負の値を切り捨ててゼロ値とする処理を行う。このため、図１（Ｅ−１）の画像の輝度値は、全てゼロになっている。

また、近距離被写体を含む画像について差分情報を求める際に、本実施例では視差成分の表示を省略しているが、被写体視差成分を除去するために、一対の視差画像の位置合わせを行う処理を行ってもよい。位置合わせは、一対の視差画像のうち一方の画像に対して他方の画像の位置を相対的にシフトしながらこれら画像間の相関が最大となるシフト位置を決定することで行うことができる。また位置合わせは、視差画像間の差分の２乗和が最小化するシフト位置を決定することで行ってもよい。また、視差画像中の合焦領域を、位置合わせのためのシフト位置の決定の対象としてもよい。

また、予めそれぞれの視差画像においてエッジ検出を行い、検出されたエッジを示した画像を用いて位置合わせのためのシフト位置を決定してもよい。この方法によれば、合焦領域はコントラストの高いエッジが検出され、背景のような非合焦領域はコントラストが低く、エッジとして検出されにくいため、必然的に合焦領域が重視されたシフト位置の決定が行われる。さらに、ノイズなどの影響を除去するために閾値処理などのステップを加えても構わない。

続いてステップＳ１０４において、画像処理部２０４（不要成分検出部２０４ａ）は、ステップＳ１０３にて得られた差分画像中に残存した成分を不要成分と決定する。ここで、不要成分を画像化したものが不要成分画像である。具体的には、図１（Ｄ−１）と図１（Ｅ−１）とを加算合成することにより、図１（Ａ−１）と図１（Ｂ−１）に含まれる不要成分の差分値のみが正値として検出される。不要成分検出部２０４ａは、これを不要成分と決定し、不要成分画像（図１（Ｆ−１））を生成する。ただし、ユーザが確認できるようないわゆる「画像データ」として、不要成分画像を生成または保存する必要はなく、処理の計算上で利用可能にしておけばよい。前述のように、差分画像を差分の絶対値で計算すれば、１回の差分計算でよい。また、更なる処理速度向上のため、差分画像を不要成分と扱うことにより、ステップ１０４をスキップし、ステップＳ１０３に続いてステップＳ１０５へ進んでもよい。

続いてステップＳ１０５において、画像処理部２０４は、視差画像を加算合成処理することにより、１枚の「瞳分割を行わない撮像」により生成された撮影画像と等価の画像（視差合成画像）を生成する。例えば、ステップＳ１０２にて生成された図１（Ａ−１）の視差画像と、図１（Ｂ−１）の視差画像とを足し合わせる処理を実行することにより、図１（Ｃ−１）に示される加算合成処理された視差合成画像が生成される。または、ステップＳ１０５は、視差画像を生成するステップ（Ｓ１０２）を経ずに、撮像素子２０２（画素群Ｇ１、Ｇ２）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を加算することで生成してもよい。また、ステップＳ１０５は、必ずしもこの位置で実行される必要はなく、次のステップＳ１０６で視差合成画像が使用できるようにステップＳ１０６よりも前に実行されていれば、このステップの実行位置は特に限定されるものではない。

続いてステップＳ１０６において、画像処理部２０４（不要成分低減部２０４ｄ）は、ステップＳ１０５にて生成された視差合成画像から不要成分を低減または除去する補正処理を行う。具体的には、不要成分低減部２０４ｄは、図１（Ｃ−１）の画像から図１（Ｆ−１）の画像を差し引くことにより、不要成分を低減または除去することができる。また、図１（Ｆ−１）の画像を生成しない場合、図１（Ｃ−１）−｛図１（Ｄ−１）＋図１（Ｅ−１）｝という演算を直接行えばよい。これにより、不要成分低減画像が生成される。

続いてステップＳ１０７において、画像処理部２０４（低減率分布取得部２０４ｂ）は、ステップＳ１０５にて生成された視差合成画像、および、ステップＳ１０６にて生成された不要成分低減画像に基づいて、低減率分布（低減率情報）を算出（作成）する。低減率分布は、例えば図１（Ｈ−１）のように示される。

最後に、ステップＳ１０８において、システムコントローラ２１０および画像処理部２０４は、ステップＳ１０５にて生成された視差合成画像（表示画像）とステップＳ１０７にて算出された低減率分布（低減率情報）とを合成した画像を、表示部２０５に表示する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分画像から不要光（ゴーストやフレア）により形成された不要成分を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また、撮影画像から不要成分をどの程度低減できるかに関する情報（不要成分の低減率情報）を表示することができる。なお本実施例では、説明簡略化のため、グレースケール画像の例を示しているが、カラー画像でも同様に適用可能である。この場合、各色チャンネルで独立して前述の処理を行い、最終的に各色を合成して１枚の画像にすればよい。

次に、本発明の実施例２について説明する。本実施例は、低減率分布（低減率情報）の算出方法に関して、実施例１とは異なる。本実施例において、撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。また本実施例の画像処理方法は、実施例１と処理フローや算出方法が異なるだけであり、その結果は同様である。

図９を参照して、本実施例における画像処理方法（低減率情報の表示処理）について説明する。図９は、画像処理方法を示すフローチャートである。図９の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

まず、ステップＳ２０１〜Ｓ２０４は、図８を参照して説明した実施例１のステップＳ１０１〜Ｓ１０４とそれぞれ同様である。続いてステップＳ２０５において、画像処理部２０４（低減率分布取得部２０４ｂ）は、ステップＳ２０４にて（視差画像に基づいて）決定された不要成分に基づいて低減率分布（低減率情報）を算出（作成）する。低減率分布（低減率情報）を算出する方法のうち最も簡単な方法は、ステップＳ２０４にて決定された不要成分（不要成分画像）を低減率分布として使用する方法である。このとき、低減率分布Ｒｄ（ｘ，ｙ）は、不要成分画像の輝度値（ｘ，ｙ）をＮ（ｘ，ｙ）とすると、以下の式（３）のように表される。

Ｒｄ（ｘ，ｙ）＝Ｎ（ｘ，ｙ） … （３）
または、Ｎ（ｘ，ｙ）の最大輝度値Ｎｍａｘで規格化して、最も低減可能な不要成分を基準とした低減率分布Ｒｄ（ｘ，ｙ）としてもよい。この場合、以下の式（４）のように表される。

Ｒｄ（ｘ，ｙ）＝Ｎ（ｘ，ｙ）／Ｎｍａｘ … （４）
続いてステップＳ２０６において、画像処理部２０４は、視差画像を加算合成処理することにより、１枚の「瞳分割を行わない撮像」により生成された撮影画像と等価の画像（視差合成画像または表示画像）を生成する。ステップＳ２０６は、実施例１のステップＳ１０５と同様であるため、その詳細な説明は省略する。なお、ステップＳ２０６は、このステップ位置で行う必要はなく、続くステップＳ２０７にて視差合成画像が利用可能であればよいため、ステップＳ２０７よりも前の位置で行われるのであればこのステップ位置に限定されるものではない。

最後に、ステップＳ２０７において、システムコントローラ２１０および画像処理部２０４は、ステップＳ２０５にて算出された低減率分布（低減率情報）とステップＳ２０６にて生成された視差合成画像（表示画像）とを合成した画像を、表示部２０５に表示する。この表示方法に関しても、低減率分布をグラデーションマップにすることや数値表示にすることなども、実施例１と同様に可能である。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分画像から不要光（ゴーストやフレア）により形成された不要成分を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また、撮影画像から不要成分をどの程度低減できるかに関する情報（不要成分の低減率情報）を表示することができる。

次に、本発明の実施例３について説明する。本実施例は、視差合成画像（表示画像）を表示した画面上でユーザが指定した領域に関して、低減率分布（低減率情報）を表示させる点で、画面の全領域に関して低減率分布を表示させる実施例１とは異なる。本実施例において、撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。

図１０を参照して、本実施例における画像処理方法（低減率情報の表示処理）について説明する。図１０は、画像処理方法を示すフローチャートである。図１０の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

図１０のステップＳ３０１〜Ｓ３０７は、図８を参照して説明した実施例１のステップＳ１０１〜Ｓ１０７とそれぞれ同様である。続いてステップステップＳ３０８において、システムコントローラ２１０は、ステップＳ３０５にて生成された視差合成画像（表示画像）を表示部２０５に表示する。

続いてステップＳ３０９において、ユーザは、表示部２０５に表示された視差合成画像（表示画像）に基づいて、低減率分布（低減率情報）を表示する領域（第１領域：不要成分領域）を指定する。図１１（Ａ）、（Ｂ）は、本実施例における画像処理方法による出力画像の一例である。ユーザが低減率分布（低減率情報）を知りたい領域（不要成分領域）を指定（選択）すると、例えば図１１（Ａ）中の破線部で示されるように、ユーザにより指定された領域（不要成分領域）が表示される。

最後にステップＳ３１０において、例えば図１１（Ｂ）のように、システムコントローラ２１０および画像処理部２０４は、ユーザが指定した不要成分領域の範囲内に、低減率分布（低減率情報）を合成した視差合成画像（表示画像）を表示部２０５に表示する。一方、ユーザが指定した領域の範囲外においては、視差合成画像を表示する。これにより、ユーザは知りたい領域（視差合成画像中の一部の領域）について低減率分布を知ることができる。または、仮に低減処理を行っても実質的な低減効果が得られない場合も、本実施例の画像処理方法によれば事前に把握することが可能となる。

図１２は、撮像装置２００の背面図である。ステップＳ３１０にて表示部２０５に表示される画像を、撮影中または撮影直後に撮像装置２００の背面モニタ２０に表示してもよい。これによれば、撮影中または撮影直後に不要成分の低減率分布（低減率情報）を把握することができ、その場で撮影にフィードバックすることが可能となる。

次に、本発明の実施例４について説明する。本実施例は、不要成分領域（第１領域）を自動的に決定する点で、不要成分領域をユーザが指定する実施例３とは異なる。本実施例において、撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。

実施例１〜３では、被写体視差成分の影響を考慮していないため、容易に不要成分領域を抽出することができる。しかし、近距離被写体を撮影した場合など、無視できない量の被写体視差成分が不要成分中に含まれることがある。この場合、高精度に不要成分領域を表示するには、不要成分中に含まれる被写体視差成分を除去または低減する必要がある。そこで本実施例は、不要成分中に含まれる被写体視差成分を除去または低減し、不要成分領域を低減率分布（低減率情報）と共に表示する。

ここで、本実施例における被写体視差成分の低減方法の概略について説明する。被写体視差成分は、複数の視差画像間の差分に関する成分である。このため被写体視差成分は、エッジのような線状の成分であるか、または、ある程度広い面であっても輝度値が小さい成分であることが多い。一方、不要成分は、ある程度広い面であって、かつ輝度値が比較的大きい成分であることが多い。このため、被写体視差成分を低減するには、エッジのような線状の成分はぼかすことにより輝度値を小さくし、輝度値の小さい面に関してはコントラストを高める処理を行うことにより、被写体視差成分をゼロへ近づける（低減する）ことができる。また、最後に残存したノイズ成分については、ある程度の閾値処理を行うことにより低減可能である。そして、これらの処理を行った後に残存した成分が不要成分であると決定することができる。しかし、線状の成分をぼかし、または、輝度値の小さい面のコントラストを高める処理を行うことにより、不要成分も若干減少してしまう場合がある。そこで本実施例では、最後まで残存した領域について、領域拡大処理を行う。これらをまとめて抽出処理という。これにより、不要成分領域を自動的に決定することができる。

図１４を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定し、それを表示する方法について説明する。図１４は、本実施例における画像処理方法の手順を示す図である。

図１４（Ａ−１）、（Ｂ−１）は、それぞれ、領域Ｐ１、Ｐ２（瞳領域）を通過した光束を画素群Ｇ１、Ｇ２にて光電変換した結果として得られた一対の視差画像を示す。この撮影画像（一対の視差画像）において、説明を簡単にするために細かい被写体は省略されている。背景のグレー部分、ピントが合っている三角形の被写体Ａ、被写体Ａの奥にありピントがボケている被写体Ｂ、および、ゴースト（被写体や背景よりも輝度が高い不要成分）を意味する二つの四角（互いに重なっている不要成分Ａと不要成分Ｂ）が写っている。実際には、これらの不要成分の背景には、被写体がある程度透けている。また、不要成分は、撮影被写体に不要光が被った状態であるため、撮影被写体よりも高輝度化する部分である。このため、背景のグレー部分よりも輝度を高くして示している。

一対の視差画像には、画像成分の視差に応じた差（被写体視差成分）が存在する。本実施例において、被写体視差成分は、ボケている被写体Ｂに存在する。図１４（Ａ−１）、（Ｂ−１）は、一対の視差画像間において、被写体Ｂが左右に視差ずれしている状態を示している。また、一対の視差画像にも均一な輝度のグレーの四角として模式的に示す不要成分Ａと不要成分Ｂが含まれているが、その輝度は視差画像間で互いに異なる。ここでは、前述のように不要成分Ａと不要成分Ｂとが互いに重なり合っている状態の例を示しているが、これらが重なり合うことなく分離された状態であってもよい。すなわち、不要成分の位置や輝度が視差画像間で互いに異なった状態であればよい。

図１４（Ａ−２）、（Ｂ−２）は、図１４（Ａ−１）、（Ｂ−１）中の破線部に沿った一対の視差画像の輝度断面をそれぞれ示す。図１４（Ａ−２）、（Ｂ−２）のグラフ内の数値は、不要成分の輝度値Ｙである。例えば図１４（Ａ−２）において、背景輝度値は５０、被写体Ｂの輝度値は１００である。

図１４（Ｃ−１）は、図１（Ａ−１）と図１４（Ｂ−１）を加算合成した画像（視差合成画像であり、表示部２０５で表示される表示画像）を示す。図１４（Ｃ−２）は、図１４（Ｃ−１）中の破線部に沿った視差合成画像の輝度断面を示す。この視差合成画像は、「瞳分割を行わない撮像」により生成された撮影画像と等価である。本実施例では、一対の視差画像を加算合成することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになる。一対の視差画像を加算平均することにより、「瞳分割を行わない撮像」により生成された撮影画像と同等の明るさになるような撮像装置を用いても構わない。その場合に関しては、実施例５にて後述する。

図１４（Ｄ−１）は、一対の視差画像に関し、図１４（Ａ−１）から図１４（Ｂ−１）の画像を差し引いた状態の画像（差分合成画像）を示す。図１４（Ｄ−２）は、図１４（Ｄ−１）中の破線部に沿った輝度断面を示す。図１４（Ｄ−１）の差分合成画像は、図１４（Ｃ−１）から被写体や背景が取り除かれた画像であり、図１４（Ｃ−１）の画像に含まれる不要成分および被写体視差成分のみを示している。このようにして視差画像の各々について差分計算を行うことにより、不要成分を残存させ（換言すると、分離または抽出し）、不要成分を決定することができる。しかし、被写体視差成分が含まれる場合、前述のように不要成分と被写体視差成分とが混在している。このため、不要成分を表示する際の精度を向上させるため、不要成分から被写体視差成分を除去または低減することが好ましい。そこで本実施例では、不要成分について抽出処理を行うことにより、被写体視差成分を除去または低減する。

図１３を参照して、本実施例における画像処理方法（被写体視差成分の低減処理を伴う低減率情報の表示処理）について説明する。図１３は、画像処理方法を示すフローチャートである。図１３の各ステップは、システムコントローラ２１０または画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

図１３のステップＳ４０１〜Ｓ４０７は、図８を参照して実施例１にて説明したステップＳ１０１〜Ｓ１０７とそれぞれ同様である。図１４（Ｅ−１）は、実施例１と同様にステップＳ４０７にて低減率分布（低減率情報）を算出するため、ステップＳ４０４にて決定された不要成分を除去または低減する補正処理を行った結果（不要成分低減画像）を示す。図１４（Ｅ−２）は、図１４（Ｅ−１）中の破線部に沿った輝度断面を示す。

図１３のステップＳ４１０〜Ｓ４１５は、ステップＳ４０４にて決定された不要成分に基づいて不要成分領域を決定するステップであり、画像処理部２０４（例えば不要成分低減部２０４ｄ）により実行される。まずステップＳ４１０において、画像処理部２０４は、不要成分について平滑化処理を行う。図１４（Ｆ−１）は、平滑化処理を行った画像を示す。図１４（Ｆ−２）は、図１４（Ｆ−１）中の破線部に沿った輝度断面を示す。これにより、被写体視差成分のエッジ部分をぼかすことができ、被写体視差成分の全体的な輝度値を小さくすることが可能となる。具体的には、平滑化処理として、移動平均処理やガウシアンフィルタ処理などを行う。

続いてステップＳ４１１において、画像処理部２０４は、ステップＳ４１０の平滑化処理でぼかした画像に対して、コントラストを高める処理（コントラストアップ処理）を行う。図１４（Ｇ−１）は、コントラストを高めた画像を示す。図１４（Ｇ−２）は、図１４（Ｇ−１）中の破線部に沿った輝度断面を示す。これにより、ぼけた部分の輝度値はより小さくなり、不要成分のような輝度値が比較的高い部分の輝度値はより高くなる。

続いてステップＳ４１２において、画像処理部２０４は、閾値処理を行う。具体的には、例えば輝度値が３０以下の領域における輝度値を全てゼロにする処理を行う。本実施例では説明を簡単にするため、輝度値が３０という比較的大きな輝度値が残っている。ただし実際には、平滑化処理をより積極的に行い、閾値処理により２〜１０程度の輝度値をゼロにすることが好ましい。これにより、本来残したい不要成分をこのステップ（ステップＳ４１２）で誤って除去することを回避することができる。その結果、被写体視差成分やノイズ成分を効果的に除去することができ、最終的に不要成分のみを残すことが可能となる。図１４（Ｈ−１）は、不要成分のみが残存した画像を示す。図１４（Ｈ−２）は、図１４（Ｈ−１）中の破線部に沿った輝度断面を示す。

続いてステップＳ４１３において、画像処理部２０４は、残存する不要成分に対して２値化処理を行う。２値化処理とは、輝度値がゼロの領域については輝度値をゼロのままにし、輝度値が１以上（または、所定の閾値以上）の領域については輝度値を全て１に（または、８ビットグレースケール画像であれば２５５に）する処理である。これにより、残存する不要成分を「領域（不要成分が存在する領域）」として捉えることができる。図１４（Ｉ−１）は、２値化処理後の画像を示す。図１４（Ｉ−２）は、図１４（Ｉ−１）中の破線部に沿った輝度断面を示す。

続いてステップＳ４１４において、画像処理部２０４は、ステップＳ４１３にて２値化した「不要成分が存在する領域」を拡大する処理（領域拡大処理）を行う。図１４（Ｊ−１）は、領域拡大処理後の画像を示す。図１４（Ｊ−２）は、図１４（Ｊ−１）中の破線部に沿った輝度断面を示す。ステップＳ４１０の平滑化処理、ステップＳ４１１のコントラストアップ処理、および、ステップＳ４１２の閾値処理を行うことにより、被写体視差成分を除去または低減することができる。ただし同時に、不要成分もある程度減少してしまう。この場合、２値化して最終的に残存する「不要成分が存在する領域」が、実際に不要成分を含む領域の全てをカバーできていない可能性がある。そこでステップＳ４１４では、実際に不要成分を含む領域の全てをカバーするように、平滑化処理などで減少した不要成分が存在する領域を拡大する。なお本実施例において、不要成分の輪郭を厳密に抽出することではなく、不要成分領域を表示することが主目的であるため、不要成分の周辺部が少し多めに抽出されていても構わない。

続いてステップＳ４１５において、画像処理部２０４は、ステップＳ４１４の結果に基づいて不要成分領域を決定する。図１４（Ｋ−１）は、不要成分領域の低減率分布（低減率情報）を示している。図１４（Ｋ−２）は、図１４（Ｈ−１）中の破線部に沿った低減率（断面）を示している。図１４（Ｈ−２）に示されるように、不要成分Ａは２８％低減され、不要成分Ｂは２４％低減される。

最後にステップＳ４０８において、システムコントローラ２１０および画像処理部２０４は、ステップＳ４１５にて決定された不要成分領域の範囲内において、ステップＳ４０７にて算出された低減率分布（低減率情報）を表示部２０５に表示する。また、不要成分領域の範囲外において、図１４（Ｃ−１）の視差合成画像（表示画像）を表示部２０５に表示する。図１４（Ｌ−１）は、表示部２０５で表示される画像であり、図１４（Ｃ−１）と図１４（Ｋ−１）との合成画像を示す。図１４（Ｌ−２）は、図１４（Ｌ−１）中の破線部に沿った輝度断面を示す。これにより、ユーザは不要成分の存在およびその低減可能量（不要成分の低減率情報）を知ることができる。

本実施例において、平滑化処理における平滑化量（ぼかし量）、コントラストアップ処理におけるコントラスト変更量、閾値処理における閾値、および、領域拡大処理における拡大量は、それぞれ適宜変更可能である。また本実施例において、平滑化処理、コントラストアップ処理、および、閾値処理は、これらに限定されるものではなく、同様の効果を有する処理であれば他の処理を用いてもよい。なお本実施例では、説明簡略化のため、グレースケール画像の例を示しているが、カラー画像でも同様に適用可能である。この場合、各色チャンネルで独立して前述の処理を行い、最終的に各色を合成して１枚の画像にすればよい。

図１５は、本実施例の変形例としての画像処理方法による出力画像の一例である。本実施例の変形例として、図１５（Ａ）に示されるように、表示部２０５に表示された第１不要成分領域に基づいてユーザが第２不要成分領域を指定し、その指定範囲（第２不要成分領域）について低減率分布を再表示してもよい。または、複数の第１不要成分領域が含まれる場合、ユーザが指定した第２不要成分領域を消去するか、または図１５（Ｂ）に示されるように、ユーザにより指定された第２不要成分領域の形状を変更するように処理してもよい。これにより、まず撮像装置２００が自動的に不要成分領域を抽出して低減率分布と共に表示部２０５に表示し、その結果を見ながらユーザが不要成分領域を追加、削除、変更することが可能となる。このため、後で不要成分の低減処理を行う場合、低減処理の対象となる領域をユーザが選択しやすくなり、好ましい。

次に、本発明の実施例５（複数の瞳分割）について説明する。本実施例は、視差の数が前述の実施例１〜４とは異なる。また、本実施例の画像処理方法は、視差画像を生成して不要成分を決定するステップまでの処理ステップは前述の各実施例とは異なるが、その後の処理ステップは各実施例と同様であるため、その説明は省略する。また本実施例において、撮像装置の基本構成は、図５を参照して説明した実施例１の撮像装置２００と同様であるため、その説明は省略する。

図１６は、本実施例における撮像素子（受光部）を示す図である。図１６において、ＭＬはマイクロレンズ、Ｇ１、Ｇ２、Ｇ３、Ｇ４は受光部（画素）であり、各画素は互いに組をなしている。撮像素子には、画素組Ｇ１、Ｇ２、Ｇ３、Ｇ４が複数配列されている。画素組は、共通の（すなわち、画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。本実施例では、「瞳分割を行わない撮像」により生成された撮影画像と等価な画像を出力する際には、４つの画素組Ｇ１、Ｇ２、Ｇ３、Ｇ４から得られた信号を加算平均処理することにより、１つの信号値を生成する。

本実施例において、光学系の具体的な構成例も、図６を参照して説明した実施例１の光学系２０１と同様であるため、その説明は省略する。ただし、実施例１〜４において、不要成分は不要成分Ａおよび不要成分Ｂの２つであるが、本実施例では、図６中に示されていない不要成分Ｃを更に有し、それぞれの不要成分の配置も実施例１〜４とは異なる。また本実施例において、被写体は省略されている。被写体や被写体視差成分が存在する場合、実施例４と同じ考え方により被写体視差成分を除去可能である。

図１７は、絞りＳＴＰのうち、図１６に示される画素Ｇ１、Ｇ２、Ｇ３、Ｇ４に入射する光束が通過する領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域または瞳分割領域）を示している。なお、絞りＳＴＰは、光学系２０１の射出瞳ＥＸＰ（光学系２０１の像面位置から見た虚像）に相当するものとして考えることができるが、実際には絞りＳＴＰと射出瞳ＥＸＰは互いに異なる。高輝度物体（太陽ＳＵＮ）からの光束は、絞りＳＴＰを通過して各画素に入射する場合、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４（瞳領域）に分割される。

続いて、図１８および図１９を参照して、撮像装置２００により生成される撮影画像において、不要光が光電変換されることで現れる画像成分である不要成分を決定する方法について説明する。図１８および図１９は、本実施例における画像処理方法の手順を示す図である。

図１８（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）は、それぞれ、領域Ｐ１、Ｐ２、Ｐ３、Ｐ４を通過した光束を画素群Ｇ１、Ｇ２、Ｇ３、Ｇ４にて光電変換した結果として得られた一組の視差画像を示す。また、一組の視差画像には、四角として模式的に示される不要成分Ａ、不要成分Ｂ、不要成分Ｃが含まれており、それぞれが部分的に重なり合っている。視差画像間での各不要成分は、図１８（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）において、それぞれ同じ位置にあり、輝度が互いに異なっている。図１８（Ａ−２）、（Ｂ−２）、（Ｃ−２）、（Ｄ−２）は、各視差画像の縦方向中心付近における横方向（破線部）の輝度断面を示す。各図中のグラフ内の数値は、不要成分の輝度値である。例えば図１８（Ａ−２）において、背景輝度値は５０、不要成分Ａの輝度値は１８０、不要成分Ｂの輝度値は１３０、不要成分Ｃの輝度値は１１０である。不要成分が重なっている部分は、重なっている各不要成分の輝度値と背景輝度値とが加算合成された値となっている。

図１８（Ｅ−１）は、図１８（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）に対して加算平均処理を行って合成した画像である。具体的には、図１８（Ａ−１）、（Ｂ−１）、（Ｃ−１）、（Ｄ−１）の各座標の輝度値を足して４で割ることにより、図１８（Ｅ−１）の各座標の輝度値を算出している。図１８（Ｅ−１）の画像は、本実施例の撮像装置において、「瞳分割を行わない撮像」により生成された撮影画像と等価である。また、この画像は、ユーザが撮影画像を確認するために表示部２０５で表示する表示画像でもある。図１８（Ｅ−２）は、図１８（Ｅ−１）の画像の縦方向中心付近における横方向（破線部）の輝度断面を示す。

図１９（Ａ−１）、（Ｂ−１）、（Ｃ−１）は、一組の視差画像に対して、図１８（Ａ−１）を基準画像として図１８（Ｂ−１）、（Ｃ−１）、（Ｄ−１）の画像を差し引いた差分画像である。これらの差分画像には、実施例１と同様に、差分情報として不要成分が含まれている。また、実施例１と同様に、差分計算により、図１９（Ａ−１）、（Ｂ−１）、（Ｃ−１）に含まれる不要成分が負値として算出される部分があるが、ここでも後段の不要成分低減処理の簡易化のため、負値を切り捨てて０に置き換えている。これは、他の全ての差分画像についても同様である。図１９（Ｄ−１）は、２次元データとして取得されている差分情報である図１９（Ａ−１）、（Ｂ−１）、（Ｃ−１）の差分画像内の各画素位置における差分情報間の最大値を抽出した情報（差分最大値情報または差分最大値画像）である。

図１９（Ａ−２）、（Ｂ−２）、（Ｃ−２）は、一組の視差画像に対して、図１８（Ｂ−１）を基準画像として図１８（Ａ−１）、（Ｃ−１）、（Ｄ−１）の画像を差し引いた差分画像である。図１９（Ｄ−２）は、２次元データとして取得されている差分情報である図１９（Ａ−２）、（Ｂ−２）、（Ｃ−２）の差分画像内の各画素位置における差分情報間の差分最大値情報である。

図１９（Ａ−３）、（Ｂ−３）、（Ｃ−３）は、一組の視差画像に対して、図１８（Ｃ−１）を基準画像として図１８（Ａ−１）、（Ｂ−１）、（Ｄ−１）の画像を差し引いた差分画像である。図１９（Ｄ−３）は、２次元データとして取得されている差分情報である図１９（Ａ−３）、（Ｂ−３）、（Ｃ−３）の差分画像内の各画素位置における差分情報間の差分最大値情報である。

図１９（Ａ−４）、（Ｂ−４）、（Ｃ−４）は、一組の視差画像に対して、図１８（Ｄ−１）を基準画像として図１８（Ａ−１）、（Ｂ−１）、（Ｃ−１）の画像を差し引いた差分画像である。図１９（Ｄ−４）は、２次元データとして取得されている差分情報である図１９（Ａ−４）、（Ｂ−４）、（Ｃ−４）の差分画像内の各画素位置における差分情報間の差分最大値情報である。これらの差分最大値情報は、各視差画像から不要成分を抽出した結果である。

ここで、実施例１〜４にて説明したように、不要成分（不要成分を画像化したものが不要成分画像）を決定する場合について考える。このとき、前述のように、差分最大値情報として視差画像ごとに不要成分が抽出されているため、一つの手法として各差分最大値情報が各々不要成分画像に対応すると考えられる。しかしながら、画像として以降の処理を視差画像枚数分だけ実行する必要があり、処理工程の複雑さを招く。そこで本実施例では、各差分最大値情報を１つに合成することにより、以降の処理を簡略化する。具体的には、図１９（Ｄ−１）、（Ｄ−２）、（Ｄ−３）、（Ｄ−４）に対して加算平均処理を行い、これらの画像を合成する。図１９（Ｅ−１）はその合成結果であり、図１９（Ｅ−２）は、その縦方向中心付近における横方向（破線部）の輝度断面である。

図１９（Ｆ−１）は、実施例１と同様に後段の低減率分布を算出するために、前述のようにして決定された不要成分を除去または低減する補正処理を行った結果（不要成分低減画像）を示す。図１９（Ｆ−２）は、その縦方向中心付近における横方向（破線部）の輝度断面を示す。このように、視差数が増えた場合でも、「視差合成画像」および「不要成分画像」を算出することができる。以降の処理フローや基本的な取り扱い方は実施例１〜４と同様であるため、それらの詳細は省略する。

本実施例によれば、１回の撮像で得られた複数の視差画像に基づく差分画像から不要光（ゴーストやフレア）により形成された不要成分を決定することができる。すなわち、複数回の撮像を行うことなく撮影画像に含まれる不要成分を決定することが可能である。また、撮影画像から不要成分をどの程度低減できるかに関する情報（不要成分の低減率情報）を表示することができる。なお本実施例では、説明簡略化のため、グレースケール画像の例を示しているが、カラー画像でも同様に適用可能である。この場合、各色チャンネルで独立して前述の処理を行い、最終的に各色を合成して１枚の画像にすればよい。

次に、本発明の実施例６について説明する。Ｒｅｎ．Ｎｇ等の「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ ２００５−２）において、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」が提案されている。「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」において「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。

図２０は、本実施例における撮像装置の撮像系を示す図であり、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」の撮像系の構成を示している。光学系３０１は、主レンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとを備えて構成される。光学系３０１の結像位置には、マイクロレンズアレイ３０１ｃが配置されており、さらにその後方（像側）に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータ（分離手段）としての機能を有する。図２０から分かるように、点Ａからの上線、主光線および下線は、それぞれ異なる画素によって受光される。このため、点Ａを通る光線群を光線の角度ごとに分離して取得することができる。

また、Ｔｏｄｏｒ Ｇｅｏｒｇｉｖｅ等による「Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８）が知られている。この文献では、光線の位置と角度の情報（Ｌｉｇｈｔ Ｆｉｅｌｄ）を取得する方法として、図２１および図２２に示される撮像系を提案している。

図２１に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも後方（像側）に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図２２に示される撮像系の構成では、マイクロレンズアレイ３０１ｃを主レンズ３０１ｂの結像位置よりも前方（物体側）に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。そして、これらの構成では、撮像素子３０２は、図２３に示されるように、１つのマイクロレンズＭＬ（マイクロレンズアレイ３０１ｃとは異なる）と１つの受光部Ｇ１とがカラーフィルタＣＦを介して対になっている従来の撮像素子を用いることができる。

図２０に示される光学系３０１を用いると、図２４（ａ）に示されるような画像が得られる。図２４（ｂ）は、図２４（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１、２、３、…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図２１および図２２に示される光学系３０１を用いると、図２５に示されるような視差画像が得られる。図２４（ａ）に示される画像において、各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２５に示すような複数の視差画像が得られる。

実施例１〜５で説明したように、ゴーストなどの不要光は、瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜５にて説明した画像処理方法を使用することにより、不要成分を決定し、更には不要成分を低減することができる。

また、別の例として、図２６に示されるような複数のカメラを用いて同一被写体を撮像する場合でも、視差画像が得られる。このため、このような複数のカメラにおいても、実施例１〜５にて説明した画像処理方法を用いることができる。Ｃ１、Ｃ２、Ｃ３は、実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。また、図２７に示されるように、１つの撮像装置に複数の光学系ＯＳｊ（ｊ＝１、２、３、…）を設けることで瞳分割を行うことも可能である。

上記各実施例では、画像処理方法を実行する撮像装置について説明したが、各実施例で説明した画像処理方法は、コンピュータ機器にインストールされる画像処理プログラムによっても実行可能である。この場合については、撮像システムとして後述の実施例７にて説明する。

次に、図２８を参照して、本発明の実施例７における撮像システムについて説明する。図２８は、本実施例における撮像システム７００の構成図である。図２８に示されるように、撮像システム７００は、撮像装置７０１、画像処理装置７０２、および、表示装置７０３を備えて構成される。

撮像装置７０１は、前述の各実施例の撮像装置２００に相当する。画像処理装置７０２は、本実施例の画像処理方法を実行するコンピュータ機器である。画像処理装置７０２は、不図示の通信部を有する。通信部は、撮像装置７０１から撮影画像（視差画像）を受信する。通信部を介した画像処理装置７０２と撮像装置７０１との接続は、有線または無線のいずれの接続方法を用いてもよい。

画像処理装置７０２により算出された表示画像、または、低減率情報を付加した表示画像は、画像処理装置７０２に設けられた記憶部（不図示）に保存されるか、または、表示装置７０３に表示される。表示装置７０３は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置７０３を介して、画像処理途中の画像を確認しながら作業を行うことができる。ユーザは、この作業中に、第１不要成分領域や第２不要成分領域を指定してもよい。これによりユーザは、不要成分の低減率情報を、表示装置７０３を介して確認することができる。

このように各実施例において、画像処理装置（画像処理部２０４）は、決定手段（不要成分検出部２０４ａ）、算出手段（低減率分布取得部２０４ｂ）、および、出力手段（低減率分布出力部２０４ｃ）を有する。決定手段は、複数の視差画像に基づいて不要成分を決定する。算出手段は、不要成分に基づいて不要成分の低減率情報を算出する。出力手段は、低減率情報を表示手段（表示部２０５）に表示させるための信号を出力する。

好ましくは、低減率情報は、不要成分の低減率分布である。また好ましくは、出力手段は、表示手段に表示させるための信号として、視差画像に基づいて生成された表示画像と低減率情報とを合成した画像データを出力する。より好ましくは、低減率情報は、表示画像に含まれる不要成分の低減可能な量に関する情報である。

好ましくは、算出手段は、不要成分と、複数の視差画像を合成して生成された視差合成画像とに基づいて、低減率情報を算出する（図８）。また好ましくは、出力手段は、ユーザにより指定された第１領域（不要成分領域）の範囲内において、低減率情報を表示手段に表示させるための信号を出力する（図１０）。また好ましくは、出力手段は、不要成分に基づいて決定された第１領域（不要成分領域）の範囲内において、低減率情報を表示手段に表示させるための信号を出力する（図１３）。また好ましくは、出力手段は、不要成分に基づいて決定された第１領域（第１不要成分領域）に基づきユーザにより指定された第２領域（第２不要成分領域）の範囲内において、低減率情報を表示手段に表示させるための信号を出力する（図１５）。また好ましくは、画像処理装置は、不要成分に含まれる視差成分を低減する低減手段（不要成分低減部２０４ｄ）を更に有する。そして第１領域は、不要成分に含まれる視差成分を低減した後の不要成分に基づいて決定される。

（その他の実施例）
本発明は、上述の各実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、複数の撮像を行うことなく撮影画像に含まれる不要成分の強度を効果的に決定し、不要成分の低減率情報を表示する画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４ 画像処理部（画像処理装置）
２０４ａ 不要成分検出部（決定手段）
２０４ｂ 低減率分布取得部（算出手段）
２０４ｃ 低減率分布出力部（出力手段）

Claims (15)

1. 複数の視差画像に基づいて不要成分を決定する決定手段と、
   前記不要成分に基づいて該不要成分の低減率情報を算出する算出手段と、
   前記低減率情報を表示手段に表示させるための信号を出力する出力手段と、を有することを特徴とする画像処理装置。
2. 前記低減率情報は、前記不要成分の低減率分布であることを特徴とする請求項１に記載の画像処理装置。
3. 前記出力手段は、前記表示手段に表示させるための前記信号として、前記視差画像に基づいて生成された表示画像と前記低減率情報とを合成した画像データを出力することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記低減率情報は、前記表示画像に含まれる前記不要成分の低減可能な量に関する情報であることを特徴とする請求項３に記載の画像処理装置。
5. 前記算出手段は、前記不要成分と、前記複数の視差画像を合成して生成された視差合成画像とに基づいて、前記低減率情報を算出することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記出力手段は、ユーザにより指定された第１領域の範囲内において、前記低減率情報を前記表示手段に表示させるための信号を出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記出力手段は、前記不要成分に基づいて決定された第１領域の範囲内において、前記低減率情報を前記表示手段に表示させるための信号を出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
8. 前記出力手段は、前記不要成分に基づいて決定された第１領域に基づきユーザにより指定された第２領域の範囲内において、前記低減率情報を前記表示手段に表示させるための信号を出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
9. 前記不要成分に含まれる視差成分を低減する低減手段を更に有し、
   前記第１領域は、前記不要成分に含まれる視差成分を低減した後の不要成分に基づいて決定されることを特徴とする請求項７または８に記載の画像処理装置。
10. 光学系を介して形成された光学像を光電変換して複数の視差画像を出力する撮像手段と、
    前記複数の視差画像に基づいて不要成分を決定する決定手段と、
    前記不要成分に基づいて該不要成分の低減率情報を算出する算出手段と、
    前記低減率情報を表示する表示手段と、を有することを特徴とする撮像装置。
11. 前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束に基づいて生成された複数の画像であり、
    前記撮像手段は、一つのマイクロレンズを共有する複数の画素を有し、
    前記複数の画素は、前記光学系の瞳のうち互いに異なる領域を通過した光束を受光するように構成されていることを特徴とする請求項１０に記載の撮像装置。
12. 前記複数の視差画像は、前記光学系の瞳のうち互いに異なる領域を通過した光束を、前記撮像手段における互いに異なる画素に導いて生成された複数の画像であることを特徴とする請求項１０に記載の撮像装置。
13. 複数の視差画像に基づいて不要成分を決定するステップと、
    前記不要成分に基づいて該不要成分の低減率情報を算出するステップと、
    前記低減率情報を表示手段に表示させるための信号を出力するステップと、を有することを特徴とする画像処理方法。
14. 複数の視差画像に基づいて不要成分を決定するステップと、
    前記不要成分に基づいて該不要成分の低減率情報を算出するステップと、
    前記低減率情報を表示手段に表示させるための信号を出力するステップと、をコンピュータに実行させるように構成されていることを特徴とする画像処理プログラム。
15. 請求項１４に記載の画像処理プログラムを記憶していることを特徴とする記憶媒体。