JP6856999B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

撮像光学系を構成するレンズに入射する光の一部が、当該レンズの界面や当該レンズを保持する部材等によって反射され、撮像面に到達する場合がある。このような不要光によって、ゴーストやフレア等の不要成分が画像に生じる。また、軸上色収差や倍率色収差の補正のために回折光学素子を用いると、撮像画角外に位置する太陽等の高輝度の物体からの光が当該回折光学素子によって回折され、不要成分が画像に生じる場合がある。そこで、不要光を低減する手法が提案されている。特許文献１には、合焦状態の画像と非合焦状態の画像との差分に基づいてゴーストを検出する手法が開示されている。また、特許文献２には、単眼立体撮像による複数の視点画像を比較することによってゴーストを検出する手法が開示されている。

特開２００８−５４２０６号公報 特許第５２８４３０６号公報

しかしながら、従来の技術では、不要成分を必ずしも良好に低減し得ない場合や、大きな処理負荷が生じる場合があった。
本発明の目的は、不要成分を良好に低減し得る画像処理装置、画像処理方法及びプログラムを提供することにある。

実施形態の一観点によれば、視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出する検出手段であって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像における複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出する検出手段と、前記不要成分を低減する処理を行う低減手段とを有することを特徴とする画像処理装置が提供される。

本発明によれば、不要成分を良好に低減し得る画像処理装置、画像処理方法及びプログラムを提供することができる。

第１実施形態による画像処理装置を示すブロック図である。 撮像光学系の瞳領域と撮像素子の受光部との関係を示す図である。 撮像光学系の瞳領域と撮像素子の受光部との関係を示す図である。 撮像光学系の構成及び不要光を示す図である。 絞りの開口を概念的に示す図である。 撮影によって取得される画像の例を示す図である。 視点画像の例を示す図である。 第１実施形態による画像処理装置の動作を示すフローチャートである。 差分値マップの例を示す図である。 第１実施形態による画像処理装置の動作を示すフローチャートである。 注目画素及び注目領域を示す図である。 差分絶対値和の例を示す図である。 差分絶対値和の例を示す図である。 低減強度値マップを示す図である。 不要成分が低減された画像を示す図である。 撮影によって取得される画像の例を示す図である。 視点画像の例を示す図である。 第２実施形態による画像処理装置の動作を示すフローチャートである。 不要成分量マップを示す図である。 第２実施形態による画像処理装置の動作を示すフローチャートである。 不要成分が低減された画像を示す図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
［第１実施形態］
第１実施形態による画像処理装置及び画像処理方法について図１乃至図１４を用いて説明する。本実施形態による画像処理装置１００は、例えば、互いに視差のある複数の画像、即ち、複数の視点画像（複数の視点画像）を取得し得る撮像装置である。なお、ここでは、画像処理装置１００が撮像装置である場合、即ち、画像処理装置１００が撮像素子１０２を有している場合を例に説明するが、画像処理装置１００は撮像素子１０２を有していなくてもよい。即ち、画像処理装置１００とは別個の撮像装置によって取得される複数の視点画像を用いて、画像処理装置１００が画像処理を行うようにしてもよい。

図２は、撮像光学系の瞳領域と撮像素子の受光部との関係を示す図である。撮像光学系１０１（図１参照）の射出瞳ＥＸＰは、互いに異なる複数の瞳領域、即ち、第１の瞳領域Ｐ１と第２の瞳領域Ｐ２とを含んでいる。撮像素子１０２の受光部（受光面）１１４には、複数の画素（光電変換部、分割画素、部分画素）、即ち、第１の画素Ｇ１と第２の画素Ｇ２とをそれぞれ含む単位画素（画素対）１１５が行列状に配されている。即ち、撮像素子１０２の受光部１１４には、複数の単位画素１１５が行列状に配された画素アレイが設けられている。各々の単位画素１１５の上方にはカラーフィルタＣＦが配されており、カラーフィルタＣＦ上にはマイクロレンズＭＬが配されている。１つの単位画素１１５に含まれる第１の画素Ｇ１と第２の画素Ｇ２とは、対を為している。即ち、１つの単位画素１１５に含まれる第１の画素Ｇ１と第２の画素Ｇ２とは、当該単位画素１１５に対応する１つのマイクロレンズＭＬを共有している。対を為している第１の画素Ｇ１と第２の画素Ｇ２とは、マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有している。このように、撮像光学系１０１の射出瞳ＥＸＰのうちの互いに異なる瞳領域Ｐ１，Ｐ２を通過する光束の各々が、撮像素子１０２に配された互いに異なる画素Ｇ１，Ｇ２にそれぞれ導かれ、これらの画素Ｇ１，Ｇ２において光電変換がそれぞれ行われる。

図３は、撮像光学系の瞳領域と撮像素子の受光部との関係を示す図である。図３は、射出瞳ＥＸＰの位置に薄肉のレンズが設けられていると仮定した場合を示している。第１の画素Ｇ１は、射出瞳ＥＸＰのうちの第１の瞳領域Ｐ１を通過した光束を受光する。第２の画素Ｇ２は、射出瞳ＥＸＰのうちの第２の瞳領域Ｐ２を通過した光束を受光する。物点ＯＳＰには、必ずしも物体が存在している必要はない。物点ＯＳＰからの光束のうちの瞳領域Ｐ１を通過する光束は、第１の画素Ｇ１に入射する。物点ＯＳＰからの光束のうちの瞳領域Ｐ２を通過する光束は、第２の画素Ｇ２に入射する。射出瞳ＥＸＰのうちの互いに異なる瞳領域Ｐ１、Ｐ２を通過した光束が、単位画素１１５に含まれる互いに異なる画素Ｇ１，Ｇ２によって受光されることは、瞳分割と称される。互いに異なる瞳領域Ｐ１，Ｐ２を通過する光束がこれらの画素Ｇ１、Ｇ２にそれぞれ入射されるため、第１の画素Ｇ１からの信号を用いて生成される画像と、第２の画素Ｇ２からの信号を用いて生成される画像との間には視差が生じる。本明細書においては、複数の第１の画素Ｇ１（第１の画素群）からの信号を用いて生成される画像を、第１の視点画像と称することとする。また、複数の第２の画素Ｇ２（第２の画素群）からの信号を用いて生成される画像を、第２の視点画像と称することとする。

なお、射出瞳ＥＸＰの位置ずれ等によって上記のような共役関係が完全ではなくなる場合もある。また、射出瞳ＥＸＰに含まれる第１の瞳領域Ｐ１と第２の瞳領域Ｐ２とが部分的に互いに重複（オーバーラップ）する場合もある。このような場合においても、画素Ｇ１からの信号によって生成される画像と、画素Ｇ２からの信号によって生成される画像との間には、視差は生じる。従って、上記のような共役関係は必ずしも完全でなくてもよい。また、射出瞳ＥＸＰに含まれる第１の瞳領域Ｐ１と第２の瞳領域Ｐ２とが部分的に重複していてもよい。

図１は、第１実施形態による画像処理装置を示すブロック図である。撮像光学系１０１は、不図示の被写体からの光学像、即ち、被写体像を、撮像素子１０２の受光部１１４に結像させる。撮像素子１０２には、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等が用いられる。撮像素子１０２は、射出瞳ＥＸＰのうちの互いに異なる瞳領域Ｐ１、Ｐ２を通過する光束を、画素Ｇ１、Ｇ２においてそれぞれ受光する。撮像素子１０２は、被写体像を光電変換し、アナログの画像信号を出力する。Ａ／Ｄコンバータ１０３は、撮像素子１０２から出力されるアナログの画像信号をデジタルの画像信号に変換し、デジタルの画像信号を画像処理部１０４に出力する。

画像処理部１０４は、Ａ／Ｄコンバータ１０３からのデジタルの画像信号に対して画像処理を行う。画像処理部１０４には、例えば、ＤＳＰ（Ｄｉｇｉａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等が用いられる。画像処理部１０４は、後述するように、視点の異なる複数の視点画像、具体的には、第１の視点画像１１７ａ（図７（ａ）参照）と、第２の視点画像１１７ｂ（図７（ｂ）参照）とを取得する。後述するように、第１の視点画像１１７ａは、複数の第１の画素Ｇ１によって得られる第１の画像信号に応じた画像である。また、後述するように、第２の視点画像１１７ｂは、複数の第２の画素Ｇ２によって得られる第２の画像信号に応じた画像である。画像処理部１０４は、後述するように、第１の画像信号と第２の画像信号との合成信号に対応する画像１１７（図６参照）のうちの不要成分が発生している領域である不要成分発生領域ＧＳＴを、複数の視点画像１１７ａ、１１７ｂに基づいて検出する。画像処理部１０４は、後述するように、第１の視点画像１１７ａにおける第１の注目領域ｒａと、第２の視点画像１１７ｂにおける複数の第２の注目領域ｒｂとの間における複数の相関値に基づいて、不要成分発生領域ＧＳＴを検出する（図１１参照）。複数の第２の注目領域ｒｂは、後述するように、第１の注目領域ｒａに対応する領域を含む所定範囲内で第２の注目領域ｒｂを順次ずらすことによって設定される。かかる相関値としては、例えば、差分絶対値和ＳＡＤ（ＳＡＤ：Ｓｕｍｓ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が用いられる。より具体的には、例えば、第１の視点画像１１７ａのうちの第１の注目領域ｒａ内に位置する部分と、第２の視点画像１１７ｂのうちの第２の注目領域ｒｂ内に位置する部分との間の差分絶対値和ＳＡＤが、かかる相関値として用いられる。画像処理部１０４は、後述するように、複数の相関値と閾値ＴＨＲとの比較に基づいて、不要成分発生領域ＧＳＴを検出する。後述するように、閾値ＴＨＲは、第１の注目領域ｒａにおけるコントラストに基づいて設定される。また、後述するように、閾値ＴＨＲは、第１の注目領域ｒａにおける画素値の平均値に基づいて設定される。また、後述するように、閾値ＴＨＲは、撮像時のＩＳＯ感度に基づいて設定される。このように、画像処理部１０４は、不要成分発生領域ＧＳＴを検出する検出手段として機能する。また、画像処理部１０４は、不要成分を低減する処理を行う低減手段としても機能する。画像処理部１０４は、後述するように、不要成分発生領域ＧＳＴに対して選択的に不要成分を低減する処理を行う。画像処理部１０４は、後述するように、不要成分発生領域ＧＳＴと、不要成分が発生していない領域である不要成分非発生領域との境界において、不要成分の低減度合いが緩やかに変化するように、不要成分を低減する。また、画像処理部１０４は、不要成分が低減された画像に対してガンマ補正やカラーバランス調整等の一般的な画像処理を行い、所定のファイル形式で画像ファイルを生成する。なお、画像処理部１０４は、視差に応じた像ずれの補正が行われていない第１の視点画像１１７ａと第２の視点画像１１７ｂとに基づいて、不要成分発生領域ＧＳＴを検出する。所定のファイル形式としては、例えば、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等が挙げられる。

画像処理部１０４によって生成される画像ファイル（画像データ）は、記録媒体１０９に保存される。記録媒体１０９としては、例えば、半導体メモリや光ディスク等が挙げられる。記録媒体１０９は、画像処理装置１００から着脱可能であってもよいし、着脱不能であってもよい。また、画像処理部１０４から出力される画像を表示部１０５によって表示することもできる。記憶部（メモリ）１０８は、画像処理部１０４によって行われる画像処理に必要な画像処理プログラムや各種情報等を記憶する。記憶部１０８は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）とを含む。

システムコントローラ（制御部）１１０は、撮像素子１０２を制御するとともに、画像処理部１０４を制御する。システムコントローラ１１０には、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が用いられる。また、システムコントローラ１１０は、撮像光学系制御部１０６を介して、撮像光学系１０１に備えられている絞り１０１ａやフォーカスレンズ１０１ｂを制御する。撮像光学系制御部１０６は、システムコントローラ１１０から指示される絞り値（Ｆナンバー）に基づいて、絞り１０１ａの開口径を制御する。また、撮像光学系制御部１０６は、システムコントローラ１１０からの指示に基づいて、被写体に合焦するようにフォーカスレンズ１０１ｂを調整する（オートフォーカス）。なお、ユーザがフォーカスレンズ１０１ｂを手動で操作することによって、被写体に合焦させることも可能である（マニュアルフォーカス）。状態検知部１０７は、システムコントローラ１１０からの指示に応じて、現在の撮影条件等の情報を取得する。なお、撮像光学系１０１は、画像処理装置１００の本体（ボディ）から、着脱不能であってもよいし、着脱可能であってもよい。

図４は、撮像光学系１０１の構成及び不要光を示す図である。図４（ａ）は、不要光が撮像素子１０２に入射していない状態を示しており、図４（ｂ）は、不要光が撮像素子１０２に入射している状態を示している。図４（ｂ）に示すように、高輝度の物体である太陽ＳＵＮからの強い光が撮像光学系１０１を構成するレンズに入射し、当該レンズの界面で反射した光、即ち、不要光１２１が、撮像素子１０２の受光部１１４に達する。不要光１２１は、ゴーストやフレア等の不要成分を画像内に生じさせる。なお、ここでは、図４（ｂ）に示すように、絞り１０１ａの開口１１６のうちの第１の部分１１６ａを不要光１２１が通過する一方、絞り１０１ａの開口１１６のうちの第２の部分１１６ｂを不要光１２１が通過しない場合を例に説明する。

図５は、絞り１０１ａの開口１１６を概念的に示す図である。絞り１０１ａの開口１１６のうちの第１の部分１１６ａは、射出瞳ＥＸＰのうちの第１の瞳領域Ｐ１に対応している。一方、絞り１０１ａの開口１１６のうちの第２の部分１１６ｂは、射出瞳ＥＸＰのうちの第２の瞳領域Ｐ２に対応している。なお、絞り１０１ａの開口１１６と撮像光学系１０１の射出瞳ＥＸＰとは、厳密には異なるものである。上述したように、不要光１２１は、絞り１０１ａの開口１１６のうちの第１の部分１１６ａを通過する。第１の部分１１６ａは、上述したように、第１の瞳領域Ｐ１に対応している。また、上述したように、第１の画素Ｇ１は、第１の瞳領域Ｐ１を通過する光束を受光する。従って、不要光１２１は、第１の画素Ｇ１に到達することとなる。一方、上述したように、不要光１２１は、絞り１０１ａの開口１１６のうちの第２の部分１１６ｂを通過しない。第２の部分１１６ｂは、上述したように、第２の瞳領域Ｐ２に対応している。また、上述したように、第２の画素Ｇ２は、第２の瞳領域Ｐ２を通過する光束を受光する。従って、不要光１２１は、第２の画素Ｇ２には到達しない。このように、図４に示す例においては、不要光１２１は、第１の画素Ｇ１には到達する一方、第２の画素Ｇ２には到達しない。

図６は、撮影によって取得される画像の例を示す図である。図６に示す画像は、例えば、第１の画素Ｇ１によって取得される画像信号と第２の画素Ｇ２によって取得される画像信号とが合成された合成信号によって生成される。図６に示すように、画像１１７には、被写体１１８，１１９、即ち、花が、中央手前と左奥とにそれぞれ配置されている。また、画像１１７には、不要成分発生領域ＧＳＴ、即ち、ゴースト等が発生している領域が存在している。不要成分発生領域ＧＳＴにおいては、被写体に不要成分が重なった状態となっているため、不要成分発生領域ＧＳＴにおける画素値（輝度）は、被写体の本来の画素値よりも高くなっている。

図７は、視点画像の例を示す図である。図７（ａ）は、第１の視点画像を示しており、図７（ｂ）は、第２の視点画像を示している。図７（ａ）に示す第１の視点画像１１７ａは、第１の瞳領域Ｐ１を通過する光束を複数の第１の画素Ｇ１から成る第１の画素群によって光電変換することにより得られる画像である。上述したように、第１の画素Ｇ１には、不要光１２１が達する。従って、図７（ａ）に示す第１の視点画像１１７ａには、不要成分発生領域ＧＳＴ、即ち、ゴースト等が発生している領域が含まれる。一方、図７（ｂ）に示す第２の視点画像１１７ｂは、第２の瞳領域Ｐ２を通過する光束を複数の第２の画素Ｇ２から成る第２の画素群によって光電変換することにより得られる画像である。上述したように、第２の画素Ｇ２には、不要光１２１が達しない。従って、図７（ｂ）に示す第２の視点画像１１７ｂには、不要成分発生領域ＧＳＴが含まれない。なお、第１の画素Ｇ１と第２の画素Ｇ２とは、水平方向に隣接するように配置されているため、図７（ａ）に示す第１の視点画像１１７ａと図７（ｂ）に示す第２の視点画像１１７ｂとの間には左右方向の視差が生じている。また、ここでは、不要成分発生領域ＧＳＴの数が１つである場合を例に示しているが、画像中の複数の箇所に不要成分発生領域ＧＳＴが存在していてもよい。また、画像中において、不要成分発生領域ＧＳＴが互いに重なり合っていてもよい。不要成分が互いに重なり合っている箇所においては、不要成分が互いに重なり合っていない箇所よりも画素値（輝度）が高くなる。図７（ａ）に示す第１の視点画像１１７ａと図７（ｂ）に示す第２の視点画像１１７ｂとの間には、不要成分に応じた差異と、視線方向の角度差（視差量）に応じた差異、即ち、視差に応じた差異とが存在している。

図８は、本実施形態による画像処理装置の動作を示すフローチャートである。
ステップＳ２０１では、画像処理部１０４は、互いに視差を有する（視点の異なる）複数の視点画像、即ち、第１の視点画像１１７ａと第２の視点画像１１７ｂとを取得する。画像処理部１０４は、第１の視点画像１１７ａと第２の視点画像１１７ｂとの各々に対して、一般的な現像処理や各種の補正処理等を行う。ステップＳ２０１の後には、ステップＳ２０２とステップＳ２０３とが並列的に行われる。

ステップＳ２０２では、画像処理部１０４は、第１の視点画像１１７ａと第２の視点画像１１７ｂとの間の差分値を算出する。より具体的には、画像処理部１０４は、第１の視点画像１１７ａと第２の視点画像１１７ｂとの間の差分の絶対値を座標毎に算出する。第１の視点画像１１７ａの各座標の画素値をＡ（ｘ，ｙ）、第２の視点画像１１７ｂの各座標の画素値をＢ（ｘ，ｙ）、各座標における差分値をＤＩＦＦ（ｘ，ｙ）とすると、以下の式（１）のような関係が成立する。
ＤＩＦＦ（ｘ，ｙ）＝｜Ａ（ｘ，ｙ）−Ｂ（ｘ，ｙ）｜ ・・・（１）

図９は、差分値マップを示す図である。図９に示す差分値マップ１１７ｃは、図７（ａ）に示す第１の視点画像１１７ａと図７（ｂ）に示す第２の視点画像１１７ｂとの間の各座標における差分値ＤＩＦＦ（ｘ，ｙ）を２次元的にマッピングしたものである。差分値マップ１１７ｃには、不要成分に応じた差分と、視差に応じた差分とが現れる。図６に示す画像１１７に含まれる２つの被写体１１８，１１９のうちの手前の被写体１１８にはピントが合っているため、当該被写体１１８に対応する部分においては、視差に応じた差異が顕著に現れない。一方、図６に示す画像１１７に含まれる２つの被写体１１８，１１９のうちの左奥に位置している被写体１１９にはピントが合っていないため、当該被写体１１９に対応する部分においては、視差に応じた差異が顕著に現れる。

ステップＳ２０３では、画像処理部１０４は、第１の視点画像１１７ａと第２の視点画像１１７ｂとに基づいて、不要成分の低減強度を示す低減強度値を生成する。図１０は、本実施形態による画像処理装置の動作を示すフローチャートである。図１０は、本実施形態による画像処理装置によって行われる低減強度値の生成処理を示している。低減強度値の生成処理は、画像に含まれる複数の画素の各々に対して順次行われる。ステップＳ３０１では、画像処理部１０４は、全ての画素に対しての低減強度値の生成処理が完了したか否かを判定する。全ての画素に対しての低減強度値の生成処理が完了していない場合には（ステップＳ３０１においてＮＯ）、ステップＳ３０２に移行する。一方、全ての画素についての低減強度値の生成処理が完了した場合には（ステップＳ３０１においてＹＥＳ）、ステップＳ３０６に移行する。

図１１は、注目画素と注目領域とを示す図である。図１１（ａ）は、第１の視点画像１１７ａの一部を拡大して示したものであり、図１１（ａ）における１つのマス目は１つの画素に対応している。第１の注目画素ｐａは、第１の視点画像１１７ａに含まれる複数の画素のうち、現在、低減強度値の生成処理の対象となっている画素である。第１の注目画素ｐａを中心として、第１の視点画像１１７ａに第１の注目領域ｒａが設定される。ここでは、第１の注目領域ｒａのサイズを９画素×９画素としているが、第１の注目領域ｒａのサイズは、これに限定されるものではなく、適宜設定し得る。図１１（ｂ）は、第２の視点画像１１７ｂの一部を拡大して示したものであり、図１１（ｂ）における１つのマス目は１つの画素に対応している。図１１（ｂ）に示す第２の注目画素ｐｂの座標は、図１１（ａ）に示す第１の注目画素ｐａの座標に対応している。また、図１１（ｂ）に示す第２の注目領域ｒｂの位置は、図１１（ａ）に示す第１の注目領域ｒａの位置に対応している。第２の注目領域ｒｂのサイズは、第１の注目領域ｒａのサイズと同等に設定される。

ステップＳ３０２においては、画像処理部１０４は、第２の注目領域ｒｂをずらしながら、第１の視点画像１１７ａのうちの第１の注目領域ｒａ内の部分と、第２の視点画像１１７ｂのうちの第２の注目領域ｒｂ内の部分との間の差分絶対値和ＳＡＤを取得する。より具体的には、第１の注目領域ｒａ内に位置する複数の画素の各々の画素値と、第２の注目領域ｒｂ内に位置する複数の画素の各々の画素値との差分絶対値和ＳＡＤが取得される。第２の注目領域ｒｂをずらす方向は、第１の視点画像１１７ａと第２の視点画像１１７ｂとの間で視差が生じている方向、即ち、ここでは、左右方向とする。図１１（ｂ）に示す矢印は、第２の注目領域ｒｂをずらす方向を示している。

図１２は、差分絶対値和ＳＡＤの算出結果の例を示す図である。図１２（ａ）は、画像中における第１の座標ｐｏｓ１と第２の座標ｐｏｓ２とを示す図である。図１２（ｂ）は、第１の注目画素ｐａが第１の座標ｐｏｓ１に位置している際の差分絶対値和ＳＡＤの算出結果の例を示している。図１２（ｃ）は、第１の注目画素ｐａが第２の座標ｐｏｓ２に位置している際の差分絶対値和ＳＡＤの算出結果の例を示している。図１２（ｂ）及び図１２（ｃ）における横軸は、第２の注目領域ｒｂのずらし量を示している。第１の注目画素ｐａの座標と第２の注目画素ｐｂの座標とが同一である際には、図１２（ｂ）及び図１２（ｃ）の横軸に示すずらし量は０となる。

図１２（ａ）に示すように、第１の座標ｐｏｓ１は、不要成分発生領域ＧＳＴ内に位置している。従って、第１の注目画素ｐａが第１の座標ｐｏｓ１に位置している際には、第１の注目画素ｐａは不要成分発生領域ＧＳＴ内に位置する。なお、ここでは、第１の座標ｐｏｓ１の近傍において、被写体が平坦となっている場合を例に説明する。第１の視点画像１１７ａのうちの第１の注目領域ｒａ内の部分と第２の視点画像１１７ｂのうちの第２の注目領域ｒｂ内の部分との間に生じている差異は、主として、不要成分に起因するものであり、視差に起因するものではない。従って、第１の注目画素ｐａが第１の座標ｐｏｓ１に位置している場合には、図１２（ｂ）に示すように、第２の注目領域ｒｂを所定範囲内でずらした際においても、差分絶対値和ＳＡＤは殆ど変化しない。また、第２の注目領域ｒｂを所定範囲内でずらした際においても、差分絶対値和ＳＡＤは、図１２（ｂ）に示すように、閾値ＴＨＲを下回らない。一方、第１の注目画素ｐａが第２の座標ｐｏｓ２に位置している際には、視差に起因する差異が、第１の視点画像１１７ａと第２の視点画像１１７ｂとの間に顕著に生ずる。従って、第２の注目領域ｒｂをずらしていくと、差分絶対値和ＳＡＤが大きく変動し、閾値ＴＨＲを下回る。このように、不要成分発生領域ＧＳＴに第１の注目画素ｐａが位置している場合、即ち、不要成分発生領域ＧＳＴに第１の注目領域ｒａが位置している場合には、以下のようになる。即ち、第１の注目領域ｒａ内の画素値と第２の注目領域ｒｂ内の画素値との相関が低いため、差分絶対値和ＳＡＤは閾値ＴＨＲよりも高い状態となる。しかも、第２の注目領域ｒｂを所定範囲内でずらしても、差分絶対値和ＳＡＤは閾値ＴＨＲを下回らない。従って、第２の注目領域ｒｂを所定範囲内でずらした場合であっても差分絶対値和ＳＡＤが閾値ＴＨＲを下回らない場合には、第１の注目画素ｐａが不要成分発生領域ＧＳＴ内に位置していると判定することができる。

ステップＳ３０３では、画像処理部１０４は、第２の注目領域ｒｂを所定範囲内でずらした際における差分絶対値和ＳＡＤの最小値が、閾値ＴＨＲ未満か否かを判定する。第２の注目領域ｒｂを所定範囲内でずらした際における差分絶対値和ＳＡＤの最小値が閾値ＴＨＲ未満である場合には（ステップＳ３０３においてＹＥＳ）、第１の注目画素ｐａが不要成分発生領域ＧＳＴ内に位置していないと考えられる。このような場合には、不要成分の低減処理を行う必要がないと考えられるため、当該第１の注目画素ｐａに対しての低減強度を例えば０とする。この場合には、当該第１の注目画素ｐａの座標における低減強度値ＤＥＣ（ｘ，ｙ）は、以下のように表される。
ＤＥＣ（ｘ，ｙ）＝０ ・・・（２）

ステップＳ３０４では、画像処理部１０４は、当該第１の注目画素ｐａについての低減強度値である０を低減強度値マップに記録する。低減強度値マップは、各々の第１の注目画素ｐａに対しての低減強度値ＤＥＣ（ｘ，ｙ）を２次元的にマッピングしたものである。第２の注目領域ｒｂを所定範囲内でずらした際における差分絶対値和ＳＡＤの最小値が閾値ＴＨＲ以上である場合には（ステップＳ３０３においてＮＯ）、不要成分発生領域ＧＳＴに第１の注目画素ｐａが位置していると考えられる。この場合には、不要成分の低減処理を行う必要があると考えられるため、当該第１の注目画素ｐａに対しての低減強度を例えば２５５とする。この場合には、当該第１の注目画素ｐａの座標における低減強度値ＤＥＣ（ｘ、ｙ）は、以下のように表される。
ＤＥＣ（ｘ，ｙ）＝２５５ ・・・（３）
ステップＳ３０５では、画像処理部１０４は、当該第１の注目画素ｐａについての低減強度である２５５を低減強度値マップに記録する。

低減強度値マップにおいて低減強度値が０となっている部分は、不要成分が発生していない領域に対応する。低減強度値マップにおいて低減強度が２５５となっている部分は、不要成分発生領域ＧＳＴに対応する。かかる低減強度値マップは、例えば記憶部１０８に記憶される。なお、ここでは、低減強度値を０又は２５５とする場合を例に説明したが、低減強度値はこれに限定されるものではなく、適宜設定し得る。

閾値ＴＨＲは、例えば、以下のような式（４）に基づいて設定される。
ＴＨＲ＝Ｋ×ＣＮＴ×ＡＶＲ＋ＯＦＳ ・・・（４）
ここで、Ｋは、調整係数である。ＣＮＴは、第１の注目領域ｒａにおけるコントラスト、例えば、第１の注目領域ｒａ内に位置する画素の画素値の最大値と最小値との差である。ＡＶＲは、第１の注目領域ｒａ内に位置する画素の画素値の平均値である。ＯＦＳは、オフセット値であり、例えば、画像を取得した際のＩＳＯ感度に応じて設定される。

注目領域ｒａ、ｒｂ内に急峻なエッジ等が存在し、注目領域ｒａ、ｒｂ内において画素値が大きく変動する場合には、当該注目領域ｒａ、ｒｂに不要成分が発生していないにもかかわらず、差分絶対値和ＳＡＤの最小値が大きくなる傾向がある。また、注目領域ｒａ、ｒｂ内における画像のコントラストが高いほど、注目領域ｒａの画素値と注目領域ｒｂの画素値との差分は大きくなるため、差分絶対値和ＳＡＤは大きくなる傾向がある。また、マイクロレンズＭＬに対しての光の入射角度に起因して、第１の画素Ｇ１によって得られる信号と第２の画素Ｇ２によって得られる信号との間に差異が生じる場合には、光の強度が高くなるほど、当該差異は大きくなり、差分絶対値和ＳＡＤは大きくなる。従って、コントラストＣＮＴや平均値ＡＶＲに基づいて閾値ＴＨＲを設定することにより、不要成分発生領域ＧＳＴの誤検出の防止に寄与することが可能となる。画像を取得した際のＩＳＯ感度が高い場合には、ノイズの影響によって、第１の注目領域ｒａと第２の注目領域ｒｂとの間における差分絶対値和ＳＡＤが高くなる。このため、オフセットＯＦＳは、画像を取得した際のＩＳＯ感度に基づいて適宜設定される。なお、調整係数Ｋは、例えば、シミュレーションや実験の結果等に基づいて定められる。このように、本実施形態では、差分絶対値和ＳＡＤの最小値を閾値ＴＨＲと比較することによって、不要成分発生領域ＧＳＴを検出することができる。

なお、ここでは、不要成分に起因する差異が複数の視点画像１１７ａ、１１７ｂ間において生じる領域と、視差に起因する差異が複数の視点画像１１７ａ、１１７ｂ間において生じる領域とが、別個である場合を例に説明した。しかし、不要成分に起因する差異と、視差に起因する差異との両方が、同じ箇所で生じていてもよい。不要成分に起因する差異と、視差に起因する差異とが、同じ箇所で生じていても、上記と同様にして、不要成分発生領域ＧＳＴを検出することが可能である。不要成分に起因する差異と、視差に起因する差異との両方が、同じ箇所で生じている場合には、図１２（ｂ）に示す差分絶対値和ＳＡＤと図１２（ｃ）に示す差分絶対値和ＳＡＤとが加算されたような差分絶対値和ＳＡＤが得られる。図１２（ｄ）は、不要成分に起因する差異と視差に起因する差異との両方が同じ箇所で生じている際の差分絶対値和ＳＡＤの算出結果の例を示している。図１２（ｄ）に示すように、差分絶対値和ＳＡＤは第２の注目領域ｒｂのずらし量に応じて変動するが、差分絶対値和ＳＡＤの最小値は閾値ＴＨＲを下回らない。従って、差分絶対値和ＳＡＤの最小値と閾値ＴＨＲとを比較することによって、不要成分発生領域ＧＳＴを検出することが可能である。即ち、上述したように、第２の注目領域ｒｂを所定範囲内でずらした場合であっても差分絶対値和ＳＡＤが閾値ＴＨＲを下回らない場合には、第１の注目画素ｐａが不要成分発生領域ＧＳＴ内に位置していると判定することができる。

図１３は、低減強度値マップ１２２を示す図である。不要成分発生領域ＧＳＴ、即ち、低減強度値ＤＥＣ（ｘ，ｙ）が２５５の部分は、図１３において白く表されている。不要成分が発生していない領域、即ち、低減強度値ＤＥＣ（ｘ，ｙ）が０の部分は、図１３において黒く表されている。

ステップＳ３０６では、画像処理部１０４は、低減強度値ＤＥＣ（ｘ，ｙ）の平滑化を行う。画像処理部１０４は、低減強度値マップ１２２に一般的な平滑化フィルタ等を適用し、不要成分発生領域ＧＳＴと不要成分が発生していない領域との境界において低減強度値が緩やかに変化するようにする。こうして、平滑化された低減強度値ＤＥＣ’（ｘ，ｙ）が得られる。

ステップＳ２０４では、画像処理部１０４は、撮像によって取得された画像１１７に対して、不要成分の低減処理を行う。撮像によって取得された画像Ｇ（ｘ，ｙ）は、第１の画素Ｇ１によって取得される第１の画像信号と第２の画素Ｇ２によって取得される第２の画像信号との合成信号によって生成される画像である。不要成分の低減処理を行う際には、ステップＳ３０６において得られた低減強度値、即ち、平滑化された低減強度値ＤＥＣ’（ｘ，ｙ）が用いられる。不要成分の低減処理は、例えば、以下のような式（５）によって表される。ここで、Ｇ（ｘ，ｙ）は、撮像によって取得された画像を示しており、Ｇ’（ｘ，ｙ）は、不要成分の低減処理が施された画像を示している。
Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−ＤＩＦＦ（ｘ，ｙ）×ＤＥＣ’（ｘ，ｙ）／２５５ ・・・（５）

不要成分の低減処理は、撮像によって取得された画像のうちの不要成分発生領域ＧＳＴに対して選択的に行われる。平滑化された低減強度値ＤＥＣ’（ｘ、ｙ）を用いて行われるため、より正確には、不要成分の低減処理は、不要成分発生領域ＧＳＴと当該不要成分発生領域ＧＳＴの近傍に対して行われることとなる。

図１４は、不要成分が低減された画像の例を示す図である。図１４に示すように、不要成分が低減された画像１１７ｄにおいては、不要成分、即ち、ゴースト等が十分に低減されている。本実施形態では、不要成分発生領域ＧＳＴと不要成分が発生していない領域との境界において緩やかに変化する低減強度値、即ち、平滑化された低減強度値を用いて不要成分を低減する。このため、本実施形態によれば、不要成分の低減処理が行われた領域と不要成分の低減処理が行われていない領域との境界において、画像に不自然さが生じるのを防止することができる。

このように、本実施形態では、第１の視点画像１１７ａにおける第１の注目領域ｒａと、第２の視点画像１１７ｂにおける複数の第２の注目領域ｒｂとの間における複数の相関値に基づいて、不要成分発生領域ＧＳＴを検出する。本実施形態によれば、大きな処理負荷を生ずることなく、ゴーストやフレア等の不要成分を良好に低減することができる。しかも、本実施形態によれば、不要成分発生領域ＧＳＴと、不要成分が発生していない領域である不要成分非発生領域との境界において、不要成分の低減度合いが緩やかに変化するように、不要成分を低減する。このため、本実施形態によれば、不要成分が除去された画像に不自然さが生じるのを防止することができる。

［第２実施形態］
第２実施形態による画像処理装置及び画像処理方法について図１５乃至図２０を用いて説明する。図１乃至図１４に示す第１実施形態による画像処理装置及び画像処理方法と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

図１５は、撮影によって取得される画像の例を示す図である。図１５に示す画像は、例えば、第１の画素Ｇ１によって取得される画像信号と第２の画素Ｇ２によって取得される画像信号とが合成された合成信号によって生成される。図１５に示すように、画像１２０には、被写体１２４，１２５、即ち、花が、中央手前と右奥とにそれぞれ配置されている。また、画像１２０には、不要成分発生領域ＧＳＴが存在している。不要成分発生領域ＧＳＴは、被写体１２５に重なった状態となっている。図１５に示す画像１２０に含まれる２つの被写体１２４，１２５のうちの手前の被写体１２４にはピントが合っているため、当該被写体１２４に対応する部分においては、視差に応じた差異が複数の視点画像間に顕著に現れない。一方、図１５に示す画像１２０に含まれる２つの被写体１２４，１２５のうちの右奥に位置している被写体１２５にはピントが合っていないため、当該被写体１２５に対応する部分においては、視差に応じた差異が複数の視点画像間に顕著に現れる。図１５では、視差に応じた差異が視点画像間に顕著に表れる箇所に不要成分発生領域ＧＳＴが位置している。このような場合、上述した第１実施形態による画像処理方法によって画像処理を単に行った場合には、当該箇所において画像の劣化が生じる場合がある。本実施形態による画像処理装置は、かかる画像の劣化を抑制し得るものである。

図１６は、視点画像の例を示す図である。図１６（ａ）は、第１の視点画像を示しており、図１６（ｂ）は、第２の視点画像を示している。図１６（ａ）に示す第１の視点画像１２０ａは、第１の瞳領域Ｐ１を通過する光束を複数の第１の画素Ｇ１から成る第１の画素群によって光電変換することにより得られる視点画像である。上述したように、第１の画素Ｇ１には、不要光１２１が達する。従って、図１６（ａ）に示す第１の視点画像１２０ａには、不要成分発生領域ＧＳＴが含まれる。一方、図１６（ｂ）に示す第２の視点画像１２０ｂは、第２の瞳領域Ｐ２を通過する光束を複数の第２の画素Ｇ２から成る第２の画素群によって光電変換することにより得られる画像である。上述したように、第２の画素Ｇ２には、不要光１２１が達しない。従って、図１６（ｂ）に示す第２の視点画像１２０ｂには、不要成分発生領域ＧＳＴが含まれない。なお、第１の画素Ｇ１と第２の画素Ｇ２とは、水平方向に隣接するように配置されているため、図１６（ａ）に示す第１の視点画像１２０ａと図１６（ｂ）に示す第２の視点画像１２０ｂとの間には左右方向の視差が生じている。また、ここでは、不要成分発生領域ＧＳＴの数が１つである場合を例に示しているが、画像中の複数の箇所に不要成分発生領域ＧＳＴが存在していてもよい。また、画像中において、不要成分発生領域ＧＳＴが互いに重なり合っていてもよい。第１の視点画像１２０ａと第２の視点画像１２０ｂとの間には、不要成分に応じた差異と、視差に応じた差異とが存在している。

図１７は、本実施形態による画像処理装置の動作を示すフローチャートである。
ステップＳ４０１においては、画像処理部１０４は、互いに視差を有する複数の視点画像、即ち、第１の視点画像１２０ａと第２の視点画像１２０ｂとを取得する。画像処理部１０４は、第１の視点画像１２０ａと第２の視点画像１２０ｂの各々に対して、一般的な現像処理や各種の補正処理等を行う。

ステップＳ４０２では、画像処理部１０４は、不要成分量を算出するとともに低減強度値を生成する。図１９は、本実施形態による画像処理装置の動作を示すフローチャートである。図１９は、不要成分量の算出と低減強度値の生成とを行う処理を示している。図１９に示すステップＳ５０１からステップＳ５０５は、図１０を用いて上述したステップＳ３０１からステップＳ３０５と同じであるため、説明を省略する。

ステップＳ５０６では、画像処理部１０４は、不要成分量マップを生成する。不要成分量マップは、各々の第１の注目画素ｐａに対しての不要成分量ＧＨＯＳＴ（ｘ，ｙ）を２次元的にマッピングしたものである。第１の視点画像１２０ａの各座標の画素値をＡ（ｘ，ｙ）とし、第２の視点画像１２０ｂの各画素の画素値をＢ（ｘ，ｙ）とし、差分絶対値和ＳＡＤが最小、即ち、相関値が最大となる際における第２の注目領域ｒｂのずらし量をｄとする。各画素における不要成分量ＧＨＯＳＴ（ｘ，ｙ）は、以下のような式で表される。

即ち、Ａ（ｘ，ｙ）≧Ｂ（ｘ＋ｄ，ｙ＋ｄ）の場合には、
ＧＨＯＳＴ（ｘ，ｙ）＝Ａ（ｘ，ｙ）−Ｂ（ｘ＋ｄ，ｙ＋ｄ） ・・・（６）
Ａ（ｘ，ｙ）＜Ｂ（ｘ＋ｄ，ｙ＋ｄ）の場合には、
ＧＨＯＳＴ（ｘ＋ｄ，ｙ＋ｄ）＝Ｂ（ｘ＋ｄ，ｙ＋ｄ）−Ａ（ｘ，ｙ） ・・・（７）

図１８は、不要成分量マップ１２３を示す図である。不要成分が発生していない領域、即ち、不要成分量ＧＨＯＳＴ（ｘ，ｙ）が０の部分は、図１８において黒く表されている。不要成分発生領域ＧＳＴ内においては、各座標の不要成分量ＧＨＯＳＴ（ｘ，ｙ）は不要成分の量に応じた値となる。こうして得られる不要成分量マップ１２３は、例えば記憶部１０８に記憶される。

なお、差分絶対値和ＳＡＤが最小となる際における第２の注目領域ｒｂのずらし量ｄは、単位画素１１５のサイズの整数倍に限定されるものではない。図１２（ｄ）に示すようなずらし量ｄの変化に対する差分絶対値和ＳＡＤの変化に基づいて、差分絶対値和ＳＡＤが最小となるような第２の注目領域ｒｂのずらし量を、単位画素１１５のサイズよりも細かい精度で推測してもよい。また、図１２（ｂ）に示すように、第２の注目領域ｒｂを所定範囲内でずらした際に差分絶対値和ＳＡＤが殆ど変化しない場合には、当該箇所においては、視差に応じた差異が複数の視点画像１２０ａ、１２０ｂ間において大きく生じていないと考えられる。従って、このような場合には、差分絶対値和ＳＡＤが最小となる際における第２の注目領域ｒｂのずらし量ｄを０として扱ってもよい。

ステップＳ５０７では、画像処理部１０４は、図１０を用いて上述したステップＳ３０６と同様にして、低減強度値ＤＥＣ（ｘ，ｙ）の平滑化を行う。即ち、画像処理部１０４は、低減強度値マップに一般的な平滑化フィルタ等を適用し、不要成分発生領域ＧＳＴと不要成分が発生していない領域との境界において低減強度値が緩やかに変化するようにする。こうして、平滑化された低減強度値ＤＥＣ’（ｘ，ｙ）が得られる。

ステップＳ４０３では、画像処理部１０４は、撮像によって取得された画像Ｇ（ｘ，ｙ）に対して、不要成分の低減処理を行う。撮像によって取得された画像Ｇ（ｘ，ｙ）は、第１の画素Ｇ１によって取得される第１の画像信号と第２の画素Ｇ２によって取得される第２の画像信号との合成信号によって生成される画像である。不要成分の低減処理を行う際には、ステップＳ５０７において得られた低減強度値、即ち、平滑化された低減強度値ＤＥＣ’（ｘ，ｙ）が用いられる。不要成分の低減処理は、例えば、以下のような式（８）によって表される。ここで、Ｇ（ｘ，ｙ）は、撮像によって取得された画像を示しており、Ｇ’（ｘ，ｙ）は、不要成分の低減処理が施された画像を示している。
Ｇ’（ｘ，ｙ）＝Ｇ（ｘ，ｙ）−ＧＨＯＳＴ（ｘ，ｙ）×ＤＥＣ’（ｘ，ｙ）／２５５ ・・・（８）

このように、画像処理部１０４は、相関値が最大となる際における第１の視点画像１２０ａと第２の視点画像１２０ｂとの差分に基づいて、不要成分を低減する。不要成分の低減処理は、撮像によって取得された画像のうちの不要成分発生領域ＧＳＴに対して選択的に行われる。平滑化された低減強度値ＤＥＣ’（ｘ、ｙ）を用いて行われるため、より正確には、不要成分の低減処理は、不要成分発生領域ＧＳＴと当該不要成分発生領域ＧＳＴの近傍に対して行われることとなる。

図２０は、不要成分が低減された画像の例を示す図である。図２０に示すように、不要成分が低減された画像１２０ｃにおいては、不要成分、即ち、ゴースト等が十分に低減されている。
このように、本実施形態では、第１の注目領域ｒａと第２の注目領域ｒｂとの相関値が最大となる際における第１の視点画像１２０ａと第２の視点画像１２０ｂとの差分ＧＨＯＳＴ（ｘ，ｙ）に基づいて、不要成分を低減する。このため、本実施形態によれば、視差に応じた差異が顕著に生ずる箇所と、不要成分発生領域ＧＴＳとが重なりあっている場合であっても、不要成分が低減された良好な画像を得ることができる。

［変形実施形態］
以上、好適な実施形態に基づいて本発明について詳述したが、本発明はこれらの実施形態に限定されるものではなく、要旨を逸脱しない範囲での様々な形態も本発明に含まれる。また、上述の実施形態の一部を適宜組み合わせてもよい。
例えば、上記実施形態では、画像処理装置１００が撮像装置である場合を例に説明したが、画像処理装置１００は撮像装置に限定されるものではない。例えば、画像処理装置１００は、パーソナルコンピュータ（ＰＣ：Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）であってもよいし、携帯情報端末の機能と携帯電話機の機能とを併せ持つ電子機器であるスマートフォンであってもよい。また、画像処理装置１００は、例えば、タブレット端末、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、画像ビューワ、デジタルフォトフレーム、電子ブックリーダ等であってもよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００・・・画像処理装置
１０４・・・画像処理部
１１７ａ・・・第１の視点画像
１１７ｂ・・・第２の視点画像
１２１・・・不要光
ＧＳＴ・・・不要成分発生領域
ｐａ・・・第１の注目画素
ｐｂ・・・第２の注目画素
ｒａ・・・第１の注目領域
ｒｂ・・・第２の注目領域

Claims (21)

1. 視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出する検出手段であって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像における複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出する検出手段と、
   前記不要成分を低減する処理を行う低減手段と
   を有し、
   前記低減手段は、前記不要成分発生領域と、前記不要成分が発生していない領域である不要成分非発生領域との境界において、前記不要成分の低減度合いが緩やかに変化するように、前記不要成分を低減することを特徴とする画像処理装置。
2. 視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出する検出手段であって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像における複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出する検出手段と、
   前記不要成分を低減する処理を行う低減手段と
   を有し、
   前記検出手段は、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出し、
   前記閾値は、前記第１の注目領域におけるコントラストに基づいて設定されることを特徴とする画像処理装置。
3. 視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出する検出手段であって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像における複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出する検出手段と、
   前記不要成分を低減する処理を行う低減手段と
   を有し、
   前記検出手段は、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出し、
   前記閾値は、前記第１の注目領域における画素値の平均値に基づいて設定されることを特徴とする画像処理装置。
4. 視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出する検出手段であって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像における複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出する検出手段と、
   前記不要成分を低減する処理を行う低減手段と
   を有し、
   前記検出手段は、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出し、
   前記閾値は、撮像時のＩＳＯ感度に基づいて設定されることを特徴とする画像処理装置。
5. 前記検出手段は、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出することを特徴とする請求項１に記載の画像処理装置。
6. 前記閾値は、前記第１の注目領域におけるコントラストに基づいて設定されることを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
7. 前記閾値は、前記第１の注目領域における画素値の平均値に基づいて設定されることを特徴とする請求項４乃至６のいずれか１項に記載の画像処理装置。
8. 前記閾値は、撮像時のＩＳＯ感度に基づいて設定されることを特徴とする請求項５乃至７のいずれか１項に記載の画像処理装置。
9. 前記検出手段は、視差に応じた像ずれの補正が行われていない前記第１の視点画像と前記第２の視点画像とに基づいて、前記不要成分発生領域を検出することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記複数の第２の注目領域は、前記第１の注目領域に対応する領域を含む所定範囲内で前記第２の注目領域を順次ずらすことによって設定されることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記相関値は、前記第１の視点画像のうちの前記第１の注目領域に位置する部分と、前記第２の視点画像のうちの前記第２の注目領域に位置する部分との間の差分絶対値和であることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記低減手段は、前記相関値が最大となる際における前記第１の視点画像と前記第２の視点画像との差分に基づいて、前記不要成分を低減することを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記低減手段は、前記不要成分発生領域に対して選択的に前記不要成分を低減する処理を行うことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出するステップであって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像のうちの前記第１の注目領域に対応する領域の近傍に位置する複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出するステップと、
    前記不要成分を低減する処理を行うステップと
    を有し、
    前記低減する処理を行うステップは、前記不要成分発生領域と、前記不要成分が発生していない領域である不要成分非発生領域との境界において、前記不要成分の低減度合いが緩やかに変化するように、前記不要成分を低減することを特徴とする画像処理方法。
15. 視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出するステップであって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像のうちの前記第１の注目領域に対応する領域の近傍に位置する複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出するステップと、
    前記不要成分を低減する処理を行うステップと
    を有し、
    前記検出するステップは、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出し、
    前記閾値は、前記第１の注目領域におけるコントラストに基づいて設定されることを特徴とする画像処理方法。
16. 視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出するステップであって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像のうちの前記第１の注目領域に対応する領域の近傍に位置する複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出するステップと、
    前記不要成分を低減する処理を行うステップと
    を有し、
    前記検出するステップは、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出し、
    前記閾値は、前記第１の注目領域における画素値の平均値に基づいて設定されることを特徴とする画像処理方法。
17. 視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出するステップであって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像のうちの前記第１の注目領域に対応する領域の近傍に位置する複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出するステップと、
    前記不要成分を低減する処理を行うステップと
    を有し、
    前記検出するステップは、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出し、
    前記閾値は、撮像時のＩＳＯ感度に基づいて設定されることを特徴とする画像処理方法。
18. コンピュータに、
    視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出するステップであって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像のうちの前記第１の注目領域に対応する領域の近傍に位置する複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出するステップと、
    前記不要成分を低減する処理を行うステップと
    を実行させるためのプログラムであって、
    前記低減する処理を行うステップは、前記不要成分発生領域と、前記不要成分が発生していない領域である不要成分非発生領域との境界において、前記不要成分の低減度合いが緩やかに変化するように、前記不要成分を低減することを特徴とするプログラム。
19. コンピュータに、
    視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出するステップであって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像のうちの前記第１の注目領域に対応する領域の近傍に位置する複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出するステップと、
    前記不要成分を低減する処理を行うステップと
    を実行させるためのプログラムであって、
    前記検出するステップは、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出し、
    前記閾値は、前記第１の注目領域におけるコントラストに基づいて設定されることを特徴とするプログラム。
20. コンピュータに、
    視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出するステップであって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像のうちの前記第１の注目領域に対応する領域の近傍に位置する複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出するステップと、
    前記不要成分を低減する処理を行うステップと
    を実行させるためのプログラムであって、
    前記検出するステップは、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出し、
    前記閾値は、前記第１の注目領域における画素値の平均値に基づいて設定されることを特徴とするプログラム。
21. コンピュータに、
    視点の異なる第１の視点画像と第２の視点画像とが合成された画像のうちの不要成分が発生している領域である不要成分発生領域を、前記第１の視点画像と前記第２の視点画像とに基づいて検出するステップであって、前記第１の視点画像における第１の注目領域と、前記第２の視点画像のうちの前記第１の注目領域に対応する領域の近傍に位置する複数の第２の注目領域との間における複数の相関値に基づいて、前記不要成分発生領域を検出するステップと、
    前記不要成分を低減する処理を行うステップと
    を実行させるためのプログラムであって、
    前記検出するステップは、前記複数の相関値と閾値との比較に基づいて、前記不要成分発生領域を検出し、
    前記閾値は、撮像時のＩＳＯ感度に基づいて設定されることを特徴とするプログラム。

Images