JP6448324B2 - 画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラムに関する。

カメラ等の撮像装置により撮影を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射して、撮像面に不要光として到達する場合がある。撮像面に到達した不要光は、密度の高いスポット像を形成したり被写体像の広範囲に被ったりしてゴーストやフレアとなる。ゴーストやフレアは、不要成分として撮影画像中に現れる。

また、望遠レンズにおいて、軸上色収差や倍率色収差の補正のために最も物体側のレンズに回折光学素子を用いると、撮像画角外に存在する太陽等の高輝度物体からの光が回折光学素子に当たることで、画像全体にぼんやりとした不要光が現れる場合がある。この場合の不要光も不要成分として撮影画像中に現れる。

従来、不要光を光学的に低減する方法や、不要成分をデジタル画像処理によって除去する方法が提案されている。特許文献１に開示されているゴースト検出装置は、被写体に対して撮像光学系が合焦状態にあるときの画像（合焦画像）と撮像光学系が非合焦状態にあるときの画像（デフォーカス画像）との差分を示す差分画像からゴースト像を検出する。また、特許文献２に開示されているゴースト像処理装置は、単眼立体撮像による複数の視点画像を比較することでゴーストを検出する。

特開２００８−５４２０６号公報 特許５２８４３０６号公報

しかしながら、特許文献１のゴースト検出装置は、合焦状態と非合焦状態のそれぞれでの撮影、すなわち複数回の撮影を必要とするため、動きのある被写体の静止画撮影や動画撮影には適さない。また、特許文献２のゴースト像処理装置では、ゴースト像を検出するために主画像と副画像の２画像間での差分をとるのみであり、３視点以上の視点画像がある場合にはゴースト検出効果が低減してしまう。また、特許文献２のゴースト像処理装置では、不要成分を決定するために事前に視差成分を補正しなければならないため、処理負荷が多くなってしまう。

このような課題を鑑みて、本発明は、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域をより効果的に検出可能な画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラムを提供することを目的とする。

本発明の一側面としての画像処理装置は、複数の視差画像を取得する取得手段と、前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、前記領域を比較することで、画像類似度値を算出する算出手段と、前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、
前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、
前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする。

また、本発明の他の側面としての撮像装置は、複数の視差画像を生成する撮像系と、前記撮像系から前記複数の視差画像を取得する取得手段と、前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、前記領域を比較することで、画像類似度値を算出する算出手段と、前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする。

また、本発明の他の側面としての画像処理システムは、複数の視差画像を生成する撮像系を備えた撮像装置と、前記撮像装置から前記複数の視差画像を取得する取得手段と、前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、前記領域を比較することで、画像類似度値を算出する算出手段と、前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする。

また、本発明の他の側面としての画像処理方法は、複数の視差画像を取得する取得ステップと、前記複数の視差画像における位置関係および大きさが同一である第１の領域を決定する第１の決定ステップと、前記第１の領域を比較することで、第１の画像類似度値を算出する第１の算出ステップと、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域とは異なる第２の領域を決定する第２の決定ステップと、前記第２の領域を比較することで、第２の画像類似度値を算出する第２の算出ステップと、前記第１および第２の画像類似度値に基づいて、第３の画像類似度値を算出するステップと、前記第３の画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出ステップと、を有することを特徴とする。

また、本発明の他の側面としての画像処理プログラムは、複数の視差画像を取得する取得ステップと、前記複数の視差画像における位置関係および大きさが同一である第１の領域を決定する第１の決定ステップと、前記第１の領域を比較することで、第１の画像類似度値を算出する第１の算出ステップと、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域とは異なる第２の領域を決定する第２の決定ステップと、前記第２の領域を比較することで、第２の画像類似度値を算出する第２の算出ステップと、前記第１および第２の画像類似度値に基づいて、第３の画像類似度値を算出するステップと、前記第３の画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出ステップと、をコンピュータに実行させることを特徴とする。

本発明によれば、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域をより効果的に検出可能な画像処理装置、撮像装置、画像処理システム、画像処理方法、および画像処理プログラムを提供することができる。

実施例１の画像処理方法の手順を示す図である。 実施例１の画像処理方法の出力画像の一例を示す図である。 撮像系における撮像素子の受光部と撮像光学系の瞳との関係図である。 撮像系の模式図である。 本発明の実施形態に係る撮像装置のブロック図である。 撮像光学系と不要光の説明図である。 撮像光学系の絞りを透過する不要光の説明図である。 実施例１の画像処理方法のフローチャートである。 実施例１の画像処理方法の手順を示す図である。 実施例２の画像処理方法の手順を示す図である。 実施例２の画像処理方法の出力画像の一例を示す図である。 実施例２の画像処理方法のフローチャートである。 撮像系における撮像素子の受光部と撮像光学系の瞳との関係図である。 撮像系の模式図である。 撮像光学系の絞りを透過する不要光の説明図である。 実施例３の画像処理方法の手順を示す図である。 実施例３の画像処理方法の手順を示す図である。 実施例３の画像処理方法の手順を示す図である。 実施例３の画像処理方法の手順を示す図である。 実施例３の画像処理方法の手順を示す図である。 実施例３画像処理方法の出力画像の一例を示す図である。 実施例４の撮像装置の撮像系を示す図である。 実施例４の別の撮像装置の撮像系を示す図である。 図２２の撮像系により得られた画像を示す図である。 図２３の撮像系により得られた画像を示す図である。 実施例４の他の撮像の例を示す図である。 実施例４の他の撮像装置を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 本発明の各実施例で用いる複数の視差画像を生成可能な撮像装置は、撮像光学系の瞳のうちそれぞれ異なる領域を通過した複数の光束を撮像素子における互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

図３は、撮像系における撮像素子の受光部と撮像光学系の瞳との関係図である。撮像素子には、受光部Ｇ１，Ｇ２（以下、それぞれＧ１画素およびＧ２画素という）の対（画素対）が複数配列されている。Ｇ１，Ｇ２画素の上には、カラーフィルタＣＦが形成されている。Ｇ１，Ｇ２画素は、画素対ごとに１つずつ設けられたマイクロレンズＭＬを介して撮像光学系の射出瞳ＥＸＰと共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群といい、同様に撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群という。

図４は、撮像系の模式図であり、物点ＯＳＰ、射出瞳ＥＸＰ、および撮像素子の結像関係を表している。物点ＯＳＰには必ずしも物体が存在している必要はなく、物点ＯＳＰを通った光束はそれが通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、Ｇ１，Ｇ２画素からの出力信号を用いて生成された画像は、互いに視差を有する複数（ここでは一対）の視差画像となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを瞳分割という。

図３，４において、射出瞳ＥＸＰの位置がずれることで上述した共役関係が完全ではなくなったり、Ｐ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像は各実施例において視差画像として扱う。

また、各実施例において、画像を構成する最小要素のことを画素と呼び（以降は撮像素子上の画素と区別するためにピクセルと呼ぶ）、各ピクセルは光の強度や色を表す画素値を持つ。画像は、画素値の容量や性質によって、カラー画像、グレースケール画像、２値画像などの種類に分かれる。

図５（ａ）は、実施例１の撮像装置のブロック図である。絞り２０１ａおよびフォーカスレンズ２０１ｂを含む撮像光学系２０１は、被写体（不図示）からの光を撮像素子２０２上に結像させる。ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成される撮像素子２０２は、図３および図４にて説明した瞳内の互いに異なる領域を通過した光束を各領域に対応する画素（受光部）にて受光する瞳分割を行う。

撮像素子２０２での光電変換により生成されたアナログ電気信号は、Ａ／Ｄコンバータ２０３でデジタル信号に変換されて画像処理部２０４に入力される。画像処理部２０４は、デジタル信号に対して一般に行われる画像処理と併せて、不要成分の検出処理を行う。なお、画像処理部２０４は、撮像装置に搭載された画像処理装置に相当する。また、画像処理部２０４は、視差画像を生成（取得）し、その視差画像から不要成分を検出する不要成分領域検出部２０４ａと不要成分検出部２０４ｂ、そして検出された不要成分を各視差画像から低減させる不要成分低減部２０４ｃを有する。不要成分領域検出部２０４ａは、図５（ｂ）に示すように、取得手段２０４ａ−１、決定手段２０４ａ−２、算出手段２０４ａ−３、および検出手段２０４ａ−４を有する。

画像処理部２０４で処理された出力画像は、半導体メモリや光ディスク等の画像記録媒体２０９に保存される。出力画像は、表示部２０５に表示してもよい。

撮像素子２０２の動作、画像処理部２０４での処理および撮像光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の制御はシステムコントローラ２１０が行う。撮像光学系２０１における絞り２０１ａおよびフォーカスレンズ２０１ｂの機械的な駆動は、システムコントローラ２１０からの制御指示に応じて撮像光学系制御部２０６が行う。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じてその開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整を行うためにオートフォーカス（ＡＦ）システム（不図示）やマニュアルフォーカス機構によってその位置が制御される。状態検知部２０７は、システムコントローラ２１０の制御指示に応じて現在の撮影条件情報を取得する。なお、撮像光学系２０１は、図５では撮像装置の一部として構成されているが、一眼レフカメラのように交換式の撮像光学系であってもよい。

なお、本実施例は、撮像装置をデータベースやコンピュータに接続した画像処理システムにも適用可能である。この場合、撮像装置で生成された視差画像を画像処理装置に相当する処理部を有するデータベースやコンピュータに送信し、データベースやコンピュータが画像処理を行うようにすればよい。

図６は撮像光学系２０１と不要光の説明図、図７は撮像光学系２０１の絞りＳＴＰを透過する不要光の説明図である。

図６（ａ）には、撮像光学系２０１の具体的な構成例を示す。撮像面ＩＭＧには、撮像素子２０２が配置される。図６（ｂ）には、撮像光学系に高輝度物体の例としての太陽ＳＵＮからの強い光が入射し、撮像光学系を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。また、図７には、絞りＳＴＰ（つまりは撮像光学系の射出瞳（実際には絞りと射出瞳は異なる））のうち、図４に示したＧ１画素とＧ２画素に入射する光束が通過する領域（以下、瞳領域という）Ｐ１，Ｐ２を示している。図６（ｂ）に示す例では高輝度物体からの光束は絞りＳＴＰのほぼ上半分の領域を通過しており、これを図４に照らし合わせると瞳領域Ｐ１を通過している状況となる。高輝度物体からの光束は、瞳領域Ｐ１を通過した後、Ｇ１画素に入射する。

次に、撮影画像において、不要光（ゴースト）が光電変換されることで現れる不要成分が存在する領域（すなわち不要成分領域）を検出する方法について、図１，２を用いて説明する。

図２（ａ）は、瞳分割を行わない撮像により生成された撮影画像である。この撮影画像には、ビル等の建物とその周辺に存在する樹木とが被写体として映っている。また、不要成分ＧＳＴが撮影画像中に黒い四角部分として示されている。不要成分ＧＳＴが存在する画像上の領域を不要成分領域とする。なお、図２（ａ）では不要成分ＧＳＴを黒く塗りつぶして示しているが、実際には被写体がある程度透けている。また、不要成分ＧＳＴは、被写体に不要光がかぶった状態であるため、被写体よりも高輝度化する。

図１において、視差画像（１Ａ−１），（１Ｂ−１）はそれぞれ、瞳領域Ｐ１，Ｐ２を通過した光束をＧ１，Ｇ２画素群にて光電変換した結果として得られた一対の視差画像である。これら一対の視差画像には、ピント位置が近距離被写体の場合、画像成分に視差量に対応した差（以下、被写体視差成分という）が存在する。しかしながら、図１に示すような風景撮影による遠距離被写体の場合には、被写体視差成分は非常に微少量となる。視差画像（１Ａ−１）には、黒い四角として模式的に示す不要成分ＧＳＴが含まれている。なお、本実施例では、不要成分ＧＳＴが１つの状態の例を示しているが、不要成分ＧＳＴが複数存在し、さらにそれぞれが互いに重なり合っていて明るさに差がある状態でもよい。すなわち、黒い四角の不要成分ＧＳＴの位置や明るさが視差画像ごとに互いに異なった状態であればよい。

視差画像（１Ａ−１），（１Ｂ−１）は、不要成分ＧＳＴを含むかどうかの差はあるが全体的には似ている。そこで、画像内の不要成分ＧＳＴの位置を検出するために類似画像分析を行って「画像類似度値」を求める。「画像類似度値」とは、２つの画像（部分画像でもよい）を比較した際に、どれだけその２枚の画像が似ているかを表した数値（評価値）のことである。簡単のために、最も似ている場合を５段階評価において「画像類似度値＝５」とし、最も似ていな場合を「画像類似度値＝１」とする。さらに簡単のために、視差画像（１Ａ−１），（１Ｂ−１）において縦横同じピッチで領域を分割して、同じ位置範囲の領域を比較する。

視差画像（１Ａ−１），（１Ｂ−１）をそれぞれ領域１１ａ〜４６ａ，１１ｂ〜４６ｂで分割した結果が視差画像（１Ａ−２），（１Ｂ−２）である。「同じ位置範囲の領域」とは、視差画像（１Ａ−２）の領域１１ａと視差画像（１Ｂ−２）の領域１１ｂのような位置関係にあるものを指す。なお、領域１１ａ〜４６ａ，１１ｂ〜４６ｂの全ての領域で縦と横の長さが同じ網目状となるように分割しなくてもよい。左から順に領域を等ピッチで分割し、右端では半端な長さになっても構わない。画像類似度値は２つの視差画像間で比較するため、２つの視差画像間において同じ位置範囲で領域が決まっていればよい。

画像類似度値を算出する方法の一つとして、例えばヒストグラムを利用して画像類似度値を計算する方法がある。最もシンプルな計算方法は、領域分割した視差画像を白黒の２値画像（グレースケールで、かつ画素値が０と２５５の２つのみで構成された画像）にし、白（画素値＝２５５）であるピクセル数を数える方法である。なお、カラー画像から２値画像を得るための手法は公知の技術が種々あるためここでは省略し、特にその手法にも限定しない。例えば縦横２０×２０ピクセルの領域があったとして、ピクセルの総数は４００個となる。そのうち白のピクセルが２６０個あったとしたら、その領域内のヒストグラムは（白，黒）＝（２６０，１４０）となる。このようにして、視差画像（１Ａ−２）画像の領域１１ａ〜４６ａと、視差画像（１Ｂ−２）の領域１１ｂ〜４６ｂでヒストグラムを計算する。

そして、視差画像（１Ａ−２），（１Ｂ−２）の同じ位置範囲の各領域（例えば、領域１１ａ，１１ｂ）のヒストグラムを比較する。ヒストグラムが同じであれば画像類似度値を５とし、比較する２つの領域同士のヒストグラムの乖離が大きくなればなるほど画像類似度値を低くする。視差画像（１Ａ−２）の各領域の白のピクセル数の総和から視差画像（１Ｂ−２）の各領域の白のピクセル数の総和を引いた差分の絶対値をとる。例えば、領域３１ａ内の白のピクセル数が１００、領域３１ｂ内の白のピクセル数が８５だとすると、差分の絶対値は１５となる。このとき、差分の絶対値がゼロ以上であり視差画像（１Ａ−２）の各領域の白のピクセル数の総和の１０％以下であれば、画像類似度値は５とする。差分の絶対値が視差画像（１Ａ−２）の各領域の白のピクセル数の総和の１０％の値よりも大きく、２０％の値以下であれば画像類似度値を４とする。前述の例では領域３１ａ内の白のピクセル数が１００、その１０％の値は１０であり、２０％は２０である。差分の絶対値は１５なので、１００±２０の範囲内に入っているため、このときの画像類似度値は４となる。

同様に、差分の絶対値が視差画像（１Ａ−２）の各領域の白のピクセル数の総和の２０％の値よりも大きく、３０％の値以下であれば画像類似度値を３とする。差分の絶対値が視差画像（１Ａ−２）の各領域の白のピクセル数の総和の３０％の値よりも大きく、４０％の値以下であれば画像類似度値を２とし、４０％よりも大きい場合は画像類似度値を１とする。このようにすると画像類似度値マップ（１Ｃ−１）のように各領域での画像類似度値のマップを作ることができる。このように画像類似度値を算出すると実画像においては画像類似度値が５や１となることは少ない。これは視差画像間の誤差や視差成分による微妙なずれが生じているためである。よって、単純に画像類似度値が１の部分を不要成分領域と決定するのではなく、閾値によってある程度許容幅を設けるとさらに好ましい。本実施例では、画像（１Ｃ−２）に示すように、画像類似度値が２以下であれば不要成分領域であると判定している。

このようにして、視差画像（１Ａ−３），（１Ｂ−３）に示すように、視差画像中における不要成分領域を検出することができる。なお、画像類似度値の計算方法は公知の技術に種々あり、上述した方法に限定するものではない。

そして、出力すべき画像において、検出された不要成分領域内の不要成分を除去または低減する補正処理を行う。これにより、不要成分が概ね除去された視差画像（１Ａ−４），（１Ｂ−４）を得ることができる。不要成分を低減させた各視差画像を合成することで、図２（ｂ）に示す不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

図８は、本実施例の不要成分領域の検出処理（画像処理）のフローチャートである。この処理は、システムコントローラ２１０および画像処理部２０４がコンピュータプログラムとしての画像処理プログラムにしたがって実行する。

ステップＳ１１では、撮像光学系２０１および撮像素子２０２により構成される撮像部は、システムコントローラ２１０によって制御され、被写体の撮影を行う。

ステップＳ１２では、取得手段２０４ａ−１は、撮像素子２０２（Ｇ１，Ｇ２画素群）から出力されてＡ／Ｄコンバータ２０３にてＡ／Ｄ変換されたデジタル信号を用いて入力画像としての一対の視差画像を生成させる。なお、画像処理部２０４において、視差画像生成のために、通常の現像処理や各種の画像補正処理を行ってもよい。

ステップＳ１３では、決定手段２０４ａ−２は、画像類似度値を算出するための領域を決定する。領域は、元の画像のサイズよりも小さいサイズの領域同士で画像類似度値が比較できればよく、視差画像（１Ａ−２），（１Ｂ−２）のように所定のピッチで分割してもよいし、不規則に分割してもよい。分割数も限定しない。

ステップＳ１４では、算出手段２０４ａ−３は、ステップＳ１３で決定した領域において、画像類似度値を各視差画像から算出する。画像類似度値とは比較する２つの画像が似ているかどうかを示す数値であり、似ている度合いを数値化できる手法であればこれに限定しない。画像類似度値を算出する最もシンプルな手法の一つとしては、上述した白黒の２値画像を用いたヒストグラムの比較である。

ステップＳ１５では、検出手段２０４ａ−４は、ステップＳ１４で算出した画像類似度値に基づいて不要成分領域を検出する。上述したように、撮像装置から得られる視差画像は、その視差画像同士を比較すると、不要成分ＧＳＴの有無はあるものの大まかには似ている。似ていない部分は不要成分ＧＳＴが存在する領域である可能性が高いため、ステップＳ１４で算出した画像類似度値のうち一番類似度が低い（似ていない）領域に不要成分ＧＳＴが存在するはずである。しかしながら、画像類似度値を算出する精度や誤差の影響も少なからずあるため、最も画像類似度値の低いものを選ぶだけでなく、所定の閾値を設定してその閾値以下の画像類似度値であれば不要成分領域であるとしてもよい。

以上のステップにより視差画像中における不要成分領域を検出することができる。

次に、検出した不要成分領域内の不要成分を低減するステップの説明をする。

ステップＳ１６に進む前に事前準備としてステップＳ１０１，Ｓ１０２を行う。ステップＳ１０１，Ｓ１０２は、ステップＳ１２の後、実行される。

ステップＳ１０１では、画像処理部２０４は、一対の視差画像の相対差分画像を生成する。すなわち、基準画像（９Ａ−１），（９Ｂ−１）を用いて、相対差分画像（９Ａ−２），（９Ｂ−２）を生成する。なお、基準画像（９Ａ−１），（９Ｂ−１）は、それぞれ視差画像（１Ａ−１），（１Ｂ−１）と同一である。

撮像面に到達した不要光が撮像光学系の異なる瞳領域を通過する場合、基準画像（９Ａ−１），（９Ｂ−１）に示すように視差画像ごとに不要成分ＧＳＴの発生の有無（もしくは発生の位置）が異なる。そのため、単純な相対差分画像では、不要成分の差分値は正、負の値をとる。例えば本実施例では、相対差分画像（９Ａ−２）を生成するために基準画像（９Ａ−１）から基準画像（９Ｂ−１）を差し引いた場合、基準画像（９Ａ−１）に含まれる不要成分は画素値が大きいため正値となる。そのため、相対差分画像（９Ａ−２）には、基準画像（９Ａ−１）に含まれる不要成分のみが正値として検出される。相対差分画像（９Ｂ−２）についても同様の処理を行うと、基準画像（９Ｂ−１）の領域のうち、基準画像（９Ａ−１）で不要成分ＧＳＴが含まれる領域と同じ領域で負の値となる。本実施例では、後段で説明する不要成分低減処理の簡易化のために、負の値を切り捨てて０値とする処理を実施している。そのため、相対差分画像（９Ｂ−２）では、不要成分ＧＳＴが検出されない。

上述したように、本実施例では、片方の視差画像を基準とした１対の相対差分画像を生成している。しかし、本実施例のように２つの視差画像の場合は相対差分ではなく差分の絶対値として計算しても等価となる。視差画像Ａを単にＡ、視差画像Ｂを単にＢと表記して式で示すと下記のようになる。

（Ａ−Ｂ）_０＋（Ｂ−Ａ）_０ ＝ │Ａ−Ｂ│
（）_０とはカッコ内の式を計算した結果について、もし負の値があれば負の値は切り捨てて０値とすることを意味する。以降では説明の簡略化のために相対差分での計算で統一して説明するが、差分の絶対値として計算を進めてもよい。

ステップＳ１０２では、不要成分検出部２０４ｂは、視差画像（１Ａ−３）で検出した不要成分領域内において、ステップＳ１０１にて得られた相対差分画像中に残存した成分を不要成分と決定する。

ステップＳ１６では、不要成分低減部２０４ｃは、出力すべき画像から不要成分領域と不要成分に基づいて、不要成分を低減（または除去）する処理を行う。ここでは、出力すべき画像として、視差画像（１Ａ−４），（１Ｂ−４）のＧ１画素、Ｇ２画素をそれぞれ１画素とすることで得られる各視差画像を生成する。この場合、ステップＳ１０１において負の値を切り捨てて０値としているので、各視差画像に含まれる不要成分のみが正値として検出されているため、単純に各視差画像からそれぞれの相対差分画像を差し引くことで不要成分を除去することができる。本実施例では、視差画像（１Ａ−３）の不要成分領域内において、基準画像（９Ａ−１）から相対差分画像（９Ａ−２）を差し引き、基準画像（９Ｂ−１）から相対差分画像（９Ｂ−２）を差し引くことに相当する。

ステップＳ１７では、システムコントローラ２１０は、不要成分領域から不要成分が除去（低減）された出力画像（９Ａ−３），（９Ｂ−３）を画像記録媒体２０９に保存したり、表示部２０５に表示したりする。そして、不要成分を除去（低減）した各視差画像を合成することで、図２（ｂ）に示す不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を出力することもできる。

ステップＳ１８で、本実施例の画像処理を終了する。

以上説明したように、本実施例では、１回の撮影で得られた複数の視差画像に基づく画像類似度値の比較から不要光（ゴースト）により形成された不要成分領域を検出することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域を検出することができる。さらに、視差画像間の相対差分画像を用いることで、不要成分領域内の不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。

なお、本実施例では説明を簡単にするために等ピッチで画像の領域分割を行ったが、等ピッチには限定しない。また、比較画像間で類似部分と非類似部分とが分けることが可能であれば、あらかじめ画像の領域を分割せずに画像内の類似部分（もしくは非類似部分）を特定できるような手法を用いてもよい。

また、本実施例では、画像類似度値を５段階評価の値として扱い、画像類似度値が２以下の領域は不要成分領域であると判定したが、必ずしも画像類似度を離散的な値に置き換える必要はない。ヒストグラムのずれを％で表した値そのものを画像類似度値とし、画像類似度マップをより緻密なグラデーションマップとして示してもよい。その場合は不要成分領域を画像内のある範囲に特定するのではなく、不要成分領域が存在する確率分布のようなものが検出されることになる。よって、低減処理を行うときは、グラデーションマップを重み付けの係数として使い、不要成分が存在する確率が高い領域に関しては積極的に低減処理を行い、確率が低い領域は低減処理をほとんど行わないようにすればよい。他の実施例でも説明の簡略化のために５段階の画像類似度値で説明しているが、全ての実施例で画像類似度マップをグラデーションマップとして処理を進めても構わない。

本実施例が実施例１と異なる部分は、撮影対象である被写体が近距離被写体であるために、視差画像間で背景の被写体に大きな視差が付いてしまうことである。本実施例の撮像装置の基本構成は図５を用いて説明した実施例１の構成と同様であり、重複する部分の説明は省略する。撮像光学系の構成や高輝度物体からの光によって発生する不要光の様子も図６の構成と同様である。

まず、撮影画像において、不要光が光電変換されることで現れる不要成分領域を検出する方法について、図１０，１１を用いて説明する。

図１１（ａ）は、瞳分割を行わない撮像により生成された撮影画像である。この撮影画像は、花にピントが合っている状態であり、背景としてビル等の建物とその周辺に存在する樹木とが映っている（実際は花よりもボケていることになるが、図面上は簡単のためにぼかしていない）。また、不要成分ＧＳＴが撮影画像中に黒い四角部分として示されている。不要成分ＧＳＴが存在する画像上の領域を不要成分領域とする。なお、図１１（ａ）中には不要成分ＧＳＴを黒く塗りつぶして示しているが、実際には被写体がある程度透けている。また、不要成分ＧＳＴは、背景に不要光がかぶった状態であるため、被写体よりも高輝度化する。

図１０において、視差画像（１０Ａ−１），（１０Ｂ−１）はそれぞれ、瞳領域Ｐ１，Ｐ２を通過した光束をＧ１，Ｇ２画素群にて光電変換した結果として得られた一対の視差画像である。これら一対の視差画像には、ピント位置が近距離被写体の場合、被写体視差成分が存在する。図１０では近距離被写体である花にピントが合っている状況であるから、視差画像（１０Ａ−１），（１０Ｂ−１）において、花の位置はどちらも変わらない。また、不要成分ＧＳＴの位置も変わらない。しかしながら、花よりも後ろに位置するビルや樹木は視差があるために位置が異なってくる。視差画像（１０Ｂ−１）は、視差画像（１０Ａ−１）と比べて、背景のビルや樹木が右方向へシフトしている。なお、本実施例では、不要成分ＧＳＴが１つの状態の例を示しているが、不要成分ＧＳＴが複数存在し、さらにそれぞれが互いに重なり合っていて明るさに差がある状態でもよい。すなわち、黒い四角の不要成分ＧＳＴの位置や明るさが視差画像ごとに互いに異なった状態であればよい。

本実施例では、実施例１と同様に、視差画像（１０Ａ−１），（１０Ｂ−１）から画像類似度を算出して比較する。簡単のために、実施例１と同様に２つの画像同士が最も似ている場合を５段評価において「画像類似度値＝５」とし、最も似ていない場合を「画像類似度値＝１」とする。さらに簡単のために、視差画像（１０Ａ−１），（１０Ｂ−１）において縦横同じピッチで領域を分割して、同じ位置範囲の領域を比較する。視差画像（１０Ａ−１），（１０Ｂ−１）をそれぞれ領域１１ａ〜４６ａ，１１ｂ〜４６ｂで分割した結果が視差画像（１０Ａ−２），（１０Ｂ−２）である。

本実施例では、実施例１と同様に、領域分割した視差画像を白黒の２値画像にし、白（画素値＝２５５）であるピクセル数を数える。この方法により、画像類似度値マップ（１０Ｃ−１）のように各領域での（画像類似度値１）を算出することができる。

しかしながら、実施例１と異なり、本実施例では被写体視差成分が大きいため、視差によって背景がシフト（本実施例では視差画像（１０Ｂ−１）が視差画像（１０Ａ−１）よりも右方向へシフト）している。このため、同じ領域について（画像類似度値１）を算出するだけでは、実施例１のような被写体視差成分の影響が少ない場合に比べて精度が下がってしまう。

そこで、本実施例では、（画像類似度値１）を算出した後、視差画像（１０Ａ−３），（１０Ｂ−３）に示すように、領域を所定量だけシフトさせて、「画像類似度値２」を算出する。視差画像（１０Ａ−３），（１０Ｂ−３）では、領域を右方向へシフトさせている。このとき、被写体が有する視差量または領域の周辺での被写体が有する視差量と同じかそれ以上に領域をシフトさせることが好ましい。また、シフト量は、もとの領域分割と同じピッチでシフトさせてもシフト前後で領域の範囲は変わらないため、領域分割のピッチよりも小さいシフト量が好ましい。そうすることで、視差による被写体シフトも考慮して（画像類似度値２）を算出することができる。そのため、領域の数が視差画像（１０Ａ−２），（１０Ｂ−２）とは変化しているが、同じ位置同士を比較するため、視差画像（１０Ａ−２），（１０Ｂ−２）のときと領域の数が変わっても構わない。

画像類似度値マップ（１０Ｃ−２）は、視差画像（１０Ａ−３），（１０Ｂ−３）の各領域を比較して（画像類似度値２）を算出した結果である。画像類似度値マップ（１０Ｃ−１）と比較すると、被写体視差成分の影響により、画像類似度値が変化している部分が存在する。

次に、（画像類似度値１）と（画像類似度値２）に基づいて、（画像類似度値３）を計算する。画像類似度値１，２は各領域で比較して求めているが、画像類似度値３は各領域ではなく各ピクセルで比較して求める。具体的には、各ピクセルが属する画像類似度値マップ（１０Ｃ−１）上での領域の（画像類似度値１）と、各ピクセルが属する画像類似度値マップ（１０Ｃ−２）上での領域の（画像類似度値２）と、を比較する。画像類似度値に差があれば、より画像類似度値が大きいほう（画像が似ているほうの数値）に合わせる処理を行う。そうして決定した各ピクセルの画像類似度値を（画像類似度値３）とする。このように本実施例では、最初に算出した（画像類似度値１）を（画像類似度値２）に基づいて部分的に更新させて、その結果を（画像類似度値３）としている。

例えば、画像類似度値マップ（１０Ｃ−１）〜（１０Ｃ−３）上の任意の座標点（ｘ，ｙ）の画素の（画像類似度値１）の値がｓｖ１（ｘ，ｙ）＝４であったとする。そして、（画像類似度値２）を算出した結果、同じ座標点が属する領域内での（画像類似度値２）の値がｓｖ２（ｘ，ｙ）＝３であったとする。このとき、（画像類似度値３）は、以下の式（１）で算出される。

ｓｖ３（ｘ，ｙ）＝ｍａｘ（ｓｖ１（ｘ，ｙ）,ｓｖ２（ｘ，ｙ）） （１）
「ｍａｘ（ｓｖ１（ｘ，ｙ），ｓｖ２（ｘ，ｙ））」とは、ｓｖ１（ｘ，ｙ）とｓｖ２（ｘ，ｙ）のうちどちらか大きいほうをｓｖ３（ｘ，ｙ）として採用するという意味である。この例では、画像類似度値が大きいほど「似ている画像」と定義しているため、大きい数値を（画像類似度値３）として採用している。画像類似度値の定義が逆であれば、小さい数値を（画像類似度値３）として採用すればよい。

このように各ピクセルで（画像類似度値１）と（画像類似度値２）を比較するため、最終的な（画像類似度値３）のマップは（画像類似度値１）を算出した領域分割の結果と、（画像類似度値２）を算出した領域分割の結果を混合したマップとなる。こうすることで、被写体視差成分を考慮してより検出精度を高める（被写体視差成分の影響による不要成分領域の誤検出を避ける）だけでなく、より細かい領域として画像類似度値を求めることができる。

なお、画像類似度値の計算方法は公知の技術に種々あり、上述した方法に限定するものではない。そして、視差画像（１０Ａ−３），（１０Ｂ−３）での領域シフトの方向も一方向に限らず、上下左右斜め等ありとあらゆる方向へシフトさせることで（画像類似度値３）を求めてもよい。瞳分割の分割数が多くなるほど、シフト方向を増やすことで不要成分領域の検出精度を上げることが可能となる。

このようにすることで、視差画像（１０Ａ−４），（１０Ｂ−４）のように、視差画像中における不要成分領域を検出することができる。

そして、出力すべき画像において、検出された不要成分領域内の不要成分を除去または低減する補正処理を行う。これにより、不要成分が概ね除去された視差画像（１０Ａ−５），（１０Ｂ−５）を得ることができる。不要成分を低減させた各視差画像を合成することで、図１１（ｂ）に示す不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

図１２は、本実施例の不要成分領域の検出処理（画像処理）のフローチャートである。この処理は、システムコントローラ２１０および画像処理部２０４がコンピュータプログラムとしての画像処理プログラムにしたがって実行する。

ステップＳ２１〜Ｓ２４までの処理は、実施例１のステップＳ１１〜Ｓ１４までの処理と同様であるため詳細は省略する。

ステップＳ２５では、決定手段２０４ａ−２は、（画像類似度値２）を算出／比較するための領域２を決定する。領域は、元の画像のサイズよりも小さいサイズの領域同士で画像類似度値が比較できればよく、視差画像（１０Ａ−２），（１０Ｂ−２）のように所定のピッチで分割してもよいし、不規則に分割してもよい。分割数も限定しない。

ステップＳ２６では、算出手段２０４ａ−３は、ステップＳ２５で決定した領域２において、（画像類似度値２）を各視差画像から算出する。

ステップＳ２７では、算出手段２０４ａ−３は、ステップＳ２４で算出した（画像類似度値１）とステップＳ２６で算出した（画像類似度値２）に基づいて、（画像類似度値３）を算出する。

ステップＳ２８では、検出手段２０４ａ−４は、ステップＳ２７で算出した（画像類似度値３）に基づいて不要成分領域を検出する。上述のように、撮像装置から得られる視差画像は、その視差画像同士を比較すると、不要成分ＧＳＴの有無はあるものの大まかには似ている。似ていない部分は不要成分ＧＳＴが存在する領域である可能性が高いため、ステップＳ２７で算出した（画像類似度値３）のうち一番類似度が低い（似ていない）領域に不要成分ＧＳＴが存在するはずである。しかしながら、（画像類似度値３）を算出する精度や誤差の影響も少なからずあるため、最も画像類似度値の低いものを選ぶだけでなく、所定の閾値を設けてその閾値以下の画像類似度値であれば不要成分領域であるとしてもよい。

以上のステップにより視差画像中における不要成分領域を検出することができる。

次に、検出した不要成分領域内の不要成分を低減するステップの説明をする。

ステップＳ２９に進む前に事前準備としてステップＳ２０１，Ｓ２０２を行う。ステップＳ２０１，Ｓ２０２の処理はそれぞれ、実施例１のステップＳ１０１，Ｓ１０２の処理と同様である。また、ステップＳ２９からステップＳ３１までの処理は、実施例１のステップＳ１６〜Ｓ１８までの処理と同様であるため説明は省略する。

以上説明したように、本実施例では、近距離物体にピントが合っている場合であっても、１回の撮像で得られた複数の視差画像に基づく画像類似度値の比較から不要光（ゴースト）により形成された不要成分領域を検出することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域を検出することができる。さらに、視差画像間の相対差分画像を用いることで、不要成分領域内の不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。

なお、本実施例では説明を簡単にするために等ピッチで画像の領域分割を行ったが、等ピッチには限定しない。また、比較画像間で類似部分と非類似部分とが分けることが可能であれば、あらかじめ画像の領域を分割せずに画像内の類似部分（もしくは非類似部分）を特定できるような手法を用いてもよい。

なお、実施例１，２では、２値画像を用いて不要成分領域の検出を行っている。しかし、ゴースト光に代表される不要成分は色が付いていることが多い。色によって不要成分の位置も異なる（不要成分領域も異なる）ので、色（例えばＲＧＢの３チャンネル）ごとに同様のことを行い不要成分領域の検出することで色の付いた不要成分にも対応可能となる。

図１３は、撮像系における撮像素子の受光部と撮像光学系の瞳との関係図である。撮像素子には、受光部Ｇ１，Ｇ２，Ｇ３，Ｇ４（以下、それぞれ、Ｇ１画素、Ｇ２画素、Ｇ３画素、Ｇ４画素という）の組（画素組）が複数配列されている。Ｇ１，Ｇ２画素のそれぞれ紙面奥側に、Ｇ３，Ｇ４画素が２次元的に配置されている。Ｇ１〜Ｇ４画素の上には、カラーフィルタＣＦが形成されている。Ｇ１〜Ｇ４画素は、画素組ごとに１つずつ設けられたマイクロレンズＭＬを介して射出瞳ＥＸＰと共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群といい、同様に撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群という（Ｇ３，Ｇ４画素も同様）。

図１４は、撮像系の模式図であり、物点ＯＳＰ、射出瞳ＥＸＰ、および撮像素子の結像関係を表している。Ｇ１画素は射出瞳ＥＸＰのうちＰ１領域を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうちＰ２領域を通過した光束を受光する。Ｐ１，Ｐ２領域のそれぞれ紙面方向の奥側に、Ｐ３，Ｐ４領域が２次元的に存在する。図１５は、射出瞳ＥＸＰをマイクロレンズＭＬ側から見た図である。物点ＯＳＰには必ずしも物体が存在している必要はなく、物点ＯＳＰを通った光束はそれが通過する瞳内での領域（位置）に応じてＧ１〜Ｇ４画素のいずれかに入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）によって分離されることに相当する。すなわち、Ｇ１〜Ｇ４画素からの出力信号を用いて生成された４つの画像は互いに視差を有する複数の視差画像となる。

図１３，１４において、射出瞳ＥＸＰの位置がずれることで上述した共役関係が完全ではなくなったり、Ｐ１領域とＰ２領域とが部分的にオーバーラップしたりしても、得られた複数の画像は各実施例において視差画像として扱う。

本実施例の撮像装置の基本構成や撮像光学系は、図５，６を用いて説明した実施例１と同様であるため説明は省略する。

撮影画像において、不要光が光電変換されることで現れる不要成分領域を検出する方法について、図１６〜図２１を用いて説明する。

図２１（ａ）は、瞳分割を行わない撮像により生成された撮影画像を示す。この撮影画像には、実施例２と同様にピント位置に花、背景としてビル等の建物とその周辺に存在する樹木とが映っている（実際は花よりもボケていることになるが、図面上は簡単のためにぼかしていない）。不要成分ＧＳＴは撮影画像中に黒い四角部分として示されているが、実際には被写体がある程度透けている。

図１６において、視差画像（１６Ａ−１）〜（１６Ｄ−１）はそれぞれ、瞳領域Ｐ１〜Ｐ４を通過した光束をＧ１〜Ｇ４画像群にて光電変換した結果として得られた画像である。これらの視差画像には、実施例２と同様に、ピント位置が近距離被写体の場合、それぞれの視差画像間で視差成分が存在する。また、視差画像にも黒い四角として模式的に示す不要成分ＧＳＴ（ゴースト）が含まれている。なお、本実施例では、不要成分ＧＳＴが１つの状態の例を示しているが、不要成分ＧＳＴが複数存在し、さらにそれぞれが互いに重なり合っていて明るさに差がある状態でもよい。すなわち、黒い四角の不要成分ＧＳＴの位置や明るさが視差画像ごとに互いに異なった状態であればよい。

本実施例では、実施例１，２と同様に視差画像（１６Ａ−１）〜（１６Ｄ−１）から画像類似度値を算出して比較する。後述する計算の都合上、２つの画像同士が最も似ている場合を「画像類似度値＝１」とし、最も似ていないと判定されたときは「画像類似度値＝０」とする。また、簡単のために視差画像（１６Ａ−１）〜（１６Ｄ−１）において縦横同じピッチで領域を分割して、同じ位置範囲の領域を比較する。視差画像（１６Ａ−１）〜（１６Ｄ−１）をそれぞれ領域１１ａ〜４６ａ，１１ｂ〜４６ｂ，１１ｃ〜４６ｃ，１１ｄ〜４６ｄで分割した結果が視差画像（１６Ａ−２）〜（１６Ｄ−２）である。

実施例１，２では白黒の２値画像に対して画像類似度値を算出したが、本実施例ではカラー画像に対して画像類似度値を算出する。よって、図１６は、本来カラー画像であるが、図の表記上白黒画像にしている。カラー画像に対して画像類似度値を算出することで不要成分ＧＳＴが含まれる領域をより精度高く検出できる。また、処理の負荷を軽減するためにも、画像類似度値を算出する前に、色数の減少などの前処理を行うとさらに好ましい。例えば、元の画像のＲＧＢ各色の階調数が８ｂｉｔ（２５６階調）の画像から階調数２ｂｉｔ（４階調）で、全６４色まで色数を低減させるとする。このとき、図１９（Ａ）に示すように、ＲＧＢ各色の２５６段階の画素値をカラーＮｏ．０〜３までの４段階に振り分け、式（２）で計算することで全６４色を６４次元のベクトルに変換することができる。

Ｂｉｎ_Ｎｏ＝１６×Ｒ_Ｎｏ＋４×Ｇ_Ｎｏ＋Ｂ_Ｎｏ （２）
Ｂｉｎ_Ｎｏは、６４次元のベクトルの各要素番号に対応する。

このようにすることで、ＲＧＢの各カラーＮｏ．が（Ｒ，Ｇ，Ｂ）＝（０，０，０）の時はＢｉｎ_Ｎｏ=０となり、（Ｒ，Ｇ，Ｂ）＝（３，３，３）の時はＢｉｎ_Ｎｏ＝６３となる。これをピクセルごとに計算することで、各ピクセルの色がどのＢｉｎ_Ｎｏに属するかがわかり、任意の領域内で積算することで図１９（Ｂ）に示すようなカラーヒストグラムを計算することができる。

次に、カラーヒストグラムから画像類似度値を算出する方法について説明する。

比較する２つのヒストグラムのＢｉｎ_Ｎｏをｉとして、その時のヒストグラムの値をそれぞれＨ_１［ｉ］，Ｈ_２［ｉ］とする。このとき、式（３）を計算することで、０〜１までの画像類似度値Ｓｉｍｉｌａｒ_ｈｉｓｔを得ることができる。

「ｍｉｎ（Ｈ_１［ｉ］，Ｈ_２［ｉ］）」は、Ｈ_１［ｉ］とＨ_２［ｉ］のうち、どちらか小さい方を採用し、Σに対応する積算処理をするという意味である。分母は、Ｈ_１の画像の総ピクセル数（画像サイズに相当）で正規化することで、画像サイズに依存せずに画像類似度値を算出できるようにするために存在する。今回の例では画像の部分領域を比較するため、分母はＨ_１の領域内の総ピクセル数（＝Ｈ_２の領域内の総ピクセル数）に対応する。

以上のような計算を行うことで、カラー画像に対しても有限な領域内同士で画像類似度値を計算可能である。また、本実施例のやり方に限定せず、カラー画像における他の比較法を用いてもよい。

次に、（画像類似度値１）を各領域内で算出する。（画像類似度値１）は、視差画像（１６Ａ−１）〜（１６Ｄ−１）の各領域（１１ａ〜３３ａ）〜（１１ｄ〜３３ｄ）においてカラーヒストグラムを算出し、式（２）を用いて（画像類似度値１）を算出する。その結果の例を画像類似度値マップ（１７Ａ−０）〜（１７Ｄ−０）に示している。画像類似度値マップ（１７Ａ−０）は、視差画像（１６Ａ−１）同士を比較した例であるため、（画像類似度値１）が全て１となっている。画像類似度値マップ（１７Ｂ−０）は、視差画像（１６Ａ−１），（１６Ｂ−１）を比較した例であるため、（画像類似度値１）は０から１の間の数値が各領域に入っている。同様に、画像類似度値マップ（１７Ｃ−０）は視差画像（１６Ａ−１），（１６Ｃ−１）を比較した例、画像類似度値マップ（１７Ｄ−０）は視差画像（１６Ａ−１），（１６Ｄ−１）を比較した例である。

しかしながら、本実施例では、実施例２と同様に被写体視差成分が大きいため、視差によって背景がシフトしている。このため、同じ領域について（画像類似度値１）を算出するだけでは、実施例１のような被写体視差成分の影響が少ない場合に比べて精度が下がってしまう。

そこで、本実施例では、（画像類似度値１）を算出した後、図１８で示すように、領域を所定量だけシフトさせて、（画像類似度値２）を算出する。図１８では、領域を上下左右斜め合計８方向へシフトさせている。説明を簡略化するために、図１８では領域を所定量だけシフトさせたときの領域図だけを示している（本来は各領域内に対応する画像類似度値が入る）。

図１８（ａ）〜（ｈ）はそれぞれ、領域を上方向、右上方向、右方向、右下方向、下方向、左下方向、左方向、左上方向へシフトさせた例である。（画像類似度値２−１）〜（画像類似度値２−８）は、各領域内で算出される。

図２０は、画像類似度値マップ（１７Ｂ−０）と画像類似度値マップ（１８Ｂ−１）〜（１８Ｂ−８）を抽出したものである。（画像類似度値２−１）〜（画像類似度値２−８）を算出した結果、任意のピクセル座標（ｘ，ｙ）上の画素が属する領域内の（画像類似度値１）の値が画像類似度値マップ（２０Ｂ−０）のｓｖｂ０（ｘ，ｙ）であったとする。また、領域シフト後の同じピクセル座標（ｘ，ｙ）上の画素が属する領域内の（画像類似度値２−１）〜（画像類似度値２−８）の算出結果をｓｖｂ１（ｘ，ｙ）〜ｓｖｂ８（ｘ，ｙ）とする。このとき、式（４）が成立する場合は、領域シフト前後の画像類似度値変化（（画像類似度値１）との差）は視差成分によるものと判断して、各ピクセルのｓｖｂ（ｘ，ｙ）（（画像類似度値３）に相当）をｓｖｂ（ｘ，ｙ）＝１とする。一方、式（４）が成立しない場合は、ｓｖｂ（ｘ，ｙ）＝ｓｖｂ０（ｘ，ｙ）とする。

│ｓｖｂ０（ｘ，ｙ）−ａｖｅ＿ｓｕｂ（ｘ，ｙ）│＞ｂｏｒｄｅｒＶ （４）
ａｖｅ＿ｓｕｂ（ｘ，ｙ）はｓｖｂ０（ｘ，ｙ）〜ｓｖｂ８（ｘ，ｙ）までの平均値、ｂｏｒｄｅｒＶは所定の閾値パラメータである。

ここでは、画像類似度値マップ（１７Ｂ−０），（１８Ｂ−１）〜（１８Ｂ−８）を例にしているが、他の画像類似度値マップについても同様のことを行い、それぞれの（画像類似度値３）について平均をとったものを最終的な（画像類似度値３）とする。そうすることで、全ての視差画像を考慮した（画像類似度値３）を算出することができる。

このように、（画像類似度値１）と（画像類似度値２）（本実施例では、（画像類似度値２−１）〜（画像類似度値２−８））に基づいて（画像類似度値３）を算出することで、精度を上げた不要成分領域の検出が可能である。また、検出された不要成分領域内について、さらに細かく領域を分割して画像類似度値を算出し、不要成分領域をさらに精密に検出してもよい。このように最初は粗いピッチで領域分割して不要成分領域のあたりを付けて、徐々に細かいピッチで領域分割して追い込むことで、ノイズの影響が少なくなり更に精度アップを見込むこともできる。

そして、出力すべき画像において、検出された不要成分領域内の不要成分を除去または低減する補正処理を行う。不要成分を低減させた各視差画像を合成することで、図２１（ｂ）に示す不要成分の低減された瞳分割を行わない撮像により生成された撮影画像と同等の画像を生成することができる。

本実施例の画像処理は、図１２で示した実施例２の画像処理と同様である。

ステップＳ２１〜Ｓ２４までの処理は、実施例１のステップＳ１１〜Ｓ１４からステップＳ１４までの処理と同様であるため詳細は省略する。

ステップＳ２５では、不要成分領域検出部２０４ａは、（画像類似度値２）を算出／比較するための領域２を決定する。領域は、元の画像のサイズよりも小さいサイズの領域同士で画像類似度値が比較できればよく、図１８のように所定のピッチで分割してもよいし、不規則な分割してもよい。分割数も限定しない。また、８方向に領域をシフトさせてそれぞれのシフト方向において（画像類似度値２）を計算する場合には、ステップＳ２６において（画像類似度値２）が複数算出されることになる。その場合は平均をとるなどしてひとつの数値にまとめるのもよい。

ステップＳ２６では、不要成分領域検出部２０４ａは、ステップＳ２５で決定した領域２において、（画像類似度値２）を各視差画像で算出する。

以降のステップは、実施例２と同様であるため説明は省略する。

以上説明したように、本実施例では、近距離物体にピントが合っている場合であっても、１回の撮像で得られた複数の視差画像に基づく画像類似度値の比較から不要光（ゴースト）により形成された不要成分領域を検出することができる。つまり、複数回の撮像を行うことなく撮影画像に含まれる不要成分領域を検出することができる。さらに、視差画像間の相対差分画像を用いることで、不要成分領域内の不要成分を良好に除去または低減した高画質の撮影画像を得ることができる。

なお、本実施例では説明を簡単にするために等ピッチで画像の領域分割を行ったが、等ピッチには限定しない。また、比較画像間で類似部分と非類似部分とが分けることが可能であれば、あらかじめ画像の領域を分割せずに画像内の類似部分（もしくは非類似部分）を特定できるような手法を用いてもよい。

Ｒｅｎ.Ｎｇ等の「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」（Ｓｔａｎｆｏｒｄ Ｔｅｃｈ Ｒｅｐｏｒｔ ＣＴＳＲ２００５−２）では、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」が提案されている。「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」において「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」という手法を用いることで、物体側からの光線の位置と角度の情報を取り込むことができる。

図２２は、「Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ」の撮像系の構成を示す図である。メインレンズ（撮影レンズ）３０１ｂと開口絞り３０１ａとで構成される撮像光学系３０１の結像位置にマイクロレンズアレイ３０１ｃが配置され、さらにその後方に撮像素子３０２が配置されている。マイクロレンズアレイ３０１ｃは、例えば点Ａのような被写体空間のある一点を通る光線群と、点Ａの近傍の点を通る光線とが撮像素子３０２上で混ざらないようにセパレータの役割をしている。図２２に示すように、点Ａからの上線、主光線および下線はそれぞれ異なる画素によって受光されるため、点Ａを通る光線群は光線の角度ごとに分離して取得される。

次に、図２３を用いて本実施例の別の撮像装置の撮像系について説明する。Ｔｏｄｏｒ Ｇｅｏｒｇｉｖｅ等の「Ｆｕｌｌ Ｒｅｓｏｌｕｔｉｏｎ Ｌｉｇｈｔ Ｆｉｅｌｄ Ｒｅｎｄｅｒｉｎｇ」（Ａｄｏｂｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｊａｎｕａｒｙ ２００８）は、光線の位置と角度の情報を取得する方法を開示している。

図２３（ａ）の撮像系の構成では、マイクロレンズアレイ３０１ｃをメインレンズ３０１ｂの結像位置よりも後方に配置し、点Ａを通る光線群を撮像素子３０２上に再結像させることで、光線群を光線の角度ごとに分離して取得することができる。また、図２３（ｂ）に示す撮像系の構成では、マイクロレンズアレイ３０１ｃをメインレンズ３０１ｂの結像位置よりも前方に配置し、点Ａを通る光線群を撮像素子３０２上に結像させることで、光線群を光線の角度ごとに分離して取得することができる。いずれの構成も、撮像光学系３０１の瞳を通過する光束を瞳内での通過領域（通過位置）に応じて分割する点は同じである。

図２２の撮像光学系３０１を用いると、図２４（ａ）に示すような画像が得られる。図２４（ｂ）には、図２４（ａ）中に多数並んだ円のうち１つを拡大して示している。１つの円は絞りＳＴＰに相当し、その内側は複数の画素Ｐｊ（ｊ＝１，２，３，…）により分割されている。これにより、１つの円内で瞳の強度分布が得られる。また、図２３の撮像光学系３０１を用いると、図２５に示すような視差画像が得られる。図２４（ａ）に示した画像において各円（絞りＳＴＰ）内の複数の画素Ｐｊを並べて再構成することによっても、図２５に示すような複数の視差画像が得られる。

実施例１〜３で説明したように、ゴーストなどの不要光は瞳内で偏りを持って瞳を通過する。このため、本実施例のように瞳を分割して撮像する撮像装置において実施例１〜３で説明した画像処理方法を使用することで、不要成分領域を検出することができる。

さらに別の例として、図２６に示すような複数のカメラを用いて同一被写体を撮像する場合も視差画像が得られるため、実施例１〜３にて説明した画像処理方法を用いることができる。撮像装置Ｃ１〜Ｃ３は、実際には別々の撮像装置であるが、大きな瞳を３つに分割して撮像する一体の撮像装置と見なすことができる。また、図２７に示すように、１つの撮像装置に複数の撮像光学系ＯＳｊ（ｊ＝１，２，３，…）を設けることで瞳分割を行うこともできる。

実施例１〜３では、レンズ界面での面反射によって撮像素子に到達した不要成分について説明した。しかしながら、回折光学素子から発生する回折光のうち、撮像面に到達し、かつ撮像に不要な回折光（回折光学素子由来の不要成分）についても同様に不要成分領域の検出や不要成分の低減が可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４ 画像処理部
２０４ａ−１ 取得手段
２０４ａ−２ 決定手段
２０４ａ−３ 算出手段
２０４ａ−４ 検出手段

Claims (9)

1. 複数の視差画像を取得する取得手段と、
   前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、
   前記領域を比較することで、画像類似度値を算出する算出手段と、
   前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、
   前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、
   前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする画像処理装置。
2. 前記決定手段は、前記第１の領域をシフトさせることで、前記第２の領域を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記複数の視差画像間の視差量に基づいて、前記第１の領域のシフト量を決定することを特徴とする請求項２に記載の画像処理装置。
4. 前記決定手段は、前記視差画像を等間隔に分割することで、前記領域を決定していることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 複数の視差画像を生成する撮像系と、
   前記撮像系から前記複数の視差画像を取得する取得手段と、
   前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、
   前記領域を比較することで、画像類似度値を算出する算出手段と、
   前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、
   前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、
   前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする撮像装置。
6. 複数の視差画像を生成する撮像系を備えた撮像装置と、
   前記撮像装置から前記複数の視差画像を取得する取得手段と、
   前記複数の視差画像における位置関係および大きさが同一である領域を決定する決定手段と、
   前記領域を比較することで、画像類似度値を算出する算出手段と、
   前記画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出手段と、を有し、
   前記決定手段は、前記複数の視差画像における位置関係および大きさが同一である第１の領域と、前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域の少なくとも一部を含む第２の領域を決定し、
   前記算出手段は、前記第１の領域を比較することで第１の画像類似度値を算出し、前記第２の領域を比較することで第２の画像類似度値を算出し、前記第１および第２の画像類似度値に基づいて前記画像類似度値を算出することを特徴とする画像処理システム。
7. 複数の視差画像を取得する取得ステップと、
   前記複数の視差画像における位置関係および大きさが同一である第１の領域を決定する第１の決定ステップと、
   前記第１の領域を比較することで、第１の画像類似度値を算出する第１の算出ステップと、
   前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域とは異なる第２の領域を決定する第２の決定ステップと、
   前記第２の領域を比較することで、第２の画像類似度値を算出する第２の算出ステップと、
   前記第１および第２の画像類似度値に基づいて、第３の画像類似度値を算出するステップと、
   前記第３の画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出ステップと、を有することを特徴とする画像処理方法。
8. 前記検出ステップの後、前記不要成分領域内における位置関係および大きさが同一である第３の領域を決定する第３の決定ステップと、
   前記第３の領域を比較することで算出された画像類似度値に基づいて、前記不要成分領域に含まれ、前記不要成分領域よりも小さい不要成分領域を検出する検出ステップと、を更に有することを特徴とする請求項７に記載の画像処理装置。
9. 複数の視差画像を取得する取得ステップと、
   前記複数の視差画像における位置関係および大きさが同一である第１の領域を決定する第１の決定ステップと、
   前記第１の領域を比較することで、第１の画像類似度値を算出する第１の算出ステップと、
   前記複数の視差画像における位置関係および大きさが同一であり、前記第１の領域とは異なる第２の領域を決定する第２の決定ステップと、
   前記第２の領域を比較することで、第２の画像類似度値を算出する第２の算出ステップと、
   前記第１および第２の画像類似度値に基づいて、第３の画像類似度値を算出するステップと、
   前記第３の画像類似度値に基づいて、前記複数の視差画像の不要成分領域を検出する検出ステップと、をコンピュータに実行させることを特徴とする画像処理プログラム。