JP7237450B2 - 画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置 - Google Patents

Description

本発明は、画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置に関する。

デジタルスチルカメラ、デジタルビデオカメラに代表される撮像装置において、人物、物体等の被写体を認識する機能を備えた撮像装置が提案されている。また、観賞用画像信号と同時に、複数の画素位置にて撮像装置から被写体までの距離（被写体距離）を取得できる測距機能を備えた撮像装置が提案されている。

特許文献１には、撮像画素と焦点検出画素とを有し、位相差方式で被写体距離を検出可能な撮像装置が開示されている。この撮像装置は、撮像画素からの観賞用画像信号において被写体を認識できなかった場合に、焦点検出画素からの測距用画像信号を用いて被写体認識を行う。

特許第５２０７８９３号公報

しかしながら、特許文献１において、観賞用画像信号および測距用画像信号のどちらが被写体認識に適しているかを判断することは必ずしも容易ではない。認識精度を高めるために、二度の被写体認識を行う頻度が高くなってしまう。
本発明は、上述の課題に鑑みてなされたものであって、高精度な被写体認識を効率良く行うことが可能な画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置を提供することを目的とする。

本発明の一観点によれば、それぞれが結像光学系の異なる瞳領域からの光束に基づく複数の画像信号を取得する取得部と、前記複数の画像信号の少なくとも一部の画像信号を用いて、被写体に関する情報を生成する情報生成部と、前記被写体に関する情報に応じて、前記複数の画像信号からの選択、または前記複数の画像信号の加算を行うことにより、認識用の画像信号を生成する画像生成部と、前記認識用の画像信号を用いて、被写体の認識処理を行う認識部とを備えることを特徴とする画像処理装置が提供される。

本発明の他の観点によれば、それぞれが結像光学系の異なる瞳領域からの光束に基づく複数の画像信号を取得するステップと、前記複数の画像信号の少なくとも一部の画像信号を用いて、被写体に関する情報を生成するステップと、前記被写体に関する情報に応じて、前記複数の画像信号からの選択、または前記複数の画像信号の加算を行うことにより、認識用の画像信号を生成するステップと、前記認識用の画像信号を用いて、被写体の認識処理を行うステップとを備えることを特徴とする画像処理方法が提供される。

本発明によれば、高精度な被写体認識を効率良く行うことが可能な画像処理装置、画像処理方法、プログラム、記憶媒体及び撮像装置が提供される。

第１実施形態に係る撮像装置、撮像素子及び画素の模式図である。 第１実施形態に係る瞳領域及び光束を説明するための図である。 第１実施形態に係る距離情報生成部のブロック図及びその処理を表すフローチャートである。 第１実施形態に係る情報解析部のブロック図及びその処理を表すフローチャートである。 第１実施形態に係る情報解析部による画像処理の一例である。 第１実施形態に係る認識処理の精度を説明するための図である。 第１実施形態に係る画素選択の一例を示すグラフである。 第１実施形態に係る被写体距離とぼけサイズとの関係を表すグラフである。 第２実施形態に係る瞳領域を説明するための図である。 第２実施形態に係る距離情報生成部の処理を表すフローチャートである。 第２実施形態に係る認識処理の精度を説明するための図である。 第３実施形態に係る撮像素子の画素構成を表す図である。 第３実施形態に係る距離情報生成部及び情報解析部のブロック図である。

［第１実施形態］
以下、図を参照しながら本発明の第１実施形態について詳細に説明する。以下、本発明の画像処理装置（距離情報生成部及び情報解析部）を備えた撮像装置として、デジタルカメラを例に用いて説明するが、本発明の適用はこれに限定されるものではない。なお、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

＜デジタルカメラの構成＞
図１（Ａ）は、本実施形態に係るデジタルカメラ１００の構成を示す模式図である。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離情報生成部１１０、情報格納部１７０、情報解析部１８０、カメラ筐体１９０を備える。結像光学系１２０、撮像素子１０１、距離情報生成部１１０、情報格納部１７０、情報解析部１８０は、カメラ筐体１９０の内部に配置され得る。デジタルカメラ１００は、不図示の画像生成部及び画像格納部をカメラ筐体１９０内にさらに備え得る。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体像を撮像素子１０１上に形成する機能を有する。結像光学系１２０は、複数のレンズ群（不図示）等から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。なお、本明細書中では、ｚ軸を、結像光学系１２０の光軸１４０と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、かつｚ軸（光軸１４０）と垂直な軸とする。

撮像素子１０１は、ＣＭＯＳ（相補型金属酸化膜半導体）、ＣＣＤ（電荷結合素子）等から構成され、撮像面位相差測距方式による測距機能を有する。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像信号が生成される。画像信号に対して、画像生成部により現像処理を施すことで、観賞用画像を生成することができる。観賞用画像は、画像格納部に格納される。以下、撮像素子１０１について、図１（Ｂ）～（Ｄ）を用いてより詳細に説明する。

＜撮像素子の構成＞
図１（Ｂ）は、本実施形態に係る撮像素子１０１のｘｙ平面図である。撮像素子１０１には、２行×２列の画素を含む画素群１５０が配列されている。各画素群１５０には、対角方向に２つの緑画素１５０Ｇ１、１５０Ｇ２、及び他の対角方向に赤画素１５０Ｒと青画素１５０Ｂが配置される。画素群１５０は、青・緑・赤の３つの色情報を含む画像信号を出力する。ただし、これら３つの色情報は必須ではない。例えば、補色となる信号、近赤外情報等が取得できるような構成、または色情報を持たない（カラーフィルタなしを含む）情報のみを出力する構成であっても良い。

図１（Ｃ）は、本実施形態に係る画素群１５０について、図１（Ｂ）のＩ－Ｉ’断面を模式的に示した図である。画素群１５０の各画素は、導光層１５３と受光層１５４を備える。導光層１５３には、マイクロレンズ１５１、カラーフィルタ１５２が配置される。マイクロレンズ１５１は、画素へ入射した光束を光電変換部へ効率良く導くためのものである。カラーフィルタ１５２は、所定の波長帯域の光を通過させ、青、緑、赤の３種類からなる。導光層１５３には、さらに画像読み出し用及び画素駆動用の配線（不図示）等が配置され得る。

受光層１５４には、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１５５と第２の光電変換部１５６）が配置される。光電変換部は、フォトダイオード等の半導体素子から構成される。図１（Ｄ）は、図１（Ｂ）から抜き出された隣接２画素における光電変換部１５５、１５６の配置を示す。本実施形態では、撮像素子１０１のすべての画素がそれぞれ２つの光電変換部を有する。

図１（Ｃ）及び（Ｄ）に示す構成に限定されず、撮像素子１０１は、例えば２つの光電変換部を有する画素と、１つの光電変換部を有する画素とを混合して有していても良い。また、撮像素子１０１は、カラーフィルタを有する画素（色画素）とカラーフィルタを有しない画素（白画素）とを有し、色画素には１つの光電変換部が配置され、白画素には複数の光電変換部が配置されても良い。このような構成により、色画素のＳＮ（signal-noise）比を高めることができる。また、緑以外、すなわち赤及び青の色画素には１つの光電変換部が配置され、緑の色画素のみに複数の光電変換部が配置されても良い。

＜距離計測の原理＞
デジタルカメラ１００は、撮像面位相差方式による測距機能を有し、射出瞳１３０の異なる瞳領域を通過した光束に基づく２つの画像信号を取得し、これら２つの画像信号を用いて距離計測を行う。第１の光電変換部１５５及び第２の光電変換部１５６が受光する光束について、図２（Ａ）及び図２（Ｂ）を用いて説明する。

図２（Ａ）は、本実施形態に係る結像光学系１２０の射出瞳１３０と、撮像素子１０１中の画素の第１の光電変換部１５５に受光する光束との関係を光軸１４０に垂直な方向から示した概略図である。図２（Ｂ）は、図２（Ａ）と同様に、射出瞳１３０と第２の光電変換部１５６に受光する光束との関係を光軸１４０に垂直な方向から示した概略図である。

マイクロレンズ１５１は、射出瞳１３０と受光層１５４とが光学的に共役関係になるように配置されている。射出瞳１３０を通過した光束は、マイクロレンズ１５１により集光されて第１の光電変換部１５５または第２の光電変換部１５６に導かれる。この際、第１の光電変換部１５５と第２の光電変換部１５６は、図２（Ａ）及び（Ｂ）に示されるように、それぞれ異なる瞳領域を通過した光束を主に受光する。すなわち、第１の光電変換部１５５は、第１の瞳領域２１０を通過した光束を受光し、第２の光電変換部１５６は、第２の瞳領域２２０を通過した光束を受光する。第１の瞳領域２１０と第２の瞳領域２２０は、射出瞳１３０において、光軸１４０に対して線対称となる。

撮像素子１０１が備える複数の第１の光電変換部１５５は、第１の瞳領域２１０を通過した光束に基づく第１の画像信号Ｓ１を出力する。また同時に、撮像素子１０１が備える複数の第２の光電変換部１５６は、第２の瞳領域２２０を通過した光束に基づく第２の画像信号Ｓ２を出力する。第１の画像信号Ｓ１から、第１の瞳領域２１０を通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。また第２の画像信号Ｓ２から、第２の瞳領域２２０を通過した光束が、撮像素子１０１上に形成する像の強度分布を得ることができる。

第１の画像信号Ｓ１と第２の画像信号Ｓ２間の相対的な位置ズレ量（いわゆる視差量）は、デフォーカス量に応じた値となる。視差量とデフォーカス量の関係について、図２（Ｃ）～（Ｅ）を用いて説明する。図２（Ｃ）～（Ｅ）は、本実施形態に係る撮像素子１０１、結像光学系１２０について示した概略図である。各図には、第１の瞳領域２１０を通過する第１の光束２１１、及び第２の瞳領域２２０を通過する第２の光束２２１が示されている。

図２（Ｃ）は、合焦時の状態を示しており、第１の光束２１１と第２の光束２２１が撮像素子１０１上で収束している。この場合、第１の光束２１１により形成される第１の画像信号Ｓ１と第２の光束２２１により形成される第２の画像信号Ｓ２間の視差量は０となる。また、図２（Ｄ）は、像側でｚ軸の負方向にデフォーカスした状態を示している。この場合、第１の光束２１１により形成される第１の画像信号Ｓ１と、第２の光束２２１により形成される第２の画像信号Ｓ２間の視差量は０とはならず、負の値を有する。また、図２（Ｅ）は、像側でｚ軸の正方向にデフォーカスした状態を示している。この場合、第１の光束２１１により形成される第１の画像信号Ｓ１と、第２の光束２２１により形成される第２の画像信号Ｓ２間の相対的な位置ズレ量は０とはならず、正の値を有する。

図２（Ｄ）と図２（Ｅ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、結像光学系１２０の結像関係（幾何関係）にしたがった位置ズレが生じることが分かる。第１の画像信号Ｓ１と第２の画像信号Ｓ２間の位置ズレである視差量は、後述する領域ベースのマッチング手法により検出することができる。

＜距離情報生成＞
続いて、距離情報生成部１１０について説明する。距離情報生成部１１０は、論理回路を用いて構成することができる。また別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

図３（Ａ）は、本実施形態に係る距離情報生成部１１０のブロック図である。距離情報生成部１１０は、生成部３１０、補正部３２０を備える。生成部３１０は、撮像素子１０１または不図示の画像格納部から、第１の画像信号Ｓ１と第２の画像信号Ｓ２を取得し、これらの画像信号を用いて距離情報Ｄ１を生成する。補正部３２０は、距離情報Ｄ１から補正距離情報Ｄ２を生成する。以下では、距離情報Ｄ１として視差量を生成するものとし、距離情報生成部１１０の具体的な処理内容について図３（Ｂ）のフローチャートを用いて説明する。

まず、ステップＳ３１１において、生成部３１０は、第１の画像信号Ｓ１と第２の画像信号Ｓ２の光量補正を行う。結像光学系１２０の周辺画角では、ヴィネッティングにより第１の瞳領域２１０と第２の瞳領域２２０の形状が異なることに起因して、第１の画像信号Ｓ１と第２の画像信号Ｓ２間で光量バランスが崩れる。生成部３１０は、情報格納部１７０に格納された光量補正値を用いて、第１の画像信号Ｓ１と第２の画像信号Ｓ２の光量補正を行う。なお、必ずしも情報格納部１７０に格納された光量補正値を用いる必要はなく、例えば、生成部３１０が、第１の瞳領域２１０と第２の瞳領域２２０の面積比から光量補正値を生成したのち、光量補正を行っても良い。

ステップＳ３１２において、生成部３１０は、撮像素子１０１にて付加されたノイズを低減するための処理を行う。具体的には、第１の画像信号Ｓ１と第２の画像信号Ｓ２に対して、フィルタ処理が行われる。一般に、空間周波数が高い高周波領域ほど、ＳＮ比（信号成分とノイズ成分の比）が低くなり、相対的にノイズ成分が多くなる。従って、高周波になるほど通過率が低くなるいわゆるローパスフィルタを用いることができる。なお、ステップＳ３１１における光量補正は、結像光学系１２０の製造誤差などにより設計値通りになるとは限らない。そのため、直流成分（空間周波数が０となる成分）の通過率が０となり、且つ高周波成分の通過率が低いバンドパスフィルタを用いることが望ましい。

ステップＳ３１３において、生成部３１０は、第１の画像信号Ｓ１と第２の画像信号Ｓ２間の視差量を算出する。具体的には、生成部３１０は、第１の画像信号Ｓ１内に、代表画素情報に対応した注目点を設定し、注目点を中心とする照合領域を設定する。照合領域は、例えば、注目点を中心とした一辺が所定画素の長方形である。照合領域は変形しても構わない。生成部３１０は、次に第２の画像信号Ｓ２内に参照点を設定し、参照点を中心とする参照領域を設定する。参照領域は、照合領域と同一の大きさおよび形状である。

生成部３１０は、参照点を順次移動させながら照合領域内に含まれる第１の画像信号Ｓ１と、参照領域内に含まれる第２の画像信号Ｓ２間の相関度を算出し、最も相関が高い参照点を注目点に対応する対応点とする。注目点と対応点間の相対的な位置のズレ量が、注目点における視差量である。生成部３１０は、注目点を代表画素情報Ｉｓｐに従って順次変更しながら視差量を算出することで、複数の画素位置における視差量を算出することができる。

相関度の算出方法としては公知の手法を用いることができる。例えば、画像信号間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）と呼ばれる手法がある。また、画像信号間の差の二乗和を評価するＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、差の絶対値和を評価するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いることもできる。これらの相関度を用いた手法の場合には、各画素ブロックのテクスチャ量や周波数成分情報を用いて、算出距離情報の信頼度を生成することができる。

また、所定の変換係数を用いて視差量を、撮像素子１０１から結像光学系１２０の焦点までの距離であるデフォーカス量へ変換することができる。所定の変換係数をＫ、デフォーカス量をΔＬ、視差量をｄとしたとき、下記式（１）により視差量ｄをデフォーカス量ΔＬに変換することができる。

さらにデフォーカス量ΔＬを幾何光学におけるレンズの公式を用いて、物体距離（被写体距離）に変換することができる。

Ａ：物面から結像光学系１２０の主点までの距離
Ｂ：結像光学系１２０の主点から像面までの距離
Ｆ：結像光学系１２０の焦点距離

式（２）において、Ｂの値がデフォーカス量ΔＬより算出でき、焦点距離は光学系により得られるため、物面までの距離Ａを算出することができる。これらデフォーカス量や物体距離情報への変換は、行っても行わなくても良い。変換の有無は、後述する認識処理時の閾値に応じて選択することができる。またこの変換は、補正部３２０による距離情報補正処理（ステップＳ３１４）の後で行っても良い。

ステップＳ３１４において、補正部３２０は、必要に応じて距離情報Ｄ１の補正を行うことにより、補正距離情報Ｄ２を生成する。補正距離情報Ｄ２は、情報格納部１７０に記憶される。補正対象となる距離情報の誤差要因は数多くあるため、以下にいくつか例を挙げるが、それ以外の方法を行っても良い。なお、距離情報補正処理（ステップＳ３１４）は、行う必要性が小さければ行わなくても良い。

ここでは、設計起因誤差、計算起因誤差、被写体起因誤差、製造組立誤差について説明する。設計起因誤差は、特に光学設計時の像面湾曲、ヴィネッティング、各種収差等による画角内で変化してしまう誤差である。この誤差は、設計データから補正を行うことができる。例えば、各物体距離・各画角において補正データを設計データからあらかじめ計算しておくことができる。

計算起因誤差は、生成部３１０による処理（ステップＳ３１１～Ｓ３１３）で発生する誤差である。この誤差は可能な限り各ステップ内で低減されるが、残存誤差に関しては、例えば距離情報の空間的なフィルタリング処理により、ばらつき誤差を削減することができる。被写体起因誤差は、被写体のコントラストや色に依って発生する誤差である。この誤差は、第１の画像信号Ｓ１や第２の画像信号Ｓ２を用いて、被写体情報を解析し、設計情報に従って補正する。例えば結像光学系１２０の軸上色収差の影響により、被写体の色に従ってデフォーカス量ΔＬは変化する。製造組立誤差は、製造組立時に発生するものであり、各個体に依って異なる。そのため、補正には実際に撮像するなどして個体毎に補正データを生成する。

＜情報解析＞
続いて、情報解析部１８０について説明する。情報解析部１８０は、論理回路を用いて構成することができる。また別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

図４（Ａ）は本実施形態に係る情報解析部１８０のブロック図である。情報解析部１８０は、閾値処理部４８１、画素混合・選択部４８２、認識処理部４８３を備える。情報解析部１８０は、第１の画像信号Ｓ１、第２の画像信号Ｓ２、生成部３１０で生成された補正距離情報Ｄ２を情報格納部１７０から取得する。画素混合・選択部４８２は、取得部を構成し得る。情報解析部１８０は、距離情報補正が行われない場合は、補正距離情報Ｄ２に代えて距離情報Ｄ１を取得する。以下、情報解析部１８０の具体的な処理内容について図４（Ｂ）及び図５～図８を用いて説明する。

図４（Ｂ）は、本実施形態に係る情報解析部１８０の処理の概要を表すフローチャートである。まず、ステップＳ４１１において、閾値処理部４８１は、補正距離情報Ｄ２を用いて閾値処理を行う。具体的には、図５に示す二値マップ５０２、５０３を生成する。ステップＳ４１２において、画素混合・選択部４８２は、第１の画像信号Ｓ１及び第２の画像信号Ｓ２を用いて合成画像Ｃ１を生成する。ステップＳ４１３において、認識処理部４８３は、合成画像Ｃ１を基に認識情報Ｒ１を生成する。認識処理部４８３は、認識部を構成する。以下、図５を参照しながら、各ステップの処理について詳細に説明する。

図５は、本実施形態に係る情報解析部１８０による画像処理の一例である。図５の上段には撮像対象５００が示されている。撮像対象５００において、被写体１はピント位置から外れてぼける被写体を表し、被写体２はピント位置付近でぼけない被写体を表している。距離マップ５０１は、撮像対象５００の被写体の位置に対応した補正距離情報Ｄ２を表している。距離マップ５０１は、距離情報生成部１１０（または閾値処理部４８１）により生成され得る。

距離マップ５０１において、白色領域は、被写体がピント位置よりも手前にあることを表し、黒色領域は、被写体がピント位置よりも遠くにあることを表している。グレー（ドット）領域は、被写体がピント位置付近（例えば被写界深度内）にあることを表している。補正距離情報Ｄ２は、物体距離、デフォーカス値、視差値等、被写体距離と対応した値であればどのような情報でも良いが、本実施形態ではデフォーカス値を例に説明を行う。

閾値処理部４８１は、デフォーカス値に応じて、画素毎にピント位置付近とそれ以外に分けるような閾値処理（ステップＳ４１１）を行う。例えば二値マップ５０２に示すように、閾値処理部４８１は、ピント位置付近を１（白色領域）、それ以外を０（黒色領域）とするようなマップを生成する。閾値処理部４８１は、必ずしもマップを生成する必要はなく、画素混合・選択部４８２と共に、画素毎に閾値処理（ステップＳ４１１）及び合成処理（ステップＳ４１２）を続けて行っても良い。

ぼけやノイズが被写体の認識精度に与える影響は認識処理方法に依存するが、多くの手法に見られる傾向を表す認識率の一例を図６（Ａ）に示す。一般的にぼけが小さく、ノイズが少ない方が認識精度は高く、ぼけが大きくなるまたはノイズが多くなるに従って認識精度は低くなる。認識率が図６（Ａ）となる場合の、第１の画像信号Ｓ１（第２の画像信号Ｓ２でも良い）による認識率と、第１の画像信号Ｓ１と第２の画像信号Ｓ２を加算した画像信号（加算画像信号Ｓ１＋Ｓ２）による認識率を図６（Ｂ）に示す。

加算画像信号Ｓ１＋Ｓ２を用いた場合、ピント位置付近での認識率は高くなる。しかしながら、加算画像信号Ｓ１＋Ｓ２は、第１の瞳領域２１０と第２の瞳領域２２０とを合わせた射出瞳１３０全域からの光束に基づく画像信号となるため、Ｆ値は明るく（小さく）なる。よって、ピント外ではぼけが大きくなり、認識精度が低下する。

一方、第１の画像信号Ｓ１のみを用いた場合には加算画像信号Ｓ１＋Ｓ２を用いた場合に比べ、Ｆ値が暗く（大きく）なる。このため、被写界深度が深くなり、ぼけが小さくなる。しかしながら、入射光量が減るため、ノイズ量が増えてしまい、ピント付近で比較すると加算画像信号Ｓ１＋Ｓ２を用いた場合に比べ、認識精度が低下してしまう。

したがって、図７において太字のグラフで表されるように、ピント位置（デフォーカス量がゼロ）付近では加算画像信号Ｓ１＋Ｓ２の画素を選択し、且つピント外では第１の画像信号Ｓ１の画素を選択する。これにより、ピント位置に関わらず全域においてぼけが小さく、高精度の認識処理を行うことが可能な認識用画像データを生成することが可能となる。

ピント位置付近とそれ以外とに分ける閾値は、上述したようにぼけのサイズとノイズによる認識率への影響に応じて適宜設定することができる。閾値として、例えば図７に示すデフォーカス量の絶対値を用いることができる。すなわち、デフォーカス量の絶対値が所定の閾値未満の画素に対して加算画像信号Ｓ１＋Ｓ２の選択、前記絶対値が前記閾値以上の画素に対して第１の画像信号Ｓ１の選択を行う。閾値は、認識処理部４８３における手法及びその事前の検討結果を用いて、最も認識性能が向上するように設定されることが望ましい。

また、図８に示すように、結像光学系１２０の特性として、ぼけのサイズはピント位置に対して前方（前ぼけ）の場合に急激に大きくなることから、ピント位置に対して後方よりも前方の方が大きくなりやすい。また、デジタルカメラにおいてはストロボ発光により、また自動車等においてはヘッドライト等の光により、前方側（手前にある被写体）は、光量を多く受けることが多い。そのため、ピント位置に対して前方（デフォーカス量がゼロ以上）の場合には第１の画像信号Ｓ１のみが選択され、ピント位置に対して後方（デフォーカス量がゼロ未満）の場合には加算画像信号Ｓ１＋Ｓ２が選択されるように閾値を設定しても良い。また、距離情報を用いず、輝度信号（明るさ）を閾値に用いて、画素が明るい場合には第１の画像信号Ｓ１を、画素が暗い場合には加算画像信号Ｓ１＋Ｓ２が選択されるようにしてもよい。

画素混合・選択部４８２は、閾値処理された二値マップ５０２を用いて、ピント位置付近に相当する画素群（部分領域）のみから構成される画像データ５０６を生成する。具体的には、画素混合・選択部４８２は、第１の画像信号Ｓ１と第２の画像信号Ｓ２を加算して加算画像信号Ｓ１＋Ｓ２を生成し、加算画像信号Ｓ１＋Ｓ２からなる画像データ５０４と、二値マップ５０２との要素積により画像データ５０６を得る。

また同様に、画素混合・選択部４８２は、閾値処理された二値マップ５０２を用いて、ピント外に相当する画素群のみから構成される画像データ５０７を生成する。具体的には、画素混合・選択部４８２は、二値マップ５０２において１と０の要素を入れ替える反転処理を行うことにより、二値マップ５０３を生成する。画素混合・選択部４８２は、第１の画像信号Ｓ１のみからなる画像データ５０５と、二値マップ５０３との要素積により画像データ５０７を得る。画像データ５０６と画像データ５０７は、それぞれピント位置相当付近とピント外相当の画像データであり、要素和を行うことで被写体認識に適した画像データ５０８（合成画像Ｃ１）が生成される（ステップＳ４１２）。

なお、ここでは閾値処理された画像データ（画素群）による要素積・要素和を用いた処理を説明したが、画素毎に閾値処理と画素混合・選択処理を行って、合成画像Ｃ１を生成しても良い。また、第１の画像信号Ｓ１のみの場合と加算画像信号Ｓ１＋Ｓ２の場合とでは明るさ（画素の輝度値）が異なってしまうため、選択した画像信号によって、ゲイン調整を行うことが望ましい。

また、画素混合・選択部４８２は、画素混合方法として、下記式（３）のジョイントバイラテラルフィルタ（Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ）を用いて合成画像Ｃ１を生成しても良い。

ｘ：フィルタ処理後のターゲットの画素値
ｙ：フィルタ処理前のターゲットの画素値
ｕ：画像上での空間的な位置座標
ｚ：ガイドの画素値
ｉ：画素位置
ｊ：フィルタ範囲内の画素位置
Ｗｓ：空間的な距離に基づく重みを決定する関数
Ｗｌ：ガイドの画素値差に基づく重みを決定する関数

ジョイントバイラテラルフィルタではターゲットの画像に対し、ガイドとなる画像を用意して、エッジ保存型のフィルタリング処理を行う。関数Ｗｓは一般的には、遠くなる程重みが小さくなるように設定される。関数Ｗｌは、画素値差が大きくなる程重みが小さくなるように設定される。

本画素混合方法では、例えばノイズが多く、被写界深度の深い第１の画像信号Ｓ１のみをターゲットにし、ノイズが少なく、被写界深度の浅い加算画像信号Ｓ１＋Ｓ２をガイドとして考えることができる。加算画像信号Ｓ１＋Ｓ２はノイズが少ない画像となるため、ノイズが多い画像信号Ｓ１のノイズを平滑化によって低減することが可能となる。また、逆に加算画像信号Ｓ１＋Ｓ２をターゲットに画像信号Ｓ１をガイド画像にしても良い。その場合には、加算画像信号Ｓ１＋Ｓ２でぼけてしまった被写体の境界部を補正し、強調するような効果を与えることができる。本処理は距離情報を用いなくても良い。

距離情報や明るさの情報を用いて閾値処理を行い、加算画像信号Ｓ１＋Ｓ２の場合にぼけてしまう領域（例えば被写界深度の範囲外）にのみジョイントバイラテラルフィルタを用いることで、より高品質な合成画像Ｃ１を生成することができる。また、Ｗｓ、Ｗｌといった重み関数を距離情報や明るさの情報を用いて画素毎に設定することによっても、高品質な合成画像Ｃ１を生成することができる。

例えば、加算画像信号Ｓ１＋Ｓ２をガイド画像にしている場合に、距離がピント位置から離れてぼけが大きくなるにつれ、関数Ｗｓを空間的な距離が広がるほどより小さくなるように設定する。これはぼけによって似た輝度値が広がってしまうため、より近傍の画素群のみで平滑化によるノイズ低減を行うことで、ターゲット画像である第１の画像信号Ｓ１の被写体境界がぼけてしまう影響を軽減するためである。また、関数Ｗｌは、画素値差が広がるほど重みがより小さくなるように設定する。これにより、ぼけによる緩やかな輝度変化によって、ターゲット画像である第１の画像信号Ｓ１の被写体境界がぼけてしまう影響を軽減することができる。ここでは画素を混合する方法として、平滑化フィルタによる方法を述べたが、これに限定されず、エッジを保存し、平滑化を行うような手法であれば良い。

認識処理部４８３は、合成画像Ｃ１において被写体の認識処理を行う（ステップＳ４１３）。認識対象及び認識方法は任意である。例えば、顔認識であればＶｉｏｌａ－Ｊｏｎｅｓ法、その他一般物体認識ではＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）とＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた手法等が挙げられる。また、その他Ｄｅｅｐ Ｌｅａｒｎｉｎｇを用いた方法でも良い。

また、複数の手法により認識処理が行われても良い。その場合にはそれぞれの手法の特徴を考慮して、閾値処理部４８１で用いられる閾値を決定しても良く、それぞれの手法を用いて、閾値処理部４８１及び画素混合・選択部４８２による処理を行い、適切な合成画像Ｃ１を複数生成しても良い。認識処理部４８３による処理結果は、認識情報Ｒ１として出力される。

また、図５において、画像データ５０８（合成画像Ｃ１）を生成せず、部分領域毎の画像である画像データ５０６及び画像データ５０７において、それぞれ認識処理を行っても良い。さらに図５の画像データ５０４（加算画像信号Ｓ１＋Ｓ２）及び画像データ５０５（画像信号Ｓ１）において、それぞれ認識処理を行っても良い。その後で閾値処理部４８１は、適切な認識情報を選択して統合する。認識処理を複数回行う必要は生じるが、それぞれの認識情報Ｒ１と補正距離情報Ｄ２を用いた閾値処理で得られる情報を用いて、より信頼度の高い距離情報を生成することができる。

合成画像Ｃ１は異なるＦ値の画像が混ざった状態となっているため、認識率向上に寄与するが、観賞用画像としては適さない。そのため、画素混合・選択部４８２は、認識用の合成画像Ｃ１とは別に、観賞用画像を生成しても良い。観賞用画像としては、加算画像信号Ｓ１＋Ｓ２による画像、および第１の画像信号Ｓ１（または第２の画像信号Ｓ２）のみによる画像のいずれか一方を選択する。観賞用画像は、画像格納部に記憶され、保存・表示に利用することができる。

本実施形態によれば、それぞれが異なる瞳領域からの光束に基づく複数の画像信号と、これらの画像信号から生成された距離相当の情報とに基づいて、ぼけサイズとノイズを考慮した認識に適した認識用画像を生成することができる。認識用画像を用いて認識処理を行うことにより、認識処理の必要回数を低減し、高精度な被写体認識を効率良く行うことができる。さらに、認識用画像は一回の撮像で得られた画像信号から生成することができるため、フォーカスを変更するように駆動部を作動させる必要はない。

［第２実施形態］
次に、図９を参照しながら本発明の第２実施形態について説明する。第１実施形態と同様に、本発明の画像処理装置を備えた撮像装置として、デジタルカメラを例に用いて説明するが、本発明の適用はこれに限定されるものではない。本実施形態に係るデジタルカメラ１００は、ＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式による測距機能を有しており、ピント位置と絞りの大きさ（Ｆ値）が異なる複数の画像信号を用いて、そのぼけの違いから被写体距離を算出する。以下、第１実施形態と異なる点を中心に説明する。

図９は、本実施形態に係る瞳領域を説明するための図である。デジタルカメラ１００は、図示された第３の瞳領域９１０及び第４の瞳領域９２０のように、絞り機構によって射出瞳１３０の瞳領域のサイズを変更して撮像を行うことができる。撮像素子１０１の各画素は、第１実施形態における２つの光電変換部（第１の光電変換部１５５及び第２の光電変換部１５６）の代わりに、１つの光電変換部（第３の光電変換部１５７）を備える。光電変換部以外の構成は、第１実施形態に係る撮像素子１０１と同様である。

本実施形態における第１の画像信号Ｓ１は、図９（Ａ）に示すように、射出瞳１３０における第３の瞳領域９１０からの光束に基づく信号であって、第３の光電変換部１５７から出力される。また、第２の画像信号Ｓ２は、図９（Ｂ）に示すように、第４の瞳領域９２０からの光束に基づく信号であって、第１の画像信号Ｓ１と同様に第３の光電変換部１５７から出力される。第４の瞳領域９２０は、第３の瞳領域９１０よりも小さい。

図１０は、本実施形態に係る距離情報生成部１１０の処理を表すフローチャートである。第１の画像信号Ｓ１と第２の画像信号Ｓ２とは、瞳領域のサイズ、すなわちＦ値が異なっているため、被写界深度の異なる画像信号となっている。

ステップＳ１０１１において、生成部３１０は、第１の画像信号Ｓ１と第２の画像信号Ｓ２の位置合わせを行う。撮影時刻が僅かにずれた第１の画像信号Ｓ１と第２の画像信号Ｓ２が取得された場合には、デジタルカメラ１００の動き、または被写体側の動きによって、被写体の画素位置（画像内での位置）が変動してしまう可能性がある。生成部３１０は、このような変動に対して補正を行う。

補正方法の一例としては、各画素を中心としたブロックマッチングを行うことにより、第１の画像信号Ｓ１の各画素が第２の画像信号Ｓ２のどの画素に対応しているかを探索し、それに基づいて位置合わせを行う。第１の画像信号Ｓ１及び第２の画像信号Ｓ２が時間的なずれなく取得できる構成、またはデジタルカメラ１００及び被写体が動いていない条件の場合には、位置合わせ処理（ステップＳ１０１１）は行わなくても良い。

ステップＳ１０１２において、生成部３１０は、第１の画像信号Ｓ１と第２の画像信号Ｓ２のぼけサイズ（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）の類似度合い（相関度）を算出する。ピント位置付近からのデフォーカス量が大きくなる程、類似度合いは低くなる。相関度の算出には、上述したＮＣＣ、ＳＳＤ、ＳＡＤ等を用いることができる。各画素に対して算出された相関度をデフォーカス量に変換することにより、距離情報Ｄ１を得ることができる。ＤＦＤにおける距離算出手法は任意であり、例えば特許第６１５７２４９号公報に記載された手法を用いても良い。

図１１は、本実施形態に係る認識処理の精度を説明するための図である。上述したように、第１の画像信号Ｓ１は、第３の瞳領域９１０より受光された光に基づいて生成され、第２の画像信号Ｓ２は、第４の瞳領域９２０より受光された光に基づいて生成される。第３の瞳領域９１０が第４の瞳領域９２０より大きいことから、第１の画像信号Ｓ１は、第２の画像信号Ｓ２と比べ、信号の基となる受光した光量が多く（Ｆ値が小さく）、被写界深度が狭い画像となっている。第１実施形態と同様に、ぼけサイズ及びノイズ量に応じて認識率が最適となるように、画素毎に２つの画像信号のいずれかの画素が選択される。本実施形態では、ピント位置付近に対応する画素として、光量が多くノイズの少ない第１の画像信号Ｓ１の画素が選択され、ピント位置付近以外に対応する画素として、被写界深度の深い第２の画像信号Ｓ２の画素が選択される。

本実施形態のデジタルカメラ１００においては、撮像素子１０１の各画素が備える光電変換部１５７が１つとなっており、シンプルな構成であるという利点がある。さらに第１実施形態と同様に、高精度な認識処理を行うことが可能な画像信号を生成して、被写体認識を効率良く行うことができる。

［第３実施形態］
次に、図１２及び図１３を参照しながら本発明の第３実施形態について説明する。上述の実施形態と同様に、本発明の画像処理装置を備えた撮像装置として、デジタルカメラを例に用いて説明するが、本発明の適用はこれに限定されるものではない。以下、第１実施形態と異なる点を中心に説明する。

本実施形態のデジタルカメラ１００は、撮像素子１０１の各画素が３つの光電変換部を備える点で第１実施形態のデジタルカメラと異なっている。３つの光電変換部は、それぞれ異なる瞳領域からの光を受光する。

図１２は、本実施形態に係る撮像素子１０１の画素構成を表す図であって、図１（Ｂ）から抜き出された隣接２画素における光電変換部の配置を示す。本実施形態では、第１実施形態の図１（Ｄ）と対比されるように、１つの画素内に３つの光電変換部（第４の光電変換部１５８、第５の光電変換部１５９、第６の光電変換部１６０）を有する。

３つの光電変換部と瞳領域との対応関係は、第１実施形態における図２（Ａ）、（Ｂ）の場合と同様に説明できる。第４の光電変換部１５８と第５の光電変換部１５９は、被写体距離の変化に対し、画素位置が異なり視差を大きく有する形となる。射出瞳１３０において、第４の瞳領域と第５の瞳領域が光軸１４０に対して線対称に形成される。第４の瞳領域を通過した光は第４の光電変換部１５８に受光され、第５の瞳領域を通過した光は第５の光電変換部１５９に受光される。第６の瞳領域は、第４の瞳領域と第５の瞳領域との間に形成される。第６の瞳領域を通過した光は、第６の光電変換部１６０に受光される。第１実施形態と同様に、撮像素子１０１において、１つの光電変換部を有する画素と、複数の光電変換部を有する画素とが混在していても良く、カラーフィルタの配置も限定されない。

図１３（Ａ）は、本実施形態に係る距離情報生成部１１０のブロック図である。本実施形態では、撮像素子１０１の各画素が３つの光電変換部を有するが、距離情報生成部１１０は、第４の光電変換部１５８から得られる第４の画像信号Ｓ４と、第５の光電変換部１５９から得られる第５の画像信号Ｓ５のみを取得する。生成部３１０は、取得された第４の画像信号Ｓ４と第５の画像信号Ｓ５を用いて、距離情報Ｄ３を生成する。第４の画像信号Ｓ４と第５の画像信号Ｓ５は受光する瞳領域の重心差が大きく、基線長が長いため高精度に測距できるという利点がある。補正部３２０は、距離情報Ｄ３から補正距離情報Ｄ４を生成する。

距離情報生成部１１０は、必ずしも第４の画像信号Ｓ４と第５の画像信号Ｓ５を用いなくても良い。例えば、第４の画像信号Ｓ４と第６の光電変換部１６０から得られる第６の画像信号Ｓ６を用いた場合、基線長は短くはなるため、精度は落ちるが画素毎の視差量が小さくなり、視差量計算のための探索範囲を狭くできるため計算量を削減できるという効果がある。また、距離情報生成部１１０は、３つの光電変換部から得られる３つの信号すべてを用いて、適応的に距離情報算出を行っても良い。

図１３（Ｂ）は、本実施形態に係る情報解析部１８０のブロック図である。本実施形態では、撮像素子１０１の各画素が３つの光電変換部を有する。そのため、画素混合・選択部４８２は、第４の画像信号Ｓ４、第５の画像信号Ｓ５、及び第６の画像信号Ｓ６を取得する。これらの画像信号を加算した加算画像信号Ｓ４＋Ｓ５＋Ｓ６は、第１実施形態における加算画像信号Ｓ１＋Ｓ２に相当する。閾値処理部４８１は、補正距離情報Ｄ４を取得する。

画素混合・選択部４８２は、第１実施形態と同様に、閾値処理部４８１による閾値処理に従って合成画像Ｃ２を生成する。すなわち、画素混合・選択部４８２は、合成画像Ｃ２を生成するために、ノイズの少ない画素として加算画像信号Ｓ４＋Ｓ５＋Ｓ６の画素を選択し、被写界深度が深く、ぼけの小さい画素として第６の画像信号Ｓ６の画素を選択する。これにより、合成される画像のＰＳＦの重心がずれないため、高品質な認識用の合成画像Ｃ２が生成できる。第１実施形態と同様に、各画素に対するゲイン調整は行われ得る。認識処理部４８３は、合成画像Ｃ２において被写体認識を行うことにより認識情報Ｒ２を生成する。

本実施形態によれば、第１実施形態と同様に、部分領域（画素）毎にぼけサイズとノイズを考慮した認識用画像を生成することができる。光電変換部を３つにしたことにより、基線長が長くなり、より高精度に被写体距離を算出できる。さらに、中央に配置された第６の光電変換部１６０からの画像信号Ｓ６と、３つの光電変換部からの加算画像信号Ｓ４＋Ｓ５＋Ｓ６とのＰＳＦの重心が揃うため、認識のための合成画像の品質が向上する。

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。例えば、上述の実施形態では、撮像素子１０１、距離情報生成部１１０、情報解析部１８０を別々の装置として記載したが、そのような構成に限定されない。例えば、積層型センサ等により、撮像素子１０１内に距離情報生成部１１０、閾値処理部４８１、画素混合・選択部４８２がすべて含まれても良い。この場合、撮像素子１０１内で補正距離情報Ｄ２が生成され、撮像素子１０１から画素信号が読み出される際に、閾値処理（ステップＳ４１１）及び合成処理（ステップＳ４１２）が行われるように構成されても良い。

また、デジタルカメラ１００で得られた認識情報Ｒ１及び補正距離情報Ｄ２を、結像光学系１２０、撮像素子１０１にフィードバックし、シーン認識機能及び画像処理アシスト機能等に活用しても良い。例えば、補正距離情報Ｄ２と合わせて、撮影シーン（人物撮影、物体撮影、近接撮影、風景撮影など）を特定し、ストロボの発光を制御することで、最適なストロボ撮影を行うことができる。

さらに、デジタルカメラ１００は、自律的に行動計画を作成可能なロボット、自動車等が外部環境を認識するための情報取得手段として活用することができる。例えば、デジタルカメラ１００を備えるロボットが、デジタルカメラ１００からの認識情報Ｒ１及び補正距離情報Ｄ２に基づいて、所与の目的に応じた行動計画を作成する。そして行動計画に応じて、ロボット自身がアクチュエータを制御することにより自律移動を実現する。アクチュエータは、原動機、電気モータ、タイヤ、脚機構等であり得る。デジタルカメラ１００は、距離情報と高精度な認識情報を取得できるため、外部環境を正確に把握するために使用することができる。

本発明は、上述の実施形態の機能を実現するソフトウェアのプログラムを格納した記憶媒体を、コンピュータに供給することでも実現できる。コンピュータ（ＣＰＵ、ＭＰＵ等）は、記憶媒体に格納されたプログラムを読み出し実行する。この場合、プログラム自体が上述の実施形態の機能を実現することになり、該プログラム及びこれを格納した記憶媒体は本発明を構成することになる。本発明のプログラムは、結像光学系、撮像部及びコンピュータを備えた撮像装置の該コンピュータにインストールすることによって、撮像装置を高精度の距離検出が可能なものとなすことができる。本発明のコンピュータは、記憶媒体の他、インターネットを通じて頒布することも可能である。

１１０ 距離情報生成部（画像処理装置）
１２０ 結像光学系
１８０ 情報解析部（画像処理装置）
２１０ 第１の瞳領域
２２０ 第２の瞳領域
３１０ 生成部
３２０ 補正部
４８１ 閾値処理部
４８２ 画素混合・選択部
４８３ 認識処理部

Claims (24)

1. それぞれが結像光学系の異なる瞳領域からの光束に基づく複数の画像信号を取得する取得部と、
   前記複数の画像信号の少なくとも一部の画像信号を用いて、デフォーカス量を生成する情報生成部と、
   前記デフォーカス量の絶対値が第１の値である場合に、前記複数の画像信号からの選択によって、前記デフォーカス量の絶対値が前記第１の値より小さい第２の値である場合に、前記複数の画像信号の加算を行うことによって、認識用の画像信号を生成する画像生成部と、
   前記認識用の画像信号を用いて、被写体の認識処理を行う認識部と
   を備えることを特徴とする画像処理装置。
2. それぞれが結像光学系の異なる瞳領域からの光束に基づく複数の画像信号を取得する取得部と、
   前記複数の画像信号の少なくとも一部の画像信号を用いて、デフォーカス量を生成する情報生成部と、
   前記デフォーカス量がゼロ未満の画素である場合に、前記複数の画像信号の加算を行うことによって、前記デフォーカス量がゼロ以上の画素である場合に、前記複数の画像信号からの選択によって、認識用の画像信号を生成する画像生成部と、
   前記認識用の画像信号を用いて、被写体の認識処理を行う認識部と
   を備えることを特徴とする画像処理装置。
3. 前記画像生成部は、前記画像信号の画素毎に、前記選択または前記加算を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記異なる瞳領域は、第１の瞳領域と、前記結像光学系の光軸に対して前記第１の瞳領域と線対称に位置する第２の瞳領域とを含むことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記画像生成部は、前記デフォーカス量の絶対値が前記第２の値を含む所定の閾値未満の画素に対して、前記第１の瞳領域からの光束に基づく第１の画像信号と前記第２の瞳領域からの光束に基づく第２の画像信号との加算を行い、前記絶対値が前記第１の値を含む前記閾値以上の画素に対して、前記第１の画像信号と前記第２の画像信号とのいずれか一方の選択を行うことを特徴とする請求項１に記載の画像処理装置。
6. 前記画像生成部は、輝度値が所定の閾値未満の画素に対して前記加算を行い、前記輝度値が前記閾値以上の画素に対して前記選択を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記閾値は、前記複数の画像信号に含まれるノイズ量およびぼけ量から決定されることを特徴とする請求項５または６に記載の画像処理装置。
8. 前記画像生成部は、前記デフォーカス量に応じて設定された部分領域毎に、前記認識用の画像信号を生成することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記認識部は、前記部分領域毎に前記認識処理を行い、前記認識処理の結果を統合することを特徴とする請求項８に記載の画像処理装置。
10. 前記画像生成部は、前記選択または前記加算によって異なる明るさが揃うように、画素毎にゲイン調整を行うことを特徴とする請求項３乃至９のいずれか１項に記載の画像処理装置。
11. 前記画像生成部は、エッジ保存型の平滑化フィルタを用いて前記認識用の画像信号を生成することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記画像生成部は、前記デフォーカス量に応じて、前記エッジ保存型の平滑化フィルタを適用するか否かを決定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記画像生成部は、前記デフォーカス量に応じて、前記結像光学系のピント位置から所定の範囲外の画素群に対して、前記エッジ保存型の平滑化フィルタを適用することを特徴とする請求項１２に記載の画像処理装置。
14. 前記エッジ保存型の平滑化フィルタは、フィルタ処理後のターゲットの画素値をｘ、フィルタ処理前のターゲットの画素値をｙ、画像上での空間的な位置座標をｕ、ガイドの画素値をｚ、画素位置をｉ、フィルタ範囲内の画素位置をｊ、空間的な距離に基づく重みを決定する関数をＷｓ、ガイドの画素値差に基づく重みを決定する関数をＷｌとしたとき、
    

    

    表されるジョイントバイラテラルフィルタ（Ｊｏｉｎｔ Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ）であることを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理装置。
15. 前記画像生成部は、前記デフォーカス量に応じて、ジョイントバイラテラルフィルタの重みを決定する関数Ｗｓ及びＷｌの少なくとも一方を変更することを特徴とする請求項１４に記載の画像処理装置。
16. 前記取得部は、前記第１の瞳領域からの光束を受光する第１の光電変換部、および前記第２の瞳領域からの光束を受光する第２の光電変換部を各画素に有する撮像素子から、前記第１の光電変換部に基づく前記第１の画像信号、および前記第２の光電変換部に基づく前記第２の画像信号を取得することを特徴とする請求項５に記載の画像処理装置。
17. 前記撮像素子は、前記第１の光電変換部と前記第２の光電変換部との間に、前記結像光学系の第３の瞳領域からの光束を受光する第３の光電変換部を有し、
    前記取得部は、前記第３の光電変換部に基づく第３の画像信号を取得し、
    前記画像生成部は、前記デフォーカス量に応じて、前記第３の画像信号の選択、または前記第１の画像信号、前記第２の画像信号および前記第３の画像信号の加算を行うことにより、前記認識用の画像信号を生成することを特徴とする請求項１６に記載の画像処理装置。
18. 前記撮像素子は、カラーフィルタを有する色画素およびカラーフィルタを有しない画素を含み、前記色画素の前記光電変換部は１つに統合されることを特徴とする請求項１６または１７に記載の画像処理装置。
19. 前記色画素は、緑以外のカラーフィルタを有することを特徴とする請求項１８に記載の画像処理装置。
20. 前記画像生成部は、前記光電変換部からの信号の読み出し時に、前記選択または前記加算を行うことを特徴とする請求項１６乃至１９のいずれか１項に記載の画像処理装置。
21. 請求項１乃至２０のいずれか１項に記載の画像処理装置を備えたことを特徴とする撮像装置。
22. それぞれが結像光学系の異なる瞳領域からの光束に基づく複数の画像信号を取得するステップと、
    前記複数の画像信号の少なくとも一部の画像信号を用いて、デフォーカス量を生成するステップと、
    前記デフォーカス量の絶対値が第１の値である場合に、前記複数の画像信号からの選択によって、前記デフォーカス量の絶対値が前記第１の値より小さい第２の値である場合に、前記複数の画像信号の加算を行うことによって、認識用の画像信号を生成するステップと、
    前記認識用の画像信号を用いて、被写体の認識処理を行うステップと
    を備えることを特徴とする画像処理方法。
23. 請求項２２に記載の画像処理方法の各ステップをコンピュータに実行させるプログラム。
24. 請求項２３に記載のプログラムを格納したことを特徴とする記憶媒体。

Images