JP6800650B2 - 信頼度生成装置、信頼度生成方法、および撮像装置 - Google Patents

Description

本発明は、距離情報の信頼度を求める信頼度生成装置に関し、特にデジタルカメラやデジタルビデオカメラ等の撮像装置に用いられる信頼度生成装置に関するものである。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、観賞用画像信号と同時に複数の画素位置にて撮像装置から被写体までの距離（以降、被写体距離と呼ぶ。さらに、複数の画素位置にて取得した被写体距離から構成される画像信号を距離画像信号と呼ぶ）を取得できる測距機能を備えた撮像装置が提案されている。

例えば、撮像素子の一部あるいは全部の画素に測距機能を有する画素を配置し、位相差方式で被写体距離を検出するようにした固体撮像素子が特許文献１に提案されている。特許文献１に記載の測距方式は、撮像面にて位相差方式の測距を行うため、撮像面位相差測距方式と呼ばれる。撮像面位相差測距方式では、撮像装置が備える結像光学系の異なる瞳領域を通過した光束により生成される像に基づく２つの画像信号を取得することができる。２つの画像信号間の相対的な位置ズレ量を、ステレオ画像を用いた視差量検出方法と類似の手法により検出し、所定の変換係数を介してデフォーカス量に変換することで被写体距離を取得することができる。さらに、撮像面位相差測距方式では、２つの画像信号を合成することで、観賞用画像信号を生成することができる。

他の測距方式としてＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式と呼ばれる手法が特許文献２にて提案されている。ＤＦＤ方式では、撮影条件（絞り値、焦点距離など）を変えて２つの画像信号を時間的に連続して取得し、２つの画像間のボケ量の差異から被写体距離を取得する。これら２つの画像信号のうち、一方の画像信号を観賞用画像信号として利用することができる。

いずれの被写体距離算出方式も、２つの画像信号間の相関関係に基づき被写体距離を算出している。一般に、相関関係を評価する際には、領域ベースのマッチング手法が用いられる。領域ベースのマッチング手法では、各画像信号から所定の照合領域に含まれる画像信号を切り出し、相関関係を評価している。２つの画像間の相関関係を精度よく評価できる場合には、高精度に被写体距離を取得することができるが、そうでない場合には、被写体距離を誤って算出する恐れがある。

特許文献３では、相関関係を評価できない領域を被写体距離が算出できない領域として設定している。すなわち、被写体距離を算出できたか否かを、相関関係を算出するために用いた照合領域と同程度の領域サイズごとに局所的に評価している。特許文献３にはさらに、被写体距離を算出できた領域は被写体距離に応じて複数の小領域に類別し、被写体距離を算出できない領域は、観賞用画像信号の類似性を用いて周囲の被写体距離で補間する手法が開示されている。

特許第４９１５１２６号公報 特許第２７５６８０３号公報 特許第５０６６８５１号公報 特許第４２８０８２２号公報

特許文献３にて開示されている手法では、被写体距離を算出できない領域については、観賞用画像から得られる画像特性の類似性に基づき、周囲領域の被写体距離により補間している。すなわち、画像特性が類似している領域は、被写体距離も類似しているとの仮定に基づき、被写体距離を補間している。被写体距離を算出できない領域の周囲の大部分が被写体距離を算出できた領域である場合には、前述の仮定に多少の破綻があったとしても、大きな補間誤差にはなりにくい。しかし、被写体距離を算出できない領域の周囲の大部分もまた被写体距離を算出できない領域である場合では、誤った情報に基づいて被写体距離を補間してしまうために、大きな補間誤差が生じてしまう。このような場合には、被写体距離の補間処理が、距離画像信号の精度を悪化させてしまう。

補間処理による被写体距離の精度悪化を防止するためには、距離画像信号の精度が補間処理により低下するか否かを補間処理実施前に判定可能な指標が求められる。すなわち、距離画像信号の信頼性を大域的に評価するための指標が求められる。

本発明の上記の事情を考慮したなされたものであり、その目的は、距離画像信号の信頼性を大域的に評価するための指標を算出することにある。

本発明の第一の態様は、距離画像信号の信頼度を生成する信頼度生成装置であって、複数の画素のそれぞれにおける被写体までの距離に対応する距離情報を含む距離分布情報を取得する取得手段と、前記複数の画素のそれぞれにおける前記距離情報の信頼度を表す局所信頼度を生成する第１の生成手段と、前記距離分布情報を複数の分割領域に分割する領域分割手段と、前記局所信頼度に基づいて前記複数の分割領域のそれぞれにおける信頼度を表す大域信頼度を生成する第２の生成手段と、を有することを特徴とする信頼度生成装置である。

本発明の第二の態様は、距離画像処理装置が実行する、距離分布情報の信頼度を生成する信頼度生成方法であって、複数の画素のそれぞれにおける被写体までの距離に対応する距離情報を含む距離分布情報を取得する取得ステップと、前記複数の画素のそれぞれにおける前記距離情報の信頼度を表す局所信頼度を生成する第１の生成ステップと、前記距離分布情報を複数の分割領域に分割する領域分割ステップと、前記局所信頼度に基づいて前記複数の分割領域のそれぞれにおける信頼度を表す大域信頼度を生成する第２の生成ステップと、を含むことを特徴とする、信頼度生成方法である。

本発明によれば、距離画像信号の大域的な信頼度を生成する信頼度生成装置にて、距離画像信号の大域的な信頼性を評価することが可能となる。

第１の実施形態にかかる信頼度生成装置を含む撮像装置の説明図 第１の実施形態において撮像素子が受光する光束と位置ズレ量の説明図 第１の実施形態における信頼度生成装置の説明図 第１の実施形態における信頼度生成装置が行う処理のフローチャート 第１の実施形態における信頼度生成処理の説明図 撮像素子および距離算出方法の変形例の説明図 局所信頼度算出方法の変形例の説明図 第２の実施形態における信頼度生成装置の説明図 第２の実施形態における信頼度生成装置が行う処理のフローチャート 第３の実施形態における撮像装置の説明図 信頼度生成処理の変形例の説明図 第２の実施形態にかかる信頼度生成装置の変形例の説明図

＜第１の実施形態＞
以下、図を参照しながら本発明の第１の実施形態について詳細に説明する。以下の説明では、本発明の信頼度生成装置（距離画像処理装置）を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

＜デジタルカメラの構成＞
図１（Ａ）は、本実施形態に係る信頼度生成装置１１０を備えたデジタルカメラ１００である。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、信頼度生成装置１１０、画像生成部（不図示）、レンズ駆動制御部（不図示）、画像信号格納部（不図示）が、カメラ筐体１９０の内部に配置され、構成される。信頼度生成装置１１０は、論理回路を用いて構成することができる。信頼度生成装置１１０の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を撮像素子１０１上に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。なお、図１（Ａ）中の符号１４０は結像光学系１２０の光軸である。本明細書では光軸１４０がｚ軸と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく画像信号を生成する。取得した画像信号に対して、画像生成部により現像処理を施すことで、観賞用画像信号を生成することができる。また生成した観賞用画像を画像信号格納部に格納することができる。撮像素子は、観賞用画像信号や測距のために用いる画像信号を取得する画像取得部に想到する。以下、本実施形態における撮像素子１０１について、図１（Ｂ）を用いてより詳細に説明する。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の画素群１５０を複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置されて、構成されている。

図１（Ｃ）は、画素群１５０のＩ−Ｉ’断面を模式的に示した図である。各画素は受光層１８２と導光層１８１から構成される。受光層１８２には、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１６１、第２の光電変換部１６２）が配置される。導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１７０、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。

＜撮像面位相差測距方式の距離計測原理説明＞
本実施形態の撮像素子１０１が備える第１の光電変換部１６１及び第２の光電変換部１６２が受光する光束について、図２（Ａ）を用いて説明する。

図２（Ａ）は、結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される画素の代表例として緑画素１５０Ｇ１についてのみ示した概略図である。図２（Ａ）に示した画素１５０Ｇ１内のマイクロレンズ１７０は、射出瞳１３０と受光層１８２が光学的に共役関係になるように配置されている。その結果、図２（Ａ）に示すように、射出瞳１３０に内包される第１の瞳領域（２１０）を通過した光束は第１の光電変換部１６１に入射する。同様に第２の瞳領域（２２０）を通過した光束は第２の光電変換部１６２に入射する。

各画素に設けられる複数の第１の光電変換部１６１は、受光した光束を光電変換して第１の画像信号を生成する。また同様に、各画素に設けられる複数の第２の光電変換部１６２は、受光した光束を光電変換して第２の画像信号を生成する。第１の画像信号から第１の瞳領域２１０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができ、第２の画像信号から第２の瞳領域２２０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量は、デフォーカス量に応じた量となる。位置ズレ量とデフォーカス量の関係について、図２（Ｂ）、２（Ｃ）、２（Ｄ）を用いて説明する。図２（Ｂ）、２（Ｃ）、２（Ｄ）は本実施形態の撮像素子１０１、結像光学系１２０について示した概略図である。図中の符号２１１は第１の瞳領域２１０を通過する第１の光束を示し、符号２２１は第２の瞳領域２２０を通過する第２の光束を示す。

図２（Ｂ）は合焦時の状態を示しており、第１の光束２１１と第２の光束２２１が撮像素子１０１上で収束している。この時、第１の光束２１１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号間の相対的な位置ズレ量は０となる。図２（Ｃ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、負の値を有する。図２（Ｄ）は像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、正の値を有する。

図２（Ｃ）と図２（Ｄ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入れ替わることが分かる。また、デフォーカス量に応じて、結像光学系の結像関係（幾何関係）にしたがった位置ズレが生じることが分かる。従って、第１の画像信号と第２の画像信号間の位置ズレ量を、後述する領域ベースのマッチング手法により検出し、検出した位置ズレ量を所定の変換係数を介してデフォーカス量に変換することができる。なお、像側のデフォーカス量から、物体側の被写体距離への変換については、結像光学系１２０の結像関係を用いることで容易に変換することができる。また、位置ズレ量をデフォーカス量に変換するための変換係数は、撮像素子１０１が備える画素の受光感度の入射角度依存、射出瞳１３０の形状、射出瞳１３０の撮像素子１０１からの距離により決めることができる。

＜信頼度生成装置の説明＞
本実施形態の信頼度生成装置について説明する。図３（Ａ）は、本実施形態の信頼度生
成装置１１０の概要構成を示すブロック図であり、図３（Ｂ）は信頼度生成装置１１０の動作を示すフローチャートである。

信頼度生成装置１１０は、距離画像生成部（取得手段）にて距離画像信号Ｓｄを生成し、信頼度生成部（生成手段）３２０にて、大域信頼度（第１の信頼度）Ｉｇｃｏｎｆを生成している。以下では、距離画像生成部３１０および信頼度生成部３２０にて行う具体的な処理内容について説明する。

距離画像生成部３１０は、撮像素子１０１から第１の画像信号Ｓ１と第２の画像信号Ｓ２を取得し、距離画像信号生成処理Ｓ３１０により複数の画素位置にて被写体距離を算出することで距離画像信号Ｓｄを生成する。距離画像信号生成処理Ｓ３１０内の具体的な処理内容について図４（Ａ）を用いて説明する。

ステップＳ４０１では、距離画像生成部３１０が、第１の画像信号Ｓ１と第２の画像信号間Ｓ２の相対的な位置ズレ量を算出する。具体的には、距離画像生成部３１０は、第１の画像信号Ｓ１内に、注目点を設定し、注目点を中心とする照合領域を設定する。照合領域は、例えば、注目点を中心とした一辺が所定画素の正方形である。距離画像生成部３１０は、次に第２の画像信号Ｓ２内に、参照点を設定し、参照点を中心とする参照領域を設定する。参照領域は照合領域と同一の大きさおよび形状である。距離画像生成部３１０は、参照点を順次移動させながら照合領域内に含まれる第１の画像信号Ｓ１と、参照領域内に含まれる第２の画像信号Ｓ２間の相関度を算出し、最も相関が高い参照点を注目点に対応する対応点とする。注目点と対応点間の相対的な位置のズレ量が、注目点における位置ズレ量である。距離画像生成部３１０は、注目点を順次移動させながら位置ズレ量を算出することで、複数の画素位置における位置ズレ量を算出することができる。相関度の算出方法としては公知の手法を用いることができ、例えば、画像信号間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）や、画像信号間の差の絶対値和を評価するＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）と呼ばれる手法を用いることができる。

ステップＳ４０２では、距離画像生成部３１０は、位置ズレ量を、所定の変換係数を用いて撮像素子１０１から結像光学系１２０のピントまでの距離であるデフォーカス量へ変換する。所定の変換係数をＧａｉｎ、デフォーカス量をΔＬ、位置ズレ量をｄとしたとき、下記式（１）により像ズレ量ｄをデフォーカス量ΔＬに変換することができる。
ΔＬ＝Ｇａｉｎ ×ｄ ・・・（１）

デフォーカス量から被写体距離への変換は、前述のように結像光学系１２０の結像関係を用いて変換すればよい。図４（Ａ）の被写体距離算出処理を複数の画素位置にて行うことで、距離画像信号Ｓｄを生成することができる。

例えば、図５（Ａ）に示す第１の画像信号Ｓ１から、距離画像生成部３１０により図５（Ｂ）に示す距離画像信号Ｓｄを生成することができる。図５（Ａ）は、ポートレート撮影を行った際の画像例を模式的に示す。第１の画像信号Ｓ１は、空５０１、主被写体である人物５０２、前景である植物５０３を含む。第２の画像信号Ｓ２の図示は省略するが、第１の画像信号Ｓ１とほぼ同一の構図を有し、被写体距離に応じた位置ずれが生じている。

図５（Ｂ）は、第１の画像信号Ｓ１に対応する距離画像信号Ｓｄである。図５（Ｂ）において、領域５１１は空５０１に対応する領域の被写体距離分布、領域５１２は人物５０２の被写体距離分布、領域５１３は植物５０３の被写体距離分布を示している。図５（Ｂ）において、色が濃い（黒に近い）ほど被写体距離が遠いことを示している。図５（Ｂ）
に示す領域５１１の被写体距離が大きくばらついているのは、空５０１ではコントラスト変化が少ないために被写体距離が正しく算出できていないことを示している。

なお、上記の説明では、位置ズレ量を、数式（１）により変換したデフォーカス量を介して、被写体距離へ変換しているが、位置ズレ量を、一度の変換処理で被写体距離に変換しても構わない。そうすることで、被写体距離への変換に係る演算量を減らすことができる。また、被写体までの距離を表す距離情報として、必ずしも被写体距離を用いる必要はなく、被写体距離に変換可能な値であれば任意の値を用いることができる。例えば、位置ズレ量やデフォーカス量、あるいはこれらの値を所定の定数で規格化した値を、被写体までの距離を表す距離情報として用いることができる。

信頼度生成部３２０内の局所信頼度生成部（第１の生成処理部）３２１は、距離画像生成部３１０から取得した距離算出情報Ｉｃｏｒを用いて、被写体距離の局所的な確からしさを表す局所信頼度（第２の信頼度）Ｉｌｃｏｎｆを生成する。局所信頼度Ｉｌｃｏｎｆを生成するための局所信頼度生成処理Ｓ３２１の具体的な処理内容について図４（Ｂ）を用いて説明する。

ステップＳ４１１では、局所信頼度生成部３２１は、距離算出情報Ｉｃｏｒとして、距離画像信号Ｓｄを取得する。距離算出情報Ｉｃｏｒは、距離画像信号Ｓｄにおける各画素の距離値の局所的な信頼度を算出する元となる情報であり、距離画像生成部３１０が距離画像生成処理の際に算出する情報である。本実施形態では、距離算出情報Ｉｃｏｒとして距離画像信号Ｓｄを利用する例を説明するが、後述するように距離算出情報Ｉｃｏｒとして距離画像信号Ｓｄ以外の情報を利用することもできる。

ステップＳ４１２では、局所信頼度生成部３２１は、距離算出情報Ｉｃｏｒ（すなわち距離画像信号Ｓｄ）における距離値の分散値を、局所信頼度Ｉｌｃｏｎｆとして算出する。具体的には、局所信頼度生成部３２１は、取得した距離算出情報Ｉｃｏｒ内に注目点を設定し、注目点を中心とする参照領域に含まれる距離値の分散値を局所信頼度Ｉｌｃｏｎｆとして算出する。ここでの参照領域は、距離画像信号生成処理Ｓ３１０の位置ズレ量算出時の参照領域と同一の大きさおよび形状とするが、大きさおよび形状のいずれかが異なっていても構わない。

第１の画像信号Ｓ１または第２の画像信号Ｓ２内に含まれるノイズ量が、被写体のコントラスト変化に対して多い（すなわち、画像ＳＮ比が低い）領域は、相関関係の誤評価により被写体距離のバラつきが大きくなる。従って、分散値が大きいほど、被写体距離の局所的な信頼度が低いと言える。したがって、本実施形態では、局所信頼度Ｉｌｃｏｎｆの値が大きいほど、距離値の信頼度が低い。

図５（Ｃ）は、図５（Ｂ）に示す距離画像信号Ｓｄから求められる局所信頼度Ｉｌｃｏｎｆを示す図である。図５（Ｃ）では、色が濃いほど被写体距離の信頼性が低いことを示している。図５（Ｂ）に示すように空５０１に対応する領域５１１では距離値の分散値が大きく、その他の領域では距離値の分散値が小さい。したがって、図５（Ｃ）に示すように、空５０１に対応する領域５２１には、被写体距離の局所的な信頼性が低い領域が多く含まれ、その他の領域には被写体距離の信頼性が低い領域がほとんど含まれない。

信頼度生成部３２０内の層分割処理部（領域分割処理部）３２２は、距離画像生成部３１０から取得した距離画像信号Ｓｄを、主被写体層と前背景層の２層に層分割し、層情報Ｉｌａｙｅｒを生成する。層情報Ｉｌａｙｅｒを生成するための層分割処理Ｓ３２２の具体的な処理内容について図４（Ｃ）を用いて説明する。

ステップＳ４２１では、層分割処理部３２２は、距離画像信号Ｓｄに基づいて、被写体距離の度数分布を算出する。被写体距離の度数分布の例を図示したのが図５（Ｄ）である。図５（Ｄ）において、横軸は被写体距離、縦軸は度数（頻度）を示している。

ステップＳ４２２では、層分割処理部３２２は、度数分布情報に基づいて、層分割を行うための境界値を複数設定する。本実施形態では主被写体層と前背景層の２層に層分割をするので、層分割処理部３２２は、主被写体を含む距離範囲の前側および後側にそれぞれ境界値を設定する。より具体的には、層分割処理部３２２は、主被写体の距離値の前後において、度数が低い（例えば、極小値を取る）２つの被写体距離を前側および後側の境界値として設定する。本実施形態では、層分割処理部３２２は、主被写体を含む層である主被写体層と、主被写体層以外の前景と背景を含む層である前背景層とに分割するために、主被写体距離ｄｍの前側に境界値ｂ１、後側に境界値ｂ２を設定している。層分割処理部３２２は、具体的には、主被写体距離ｄｍに最も近く、度数が極小値を取る２つの距離を境界値ｂ１およびｂ２として設定する。一般の撮影時では、主被写体に結像光学系１２０のピントを合わせることが多い。従って、主被写体距離ｄｍは、デフォーカス量＝０に相当する被写体距離とすることが望ましい。

ステップＳ４２３では、層分割処理部３２２は、境界値に基づき、距離画像信号Ｓｄを主被写体層と前背景層の２層に分割し、層情報Ｉｌａｙｅｒを生成する。層情報Ｉｌａｙｅｒは、距離画像信号Ｓｄの各画素がどの層に属するかを示す情報である。図５（Ｅ）は、境界値ｂ１とｂ２とに基づき生成した層情報Ｉｌａｙｅｒを示している。被写体距離がｂ１以上ｂ２以下の領域を主被写体層（白領域）で示し、それ以外の領域を前背景層（黒領域）として示している。主被写体層として、主に人物５０２が選択されていることが分かる。なお、主被写体距離ｄｍは、必ずしもデフォーカス量＝０に相当する被写体距離である必要はない。主被写体が第１の画像信号Ｓ１の大部分を占めている場合には、度数分布における頻度が最大となる距離を主被写体距離ｄｍとしても構わない。また、デフォーカス量＝０近傍において、度数分布における頻度が最大（極大）となる距離を主被写体距離ｄｍとしても構わない。
なお、層分割処理Ｓ３２２は、被写体距離に基づいて、距離画像信号を図５（Ｅ）に示すような複数の領域（ここでは、主被写体層の領域と、当該領域以外の領域）とに分割する処理と捉えられる。以下における層（主被写体層あるいは前背景層）という用語は、距離画像信号中の当該層の領域も意味するものとして用いる。

信頼度生成部３２０内の大域信頼度生成部（第２の生成処理部）３２３は、局所信頼度Ｉｌｃｏｎｆと層情報Ｉｌａｙｅｒとに基づき、距離画像信号Ｓｄの大域的な領域の信頼度を表す大域信頼度Ｉｇｃｏｎｆを、層毎（領域毎）に算出する。大域信頼度Ｉｇｃｏｎｆを生成するための大域信頼度生成処理Ｓ３２３の具体的な処理内容について、図４（Ｄ）を用いて説明する。大域的な領域とは、複数の画素から構成される領域であれば、その具体的な大きさは特に限定されない。層分割処理Ｓ３２２において得られた各層の領域は、いずれも大域的な領域に該当する。なお、本実施形態においては、大域信頼度Ｉｇｃｏｎｆは層毎に算出するが、以降では説明の簡略化のために主被写体層の大域信頼度Ｉｇｃｏｎｆを算出する方法を例にとって説明する。

ステップＳ４３１では、大域信頼度生成部３２３は、主被写体層の面積Ｓｌａｙｅｒを算出する。具体的には、大域信頼度生成部３２３は、層分割処理Ｓ３２２にて主被写体層と設定した領域に含まれる画素数をカウントし、主被写体層の面積とする。

ステップＳ４３２では、大域信頼度生成部３２３は、主被写体層内であり、且つ局所信頼度Ｉｌｃｏｎｆが所定の閾値信頼度以上に信頼できると判定された領域の面積Ｓｃｏｎｆを算出する。面積Ｓｃｏｎｆの算出では、面積Ｓｌａｙｅｒと同様に、画素数をカウン
トして面積とすればよい。

ステップＳ４３３では、大域信頼度生成部３２３は、主被写体層に占める信頼できる領域の割合を、大域信頼度Ｉｇｃｏｎｆとして算出する。大域信頼度Ｉｇｃｏｎｆは、層の面積Ｓｌａｙｅｒと高信頼度領域の面積Ｓｃｏｎｆの比に基づく値であればよく、例えば数式（２）により算出できる。
Ｉｇｃｏｎｆ＝Ｓｃｏｎｆ／Ｓｌａｙｅｒ ・・・（２）

上記では、主被写体層についての大域信頼度の算出方法を説明したが、前背景層についての大域信頼度についても同様に求めることができる。すなわち、数式（２）にしたがって、前背景層の面積に占める、局所的に信頼できる領域の割合は、前背景層の大域信頼度として求められる。

図５（Ｂ）に示す距離画像信号Ｓｄに対して、本実施形態の信頼度生成装置１１０により生成した大域信頼度Ｉｇｃｏｎｆは以下のようになる。
主被写体層のＩｇｃｏｎｆ＝０．８７
前背景層のＩｇｃｏｎｆ＝０．５０
本実施形態の信頼度生成装置１１０においては、前背景層の大域信頼度Ｉｇｃｏｎｆが低い値となることから、前背景層の距離画像信号Ｓｄは信頼性が低いと判定することができる。なお、大域信頼度Ｉｇｃｏｎｆの値が高いか低いかは、所定の閾値（例えば、０．８）との比較により判定できる。この所定の閾値は、適宜設定可能であり、シーンに応じて変更してもよい。

なお、本実施形態の信頼度生成装置１１０では、距離画像生成部３１０にて生成した距離画像信号Ｓｄをそのまま用いて大域信頼度を求めている。しかしながら、演算量を削減するために距離画像信号Ｓｄを縮小した縮小距離画像信号Ｓｓｄを用いて大域信頼度を求めても構わない。図１１（Ａ）は、図５（Ｂ）に示す距離画像信号Ｓｄを水平方向の画素数が１／１０、垂直方向の画素数が１／１０になるように、距離画像信号Ｓｄから画素を間引いて生成した縮小距離画像信号Ｓｓｄである。図１１（Ｂ）は、縮小距離画像信号Ｓｓｄを用いて生成した層情報Ｉｌａｙｅｒである。図１１（Ｃ）は、縮小距離画像信号Ｓｓｄと対応する局所信頼度Ｉｌｃｏｎｆである。図１１（Ｂ）（Ｃ）に示す局所信頼度Ｉｌｃｏｎｆと層情報Ｉｌａｙｅｒを用い、大域信頼度生成部３２３にて生成した大域信頼度Ｉｇｃｏｎｆは以下のようになる。
主被写体層のＩｇｃｏｎｆ＝０．８７
前背景層のＩｇｃｏｎｆ＝０．５１
縮小距離画像信号Ｓｓｄを用いた場合でも、距離画像信号Ｓｄを用いた場合と同等の大域信頼度Ｉｇｃｏｎｆを得ることができる。縮小距離画像信号Ｓｓｄを用いることで、層の面積Ｓｌａｙｅｒと高信頼度領域の面積Ｓｃｏｎｆを算出するために必要な演算を削減することができる。

本実施形態の信頼度生成装置１１０が備える距離画像生成部３１０では、第１の画像信号Ｓ１内の全ての画素位置について被写体距離を算出する必要は必ずしもない。例えば、第１の画像信号Ｓ１の周辺領域については、照合領域がある有限のサイズを有しているために被写体距離を算出できない場合もある。一方で、距離画像信号Ｓｄに基づき第１の画像信号Ｓ１にボケ量を付加するなどの画像処理を、後段の処理で施す場合には、距離画像信号Ｓｄと第１の画像信号Ｓ１の画素数を合わせておくことが望ましい。その場合には、距離画像信号Ｓｄ内の周辺領域を、予め用意した値（例えば０など）で補間し、画素数を合わせることになる。距離画像信号Ｓｄ内に、被写体距離を算出していない領域（非算出領域）がある場合には、非算出領域を除いた領域のみで大域信頼度Ｉｇｃｏｎｆを算出することが望ましい。

局所信頼度Ｉｌｃｏｎｆは、被写体距離の局所的な信頼度が２次元分布した情報である。そのため、画素毎の信頼性を評価することはできるものの、大域的に見たときに距離画像信号Ｓｄが信頼できるものであるか判断することが困難である。本実施形態の信頼度生成装置１１０は、層分割処理部３２２にて分割した層毎に大域信頼度生成部３２３にて大域信頼度Ｉｇｃｏｎｆを生成するので、層毎に距離画像信号Ｓｄの大域的な信頼性を評価できる指標を提供することができる。

＜局所信頼度生成部３２１の他の例＞
本実施形態の信頼度生成装置１１０において、大域信頼度Ｉｇｃｏｎｆを高精度に算出するためには、局所信頼度生成部３２１にて生成する被写体距離の局所的な信頼性を精度よく評価する必要がある。以下、局所信頼度Ｉｌｃｏｎｆの算出方法の変形例を説明する。

図３（Ｂ）の局所信頼度生成処理Ｓ３２１は、図４（Ｂ）を用いて説明したように、距離画像信号Ｓｄの分散値に基づき距離画像信号Ｓｄの局所的な信頼性を評価している。これは、一般に局所領域では被写体距離は略同一となり分散が小さくなり、したがって、距離値の分散が大きい場合には被写体距離の算出精度が低いと考えられるからである。被写体距離の算出精度の低下の原因として、被写体のコントラスト変化が少ないことや、第１の画像信号Ｓ１または第２の画像信号Ｓ２に含まれるノイズ量が多いことが挙げられる。分散値に基づいて局所信頼度Ｉｌｃｏｎｆを求める上記方法は、コントラスト変化の低さやノイズ量の多さを間接的に評価する方法と捉えられる。上記方法とは別に、コントラスト変化の低さやノイズ量の多さを直接的に評価して、局所信頼度Ｉｌｃｏｎｆを求めることもできる。以下では、画像のコントラスト変化の大きさとノイズ量の比である画像ＳＮ比を直接的に評価して局所信頼度Ｉｌｃｏｎｆの求める２つの方法を、図７（Ａ）および図７（Ｂ）を参照して説明する。

図７（Ａ）を参照して、局所信頼度Ｉｌｃｏｎｆの算出方法の第１の変形例を説明する。ステップＳ７１１において、局所信頼度生成部３２１は、距離画像生成部３１０から距離画像信号Ｓｄを算出する際の相関度情報を距離算出情報Ｉｃｏｒとして取得する。この相関度情報は、距離画像生成部３１０が行う距離画像信号生成処理Ｓ３１０内のステップＳ４０１にて位置ズレ量を算出した際の注目点と対応点間の相関度である。この時、相関度が低い場合には、画像信号に含まれるノイズなどの影響により、相関関係を誤評価している可能性が高くなる。つまり、注目点と対応点の間の相関度は、画像信号に含まれるノイズ量を表す指標といえる。

ステップＳ７１２では、局所信頼度生成部３２１は、ステップＳ４０１にて位置ズレ量を算出した際の対応点近傍の相関度を距離算出情報Ｉｃｏｒとして取得し、対応点近傍の相関度と対応点の相関度との変化量（差分）を算出する。対応点近傍の相関度は、対応点に隣接する画素での相関度でもよいし、対応点から所定画素離れた画素での相関度でもよいし、対応点周辺の複数の画素の相関度の平均であってもよい。被写体のコントラスト変化が少ない場合には、相関度の変化量は小さくなる。すなわち、相関度の変化量が小さい場合にも相関関係を誤算出している可能性が高くなる。相関度の変化量は、画像信号におけるコントラスト変化を表す指標といえる。

ステップＳ７１３において、局所信頼度生成部３２１は、コントラスト変化とノイズ量の比（画像のＳＮ比）を、局所信頼度Ｉｌｃｏｎｆとして算出する。コントラスト変化が多いほど相関度の変化量が大きい。また、ノイズ量が多いほど対応点での相関度が小さい。したがって、局所信頼度Ｉｌｃｏｎｆは、相関度の変化量が大きいほど大きく、対応点での相関度が大きいほど大きくなるように生成すればよい。例えば、局所信頼度Ｉｌｃｏ
ｎｆは、（相関度の変化量）／（１−対応点での相関度）として算出できる。

図７（Ｂ）を参照して、局所信頼度Ｉｌｃｏｎｆの算出方法の第２の変形例を説明する。局所信頼度生成部３２１は、距離画像生成部３１０から、距離画像信号Ｓｄを算出する際に用いた照合領域のサイズと第１の画像信号Ｓ１および第２の画像信号Ｓ２の少なくとも一方とを、距離算出情報Ｉｃｏｒとして取得する。以降の説明では、距離算出情報Ｉｃｏｒとして第１の画像信号Ｓ１と照合領域のサイズを取得したとして説明する。

ステップＳ７２１では、局所信頼度生成部３２１は、照合領域内に含まれる第１の画像信号Ｓ１のコントラスト変化の大きさを評価するために、分散値を算出する。被写体距離の局所的な確からしさは、第１の瞳領域２１０の重心と第２の瞳領域２２０の重心を結ぶ方向（ｘ方向）に沿った第１の画像信号Ｓ１のコントラスト変化が大きいほど高くなる。すなわち、分散値の算出に際しては、照合領域内に含まれ且つｘ方向に沿った信号列を第１の画像信号Ｓ１から抽出して分散値を算出する。抽出する位置を順次ｙ方向に移動することで複数の分散値が算出される。次に、照合領域内で複数算出した分散値の和を算出することで、１つの分散値に統合している。分散値が大きいほど、照合領域内に含まれる第１の画像信号のコントラスト変化が大きくなる。

ステップＳ７２２では、局所信頼度生成部３２１は、照合領域内に含まれる第１の画像信号Ｓ１の画素値から、画像信号に含まれるノイズ量を推定する。画像信号に含まれるノイズ量は、ノイズ量＝ノイズ推定係数×画素値×ＩＳＯ感度として推定できる。ノイズ量が画素値に比例するようにしているのは、光電変換時に生じる光ショットノイズ量がフォトン数の平方根に比例するためと、ステップＳ７２１にて分散値を用いてコントラスト変化の大きさを評価しているためである。ノイズ量推定係数は、予め撮像素子１０１のノイズ特性を計測して用いればよい。なお、ＩＳＯ感度は、デジタルカメラ１００の撮影時に用いたＩＳＯ感度を用いる。より精度よくノイズ量を推定するためには、光ショットノイズに加えて、撮像素子１０１の読み出しノイズや暗電流ショットノイズを考慮することが望ましい。画素値が小さい場合には、光ショットノイズ以外のノイズの影響が大きくなることを考慮して、画素値が大きくなるにつれ画素値の１次関数に漸近するが画素値が小さい場合には当該１次関数より大きな値をとる式を用いてノイズ量を推定することが望ましい。このようなノイズ量推定式として、例えば、ノイズ量＝ＩＳＯ感度×［（ノイズ推定係数１）^２＋（ノイズ推定係数２×画素値）^２］^１／２が挙げられる。また、演算量を低減するために、ノイズ量＝ＩＳＯ感度×ｍａｘ（ノイズ推定係数１，ノイズ推定係数２×画素値）のように、ある閾値を超えたときに、１次関数に従いノイズ量が大きくなる式を用いても構わない。ノイズ推定係数１とノイズ推定係数２は、予め撮像素子１０１のノイズ特性を計測することにより決定できる。

ステップＳ７２３では、局所信頼度生成部３２１は、ステップＳ７２１で求めた分散値とステップＳ７２２で求めたノイズ量の比に基づき、局所信頼度Ｉｌｃｏｎｆを算出する。局所信頼度Ｉｌｃｏｎｆは、例えば、上記の分散値とノイズ量の比として求めることができる。

以上のように、図７（Ａ）、７（Ｂ）に示す方法によって、画像のコントラスト変化の大きさとノイズ量の比である画像ＳＮ比を直接的に評価して局所信頼度Ｉｌｃｏｎｆを求めることができる。なお、これらの手法を採用する場合は、局所信頼度Ｉｌｃｏｎｆの値が大きいほど距離値の信頼度が高い。なお、ステップＳ７２１では、第１の画像信号Ｓ１から抽出した信号列の分散値を算出しているが、コントラストを評価する指標として標準偏差を算出しても構わない。この場合、ステップＳ７２２では、画素値の平方根に比例するものとしてノイズ量を算出すればよい。

被写体距離の値を誤って算出する他の要因として、撮影時に画素値が飽和する輝度飽和と被写体のコントラスト変化が周期的に変化する周期被写体がある。従って、局所信頼度生成部３２１にて生成する被写体距離の局所的な信頼性をより精度よく評価するために、画像ＳＮ比に加えて、輝度飽和度と被写体の周期性のいずれかまたは両方を用いることも好ましい。

輝度飽和度は、照合領域内における第１の画像信号Ｓ１と第２の画像信号Ｓ２の少なくとも一方が輝度飽和している領域の割合として算出できる。輝度飽和度を用いる場合には、局所信頼度生成部３２１は、距離算出情報Ｉｃｏｒとして、第１の画像信号Ｓ１または第２の画像信号Ｓ２の少なくとも一方を取得する必要がある。

被写体の周期性は、参照点を移動させた場合の相関度の変化パターンに基づいて評価できる。図７（Ｃ）は、周期被写体を撮影した場合の、相関度と参照点の移動量の関係を示す図である。周期被写体を撮影した場合は、コントラスト変化が周期的に変化することを反映して、相関度は周期的に極大値を有する。従って、相関度が極大値を有する参照点の移動量が周期的に並んでいるかを評価することで、周期被写体か否かを判定することができる。被写体の周期性を用いる場合には、局所信頼度生成部３２１は、距離算出情報Ｉｃｏｒとして、距離画像信号Ｓｄを算出する際の相関度情報を取得する必要がある。なお、ここでの相関度情報とは、注目点と対応点の間の相関度だけでなく、注目点と対応点付近の複数の参照点との間の相関度を含む。

本実施形態の局所信頼度生成部３２１は、画像ＳＮ比に加えて、輝度飽和度と被写体周期性について判定し、局所信頼度Ｉｌｃｏｎｆを算出する。これにより、より高精度に局所的な被写体距離の確からしさを評価することができ、大域信頼度生成部３２３における大域的な距離画像信号Ｓｄの信頼性を高精度に評価することができる。なお、被写体や撮影条件によっては、画像ＳＮ比、輝度飽和度、被写体周期性の全てを用いる必要はなく、少なくとも１つを用いて局所信頼度Ｉｌｃｏｎｆを算出しても構わない。

＜層分割処理部３２２の他の例＞
本実施形態の信頼度生成装置１１０が備える層分割処理部３２２が行う層分割処理は、図４（Ｃ）を用いて説明したものに限られない。層分割処理の具体的手法は、種々の変形が可能である。

例えば、距離画像信号Ｓｄを主被写体層と前背景層とに層分割する具体的な手法として、上述した手法以外に、次のような手法を採用できる。

主被写体の奥行き方向（被写体距離方向）の大きさが分かっている場合には、被写体距離の度数分布を算出する必要はなく、主被写体距離とその奥行き方向の大きさ（境界値情報）に基づいて境界値ｂ１と境界値ｂ２を決定して、層分割してもよい。図５（Ａ）に示すポートレート撮影の例では、人物５０２の奥行き方向の大きさは、大きくとも５０ｃｍ程度と予想できる。このような場合には、人物５０２の被写体距離の代表値を算出し、代表値±２５ｃｍの範囲を主被写体層とし、それ以外の領域を前背景層とすればよい。

また、距離画像信号Ｓｄが、被写体距離ではなく被写体距離に変換可能な値であっても、同様に主被写体層の範囲を算出することができる。例えば、距離画像信号Ｓｄが、デフォーカス量から構成される場合には、人物５０２のデフォーカス量の代表値を算出し、結像光学系１２０の縦倍率を用いて、主被写体層とするデフォーカス量の範囲を算出すればよい。

また、層分割処理部３２２では、必ずしも主被写体が含まれる層（主要被写体層）と、
それ以外の層（前背景層）とに分割する必要はない。例えば、植物５０３に着目する場合には、植物５０３が含まれる層とそれ以外の層とに層分割しても構わないし、空５０１に着目する場合には、空５０１が含まれる領域と、それ以外の領域とに層分割しても構わない。

また、本実施形態中では主被写体層とそれ以外の前背景層の２つの層に分割したが、分割する層数は２層以上であればよく、３層や５層であっても構わない。３つの層に分割する際には、主被写体を含む主被写体層と、主被写体層よりも前側の前景層、主被写体層よりも後側の背景層に分割するとよい。具体的には、各層は境界値ｂ１とｂ２を用いて次のように定義できる。
前景層：被写体距離がｂ１よりも近い領域
主被写体層：被写体距離がｂ１以上ｂ２以下の領域
背景層：被写体距離がｂ２よりも遠い領域

また、５つの層に分割する際には、図４（Ｃ）に示す層分割処理Ｓ３２２内のステップＳ４２２にて、４つの境界値を算出すればよい。具体的には、図５（Ｆ）示す被写体距離の度数分布にて、境界値ｂ１よりも被写体距離が近い側に境界値ｂ３を設定し、境界値ｂ２よりも被写体距離が遠い側に境界値ｂ４を設定する。境界値ｂ３および境界値ｂ４は、境界値ｂ１および境界値ｂ２から予め用意した値だけ離れた値として設定できる。あるいは、境界値ｂ３および境界値ｂ４は、境界値ｂ１よりも後側あるいは境界値ｂ２よりも前側であり、頻度の増減が所定閾値よりも大きい位置として設定することもできる。図４（Ｃ）のステップＳ４２３では、４つの境界値を用いて以下の５つの層に分割した層情報Ｉｌａｙｅｒを生成する。
前景層：被写体距離がｂ３よりも近い領域
前景側中間層：被写体距離がｂ３以上ｂ１未満の領域
主被写体層：被写体距離がｂ１以上ｂ２以下の領域
背景側中間層：被写体距離がｂ２より遠くｂ４以下の領域
背景層：被写体距離がｂ４よりも遠い領域
なお、５層に分割する場合に４つ境界値を求める必要は必ずしもなく、境界値ｂ１およびｂ２を含む所定距離内の層を中間層として、５つの層に分割するようにしてもよい。

分割する層数を２層から３層に増やすことで、主被写体を含む層に加えて、前景に相当する層、背景に相当する層の各層の大域信頼度Ｉｇｃｏｎｆを生成することができる。この結果、図５（Ａ）−５（Ｃ）に示す例では、空５０１を含む背景層の大域信頼度Ｉｇｃｏｎｆが低く、他の層の大域信頼度Ｉｇｃｏｎｆが高くなるため、背景層のみ距離画像信号Ｓｄの信頼性が低いことが分かる。また、分割する層数を５層に増やす際に、前景層と主被写体層の間、及び主被写体層と背景層の間に中間層を設けることで、層分割に用いる境界値の設定誤差の影響を低減することができる。

上記説明では、２層に加えて３層と５層に分割する例を示したが、無限遠の距離に相当する層をさらに加えて、４層または６層にしても構わない。分割する層数を増やしすぎると、層内に含まれる面積が小さくなり、大域信頼度Ｉｇｃｏｎｆの算出誤差につながる。従って、境界値間の差分が、距離画像信号Ｓｄの距離分解能よりも大きくなるように設定することが望ましい。より望ましくは、分割する層数を、１０層以下にすることが望ましい。

＜大域信頼度生成部３２３の他の例＞
上記の大域信頼度生成処理Ｓ３２３においては、層ごとの大域信頼度Ｉｇｃｏｎｆを求める際に、局所信頼度Ｉｌｃｏｎｆが信頼できることを示す値である領域の面積Ｓｃｏｎｆを算出している。この処理は、所定の閾値により局所信頼度を２値の情報にしてから、
層毎に高信頼度領域が占める割合を算出していると捉えることもできる。したがって、局所信頼度がある閾値よりも信頼できるか信頼できないかに応じて、局所信頼度Ｉｌｃｏｎｆの値を１か０（例えば、１が低信頼、０が高信頼）に設定し、高信頼を示す領域の面積を求めてもよい。

また、上記のように局所信頼度Ｉｌｃｏｎｆを２値化することなく、多値の情報のまま、大域信頼度Ｉｇｃｏｎｆを生成しても構わない。局所信頼度Ｉｌｃｏｎｆを多値情報のまま用いることで、より高精度に距離画像信号Ｓｄの大域的な信頼性を評価することができる。

局所信頼度Ｉｌｃｏｎｆを多値情報として用いる際には、大域信頼度生成部３２３は、図４（Ｅ）に示す大域信頼度生成処理Ｓ３２３を行う。図４（Ｅ）のステップＳ４４２では、大域信頼度生成部３２３は、主被写体層内に含まれる局所信頼度Ｉｌｃｏｎｆの和をＳｃｏｎｆとして算出する。ステップＳ４４３では、大域信頼度生成部３２３は、層の面積ＳｌａｙｅｒとＳｃｏｎｆの比に基づき、大域信頼度Ｉｇｃｏｎｆを生成する。例えば、数式（２）を用いて大域信頼度Ｉｇｃｏｎｆを算出することができる。図４（Ｂ）に示すように局所信頼度Ｉｌｃｏｎｆを距離画像信号Ｓｄの分散値として算出した場合には、値が大きいほど信頼性が低い。従って、数式（２）を用いて大域信頼度Ｉｇｃｏｎｆを生成した場合には、値が大きいほど層の大局的な信頼性が低い情報となる。生成された大域信頼度Ｉｇｃｏｎｆと大域的な信頼性の対応は、局所信頼度Ｉｌｃｏｎｆによって決まる。大域信頼度Ｉｇｃｏｎｆを扱いやすくするためには、局所信頼度Ｉｌｃｏｎｆを予め所定の定数で最大値が１になるように規格化と丸め込みを行うと共に、値が低いほど局所的な被写体距離の信頼性が低くなるように変換を行うことが望ましい。具体的には数式（３）を用いて変換した局所信頼度Ｉｌｃｏｎｆ’を用いるとよい。
Ｉｌｃｏｎｆ’＝（１−Ｉｌｃｏｎｆ／Ｃ） ・・・（３）
ここで、上記式にしたがって算出したＩｌｃｏｎｆ’が負の時は、Ｉｌｃｏｎｆ’＝０とする。ここで、Ｃは所定の規格化定数である。

本実施形態においては、大域信頼度Ｉｇｃｏｎｆを層ごとに求めているが、各層の大域信頼度Ｉｇｃｏｎｆを統合して距離画像に対して１つの大域信頼度を求めてもよい。統合された大域信頼度は、各層の大域信頼度の統計値（例えば、最小値、最大値、平均値、中間値、標準偏差、分散の少なくとも１つ）とすることができる。ただし、ロバスト性を考慮すると、各層の大域信頼度の最小値を、統合された大域信頼度とすることが好ましい。

＜距離算出方式の他の例＞
本実施形態のデジタルカメラ１００においては、１つの画素中に２つの光電変換部を配置した撮像素子１０１を用いることで、撮像面位相差測距方式による被写体距離算出を行っているが、他の測距原理に基づき被写体距離を算出しても構わない。本実施形態のデジタルカメラ１００において、図６（Ａ）にｘｙ断面図を示す撮像素子６０１を用い、撮影条件を変えて撮影した第１の画像信号と第２の画像信号を用いて被写体距離を算出してもよい。具体的な距離算出方式としてＤＦＤ方式を採用できる。本変形例では、図３（Ａ）の距離画像生成部３１０にて、図６（Ｄ）を用いて後述する処理内容にて距離画像信号Ｓｄを生成している。

図６（Ａ）の撮像素子６０１は２行×２列の画素群６５０が複数配置され、構成される。画素群６５０は、対角方向に緑画素６５０Ｇ１及び緑画素６５０Ｇ２が配置され、他の２画素に赤画素６５０Ｇと青画素６５０Ｂが配置されている。各画素には、光電変換部６６１が１つのみ配置されている。

図６（Ｂ）は、撮影条件として合焦位置を変えたときの第１の撮像条件のＭＴＦを実線
で示し、第２の撮像条件のＭＴＦを破線で示している。横軸はデフォーカス量、縦軸はＭＴＦ（変調伝達関数：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）である。合焦位置を変えて、時間的に連続して撮影することで、第１の撮像条件と第２の撮像条件とで、ＭＴＦのデフォーカス量依存を変えて撮像することができる。第１の撮像条件のＭＴＦと第２の撮像条件のＭＴＦの比をとったものが図６（Ｃ）である。デフォーカス量に依存して、ＭＴＦ比が変化していることが分かる。ＤＦＤ方式では、第１の撮像条件にて撮影した第１の画像信号と、第２の撮影条件にて撮影した第２の画像信号間の相関関係を評価することで、ＭＴＦの差異（すなわち、ボケ量の差異）を算出し、デフォーカス量を検出することができる。検出したデフォーカス量は、前述の撮像面位相差測距方式と同様に、結像光学系１２０の結像関係に基づき物体距離へ変換することで、被写体距離を算出することができる。

図６（Ｄ）は、距離画像生成部３１０における距離画像信号生成処理Ｓ３１０の処理内容を説明するフローチャートである。ステップＳ６１０では、第１の画像信号と第２の画像信号間の相関度を算出する。すなわち、第１の画像信号に注目点を設定し、注目点を中心とする照合領域を設定する。次に、第２の画像信号内の注目点と対応する位置に参照点を設定し、参照点を中心とする参照領域を設定する。照合領域内に含まれる第１の画像信号と参照領域内に含まれる第２の画像信号間の相関度を算出する。ステップＳ６１１では、相関度をデフォーカス量へ変換する処理を行う。相関度からデフォーカス量への変換は、予めデジタルカメラ１００が備えるメモリ（不図示）に対応関係を示すルックアップテーブルを格納し、参照することで変換することができる。例えば、相関度が高い時（相関度としてＮＣＣを用いる場合は１に近いとき）は、第１の画像信号と第２の画像信号のボケ量が略等しいと考えることができるので、図６（Ｂ）の実線と破線が交わるデフォーカス量となる。ステップＳ４０３では、図４（Ａ）と同様に、デフォーカス量を被写体距離に変換する処理を行う。

被写体距離算出方式としてＤＦＤ方式を用いた場合であっても、本実施形態の信頼度生成装置１１０を構成する大域信頼度生成部３２３にて、層毎に大域信頼度Ｉｇｃｏｎｆを生成することができる。大域信頼度Ｉｇｃｏｎｆにより、層毎に距離画像信号Ｓｄの大域的な信頼性を、単一の指標で評価することができる。

本発明の信頼度生成装置１１０が備える距離画像生成部３１０は、複数の画素位置における被写体距離を表す情報から構成される距離画像信号Ｓｄが生成されればよく、像面位相差測距方式やＤＦＤ方式とは異なる方式を用いても構わない。例えば、特許文献４に示すように、光を照射し、反射光を受光するまでの時間を測定することで被写体までの距離を計測する、いわゆるＴｉｍｅ ｏｆ Ｆｌｉｇｈｔ（ＴＯＦ）方式を用いても構わない。ＴＯＦ方式では、被写体までの距離が遠い領域は反射光強度が低いために、被写体距離を計測することが困難となる。従って、局所信頼度Ｉｌｃｏｎｆとして、距離画像信号Ｓｄの分散値に基づき生成した情報に加えて、反射光強度に基づき生成した情報を加えることが望ましい。

＜第２の実施形態＞
以下、本発明の第２の実施形態に係る信頼度生成装置８１０を説明する。本実施形態では、信頼度生成装置８１０は、層分割処理部３２２にて生成した層情報Ｉｌａｙｅｒの有効性を表す層有効度Ｉｅｆｆを生成し、層有効度Ｉｅｆｆも用いて大域信頼度Ｉｇｃｏｎｆを算出する。層情報Ｉｌａｙｅｒの有効性を表す情報を用いることで、大域信頼度生成部３２３にて生成される大域信頼度Ｉｇｃｏｎｆを用いた距離画像信号Ｓｄの大域的な信頼性をより精度よく評価できる。層有効度Ｉｅｆｆは、層に対応する領域の有効度を表す領域有効度として捉えることもできる。

図８（Ａ）は、本実施形態に係る信頼度生成装置８１０の概要構成を示すブロック図である。第１の実施形態（図３（Ａ））と比較して、層の有効性を表す情報である層有効度Ｉｅｆｆを生成するための有効度生成部（第３の生成処理部）８２４をさらに備えている点が異なる。図８（Ｂ）は信頼度生成装置１１０の動作を示すフローチャートである。第１の実施形態と比較して、層有効度Ｉｅｆｆ生成処理Ｓ８２４が加えられている点が異なる。以下では、第１の実施形態と同様の点の説明は省略し、第１の実施形態と異なる点について説明する。

信頼度生成装置８１０内の信頼度生成部８２０は、有効度生成部８２４をさらに備えている。有効度生成部８２４では、層分割処理部３２２より取得した層情報Ｉｌａｙｅｒに基づき、層有効度Ｉｅｆｆを生成する。大域信頼度生成部３２３では、局所信頼度Ｉｌｃｏｎｆと層情報Ｉｌａｙｅｒと層有効度Ｉｅｆｆとに基づき、大域信頼度Ｉｇｃｏｎｆを層毎に生成する。

図８（Ｂ）における、距離画像信号生成処理Ｓ３１０、局所信頼度生成処理Ｓ３２１、層分割処理Ｓ３２２は、第１の実施形態と同様なので説明を省略する。以下では、有効度生成部８２４による層有効度生成処理Ｓ８２４について説明する。

層有効度生成処理Ｓ８２４では、有効度生成部８２４が層有効度Ｉｅｆｆを生成する。層有効度生成処理Ｓ８２４内の具体的な処理内容について、図９（Ａ）を用いて説明する。ステップＳ４３１では、有効度生成部８２４が、図４（Ｄ）内のステップＳ４３１と同様の手法により層の面積Ｓｌａｙｅｒを算出する。層の面積Ｓｌａｙｅｒは、層分割処理Ｓ３２２にてすでに算出している。従って、有効度生成部８２４は、層情報Ｉｌａｙｅｒとして層の面積Ｓｌａｙｅｒに基づく情報を層分割処理部３２２から取得しても構わない。そうすることで、処理の重複を避けることができる。

ステップＳ９２４では、有効度生成部８２４は、層の面積Ｓｌａｙｅｒに基づき層有効度Ｉｅｆｆを生成する。具体的には、層有効度Ｉｅｆｆは、距離画像信号Ｓｄの面積Ｓｄｉｓｔと層の面積Ｓｌａｙｅｒの比に基づく情報であればよく、例えば下記の数式（４）により算出できる。
Ｉｅｆｆ＝Ｓｌａｙｅｒ／Ｓｄｉｓｔ ・・・（４）

距離画像信号Ｓｄの面積Ｓｄｉｓｔは、距離画像信号Ｓｄ内の画素数をカウントして算出しても構わないが、被写体距離を算出する画素数が予め決まっている場合には、面積Ｓｄｉｓｔも予め用意した値を用いることができる。なお、被写体距離を算出する画素数が予め決まっている場合には、層の面積Ｓｌａｙｅｒのみで層の有効性を判断することができる、したがって、距離画像信号Ｓｄの面積Ｓｄｉｓｔを必ずしも算出する必要はない。

本実施形態における大域信頼度生成部３２３が行う大域信頼度生成処理Ｓ３２３の詳細を、図９（Ｂ）に示す。ステップＳ９３１では、大域信頼度生成部３２３は、有効度生成部８２４より取得した層有効度Ｉｅｆｆと予め用意した判定用の閾値に基づき、層の有効性が高いか否かの判定を行う。層の有効性が高いと判定した場合には、図４（Ｄ）と同様の処理内容（ステップＳ４３１〜Ｓ４３３）により大域信頼度Ｉｇｃｏｎｆを生成する。層の有効性が低いと判定した場合には、予め用意した値を用いて大域信頼度Ｉｇｃｏｎｆを生成する。

本実施形態の信頼度生成装置１１０が、有効度生成部８２４を備えることで、層毎に大域信頼度Ｉｇｃｏｎｆを生成するに値するか否かを判定することができる。例えば、数式（４）に基づき生成された層有効度Ｉｅｆｆが０．１の場合には、距離画像信号Ｓｄに対して層が占める割合は少ない。距離画像信号Ｓｄに対して占める割合が少ない層は、全体
に与える影響は軽微である。従って、必ずしも大域信頼度Ｉｇｃｏｎｆを考慮する必要はない。すなわち、ステップＳ９３２においては、予め用意した層の大域的な信頼性が高いことを示す値を用いて、大域信頼度Ｉｇｃｏｎｆを生成すればよい。

なお、大域信頼度生成部３２３が行う大域信頼度生成処理Ｓ３２３として、図９（Ｃ）に示す処理フローを用いても構わない。図９（Ｃ）に示す処理フローでは、層毎に大域信頼度Ｉｇｃｏｎｆを生成した後、層毎に算出した大域信頼度Ｉｇｃｏｎｆを統合して距離画像信号Ｓｄを代表する代表大域信頼度Ｉｇｃｏｎｆ０を生成している。すなわち、大域信頼度生成部３２３は、ステップＳ４３１〜Ｓ４３３にて、層毎に大域信頼度Ｉｇｃｏｎｆを生成したのち、ステップＳ９３５にて層毎の大域信頼度Ｉｇｃｏｎｆを１つに統合し、新たに代表大域信頼度Ｉｇｃｏｎｆ０を生成する。統合に際しては、複数の層ごとの大域信頼度Ｉｇｃｏｎｆの統計値（例えば、最小値、最大値、平均値、中間値、標準偏差、分散の少なくとも１つ）を用いることができる。距離画像信号Ｓｄ全体の大域的な信頼性を表す値として、高いロバスト性を確保するためには、統計量として層毎に算出した大域信頼度Ｉｇｃｏｎｆの最小値を用いることが望ましい。すなわち、大域信頼度生成部３２３は、ステップＳ９３５にて、数式（５）を用いて代表大域信頼度Ｉｇｃｏｎｆ０を生成することが望ましい。

ここで、数式（４）におけるｊは層の番号、Ｎは層分割処理部３２２における分割層数を示している。また、統計処理を用いて大域信頼度Ｉｇｃｏｎｆを統合する際には、有効度生成部８２４にて生成した層有効度Ｉｅｆｆから層の有効性が高いと判定した層のみを用いることが望ましい。例えば、数式（４）を用いて層有効度Ｉｅｆｆを算出した際には、大域信頼度生成部３２３は、層有効度Ｉｅｆｆ＞０．１を満たす層のみを用いて、数式（５）により統合した代表大域信頼度Ｉｇｃｏｎｆを生成する。

本実施形態の信頼度生成装置８１０が備える信頼度生成部８２０においては、有効度生成部８２４にて、層有効度Ｉｅｆｆを生成しているとして説明した。しかし、層有効度Ｉｅｆｆの生成に用いる面積Ｓｌａｙｅｒは、局所信頼度生成部３２１内でも用いることを考慮すると、局所信頼度生成部３２１内で層有効度Ｉｅｆｆを生成しても構わない。局所信頼度生成部３２１内で層有効度Ｉｅｆｆを算出する際には、例えば図９（Ｃ）の処理フローにおいては、ステップＳ９２４の処理を図９（Ｃ）内のステップＳ４３１の後に行えばよい。

＜実施形態２の変形例＞
本実施形態の信頼度生成装置８１０にて、光軸１４０と垂直な面内を複数の小領域に分割し、小領域毎且つ層毎の大域信頼度Ｉｇｃｏｎｆを大域信頼度生成部３２３にて生成しても構わない。小領域毎且つ層毎に大域信頼度Ｉｇｃｏｎｆを生成することで、距離画像信号Ｓｄの大域的な信頼性を、小領域毎且つ層毎に評価することできる。

図１２（Ａ）は、小領域情報Ｉｒｅｇｉｏｎを生成するための面分割処理部１２０１をさらに備えた信頼度生成装置１２１０の処理の概要を表すブロック図である。図１２（Ｂ）は信頼度生成装置１２１０の動作を示すフローチャートである。

信頼度生成装置１２１０内の信頼度生成部１２２０は、面分割処理部１２０１をさらに備えている。面分割処理部１２０１は、予め用意した分割数を用いて小領域情報Ｉｒｅｇｉｏｎを生成する。大域信頼度生成部３２３は、局所信頼度Ｉｌｃｏｎｆと層情報Ｉｌａｙｅｒと小領域情報Ｉｒｅｇｉｏｎとに基づき、大域信頼度Ｉｇｃｏｎｆを小領域毎且つ
層毎に生成する。

面分割処理部１２０１は、図１２（Ｂ）に示す処理フローのうち、面分割処理Ｓ１２０１により、小領域情報Ｉｒｅｇｉｏｎを生成する。面分割処理Ｓ１２０１では、予め用意した分割数を用いて、距離画像信号Ｓｄを予め決められた領域を有する複数の小領域に分割する。例えば、図１２（Ｃ）に示すように、分割数３ｘ３を用い、距離画像信号Ｓｄの面内を９つの小領域（小領域１２１１、１２２１、１２３１、１２１２、１２２２、１２３２、１２１３、１２２３、１２３３）に分割する。図１２（Ｃ）の距離画像信号Ｓｄは、図５（Ｂ）に例を示す距離画像信号Ｓｄである。

図５（Ｂ）の例では、前背景層の大域信頼度Ｉｇｃｏｎｆの値が低く、前背景層の大域的な信頼性が低いと判断することができる。大域信頼度生成部３２３にて層毎且つ小領域毎に大域信頼度Ｉｇｃｏｎｆを生成することで、図１２（Ｃ）では、小領域１２１１、１２２１、１２３１について、大域信頼度Ｉｇｃｏｎｆの値が低くなる。すなわち、距離画像信号Ｓｄの大域的な信頼性が低いことが分かる。本変形例において、大域信頼度生成部３２３は、小領域ごとの複数の層の大域信頼度を上述の手法（図９（Ｃ））で統合して、小領域に対して１つの代表大域信頼度Ｉｃｏｎｆ０を生成することも望ましい。

なお、面分割処理Ｓ１２０１では、予め用意した分割数を用いて複数の小領域に分割したが、色情報や輝度情報などの画像特性情報に基づき、公知の画像セグメンテーション手法により小領域に分割しても構わない。例えば、面分割処理部１２０１は、距離画像生成部３１０から距離画像信号の生成時に取得した第１の画像信号Ｓ１と第２の画像信号Ｓ２の少なくとも一方に基づく画像特性情報Ｉｉｍｇを取得する。そして、面分割処理部１２０１は、画像特性情報Ｉｉｍｇに基づく画像セグメンテーション手法により小領域に分割する。画像セグメンテーション手法としては、例えばグラフカット手法などを用いることができる。また、画像特性情報Ｉｉｍｇは、画像生成部により生成した観賞用画像信号から生成しても構わない。

面分割処理を行う本変形例は、第２の実施形態だけでなく第１の実施形態に対しても適用可能である。

＜実施形態３＞
本発明の第３の実施形態は、補正した距離画像信号を生成する補正装置を備えた撮像装置である。本実施形態の撮像装置は、距離画像信号の補正を行う距離画像信号補正装置として捉えることができる。以下、図を参照しながら、本発明の第３の実施形態について詳細に説明する。以下の説明では、本発明の距離画像信号補正装置を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

本実施形態の本実施形態のデジタルカメラ１００は、結像光学系１２０、撮像素子１０１、補正装置１０００、画像生成部（不図示）、レンズ駆動制御部（不図示）、画像信号格納部（不図示）が、カメラ筐体１９０の内部に配置され、構成される。すなわち、本実施形態のデジタルカメラ１００は、第１の実施形態（図１）と比較して、信頼度生成装置１１０の代わりに補正装置１０００を配置した構成となっている。補正装置１０００は、論理回路を用いて構成することができる。補正装置１０００の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

図１０（Ａ）は、本実施形態の補正装置１０００の処理の概要を説明するブロック図である。補正装置１０００は、撮像素子１０１から第１の画像信号Ｓ１と第２の画像信号Ｓ２を読み出す。信頼度生成装置１１０は、距離画像信号Ｓｄと補正情報Ｉｒｅｆｉｎｅの
生成を行う。補正部１００１では、信頼度生成装置１１０から距離画像信号Ｓｄと補正情報Ｉｒｅｆｉｎｅを受け取り、距離画像信号Ｓｄを補正した補正距離画像信号Ｓｒｄの生成を行う。すなわち、補正装置１０００では、補正距離画像信号Ｓｒｄを生成し出力する。

補正情報Ｉｒｅｆｉｎｅは、補正距離画像信号Ｓｒｄを生成するための情報であり、少なくとも大域信頼度Ｉｇｃｏｎｆと局所信頼度Ｉｌｃｏｎｆを含む情報である。なお、以下の説明では、信頼度生成装置１１０は、図８（Ａ）と図８（Ｂ）を用いて説明した処理内容を有し、大域信頼度生成部３２３においては図９（Ｃ）を用いて説明した処理フローを行うとして説明する。すなわち、信頼度生成装置１１０は、層毎の大域信頼度Ｉｇｃｏｎｆを統合して生成した大域信頼度Ｉｇｃｏｎｆを含む補正情報Ｉｒｅｆｉｎｅを生成して出力する。

信頼度生成装置１１０が行う処理内容は、第１または第２の実施形態と同様であるため、説明は省略する。補正部１００１においては、図１０（Ｂ）に示す処理フローを用いて補正距離画像信号Ｓｒｄを生成する。以下、図１０（Ｂ）に示すフローチャートを用いて補正部１００１にて行う処理内容について説明する。

ステップＳ１００１では、補正部１００１は、補正情報Ｉｒｅｆｉｎｅに含まれる大域信頼度Ｉｇｃｏｎｆに基づき、距離画像信号Ｓｄの大域的な信頼性が高いか否かを判定する。判定に際しては、予め用意した閾値（所定値）を用いればよい。例えば、Ｉｇｃｏｎｆ＝０が最も信頼性が低く、Ｉｇｃｏｎｆ＝１が最も信頼性が高いとした場合には、閾値として０．４を用いることができる。また、補正距離画像信号Ｓｒｄの安定性をより高めるためには、閾値を大きくし、例えば０．６を用いることが望ましい。ステップＳ１００１にて信頼性が高いと判定された場合には、ステップＳ１００２に進み、低いと判定された場合にはステップＳ１００３に進む。

ステップＳ１００２では、図１０（Ｃ）を用いて後述する距離画像信号を補正するための距離画像信号補正処理を行う。距離画像信号補正処理Ｓ１００２の処理内容について図１０（Ｃ）を用いて説明する。図１０（Ｃ）は距離画像信号Ｓｄ内の、注目する画素位置における処理内容を示している。距離画像信号Ｓｄ全域について被写体距離を補正する際には、注目する画素位置を順次移動させながら図１０（Ｃ）に示す処理を実施する。ステップＳ１０１２では、補正部１００１が、被写体距離を補正した補正被写体距離を算出する。被写体距離の補正では、注目する画素位置の近傍領域であり、且つ局所信頼度Ｉｌｃｏｎｆが高信頼である画素を抽出する。ステップＳ１０１３では、補正部１００１が、抽出された画素位置における被写体距離（高信頼被写体距離）の代表値を補正被写体距離として算出する。より具体的には、代表値は高信頼被写体距離の統計量とする。代表値は、例えば平均値、中央値である。近傍領域のサイズを小さくすると、高信頼被写体距離と設定される画素数が少なく、補正精度が低くなる。一方で、近傍領域のサイズを大きくすると、高信頼被写体距離として異なる被写体の距離情報を含む確率が高くなる。従って、近傍領域の設定には、距離画像生成部３１０にて被写体距離を算出する際の照合領域の１倍〜８倍の画素数が含まれるように設定することが望ましい。より望ましくは３〜５倍の画素数が含まれるようにする。

ステップＳ１００３では、補正部１００１は、距離画像信号Ｓｄの値をそのまま補正距離画像信号Ｓｒｄの値とする。すなわち、距離画像信号Ｓｄの信頼性が低い判定された層については、補正を行わない。距離画像信号Ｓｄの大域的な信頼性である大域信頼度Ｉｇｃｏｎｆが低い場合には、被写体距離の補正を誤る領域が多くなり、補正を行うことによりかえって距離精度が悪化する可能性が高いためである。

本実施形態の補正装置１０００を備えた撮像装置では、大域信頼度Ｉｇｃｏｎｆに基づき、距離画像信号Ｓｄの補正を行うか否かを判定することで、補正部１００１による精度悪化を抑制し、補正距離画像信号の安定性を高めることができる。

本実施形態の信頼度生成装置１１０が生成する補正情報Ｉｒｅｆｉｎｅは、画像特性情報Ｉｉｍｇをさらに含んでも構わない。すなわち、補正部１００１は、信頼度生成装置１１０から補正情報Ｉｒｅｆｉｎｅとして大域信頼度Ｉｇｃｏｎｆと局所信頼度Ｉｌｃｏｎｆと画像特性情報Ｉｉｍｇを取得し、距離画像信号Ｓｄを補正した補正距離画像信号Ｓｒｄを生成して出力する。画像特性情報Ｉｉｍｇは、距離画像信号Ｓｄと対応した画像信号の画像特性を表していればよく、例えば、第１の画像信号Ｓ１から生成することができる。また、第１の画像信号Ｓ１と第２の画像信号Ｓ２を加算平均して合成した合成画像信号から生成しても構わないし、撮像装置１００が備える画像生成部により生成された観賞用画像信号から生成しても構わない。

補正情報Ｉｒｅｆｉｎｅに画像特性Ｉｉｍｇが含まれている場合には、図１０（Ｃ）のステップＳ１０１２における高信頼被写体距離を選定する際の条件に、注目する画素位置の画像特性と類似していることを加える。具体的には、補正部１００１は、距離画像信号内に注目画素を設定し、注目画素の近傍領域の画素であり、且つ注目画素位置との画像特性の類似度が判定閾値以上であり、且つ局所信頼度Ｉｌｃｏｎｆが高信頼である画素を抽出する。補正部１００１は、抽出された画素位置における被写体距離（高信頼被写体距離）の統計値（上述）を代表値として算出し、当該代表値を補正被写体距離に設定する画像特性の類似性を判定する際には、注目する画素からの輝度値の差を用いることができる。より精度よく高信頼被写体距離を選定するためには、注目する画素からの色差を用いることが望ましい。色差としては、Ｌａｂ色空間におけるユークリッド距離またはマンハッタン距離を用いればよい。

注目する画素位置の近傍領域であり、且つ注目する画素位置の画像特性と類似している領域は、注目する画素位置と同じ被写体が含まれている可能性が高い。従って、画像特性の類似性も考慮することで、より高精度な補正距離画像信号を生成することができる。

＜実施形態３の変形例＞
上記の説明では、信頼度生成装置１１０が距離画像信号Ｓｄについて１つの統合された大域信頼度Ｉｇｃｏｎｆを出力するものとして説明したが、信頼度生成装置１１０は層ごとの大域信頼度Ｉｇｃｏｎｆを出力してもよい。この場合、補正部１００１は、層ごとの大域信頼度Ｉｇｃｏｎｆを統合して図１０（Ｂ）（Ｃ）に示す処理を実施してもよい。あるいは、補正部１００１は、層ごとに図１０（Ｂ）（Ｃ）に示す処理を実施してもよい。また、信頼度生成装置１１０が小領域ごとに各層の大域信頼度Ｉｇｃｏｎｆを統合した代表大域信頼度Ｉｇｃｏｎｆ０を出力する場合は、補正部１００１は小領域ごとに図１０（Ｂ）（Ｃ）に示す処理を実施すればよい。また、信頼度生成装置１１０が小領域ごとに代表大域信頼度Ｉｃｏｎｆ０を出力せずに、小領域ごと層ごとに大域信頼度Ｉｇｃｏｎｆを出力する場合には、補正部１００１は小領域ごと層ごとに図１０（Ｂ）（Ｃ）に示す処理を実施すればよい。

また、上記の説明では、大域信頼度Ｉｇｃｏｎｆが低信頼の場合（Ｓ１００１−ＮＯ）には、補正を行っていない。しかしながら、大域信頼度Ｉｇｃｏｎｆが高いか低いかに応じて、異なる補正条件を用いて補正距離画像信号Ｓｒｄを得るようにしてもよい。具体的には、大域信頼度Ｉｇｃｏｎｆが所定値よりも高ければ（高信頼であれば）、効果が高い補正（強い補正）を行い、大域信頼度Ｉｇｃｏｎｆが所定値よりみ低ければ（低信頼であれば）、効果が低い補正（弱い補正）を行うようにするとよい。

補正の効果を変えるためには、ステップＳ１０１３における近傍領域の大きさを変えるか、画像特性の類似判定における判定閾値を変えるか、あるいはこれらの両方を行えばよい。具体的には、近傍領域の大きさを大きくするほど、また、類似判定の判定閾値を低くするほど、補正の効果を強くすることができる。逆に。近傍領域の大きさを小さくするほど、また、類似判定の判定閾値を高くするほど、補正の効果を弱くすることができる。

なお、ここでは、大域信頼度Ｉｇｃｏｎｆが高いか低いかに２分して異なる補正条件による補正を行う例を説明したが、大域信頼度Ｉｇｃｏｎｆの大きさに応じて３つ以上の異なる補正条件による補正を行うようにしてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の信頼度生成装置および補正装置はいずれも撮像装置に組み込まれた実施例を説明した。しかしながら、信頼度生成装置あるいは補正装置は、撮像装置に組み込まれる必要はなく、撮像装置が撮像した画像信号Ｓ１，Ｓ２を外部から取得するように構成されてもよい。また、上記の説明では、信頼度生成装置が画像信号Ｓ１，Ｓ２から距離画像信号Ｓｄを求めているが、外部の装置が算出した距離画像信号Ｓｄを信頼度生成装置が取得するようにしてもよい。すなわち、信頼度生成装置は、距離画像信号Ｓｄおよび距離算出情報Ｉｃｏｒ（および、処理内容に応じて画像信号Ｓ１，Ｓ２）を利用可能であれば、これらの情報は信頼度生成装置が算出したものでもよいし他の装置が算出したものでもよい。

１１０ 信頼度生成装置
３１０ 距離画像生成部
３２０ 信頼度生成部
３２１ 局所信頼度生成部
３２２ 層分割処理部
３２３ 大域信頼度生成部

Claims (25)

1. 距離画像信号の信頼度を生成する信頼度生成装置であって、
   複数の画素のそれぞれにおける被写体までの距離に対応する距離情報を含む距離分布情報を取得する取得手段と、
   前記複数の画素のそれぞれにおける前記距離情報の信頼度を表す局所信頼度を生成する第１の生成手段と、
   前記距離分布情報を複数の分割領域に分割する領域分割手段と、
   前記局所信頼度に基づいて前記複数の分割領域のそれぞれにおける信頼度を表す大域信頼度を生成する第２の生成手段と、
   を有することを特徴とする信頼度生成装置。
2. 前記第２の生成手段は、前記複数の分割領域のそれぞれについて、当該分割領域内の前記局所信頼度の和と、当該分割領域の面積との比に基づき、前記大域信頼度を生成する、
   ことを特徴とする請求項１に記載の信頼度生成装置。
3. 前記第２の生成手段は、前記複数の分割領域のそれぞれについて、前記局所信頼度が所定の閾値信頼度以上に信頼できる領域の面積と、当該分割領域の面積との比に基づき、前記大域信頼度を生成する、
   ことを特徴とする請求項１に記載の信頼度生成装置。
4. 前記第２の生成手段は、前記複数の分割領域のそれぞれについての前記大域信頼度から、前記距離分布情報に対する１つの大域信頼度を生成する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の信頼度生成装置。
5. 前記第２の生成手段は、前記複数の分割領域のそれぞれについての前記大域信頼度の統計量を、前記距離分布情報に対する大域信頼度として生成するものであり、
   前記統計量は、最小値、平均値、最大値、標準偏差のいずれかである、
   ことを特徴とする請求項４に記載の信頼度生成装置。
6. 前記領域分割手段は、
   前記距離情報の度数分布に基づいて、前記領域分割を行うための境界値を複数設定し、
   前記境界値に基づいて距離分布情報を複数の分割領域に分割する、
   ことを特徴とする請求項１〜５のいずれか１項に記載の信頼度生成装置。
7. 前記領域分割手段は、前記距離情報に基づいて前記距離分布情報を複数の分割領域に分割する、
   ことを特徴とする請求項１〜６のいずれか１項に記載の信頼度生成装置。
8. 前記領域分割手段にて分割した分割領域ごとに、前記分割領域の面積に基づき、前記分割領域の有効性を表す領域有効度を生成する第３の生成手段をさらに備える、
   ことを特徴とする請求項１〜７のいずれか１項に記載の信頼度生成装置。
9. 前記第２の生成手段は、前記領域有効度が所定の値よりも高い分割領域と前記領域有効度が前記所定の値よりも低い分割領域とで、前記大域信頼度を異なる方法により算出する、
   ことを特徴とする請求項８に記載の信頼度生成装置。
10. 前記第２の生成手段は、前記領域有効度が所定の値よりも高い分割領域についての前記大域信頼度の統計量に基づいて、前記距離分布情報に対する１つの大域信頼度を生成するものであり、
    前記統計量は、最小値、平均値、最大値、標準偏差のいずれかである、
    ことを特徴とする請求項８または９に記載の信頼度生成装置。
11. 前記距離分布情報の奥行き方向と垂直な面内を複数の小領域に分割した小領域情報を生成する面分割手段をさらに備え、
    前記第２の生成手段は、少なくとも前記局所信頼度と、前記分割領域に関する情報と、前記小領域情報とに基づき、前記小領域ごとおよび前記分割領域ごとに前記大域信頼度を生成する、
    ことを特徴とする請求項１〜７のいずれか１項に記載の信頼度生成装置。
12. 前記面分割手段は、前記小領域が予め決められた領域を有するように前記距離分布情報の面内を分割する、
    ことを特徴とする請求項１１に記載の信頼度生成装置。
13. 前記距離分布情報の生成時と同じ被写体を撮影した画像信号を取得する画像取得手段をさらに備え、
    前記面分割手段は、前記画像信号の色情報または輝度情報の類似性に基づき、前記距離分布情報の面内を複数の小領域に分割する、
    ことを特徴とする請求項１１に記載の信頼度生成装置。
14. 前記領域分割手段にて分割した分割領域ごとに、前記分割領域の面積に基づき、前記分割領域の有効性を表す領域有効度を生成する第３の生成手段をさらに備え、
    前記第２の生成手段は、前記小領域ごとおよび前記分割領域ごとに、前記領域有効度と前記局所信頼度と前記分割領域の面積とに基づき、前記分割領域のうち少なくとも１つの領域について前記大域信頼度を生成する、
    ことを特徴とする請求項１１〜１３のいずれか１項に記載の信頼度生成装置。
15. 前記第２の生成手段は、前記小領域ごとに、前記領域有効度が所定の値よりも高い分割領域についての前記大域信頼度の統計量に基づいて、前記小領域に対する１つの大域信頼度を生成するものであり、
    前記統計量は、最小値、平均値、最大値、標準偏差のいずれかである、
    ことを特徴とする請求項１４に記載の信頼度生成装置。
16. 請求項１〜１５のいずれか１項に記載の信頼度生成装置と、
    前記距離分布情報を補正する補正手段と、
    を備え、
    前記補正手段は、前記大域信頼度が所定値より高い場合には前記距離分布情報を補正し、前記大域信頼度が前記所定値より低い場合には前記距離分布情報を補正しない、
    ことを特徴とする補正装置。
17. 請求項１〜１５のいずれか１項に記載の信頼度生成装置と、
    前記距離分布情報を補正する補正手段と、
    を備え、
    前記補正手段は、前記大域信頼度が所定値より低い場合に、前記大域信頼度が前記所定値より高い場合よりも効果が弱い補正を前記距離分布情報に行う、
    ことを特徴とする補正装置。
18. 前記距離分布情報は、第１の画像信号と第２の画像信号のあいだの相対的な位置ズレ量に基づいて生成され、
    前記補正手段は、前記距離分布情報内に注目画素を設定し、前記注目画素の近傍領域の画素であって、前記第１の画像信号と前記第２の画像信号の少なくとも一方に基づく画像における類似度が所定の判定閾値以上である画素についての前記距離情報を、前記局所信頼度の信頼性の高さに応じて重み付けすることにより、前記注目画素の距離情報を補正するものであり、
    前記補正手段は、前記大域信頼度が前記所定値より低い場合は、前記大域信頼度が前記所定値より高い場合と比較して、前記判定閾値を大きくするか、前記近傍領域の大きさを小さくする、
    請求項１７に記載の補正装置。
19. 前記信頼度生成装置は、請求項４，５，１０のいずれか１項に記載の信頼度生成装置であり、
    前記補正手段は、前記距離分布情報に対する１つの大域信頼度に基づいて、前記距離分布情報の全体を補正する、
    請求項１６〜１８のいずれか１項に記載の補正装置。
20. 前記補正手段は、前記領域分割手段にて分割した分割領域ごとに、当該分割領域の大域信頼度に基づいて、前記距離分布情報を補正する、
    請求項１６〜１８のいずれか１項に記載の補正装置。
21. 結像光学系と、
    撮像素子と、
    請求項１〜１５のいずれか１項に記載の信頼度生成装置または請求項１６〜２０のいずれか１項に記載の補正装置と、
    を備えた撮像装置であって
    前記取得手段は、前記撮像素子によって取得された第１の画像信号および第２の画像信号に基づいて前記距離分布情報を算出することにより前記距離分布情報を取得する、
    ことを特徴とする撮像装置。
22. 距離画像処理装置が実行する、距離分布情報の信頼度を生成する信頼度生成方法であって、
    複数の画素のそれぞれにおける被写体までの距離に対応する距離情報を含む距離分布情
    報を取得する取得ステップと、
    前記複数の画素のそれぞれにおける前記距離情報の信頼度を表す局所信頼度を生成する第１の生成ステップと、
    前記距離分布情報を複数の分割領域に分割する領域分割ステップと、
    前記局所信頼度に基づいて前記複数の分割領域のそれぞれにおける信頼度を表す大域信頼度を生成する第２の生成ステップと、
    を含むことを特徴とする、信頼度生成方法。
23. 距離画像処理装置が実行する、距離分布情報の補正を行う補正方法であって、
    請求項２２に記載の信頼度生成方法の各ステップと、
    前記大域信頼度が所定値より高い場合には前記距離分布情報を補正し、前記大域信頼度が前記所定値より低い場合には前記距離分布情報を補正しない補正ステップと、
    を含む、補正方法。
24. 距離画像処理装置が実行する、距離分布情報の補正を行う補正方法であって、
    請求項２２に記載の信頼度生成方法の各ステップと、
    前記大域信頼度が所定値より低い場合に、前記大域信頼度が前記所定値より高い場合よりも効果が弱い補正を前記距離分布情報に行う補正ステップと、
    を含む、補正方法。
25. 請求項２２に記載の信頼度生成方法あるいは請求項２３または２４に記載の補正方法の各ステップを、コンピュータに実行させるためのプログラム。

Images