JP6643122B2 - 距離画像装置、撮像装置、および距離画像補正方法 - Google Patents

Description

本発明は、距離画像補正装置に関し、特にデジタルカメラやデジタルビデオカメラなどに用いられる距離画像補正装置に関するものである。

デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において、観賞用画像と同時に複数の画素位置にて撮像装置から被写体までの距離（以降、被写体距離と呼ぶ。さらに、複数の画素位置にて取得した被写体距離から構成される画像を距離画像と呼ぶ）を取得できる測距機能を備えた撮像装置が提案されている。

測距方式の一つとして、撮像面位相差測距方式と呼ばれる手法が知られている。この方式では、結像光学系の異なる瞳領域を通過した光束により生成される像に基づく少なくとも２つの画像信号を取得可能な撮像素子が用いられる。２つの画像信号間の相対的な位置ズレ量（いわゆる視差量）を、ステレオ画像を用いた視差量検出方法と類似の手法で検出し、所定の変換係数を介してデフォーカス量に変換することで被写体距離を取得することができる。さらに、撮像面位相差測距方式では、２つの画像信号を合成することで、観賞用画像信号を生成することができる。

他の測距方式としてＤＦＤ（Ｄｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式と呼ばれる手法が知られている。ＤＦＤ方式では、撮影条件（絞り値、焦点距離など）を変えて２つの画像信号を時間的に連続して取得し、２つの画像間のボケ量の差異から被写体距離を取得する。ＤＦＤ方式では、２つの画像信号のうち、一方の画像信号を観賞用画像信号として利用することができる。

いずれの被写体距離算出方式も、２つの画像信号間の相関関係に基づき被写体距離を算出している。一般に、相関関係を評価する際には、領域ベースのマッチング手法が用いられる。領域ベースのマッチング手法では、各画像信号から所定の照合領域に含まれる画像信号を切り出し、相関関係を評価している。２つの画像間の相関関係を精度よく評価できた場合には、高精度に被写体距離を取得することができるが、そうでない場合には、被写体距離を誤って算出する恐れがある。その為、距離画像の各画素の被写体距離を補正する手法が提案されている。

非特許文献１では、被写体距離と観賞用画像の輝度情報と被写体距離の信頼性を表す情報とを用いて、重み付きクロスバイラテラルフィルタにより、距離画像を補正している。

特許文献１では、被写体距離を算出できた領域は被写体距離に応じて複数の小領域に類別し、被写体距離を算出できない領域は、観賞用画像信号の類似性を用いて周囲の被写体距離で補間する手法が開示されている。

特許第５０６６８５１号公報

松尾琢也、外２名、「重み付きクロスバイラテラルフィルタによる奥行き推定精度の向上」、映像情報メディア学会誌 Ｖｏｌ．６６，Ｎｏ．１１，ｐｐ．Ｊ４３４〜Ｊ４４３（２０１２）

相関関係の誤評価（距離の誤評価）は、その要因に応じて大きく２つに分けることができる。第１の種類の誤評価は、被写体や撮影条件に起因するものである。例えば、被写体のコントラスト変化が少なかったり、画像信号に含まれるノイズ量が多かったりする場合は、相関関係の誤評価が生じ、被写体距離の値が誤って算出される恐れがある。第２の種類の誤評価は、相関関係を評価する際に用いる照合領域が比較的大きな領域サイズを有していることに起因するものである。照合領域内に距離の異なる複数の被写体が含まれる場合には、照合領域に含まれるいずれかの被写体の距離が対象画素における距離として算出されるが、どの位置の被写体の距離を算出したのかが不確かになる。すなわち、奥行き方向と垂直な面内について、被写体距離の位置を誤って算出する恐れがある。

非特許文献１及び特許文献１にて開示されている手法では、相関関係を誤評価した要因を考慮せずに観賞用画像から得られる画像特性の類似性に基づき、周囲領域の被写体距離を用いて補正している。周囲領域の大部分が、被写体距離を精度よく算出できている場合には、相関関係を誤評価した要因の寄与は低く、精度よく補正することができる。しかし、周囲領域も被写体距離の信頼性が低いまたは被写体距離を算出できていない場合には、相関関係を誤評価した要因を考慮していないために、大きな補正誤差が生じてしまう。このような場合には、被写体距離の補正処理が、距離画像の精度を悪化させてしまう。

本発明の上記の事情を考慮したなされたものであり、その目的は、距離画像を精度良く補正することにある。

本発明の第一の態様は、距離画像における距離情報の補正を行う距離画像補正装置であって、
複数の画素位置における被写体までの奥行き方向の距離値を表す距離情報が格納された距離画像と前記距離画像を補正するための補正情報を取得する取得手段と、
前記距離画像の前記距離値を前記補正情報に基づき補正し、補正距離画像を生成する補正手段とを備え、
前記取得手段は、前記補正情報として、前記距離画像の前記距離値の信頼性を表す第１の信頼度と、前記距離画像の前記奥行き方向と垂直な面内方向の位置の信頼性を表す第２の信頼度とを取得し、
前記補正手段は、前記第１の信頼度と前記距離値の類似性とに基づき前記距離画像を補正することで第１の補正距離画像を生成する第１の補正処理と、前記第２の信頼度に基づき前記第１の補正距離画像を補正することで前記補正距離画像を生成する第２の補正処理とを実施する、ことを特徴とする。

本発明の第２の態様は、距離画像における距離情報の補正を行う距離画像補正方法であって、
複数の画素位置における被写体までの奥行き方向の距離値を表す距離情報が格納された距離画像と前記距離画像を補正するための補正情報を取得する取得ステップと
前記距離画像の前記距離値を前記補正情報に基づき補正し、補正距離画像を生成する補正ステップとを含み、
前記取得ステップでは、前記補正情報として、前記距離画像の前記距離値の信頼性を表す第１の信頼度と、前記距離画像の前記奥行き方向と垂直な面内方向の位置の信頼性を表す第２の信頼度とを取得し、
前記補正ステップでは、前記第１の信頼度と前記距離値の類似性とに基づき前記距離画像を補正することで第１の補正距離画像を生成する第１の補正処理と、前記第２の信頼度
に基づき前記第１の補正距離画像を補正することで前記補正距離画像を生成する第２の補正処理とを実施する、ことを特徴とする。

本発明では、相関関係を誤評価した要因に応じて距離画像を補正することで、精度良く被写体画像信号を補正することが可能となる。

第１の実施形態における距離画像生成装置を含む撮像装置の説明図 第１の実施形態における撮像素子が受光する光束と位置ズレ量の説明図 第１の実施形態における距離画像生成装置の説明図 第１の実施形態における距離画像生成装置が行う処理のフローチャート 第１の実施形態の変形例における信頼度情報生成処理の説明図 撮像素子および距離算出方法の変形例の説明図 第２の実施形態における距離画像生成処理が行う処理のフローチャート 第３の実施形態における距離画像生成装置が行う処理のフローチャート 第４の実施形態における距離画像生成装置が行う処理のフローチャート

＜第１の実施形態＞
以下、図を参照しながら本発明の第１の実施形態について詳細に説明する。以下の説明では、本発明の距離画像生成装置（距離画像処理装置）を備えた撮像装置の一例として、デジタルカメラを用いて説明するが、本発明の適用はこれに限定されるものではない。

尚、図を参照した説明においては、図番は異なっても原則として同一部位を示す部位には、同一の符号を付すこととし、なるべく重複した説明は避ける。

＜デジタルカメラの構成＞
図１（Ａ）は、本実施形態に係る距離画像生成装置１１０を備えたデジタルカメラ１００である。デジタルカメラ１００は、結像光学系１２０、撮像素子１０１、距離画像生成装置１１０、画像生成部（不図示）、レンズ駆動制御部（不図示）、画像信号格納部（不図示）が、カメラ筐体１９０の内部に配置され、構成される。距離画像生成装置１１０は、論理回路を用いて構成することができる。距離画像生成装置１１０の別の形態として、中央演算処理装置（ＣＰＵ）と演算処理プログラムを格納するメモリとから構成してもよい。

結像光学系１２０は、デジタルカメラ１００の撮影レンズであり、被写体の像を撮像素子１０１上に形成する機能を有する。結像光学系１２０は複数のレンズ群（不図示）から構成され、撮像素子１０１から所定距離離れた位置に射出瞳１３０を有する。なお、図１（Ａ）中の符号１４０は結像光学系１２０の光軸であり、本明細書では光軸はｚ軸と平行とする。さらに、ｘ軸とｙ軸は互いに垂直であり、且つ光軸と垂直な軸とする。

＜撮像素子の構成＞
撮像素子１０１はＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）から構成され、撮像面位相差測距方式による測距機能を有する撮像素子である。結像光学系１２０を介して撮像素子１０１上に結像した被写体像は、撮像素子１０１により光電変換され、被写体像に基づく撮影画像が生成される。取得した撮影画像に対して、画像生成部により現像処理を施すことで、観賞用画像を生成することができる。また生成した観賞用画像を画像信号格納部に格納することができる。以下、本実施形態における撮像素子１０１について、図１（Ｂ）を用いてより詳細に説明する。

図１（Ｂ）は、撮像素子１０１のｘｙ断面図である。撮像素子１０１は、２行×２列の画素群１５０を複数配列することで構成される。画素群１５０は、対角方向に緑画素１５０Ｇ１及び１５０Ｇ２、他の２画素に赤画素１５０Ｒ及び青画素１５０Ｂが配置され、構成されている。

図１（Ｃ）は、画素群１５０のＩ−Ｉ’断面を模式的に示した図である。各画素は受光層１８２と導光層１８１から構成される。受光層１８２には、受光した光を光電変換するための２つの光電変換部（第１の光電変換部１６１、第２の光電変換部１６２）が配置される。導光層１８１には、画素へ入射した光束を光電変換部へ効率良く導くためのマイクロレンズ１７０、所定の波長帯域の光を通過させるカラーフィルタ（不図示）、画像読み出し用及び画素駆動用の配線（不図示）などが配置される。

＜撮像面位相差測距方式の距離計測原理説明＞
本実施形態の撮像素子１０１が備える第１の光電変換部１６１及び第２の光電変換部１６２が受光する光束について、図２（Ａ）を用いて説明する。

図２（Ａ）は、結像光学系１２０の射出瞳１３０と、撮像素子１０１中に配置される画素の代表例として緑画素１５０Ｇ１についてのみ示した概略図である。図２（Ａ）に示した画素１５０Ｇ１内のマイクロレンズ１７０は、射出瞳１３０と受光層１８２が光学的に共役関係になるように配置されている。その結果、図２（Ａ）に示すように、射出瞳１３０に内包される部分瞳領域である第１の瞳領域（２１０）を通過した光束は第１の光電変換部１６１に入射する。同様に部分瞳領域である第２の瞳領域（２２０）を通過した光束は第２の光電変換部１６２に入射する。

各画素に設けられる複数の第１の光電変換部１６１は、受光した光束を光電変換して第１の画像信号を生成する。また同様に、各画素に設けられる複数の第２の光電変換部１６２は、受光した光束を光電変換して第２の画像信号を生成する。第１の画像信号から第１の瞳領域２１０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができ、第２の画像信号から第２の瞳領域２２０を主に通過した光束が撮像素子１０１上に形成する像の強度分布を得ることができる。

第１の画像信号と第２の画像信号間の相対的な位置ズレ量は、デフォーカス量に応じた量となる。位置ズレ量とデフォーカス量の関係について、図２（Ｂ）、２（Ｃ）、２（Ｄ）を用いて説明する。図２（Ｂ）、２（Ｃ）、２（Ｄ）は本実施形態の撮像素子１０１、結像光学系１２０について示した概略図である。図中の符号２１１は第１の瞳領域２１０を通過する第１の光束を示し、符号２２１は第２の瞳領域２２０を通過する第２の光束を示す。

図２（Ｂ）は合焦時の状態を示しており、第１の光束２１１と第２の光束２２１が撮像素子１０１上で収束している。この時、第１の光束２１１により形成される第１の画像信号と第２の光束２２１により形成される第２の画像信号間の相対的な位置ズレ量は０となる。図２（Ｃ）は像側でｚ軸の負方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、負の値を有する。図２（Ｄ）は像側でｚ軸の正方向にデフォーカスした状態を示している。この時、第１の光束により形成される第１の画像信号と第２の光束により形成される第２の画像信号間の相対的な位置ズレ量は０とはならず、正の値を有する。

図２（Ｃ）と（Ｄ）の比較から、デフォーカス量の正負に応じて、位置ズレの方向が入
れ替わることが分かる。また、デフォーカス量に応じて、結像光学系の結像関係（幾何関係）にしたがった位置ズレが生じることが分かる。従って、第１の画像信号と第２の画像信号間の位置ズレ量を、後述する領域ベースのマッチング手法により検出し、検出した位置ズレ量を所定の変換係数を介してデフォーカス量に変換することができる。なお、像側のデフォーカス量から、物体側の被写体距離への変換については、結像光学系１２０の結像関係を用いることで容易に変換することができる。また、位置ズレ量をデフォーカス量に変換するための変換係数は、撮像素子１０１が備える画素の受光感度の入射角度依存、射出瞳１３０の形状、射出瞳１３０の撮像素子１０１からの距離により決めることができる。

＜距離画像生成装置の説明＞
本実施形態の距離画像生成装置は、撮影画像から被写体距離情報を含む距離画像を生成し、かつ、距離画像における被写体距離情報を補正する。以下、本実施形態の距離画像生成装置について、図を用いて説明する。図３（Ａ）は、本実施形態の距離画像生成装置１１０の概要構成を示すブロック図である。図３（Ｂ）は距離画像生成装置１１０が行う距離画像生成処理の動作を示すフローチャートである。図３（Ｃ）は、距離画像生成処理におけるデータフロー図である。

距離画像生成装置１１０は、距離画像生成部（取得手段）１１２と距離画像補正部（補正手段）１１１とから構成される。以下、距離画像生成部１１２および距離画像補正部１１１のことを、それぞれ生成部１１２および補正部１１１とも称する。

生成部１１２は、撮像素子１０１より読みだした第１の画像信号Ｓ１と第２の画像信号Ｓ２に基づき、距離画像生成処理Ｓ３３０により複数の画素位置にて被写体距離の算出を行うことで、距離画像Ｓｄを生成する。生成部１１２は、さらに、補正情報生成処理Ｓ３４０により、補正情報Ｉｃｏｎｆを生成する。本実施形態の補正情報Ｉｃｏｎｆは、２つの情報を含んでいる。１つ目は、被写体距離の値の信頼性を表す情報（第１の信頼度情報Ｉｃｏｎｆ１）である。２つ目は、被写体距離の奥行き方向と垂直な面内方向の位置（被写体距離の面内位置）の信頼性を表す情報（第２の信頼度情報Ｉｃｏｎｆ２）である。

補正部１１１は、生成部１１２から距離画像Ｓｄと補正情報Ｉｃｏｎｆを取得し、被写体距離の補正処理（Ｓ３５０およびＳ３６０）を行うことで、補正距離画像Ｓｄｏｕｔを生成する。本実施形態では、第１の信頼度Ｉｃｏｎｆ１に基づいて距離画像Ｓｄを補正することにより第１の補正距離画像Ｓｄ１が生成される。そして、第２の信頼度Ｉｃｏｎｆ２に基づいて補正距離画像Ｓｄ１を補正することにより補正距離画像Ｓｄｏｕｔが生成・出力される。以下、距離画像生成装置１１０の処理内容について詳細に説明する。

距離画像生成処理Ｓ３３０の具体的な処理内容について図４（Ａ）を用いて説明する。ステップＳ３３１では、生成部１１２が、第１の画像信号Ｓ１と第２の画像信号Ｓ２間の相対的な位置ズレ量を算出する。具体的には、以下の手順により位置ズレ量が算出される。まず、第１の画像信号Ｓ１内に注目点（注目画素）が設定され、注目点を中心とする照合領域が設定される。次に、第２の画像信号Ｓ２内の上記注目点に対応する位置に参照点が設定され、参照点を中心とする参照領域が設定される。生成部１１２は、参照点を順次移動させながら、照合領域内に含まれる第１の画像信号Ｓ１と参照領域内に含まれる第２の画像信号Ｓ２間の相関度を算出し、最も相関が高い参照点を上記注目点に対応する対応点（対応画素）とする。生成部１１２は、注目点と対応点間の相対的な位置のズレ量を、注目点における位置ズレ量として決定する。注目点を順次移動させながら位置ズレ量を算出することで、複数の画素位置における位置ズレ量を算出することができる。相関度の算出方法としては公知の手法を用いることができ、例えば、画像信号間の正規化相互相関を評価するＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）と呼ば
れる手法を用いることができる。

ステップＳ３３２では、生成部１１２は、所定の変換係数を用いて、位置ズレ量を、撮像素子１０１から結像光学系１２０の焦点までの距離であるデフォーカス量へ変換する。所定の変換係数をＧａｉｎ、デフォーカス量をΔＬ、位置ズレ量をｄとしたとき、下記式（１）により、位置ズレ量ｄをデフォーカス量ΔＬに変換することができる。
ΔＬ＝Ｇａｉｎ × ｄ ・・・（１）

ステップＳ３３３では、生成部１１２は、デフォーカス量を被写体距離に変換する。デフォーカス量から被写体距離への変換は、前述のように結像光学系１２０の結像関係を用いて行える。図４（Ａ）の処理を複数の画素位置にて行うことで、各画素位置の被写体距離から構成される距離画像を生成することができる。

補正情報生成処理Ｓ３４０の具体的な処理内容について図４（Ｂ）を用いて説明する。補正情報生成処理Ｓ３４０は、距離の値の信頼性を表す第１の信頼度Ｉｃｏｎｆ１を求める処理（Ｓ３４１）と距離の位置の信頼性を表す第２の信頼度Ｉｃｏｎｆ２を求める処理（Ｓ３４２）を含む。

第１の信頼度Ｉｃｏｎｆ１は、上述のように被写体距離の値の信頼性を表す情報である。距離値は、被写体のコントラスト変化が少なかったり、第１の画像信号Ｓ１または第２の画像信号Ｓ２に含まれるノイズ量が多かったりする場合、すなわち画像信号の画像ＳＮ比が低い場合に、誤った結果が得られることが多い。そこで、本実施形態においては、第１の信頼度Ｉｃｏｎｆ１は、画像信号の画像ＳＮ比に応じた値として算出される。

画像ＳＮ比は、画像信号に含まれるノイズ量と、コントラスト変化の大きさの比に応じた値となる。そこで、生成部１１２は、画像信号に含まれるノイズ量を表す指標となる値と、コントラスト変化の大きさを表す指標となる値を取得する。

ノイズ量を表す指標となる指標として、ステップＳ３３１にて対応点を算出した際の相関度を採用することができる。注目点と対応点間の相関度が低い場合には、画像信号に含まれるノイズなどの影響により、相関関係を誤評価している可能性が高くなる。つまり、注目点と対応点間の相関度は、画像信号に含まれるノイズ量を表す指標といえる。

コントラスト変化の大きさを表す指標となる値として、ステップＳ３３１にて対応点を算出した際の、対応点での相関度と対応点近傍での相関度の変化量を採用することができる。対応点近傍の相関度は、対応点に隣接する画素での相関度でもよいし、対応点から所定画素離れた画素での相関度でもよいし、対応点周辺の複数の画素の相関度の平均であってもよい。被写体のコントラスト変化が少ない場合には、相関度の変化量は小さくなる。すなわち、相関度の変化量が小さい場合にも相関関係を誤評価している可能性が高くなる。相関度の変化量は、コントラスト変化を表す指標といえる。

生成部１１２は、コントラスト変化とノイズ量の比（いわゆる、画像ＳＮ比）を、第１の信頼度Ｉｃｏｎｆ１として算出する。コントラスト変化が大きいほど相関度の変化量が大きい。また、ノイズ量が多いほど対応点での相関度が小さい。従って、生成部１１２は、第１の信頼度Ｉｃｏｎｆ１を、相関度の変化量が大きいほど大きく、対応点での相関度が大きいほど小さくなるように生成する。例えば、第１の信頼度Ｉｃｏｎｆ１は、（相関度の変化量）／（１−対応点での相関度）として算出できる。

第２の信頼度Ｉｃｏｎｆ２は、上述のように被写体距離の位置の信頼性を表す情報である。被写体距離の位置が誤って算出されるのは、ステップＳ３３１にて位置ズレ量を算出
する際に用いた照合領域内に、被写体距離が異なる複数の被写体が含まれる場合である。このような場合に、対象画素の周辺画素における距離値を、対象画素における距離値として算出することがある。そこで、本実施形態においては、第２の信頼度Ｉｃｏｎｆ２は、照合領域内での距離変化の大きさに応じた値として算出される。

ステップＳ３４２において、生成部１１２は、距離画像Ｓｄにおける距離値の分散値を第２の信頼度Ｉｃｏｎｆ２として算出する。具体的には、生成部１１２は、距離画像Ｓｄの信頼度算出画素を中心とする参照領域を設定し、参照領域内に含まれる距離画像Ｓｄの分散値を、信頼度算出対象画素の第２の信頼度Ｉｃｏｎｆ２として算出する。本実施形態において、参照領域の大きさおよび形状は、距離画像生成処理Ｓ３３０の位置ズレ量算出時の照合領域と同一であるが、異なっていても構わない。例えば、距離画像生成処理Ｓ３３０にて、第１の画像信号Ｓ１と第２の画像信号Ｓ２に対してバンドパスフィルタ処理を施す場合には、照合領域とバンドパスフィルタのフィルタサイズを考慮して、参照領域の大きさおよび形状を決めてもよい。

ステップＳ３３１にて位置ズレ量を算出する際に用いた照合領域内に、被写体距離が異なる複数の被写体が含まれる領域では、照合領域に含まれるいずれかの被写体の距離が算出される。従って、被写体距離の面内位置の信頼性が低い領域では、距離画像Ｓｄ内の距離変化が大きくなる。ステップＳ３４２にて算出する距離画像Ｓｄの分散値は、参照領域内の距離変化が大きいほど大きな値をとるため、分散値が大きい領域は被写体距離の面内位置の信頼性が低い領域といえる。従って、本実施形態では、第２の信頼度Ｉｃｏｎｆ２の値が大きいほど、被写体距離の面内位置の信頼性が低い。

距離画像Ｓｄの距離変化が大きい領域に、被写体距離の面内位置の信頼性が低い領域が含まれる。本実施形態では、距離画像Ｓｄの距離変化を、参照領域内に含まれる距離画像Ｓｄの分散値を用いて評価しているが、他の手法を用いて評価しても構わない。例えば、参照領域内に含まれる距離画像Ｓｄの最大値と最小値の差や、距離画像Ｓｄにラプラシアンフィルタなどの微分フィルタ処理を施して得られる値の参照領域内での絶対値和、を用いて距離画像Ｓｄの距離変化の大きさを評価してもよい。また他には、距離画像Ｓｄに対して距離値の補正処理を行ったと仮定した場合の、補正前後で被写体距離の変化を用いて、距離画像Ｓｄの距離変化の大きさを評価してもよい。補正前後での距離変化が大きい領域は、被写体距離の面内位置の信頼性が低いと判断できる。この補正処理は、距離変化の大きさを評価するために用いられるものであり、距離画像Ｓｄを実際に補正する必要はない。この補正処理は、例えば、補正対象画素との画像特性（輝度や色など）の類似性や距離値の信頼度に応じた重み係数を用いた加重平均処理である。

補正部１１１では、第１の距離補正処理Ｓ３５０と第２の距離補正処理Ｓ３６０により、距離画像Ｓｄを補正し、補正距離画像Ｓｄｏｕｔを生成する。

第１の距離補正処理Ｓ３５０の具体的な処理内容について、図４（Ｃ）を用いて説明する。ステップＳ３５１では、補正部１１１は、補正情報Ｉｃｏｎｆに含まれる第１の信頼度Ｉｃｏｎｆ１を用いて、被写体距離の補正に用いる重み係数の算出を行う。後述するように第１の距離補正処理では、補正対象画素の周辺画素の距離値の重み付け平均値を補正距離値とする。ステップＳ３５１では、この重み付け平均に用いる重み係数が算出される。具体的には、補正部１１１は、距離画像Ｓｄの注目点（補正対象画素）を中心とする参照領域を設定し、参照領域内に含まれる各画素の重み係数を設定する。重み係数は、具体的には、第１の信頼度Ｉｃｏｎｆ１が表す信頼性が高く、且つ距離値が注目点の距離値と近い画素ほど大きな値となるように設定される。すなわち、注目点の近傍領域について、第１の信頼度Ｉｃｏｎｆ１による信頼性が高く、注目点と被写体距離が類似している被写体距離ほど、補正距離値への寄与が大きくなるように重み係数が設定される。

ステップＳ３５２では、補正部１１１は、重み係数を用いて、参照領域内に含まれる被写体距離の加重平均値を算出し、注目点の補正距離とする。第１の距離補正処理Ｓ３５０では、注目点を順次移動させながら各画素にて補正距離を算出することで、各画素値が補正距離により構成される第１の補正距離画像Ｓｄ１が生成される。ステップＳ３５３で、補正部１１１は、生成された第１の補正距離画像Ｓｄ１をメモリに保存する。

第１の距離補正処理Ｓ３５０では、被写体距離の値の信頼性を表す第１の信頼度Ｉｃｏｎｆ１と注目点に対する距離の類似性を用いて、加重平均により補正被写体距離を算出している。従って、第１の距離補正処理Ｓ３５０では、距離画像Ｓｄ内の被写体距離の値の信頼性が高い画素位置の寄与をより高くすることで、距離のバラつきをより低減した高精度な距離画像である第１の補正距離画像を生成している。また、重み係数を算出する際に注目点からの距離差を用いることで、補正前後の大きな距離変化を抑制し、注目点の周囲領域の第１の信頼度Ｉｃｏｎｆ１が低い場合の補正誤差を低減している。

第２の距離補正処理Ｓ３６０の具体的な処理内容について、図４（Ｄ）を用いて説明する。ステップＳ３６１では、補正部１１１は、被写体距離の補正に用いる重み係数の算出を行う。第１の補正距離画像内にステップＳ３５１と同様の手法で注目点と参照領域を設定し、第２の信頼度Ｉｃｏｎｆ２が高いほど大きな値となるように重み係数を設定する。すなわち、注目点の近傍領域について、第２の信頼度Ｉｃｏｎｆ２が高いほど、補正距離値への寄与が大きくなるように重み係数が設定される。ステップＳ３６２では、重み係数を用いて、参照領域内に含まれる第１の補正距離画像Ｓｄ１を構成する被写体距離の加重平均値を算出し、注目点の補正距離とする。第２の距離補正処理Ｓ３６０では、注目点を順次移動させながら各画素にて補正距離を算出することで、各画素値が補正距離により構成される補正距離画像Ｓｄｏｕｔを生成する。ステップＳ３６３において、補正部１１１は、生成された補正距離画像Ｓｄｏｕｔをメモリに保存したり外部装置に出力したりする。

第２の距離補正処理Ｓ３６０では、被写体距離の面内位置の信頼性を表す第２の信頼度Ｉｃｏｎｆ２を第１の補正距離画像Ｓｄ１に基づいて算出し、この第２の信頼度Ｉｃｏｎｆ２を用いて加重平均により補正被写体距離を算出している。従って、被写体距離の面内位置に関する誤差をより低減した高精度な距離画像である補正距離画像Ｓｄｏｕｔを生成できる。

被写体距離の面内位置の誤差が大きい領域は、主に距離画像内の距離変化が大きい領域となり、比較的限られた領域となる。一方、被写体距離の値の誤差が大きい領域は、被写体のコントラスト変化や撮影条件に起因するため、面積が広くなる可能性が高い。本実施形態の距離画像補正部１１１においては、第１の距離補正処理において、注目点の周囲領域の第１の信頼度が低い距離値に起因する誤補正を低減しつつ、距離画像の補正を行っている。その後に、第２の距離補正処理において、大きな距離変化を許容し、被写体距離の面内位置の誤差を低減している。第１の距離補正処理の後に第２の距離補正処理を行うことで、注目点の周囲領域もまた被写体距離の値または面内位置のいずれかの信頼性が低い場合に生じる補正誤差を低減し、より精度よく距離画像を補正することができる。すなわち、相関関係を誤評価した要因に応じて距離補正工程を分けることで、補正誤差を低減し、より高精度な補正距離画像を生成している。

＜第１の信頼度情報生成処理Ｓ３４１の他の例＞
本実施形態の第１の信頼度情報生成処理Ｓ３４１では、画像ＳＮ比を算出するために、画像信号中に含まれるノイズ量を対応点での相関度を指標に評価し、被写体のコントラスト変化を相関度の変化量を指標に評価している。上記方法とは別に、コントラスト変化の
大きさとノイズ量を第１の画像信号Ｓ１と第２の画像信号Ｓ２の少なくとも一方から算出することもできる。以下では、図５（Ａ）を用いて、画像ＳＮ比の算出方法の他の方法について説明する。図５（Ａ）におけるステップＳ３４７〜Ｓ３４９の処理が、第１の信頼度算出処理の変形例である。ステップＳ３４７では、生成部１１２は、照合領域内に含まれる第１の画像信号Ｓ１の分散値を算出する。分散値が大きいほど照合領域内に含まれる第１の画像信号Ｓ１のコントラスト変化が大きくなる。ステップＳ３４８では、生成部１１２は、照合領域内に含まれる第１の画像信号Ｓ１の画素値から、画像信号に含まれるノイズ量を推定する。画像信号に含まれるノイズ量は、ノイズ量＝ノイズ推定係数×画素値×ＩＳＯ感度として推定することができる。光電変換時に生じる光ショットノイズ量の期待値は、フォトン数の平方根に比例するためである。ノイズ量推定係数は、撮像素子１０１内の画素構造に依存するため、予め撮像素子１０１のノイズ特性を計測して用いればよい。なお、ＩＳＯ感度は、デジタルカメラ１００の撮影時に用いたＩＳＯ感度を用いる。ステップＳ３４９では、生成部１１２は、ステップＳ３４７で求めた分散値とステップＳ３４８で求めたノイズ量の比に基づき、第１の信頼度Ｉｃｏｎｆ１を算出する。

被写体距離の値を誤って算出する他の要因として、撮影時に画素値が飽和する輝度飽和と、被写体のコントラスト変化が周期的に変化する周期被写体がある。従って、生成部１１２にて生成する被写体距離の値の信頼性をより精度よく評価するためには、画像ＳＮ比に加えて、輝度飽和度と被写体のコントラスト変化周期性のいずれかまたは両方を用いることも望ましい。

輝度飽和度は、距離画像生成処理Ｓ３３０にて、位置ズレ量の算出に用いる照合領域内の第１の画像信号Ｓ１と第２の画像信号Ｓ２の少なくとも一方が輝度飽和している領域の割合として算出できる。

被写体の周期性は、参照点を移動させた場合の相関度の変化パターンに基づいて評価できる。図５（Ｂ）は、周期被写体を撮影した場合の、相関度を参照点の移動量の関係を示す図である。周期被写体を撮影した場合は、コントラスト変化が周期的に変換することを反映して、相関度は周期的に極大値を有する。従って、相関度が極大値を有する参照点の移動量が周期的に並んでいるかを評価することによって、周期被写体か否かを判定することができる。

第１の距離補正処理Ｓ３５０においては、第１の信頼度Ｉｃｏｎｆ１として画像ＳＮ比に加えて、輝度飽和度と被写体周期性について判定した結果を用いていることができる。すなわち、補正被写体距離への、被写体距離の値をより高精度に算出できた領域からの寄与を高めることができるため、補正距離画像に含まれる補正誤差をより低減することができる。なお、被写体や撮影条件によっては、画像ＳＮ比、輝度飽和度、被写体周期性の全てを用いる必要はなく、少なくとも１つを用いて第１の信頼度Ｉｃｏｎｆ１を算出しても構わない。

＜距離画像補正部１１１の他の例＞
本実施形態の補正情報は、第１の信頼度Ｉｃｏｎｆ１と第２の信頼度Ｉｃｏｎｆ２を含んでいるが、さらに第１の画像信号Ｓ１と第２の画像信号Ｓ２の少なくとも一方から算出した画像特性を含んでも構わない。すなわち、図４（Ｃ）のステップＳ３５１と図４（Ｄ）のステップＳ３６１の少なくとも一方にて、画像特性の類似性をさらに考慮して重み係数を算出することができる。具体的には、注目点（補正対象画素）の周囲の画素のうち、補正対象画素の画像特性との類似性が高い画像特性を有する画素ほど、重み係数の値を大きく設定する。こうすることで、補正被写体距離を算出する際に、注目点を含む被写体とは異なる被写体からの寄与をより減らすことができ、より高精度に被写体距離を補正することができる。画像特性として、輝度や色または、統計量（注目点近傍での画像信号の標
準偏差や二乗平均平方根などのテクスチャ情報）を用いることができる。画像特性の類似性は、注目点との輝度差や色差（ある色空間における色の差）や、注目点との統計量の差に基づいて算出できる。

本実施形態においては、補正情報に含まれる第１の信頼度Ｉｃｏｎｆ１と第２の信頼度Ｉｃｏｎｆ２が多値の情報であるとして、第１の距離補正処理Ｓ３５０と第２の距離補正処理Ｓ３６０を説明している。しかしながら、所定の閾値を用いて第１の信頼度と第２の信頼度の少なくとも一方を２値の情報としても構わない。またさらに、第１の距離補正処理Ｓ３５０内のステップＳ３５１にて、距離差についても所定の閾値に基づき判定し、重み係数を２値の情報としても構わない。重み係数を２値化することで、距離画像の補正に係る演算量を低減し、より高速に補正距離画像を生成することができる。

本実施形態においては、第１の距離補正処理Ｓ３５０と第２の距離補正処理Ｓ３６０にて、注目点を順次移動させながら被写体距離の補正を行っているが、必ずしも全ての画素について被写体距離の補正を行う必要はない。第１の距離補正処理によって、第１の信頼度と第２の信頼度のいずれも高い領域と第１の信頼度が低い領域の距離値の精度は向上するが、第１の信頼度が高く第２の信頼度が低い領域の距離値の精度はそれほど向上しない。この点を考慮すると、第１の距離補正処理Ｓ３５０では第１の信頼度と第２の信頼度のいずれも高い領域と第１の信頼度が低い領域にのみ注目点を設定しても構わない。さらに、第２の距離補正処理Ｓ３６０によって、第２の信頼度が低い領域の距離値の精度が主に向上することを考慮すると、第２の距離補正処理Ｓ３６０では第２の信頼度が低い領域にのみ注目点を設定しても構わない。いずれの場合にも、信頼度の高低は所定の閾値との比較により判定すればよい。第１の距離補正処理並びに第２の距離補正処理にて、被写体距離の補正を行う領域を制限することで、距離画像の補正に係る演算量を低減し、より高速に補正距離画像を生成することができる。

＜距離算出方式の他の例＞
本実施形態のデジタルカメラ１００においては、１つの画素中に２つの光電変換部を配置した撮像素子１０１を用いることで、撮像面位相差測距方式による被写体距離算出を行っているが、他の測距原理に基づき被写体距離を算出しても構わない。本実施形態のデジタルカメラ１００において、図６（Ａ）にｘｙ断面図を示す撮像素子６０１を用い、撮影条件を変えて撮影した第１の画像信号と第２の画像信号を用いて被写体距離を算出しても構わない。本変形例では図３（Ａ）の距離画像生成部１１２にて、図６（Ｄ）を用いて後述する処理内容にて距離画像Ｓｄを生成している。

図６（Ａ）の撮像素子６０１は２行×２列の画素群６５０が複数配置され、構成される。画素群６５０は、対角方向に緑画素６５０Ｇ１及び緑画素６５０Ｇ２が配置され、他の２画素に赤画素６５０Ｇと青画素６５０Ｂが配置されている。各画素には、光電変換部６６１が１つのみ配置されている。

図６（Ｂ）は、撮影条件として合焦位置を変えたときの第１の撮像条件のＭＴＦを実線で示し、第２の撮像条件のＭＴＦを破線で示している。横軸はデフォーカス量、縦軸はＭＴＦ（変調伝達関数：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）である。合焦位置を変えて、時間的に連続して撮影することで、第１の撮像条件と第２の撮像条件とで、ＭＴＦのデフォーカス量依存を変えて撮像することができる。第１の撮像条件のＭＴＦと第２の撮像条件のＭＴＦの比をとったものが図６（Ｃ）である。デフォーカス量に依存して、ＭＴＦ比が変化していることが分かる。ＤＦＤ方式では、第１の撮像条件にて撮影した第１の画像信号と、第２の撮影条件にて撮影した第２の画像信号間の相関関係を評価することで、ＭＴＦの差異（すなわち、ボケ量の差異）を算出し、デフォーカス量を検出することができる。検出したデフォーカス量は、前述の撮像面位相差測距方式
と同様に、結像光学系１２０の結像関係に基づき物体距離へ変換することで、被写体距離を算出することができる。

図６（Ｄ）は、距離画像生成部１１２における距離画像生成処理Ｓ３３０の処理内容を説明するフローチャートである。ステップＳ６１０では、第１の画像信号と第２の画像信号間の相関度を算出する。すなわち、第１の画像信号に注目点を設定し、注目点を中心とする照合領域を設定する。次に、第２の画像信号内の注目点と対応する位置に参照点を設定し、参照点を中心とする参照領域を設定する。照合領域内に含まれる第１の画像信号と参照領域内に含まれる第２の画像信号間の相関度を算出する。ステップＳ６１１では、相関度をデフォーカス量へ変換する処理を行う。相関度からデフォーカス量への変換は、予めデジタルカメラ１００が備えるメモリ（不図示）に対応関係を示すルックアップテーブルを格納し、参照することで変換することができる。例えば、相関度が高い時（相関度としてＮＣＣを用いる場合は１に近いとき）は、第１の画像信号と第２の画像信号のボケ量が略等しいと考えることができるので、図６（Ｂ）の実線と破線が交わるデフォーカス量となる。ステップＳ３３３では、図４（Ａ）と同様に、デフォーカス量を被写体距離に変換する処理を行う。

第１の信頼度Ｉｃｏｎｆ１は、画像ＳＮ比を評価したものであればよく、上記実施形態と異なる手法により算出されてもよい。例えば、第１の信頼度Ｉｃｏｎｆ１は、上述した図５（Ａ）に示す処理によって求めることができる。被写体や撮影条件によっては、画像ＳＮ比に加えて輝度飽和度を第１の信頼度Ｉｃｏｎｆ１に加えてもよいし、画像ＳＮ比は用いずに輝度飽和度のみを第１の信頼度Ｉｃｏｎｆ１として用いても構わない。第２の信頼度Ｉｃｏｎｆ２は、距離画像の境界部を評価したものであればよい。周辺領域での距離値の分散値を用いる以外に、周辺領域での距離値の最大値と最小値の差や、距離画像におけるエッジ抽出結果、輝度の類似度に基づく仮想的に補正処理の前後での距離変化の大きさを用いて算出することもできる。

被写体距離算出方式としてＤＦＤ方式を用いた場合であっても、本実施形態の距離画像補正部１１１にて、相関関係を誤評価した要因に応じて距離補正処理を分けることで、補正誤差を低減し、より高精度な補正距離画像を生成することができる。

＜第２の実施形態＞
以下、本発明の第２の実施形態に係る距離画像生成装置１１０を説明する。図７（Ａ）は本実施形態に係る距離画像生成装置１１０が行う距離画像生成処理の動作を示すフローチャートである。図７（Ｂ）は、距離画像生成処理におけるデータフロー図である。

本実施形態では、距離画像生成装置１１０は、第１の実施形態と同様に距離画像生成部１１２と距離画像補正部１１１を備えている。本実施形態における距離画像生成部１１２は、第１の実施形態と同様に、距離画像Ｓｄおよび第１の信頼度Ｉｃｏｎｆ１と第２の信頼度Ｉｃｏｎｆ２を含む補正情報Ｉｃｏｎｆを生成する。また、本実施形態における距離画像補正部１１１は、第１の実施形態と同様に、第１の信頼度Ｉｃｏｎｆ１に基づく第１の距離補正処理と、第２の信頼度Ｉｃｏｎｆ２に基づく第２の距離補正処理とを行う。第１の実施形態と異なる点は、第２の信頼度Ｉｃｏｎｆ２が、第１の補正距離画像Ｓｄ１に基づいて生成される点である。

図７（Ａ）における距離画像生成処理Ｓ３３０、第１の信頼度生成処理Ｓ３４１、第１の距離補正処理Ｓ３５０は、第１の実施形態と同様なので説明を省略する。

本実施形態における第２の信頼度情報生成処理Ｓ７７０では、生成部１１２が、第１の補正距離画像Ｓｄ１から第２の信頼度Ｉｃｏｎｆ２を生成する。具体的には、生成部１１
２は、信頼度算出画素を中心とする参照領域を第１の補正距離画像Ｓｄ１に設定し、参照領域内に含まれる第１の補正距離画像Ｓｄ１の分散値を、信頼度算出対象画素の第２の信頼度Ｉｃｏｎｆ２として算出する。第１の実施形態で説明したような、その他の算出方法に基づく第２の信頼度Ｉｃｏｎｆ２も採用可能である。すなわち、利用する距離画像が、第１の補正距離画像Ｓｄ１に変わった点を除けば、第１の実施形態と同様の処理である。

本実施形態では、第１の信頼度を用いた第１の距離補正処理Ｓ３５０を行った後の第１の距離補正距離画像Ｓｄ１から、第２の信頼度を生成している。第１の距離補正処理Ｓ３５０により生成される第１の補正距離画像Ｓｄ１は、第１の信頼度の信頼性が低い領域の被写体距離を補正した距離画像である。すなわち、第１の補正距離画像Ｓｄ１は、距離画像Ｓｄと比べてより高精度な距離画像となる。より高精度な第１の補正距離画像に基づき、第２の信頼度を生成することで、被写体距離の面内位置の信頼性をより高精度に評価することができる。その結果、第２の距離補正処理Ｓ３６０における被写体距離の補正誤差を低減し、より高精度な補正距離画像Ｓｄｏｕｔを生成することができる。

＜第３の実施形態＞
以下、本発明の第３の実施形態に係る距離画像生成装置を説明する。本実施形態では、第１の距離補正処理において距離差を考慮して補正する代わりに、距離画像を距離値に応じて複数の層に分割して、同じ層内の距離値を用いて補正を行う。

図８（Ａ）は、距離画像生成装置１１０の動作を示すフローチャートである。第１の実施形態と比較して、層分割処理Ｓ８７０が加えられている点が異なる。また、第１の実施形態における第１の距離補正処理Ｓ３５０と、本実施形態の第１の距離補正処理Ｓ８５０は、実施する処理内容が異なる。距離画像生成処理Ｓ３３０、補正情報生成処理Ｓ３４０、および第２の距離補正処理Ｓ３６０は第１の実施形態と同様である。以下では、第１の実施形態と同様の点については説明を省略し、第１の実施形態とは異なる点について説明する。

以下では、層分割処理Ｓ８７０、第１の距離補正処理Ｓ８５０について、図８（Ｂ）と図８（Ｃ）を用いて説明する。

まず、層分割処理Ｓ８７０について図８（Ｂ）を用いて説明する。ステップＳ８７１において、補正部１１１は、距離画像Ｓｄを用いて被写体距離の度数分布を算出する。

ステップＳ８７２において、補正部１１１は、度数分布情報に基づいて、層分割を行うための境界値を複数設定する。本実施形態では、主被写体を含む層とその前後の層の３層に層分割を行う場合を例に説明する。以降、主被写体よりも前側の第１の層、主被写体を含む第２の層、主被写体よりも後側の第３の層として説明する。３層に層分割するので、第１の層と第２の層の間と、第２の層と第３の層の間に２つの境界値を設定する。より具体的には、主被写体を代表する被写体距離に最も近く、度数が極小値をとる２つの距離を、第１の層と第２の層を分割する第１の境界値と第２の層と第３の層を分割する境界値して設定する。デジタルカメラによる一般的な撮影を考えると、主被写体に結像光学系１２０の焦点を合わせることが多い。従って、主被写体を代表する被写体距離は、デフォーカス量＝０に相当する被写体距離とすることが望ましい。

ステップＳ８７３において、補正部１１１は、第１の境界値と第２の境界値に基づき、距離画像を第１の層、第２の層、第３の層に分割し、層情報Ｉｌａｙｅｒを生成する。層情報Ｉｌａｙｅｒは、距離画像Ｓｄの各画素がいずれの層に属するかを表す情報である。

次に、本実施形態における第１の距離補正処理Ｓ８５０について図８（Ｃ）を用いて説
明する。ステップＳ８５１において、補正部１１１は、第１の信頼度Ｉｃｏｎｆ１と層情報Ｉｌａｙｅｒを用いて、被写体距離の補正に用いる重み係数の算出を行う。具体的には、補正部１１１は、距離画像内Ｓｄの注目点（補正対象画素）を中心とする参照領域に含まれる各画素のうち、注目点が属する層と同じ層に属する画素の重み係数を、第１の信頼度Ｉｃｏｎｆ１の信頼度が高いほど大きな値となるように設定する。注目点が属する層と異なる層に属する画素については重み係数＝０とする。すなわち、第１の信頼度Ｉｃｏｎｆ１が高いほど被写体距離の補正値への寄与が大きくなり、且つ他の層に属する被写体距離が補正値に寄与しないように重み係数を設定する。

ステップＳ３５２において、補正部１１１は、このようにして決定された重みを用いた距離値の重み付き平均値を、注目点の補正被写体距離として算出する。ステップＳ３５３において、補正部１１１は、ステップＳ３５２は、生成された第１の補正距離画像Ｓｄ１をメモリに保存する。ステップＳ３５２およびＳ３５３の処理は、第１の実施形態と同様である。

本実施形態の距離画像生成装置１１０では、距離画像Ｓｄを距離値に基づいて複数の層に分割して、注目点と同じ層に属する距離値のみを用いて補正している。こうすることにより、本実施形態の第１の距離補正処理Ｓ８５０では、注目点を設定する毎に距離差を算出する必要が無くなるため、より少ない演算量で第１の補正距離画像を生成することができる。その結果、より高速に補正距離画像を生成することができる。

本実施形態の層分割処理Ｓ８７０では距離画像Ｓｄを３つの層に分割したが、分割数はこれよりも多くても構わない。例えば、第１の層と第２の層の間に第４の層を挿入し、第２の層と第３の層の間に第５の層を挿入し、５つの層に分割しても構わない。５つの層に分割する際には、ステップＳ８７２にて４つの境界値を算出すればよい。具体的には、第１の境界値から所定距離離れた距離を第３の境界値とし、第２の境界値から所定距離離れた距離を第４の境界値とすればよい。ステップＳ８７３では、第１の層と第４の層を分ける境界値として第１の境界値を用いる。第４の層と第２の層を分ける境界値として第３の境界値を用いる。第２の層と第５の層を分ける境界値として第４の境界値を用いる。第５の層と第３の層を分ける境界値として第２の境界値を用いる。なお、５つの層に分割する場合に４つの境界値を求める必要は必ずしもなく、第１の境界値および第２の境界値を含む所定距離内を第４の層と第５の層としても構わない。分割する層数を増やすことで、第１の距離補正処理Ｓ８５０にて、注目点の周囲領域の被写体距離の値の信頼性が低い場合における、補正誤差の低減効果を高めることができる。しかし、分割する層数を増やしすぎると、第１の距離補正処理Ｓ８５０における距離補正効果が低減される。従って、境界値間の差分が、距離画像Ｓｄの距離分解能よりも大きくなるように設定することが望ましい。より望ましくは、分割する層数を１０層以下にすることが望ましい。

本実施形態における層分割処理の具体的な手順は、図８（Ｂ）を用いて説明したものに限られない。層分割処理の具体的手法は、種々の変形が可能である。

主被写体の奥行き方向の大きさが分かっている場合には、度数分布を算出する必要はなく、主被写体距離とその奥行き方向の大きさに基づいて境界値を決定し、層分割を行っても構わない。例えば、人物を撮影するポートレート撮影の例では、人物の奥行き方向の大きさは５０ｃｍ程度と予想できる。このような場合には、人物の被写体距離を代表値とし、代表値±２５ｃｍの範囲を主被写体を含む第２の層とし、その前後の層をそれぞれ第１の層と第３の層とすればよい。

上記の説明は、第１の実施形態を変形した実施形態であるが、本実施形態は第２の実施形態に対して適用することも可能である。

＜第４の実施形態＞
以下、本発明の第４の実施形態に係る距離画像生成装置１１０を説明する。本実施形態では、距離画像生成部１１２が、補正情報Ｉｃｏｎｆとして、距離画像Ｓｄの大域的な信頼度を表す大域信頼度Ｉｇｌｏｂａｌも求める。後述するように大域信頼度Ｉｇｌｏｂａｌは、距離画像Ｓｄの全体（全画素）の信頼度を表す１つの指標である。本実施形態では、大域信頼度Ｉｇｌｏｂａｌが低い場合には第１の実施形態と同様の補正を行うが、大域信頼度Ｉｇｌｏｂａｌが高い場合にはより簡易的な補正（第３の距離補正処理Ｓ９８０）を行う。

図９（Ａ）は、本実施形態における距離画像生成装置１１０の動作を示すフローチャートである。距離画像生成処理Ｓ３３０および補正情報生成処理Ｓ３４０は第１の実施形態と同様である。

ステップＳ９７１において、生成部１１２は、距離画像Ｓｄから、距離画像Ｓｄの大域的な信頼性を表す指標（大域信頼度）を算出する。生成部１１２は、まず、補正情報Ｉｃｏｎｆの和を算出する。具体的には、各画素位置の第１の信頼度Ｉｃｏｎｆ１の和と各画素位置の第２の信頼度Ｉｃｏｎｆ２の和を加算する。

第１の信頼度と第２の信頼度は、値が大きいほど信頼性が高くなるように所定の変換処理を施す必要がある。例えば、図４（Ｂ）に示すステップＳ３４２により、第２の信頼度Ｉｃｏｎｆ２を生成する場合には、値が大きいほど信頼性が低いことを示している。このような場合には、予めネガポジ反転処理を施せばよい。

ここでは第１の信頼度Ｉｃｏｎｆ１の和と第２の信頼度Ｉｃｏｎｆ２の和の合計を求めたが、第１の信頼度Ｉｃｏｎｆ１の平均値と第２の信頼度Ｉｃｏｎｆ２の平均値の和または平均を用いてもよい。また、大域信頼度Ｉｇｌｏｂａｌへの、第１の信頼度の寄与と、第２の信頼度の寄与を同程度とするために、予め第１の信頼度と第２の信頼度の少なくとも一方を所定の定数で規格化しておくことが望ましい。

生成部１１２は、さらに、距離画像Ｓｄの画像サイズによらず一様な判定を行うために、信頼度の総和を距離画像Ｓｄの面積で正規化した値を大域信頼度Ｉｇｌｏｂａｌとする。距離画像Ｓｄの面積は、距離画像Ｓｄに含まれる画素数を算出することにより得られる。なお、予め距離画像Ｓｄの画素数が分かっている場合には、画素数の算出はする必要はなく、所定の値として構わない。

ステップＳ９７２において、補正部１１１は、大域信頼度Ｉｇｌｏｂａｌが所定の閾値以上であるか否かを判定する。大域信頼度が閾値よりも低い場合（Ｓ９７２−ＮＯ）は、第１の実施形態と同様に、第１の距離補正処理Ｓ３５０と第２の距離補正処理Ｓ３６０が行われる。一方、大域信頼度が閾値以上の場合（Ｓ９７２−ＹＥＳ）には、第３の距離補正処理Ｓ９８０が行われる。

以下、第３の距離補正処理Ｓ９８０について、図９（Ｂ）を参照して説明する。第３の距離補正処理Ｓ９８０では、第１の信頼度Ｉｃｏｎｆ１と第２の信頼度Ｉｃｏｎｆ２を同時に用いた距離画像Ｓｄの補正が行われる。まずステップＳ９８１において、補正部１１１は、補正情報Ｉｃｏｎｆに含まれる第１の信頼度Ｉｃｏｎｆ１と第２の信頼度Ｉｃｏｎｆ２を用いて、被写体距離の補正に用いる重み係数の算出を行う。具体的には、補正部１１１は、距離画像内Ｓｄの注目点（補正対象画素）を中心とする参照領域に含まれる各画素の重み係数を、第１の信頼度Ｉｃｏｎｆ１および第２の信頼度Ｉｃｏｎｆ２が表す信頼性が高ければ大きな値となるように設定する。すなわち、注目点の近傍領域について、第
１の信頼度Ｉｃｏｎｆ１が表す信頼性が高いほど大きな値を持ち、かつ、第２の信頼度Ｉｃｏｎｆ２が表す信頼性が高いほど大きな値を持つように重い係数が決定される。これにより、第１の信頼度Ｉｃｏｎｆ１および第２の信頼度Ｉｃｏｎｆ２の高い被写体距離ほど、被写体距離の補正値への寄与が大きくなる。

ステップＳ９８２では、補正部１１１は、重み係数を用いて、参照領域内に含まれる被写体距離の加重平均値を算出し、注目点の補正被写体距離とする。第３の距離補正処理Ｓ９８０では、注目点を順次移動させながら、各画素にて補正被写体距離を算出することで、各画素値が補正被写体距離により構成される補正距離画像Ｓｄｏｕｔを生成する。ステップＳ９８３において、補正部１１１は、生成された補正距離画像Ｓｄｏｕｔをメモリに保存したり外部装置に出力したりする。

距離画像Ｓｄに含まれる被写体距離の大域的な信頼性が低い場合には、被写体距離の補正に用いる注目点の周囲領域の補正情報Ｉｃｏｎｆが示す信頼性が低い可能性が高くなる。そのような場合には、相関関係を誤評価した要因に応じて被写体距離の補正方法を異ならせることが望ましい。一方、距離画像Ｓｄに含まれる被写体距離の大域的な信頼性が高い場合には、被写体距離の補正に用いる注目点の周囲領域の補正情報Ｉｃｏｎｆが示す信頼性は高い可能性が高くなる。そのような場合には、相関関係を誤評価した要因を区別せずに被写体距離を補正して構わない。大域信頼度Ｉｇｌｏｂａｌは、一度の補正により距離補正が精度良く行える確からしさを表す指標と捉えることもできる。

第３の距離補正処理Ｓ９８０は、１度の補正処理で補正距離画像Ｓｄｏｕｔを生成している。第３の距離補正処理Ｓ９８０は、第１の距離補正処理Ｓ３５０と第２の距離補正処理Ｓ３６０を順次行う場合と比べ、画素あたりの補正回数が少ないため、より高速に補正距離画像Ｓｄｏｕｔを生成することができる。すなわち、本実施形態では、距離画像Ｓｄの大域的な信頼性が高い場合には、より高速に距離画像の補正を行うことができる。

上記の説明は、第１の実施形態を変形した実施形態であるが、本実施形態は第２あるいは第３の実施形態（およびその変形例）に対して適用することも可能である。層分割を行う第３の実施形態に本実施形態を適用する場合には、層ごとに大域信頼度を算出してもよいし、距離画像に対して１つの大域信頼度を算出してもよい。層ごとに大域信頼度を算出する場合は、層ごとの大域信頼度に基づいて当該層に適用する補正処理の内容を切り替える。距離画像に対して１つの大域信頼度を算出する場合は、大域信頼度に基づいて全ての層に適用する補正処理の内容を切り替える。層分割する場合の距離画像全体に対する大域信頼度は、被写体や撮影シーンへの依存性を低くするために、層毎に算出された大域信頼度情報の最小値（最も信頼性が低い値）に基づく値とすることが好ましい。ポートレート撮影時に主被写体の信頼度情報Ｉｃｏｎｆは高いが、主被写体以外の背景領域の信頼度Ｉｃｏｎｆが低い場合を考える。このような場合において、距離画像Ｓｄ中に主被写体が占める面積が大きいと大域信頼度は高いと判定されるが、背景領域は周囲に信頼度Ｉｃｏｎｆが高い領域が少ないために、被写体距離の補正を誤る可能性がある。層毎の大域信頼度の最小値を用いることで、信頼性が低い背景領域が占める面積率が低い場合でも、距離画像Ｓｄの大域的な信頼性が低いと判定することができる。

（その他の実施形態）
上記の実施形態において、距離画像生成装置は撮像装置に組み込まれているが、これは必須ではない。距離画像生成装置は、撮像装置と別体の装置として構成され、撮像装置が取得した画像に基づいて距離画像の生成および補正を行ってもよい。また、上記の実施形態において、距離画像生成装置が距離画像Ｓｄを生成しているが、距離画像Ｓｄは必ずしも距離画像生成装置が生成する必要はない。距離画像生成装置（距離画像補正装置）は、距離画像Ｓｄと、撮影画像Ｓ１とＳ２の少なくともいずれか一方または補正情報Ｉｃｏｎ
ｆを外部装置から取得して、取得した距離画像Ｓｄを撮影画像Ｓ１，Ｓ２または補正情報Ｉｃｏｎｆに基づいて補正してもよい。

本発明は、マイクロプロセッサやＣＰＵ（中央演算装置）などの汎用プロセッサと、メモリに格納されたプログラムを備えたコンピュータにより構成し、汎用プロセッサが上記プログラムを実行することにより実現することができる。また、本発明は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）やＤＳＰ（Digital Signal Processor）のような専用プロセッサによって実現することができる。専用プロセッサおよびプログラムを実行する汎用プロセッサは、いずれも特定の機能を提供するように構成されたプロセッサといえる。また、本発明の一部の機能は汎用プロセッサ（およびプログラム）により提供され、他の機能は専用プロセッサによって実現されてもよい。また、本発明のある一つの機能が、汎用プロセッサ（およびプログラム）と専用プロセッサの両方によって実現されても構わない。

本発明は、汎用プロセッサによって実行されたときに当該汎用プロセッサに上記処理を実行させるプログラム、または、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。

１１０ 距離画像生成装置
１１１ 距離画像補正部
１１２ 距離画像生成部

Claims (22)

1. 距離画像における距離情報の補正を行う距離画像補正装置であって、
   複数の画素位置における被写体までの奥行き方向の距離値を表す距離情報が格納された距離画像と前記距離画像を補正するための補正情報を取得する取得手段と、
   前記距離画像の前記距離値を前記補正情報に基づき補正し、補正距離画像を生成する補正手段とを備え、
   前記取得手段は、前記補正情報として、前記距離画像の前記距離値の信頼性を表す第１の信頼度と、前記距離画像の前記奥行き方向と垂直な面内方向の位置の信頼性を表す第２の信頼度とを取得し、
   前記補正手段は、前記第１の信頼度と前記距離値の類似性とに基づき前記距離画像を補正することで第１の補正距離画像を生成する第１の補正処理と、前記第２の信頼度に基づき前記第１の補正距離画像を補正することで前記補正距離画像を生成する第２の補正処理とを実施する、
   ことを特徴とする距離画像補正装置。
2. 前記第２の信頼度は、前記距離画像または前記第１の補正距離画像に基づいて生成される、
   請求項１に記載の距離画像補正装置。
3. 前記補正手段は、前記距離画像を類似した距離値を含む複数の層に分割する層情報を生成し、前記第１の補正処理では、補正対象画素と同じ層に属する画素の距離値と、前記第１の信頼度とに基づき前記距離画像を補正する、
   請求項１または２に記載の距離画像補正装置。
4. 前記補正手段は、前記距離画像の度数分布に基づいて層分割を行うための境界値を複数設定し、前記境界値に基づいて前記距離画像を複数の層に分割する、
   請求項３に記載の距離画像補正装置。
5. 前記補正手段は、前記距離画像から求められる距離値の代表値と予め設定された被写体の奥行き方向の大きさに基づいて層分割を行うための境界値を設定し、前記境界値に基づいて前記距離画像を複数の層に分割する、
   請求項３に記載の距離画像補正装置。
6. 前記第１の補正処理は、前記距離画像内に補正対象画素を含む参照領域を設定し、前記参照領域内の画素の距離値の加重平均値を前記補正対象画素の補正距離値として算出する処理であり、
   前記加重平均の重み係数は、前記第１の信頼度の信頼性が高く、且つ距離値が前記補正対象画素の距離値に近い画素ほど、大きな値を有する、
   請求項１から５のいずれか１項に記載の距離画像補正装置。
7. 前記第２の補正処理は、前記第１の補正距離画像内に補正対象画素を含む参照領域を設定し、前記参照領域内の画素の距離値の加重平均値を前記補正対象画素の補正距離値として算出する処理であり、
   前記加重平均の重み係数は、前記第２の信頼度の信頼性が高い画素ほど大きな値を有する、
   請求項１から６のいずれか１項に記載の距離画像補正装置。
8. 前記取得手段は、被写体の輝度情報が格納された撮影画像をさらに取得し、
   前記第１の補正処理では、前記撮影画像の画像特性の類似性にさらに基づき前記距離画像を補正し、
   前記第２の補正処理では、前記撮影画像の画像特性の類似性にさらに基づき前記第１の補正距離画像を補正する、
   請求項１から７のいずれか１項に記載の距離画像補正装置。
9. 前記第１の補正処理は、前記距離画像内に補正対象画素を含む参照領域を設定し、前記参照領域内の画素の距離値の加重平均値を前記補正対象画素の補正距離値として算出する処理であり、
   前記加重平均の重み係数は、前記第１の信頼度の信頼性が高く、距離値が前記補正対象画素の距離値に近く、且つ前記画像特性の類似性が高い画素ほど、大きな値を有する、
   請求項８に記載の距離画像装置。
10. 前記第２の補正処理は、前記第１の補正距離画像内に補正対象画素を含む参照領域を設定し、前記参照領域内の画素の距離値の加重平均値を前記補正対象画素の補正距離値として算出する処理であり、
    前記加重平均の重み係数は、前記第２の信頼度の信頼性が高く、且つ前記画像特性の類似性が高い画素ほど大きな値を有する、
    請求項８または９に記載の距離画像補正装置。
11. 前記撮影画像の画像特性の類似性は、前記撮影画像の色差または輝度差に基づき算出される、
    請求項８から１０のいずれか１項に記載の距離画像補正装置。
12. 前記撮影画像の画像特性の類似性は、前記撮影画像の統計量に基づき算出される、
    請求項８から１０のいずれか１項に記載の距離画像補正装置。
13. 前記補正情報は、前記距離画像の大域的な信頼性を表す大域信頼度をさらに含み、
    前記補正手段は、前記大域信頼度が閾値よりも低い場合には、前記第１の補正処理と前記第２の補正処理とを行い、前記大域信頼度が閾値以上の場合には、少なくとも前記第１の信頼度と前記第２の信頼度とに基づき前記距離画像を補正することで前記補正距離画像を生成する第３の補正処理を行う、
    請求項１から１２のいずれか１項に記載の距離画像補正装置。
14. 前記大域信頼度は、前記第１の信頼度および前記第２の信頼度の和または平均値と、前記距離画像の面積の比に基づき生成される、
    請求項１３に記載の距離画像補正装置。
15. 前記補正情報は、前記距離画像を距離値の類似性に基づいて分割した複数の層のそれぞれについての前記大域信頼度を含み、
    前記補正手段は、層ごとに、前記第１の補正処理と前記第２の補正処理を行うか、前記第３の補正処理を行うかを判定する、
    請求項１３または１４に記載の距離画像補正装置。
16. 前記補正情報は、前記距離画像を距離値の類似性に基づいて分割した複数の層のそれぞれについての前記大域信頼度を含み、
    前記補正手段は、前記大域信頼度のうちの最も信頼性が低いものに基づいて、前記第１の補正処理と前記第２の補正処理を行うか、前記第３の補正処理を行うかを判定する、
    請求項１３または１４に記載の距離画像補正装置。
17. 前記第３の補正処理では、少なくとも前記距離値の類似性と、前記取得手段が取得する被写体の輝度情報が格納された撮影画像の画像特性の類似性のいずれか一方をさらに用いて、前記距離画像を補正する、
    請求項１３から１６のいずれか１項に記載の距離画像補正装置。
18. 前記距離画像は、複数の画像のあいだの相関に基づいて注目点に対応する対応点を求め、当該注目点と対応点の位置ズレ量に基づいて生成され、
    前記第１の信頼度は、
    前記複数の画像において、前記対応点の位置をずらしたときの前記相関の変化量が大きいほど大きく、前記注目点と前記対応点についての前記相関が高いほど大きく決定されるか、
    前記複数の画像の少なくともいずれかにおける、前記注目点または対応点の近傍における画素値の分散値と、前記注目点または対応点の近傍において推定されるノイズ量との比として決定されるか、または
    前記複数の画像の少なくともいずれかにおける輝度飽和度に基づいて決定される、
    ことを特徴とする請求項１から１７のいずれか１項に記載の距離画像補正装置。
19. 前記第２の信頼度は、前記距離画像または前記第１の補正距離画像の注目点近傍における距離値の分散値、距離値の最大値と最小値の差、エッジ抽出結果、輝度の類似度に基づく仮想的な補正処理の前後での距離変化の大きさのいずれかとして決定される、
    ことを特徴とする請求項１から１８のいずれか１項に記載の距離画像補正装置。
20. 撮像素子と、
    前記撮像素子によって撮影された画像から距離画像を生成する生成手段と、
    請求項１から１９のいずれか１項に記載の距離画像補正装置と、
    を備える、撮像装置。
21. 距離画像における距離情報の補正を行う距離画像補正方法であって、
    複数の画素位置における被写体までの奥行き方向の距離値を表す距離情報が格納された距離画像と前記距離画像を補正するための補正情報を取得する取得ステップと、
    前記距離画像の前記距離値を前記補正情報に基づき補正し、補正距離画像を生成する補正ステップとを含み、
    前記取得ステップでは、前記補正情報として、前記距離画像の前記距離値の信頼性を表す第１の信頼度と、前記距離画像の前記奥行き方向と垂直な面内方向の位置の信頼性を表
    す第２の信頼度とを取得し、
    前記補正ステップでは、前記第１の信頼度と前記距離値の類似性とに基づき前記距離画像を補正することで第１の補正距離画像を生成する第１の補正処理と、前記第２の信頼度に基づき前記第１の補正距離画像を補正することで前記補正距離画像を生成する第２の補正処理とを実施する、
    ことを特徴とする距離画像補正方法。
22. 請求項２１に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images