JP6598550B2 - 画像処理装置、撮像装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、デフォーカス量（受光面とレンズの結像面との差）や被写体距離（撮像装置から被写体までの距離）などの、距離分布に関連するデータを生成する画像処理技術に関する。

撮像した複数枚の画像から被写体の距離情報を生成する処理では、画像間の対応する領域での視差や暈けの相関量を算出し、相関量から距離情報を取得することが行われている。暈けの異なる複数の画像を取得し、あるいは瞳分割型位相差検出方式を用いてデフォーカス量を検出する撮像装置がある。

特許文献１に開示の装置では、Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）方式でデフォーカス量を算出する。撮像光学系の撮影パラメータを制御することで取得した、暈けの異なる複数の画像にて測定対象画素およびその周辺画素を用いて互いの暈けの相関量が算出される。特許文献２に開示の装置では、画像の像ずれ量（視差量）から視差方式でデフォーカス量を算出する。画像を微小ブロックに分割した一対の画素データに対して、データを相対的にずらしながら相関値を演算し、最も相関が高くなるずらし量が視差量となる。さらに、算出したずらし量に対して、撮像素子の画素ピッチとレンズに応じて決定される変換係数を用いて被写体像面の予定結像面に対するデフォーカス量が算出される。

また、特許文献３では、ＤＦＤ方式を用いて広い測距範囲を算出する方法が開示されている。ＤＦＤ方式では、撮像装置から遠い距離にある被写体、または最短至近撮影距離近傍にある被写体に対する暈けの変化を判別しにくくなるので測距範囲には限界がある。そのため、通常では合焦位置が異なる２画像でＤＦＤを行うところ、さらにもう１枚の合焦位置が異なる画像を取得して、３枚の画像の暈けの変化量からデフォーカス量を算出することで広い測距範囲を算出可能である。

特開２０１３−２５３９６４号公報 特開２００８−１５７５４号公報 特開２０１４−１３０１３１号公報

特許文献３に開示の方式でデフォーカス量および被写体距離（両者を併せて距離情報と呼ぶ）を算出する場合、デフォーカス量に対する距離分解能が異なるという課題が生じる。距離分解能とはデフォーカス量に対する相関量の変化量のことである。撮像装置から１ｍの距離にある第１の被写体（合焦被写体）と、２ｍの距離にある第２の被写体を例にして具体的に説明すると、合焦被写体近傍は暈けの変化を判別しやすいため距離分解能が高い。これに対し、合焦位置から遠い距離にある第２の被写体は暈けの変化を判別しにくくなるため、距離分解能が低い。撮像装置から１ｍの距離にある第１の被写体と２ｍの距離にある第２被写体では、それらの距離の区別がついたとしても、１０ｍの距離にある第３の被写体と１１ｍの距離にある第４の被写体では、距離差が同じ１ｍであっても区別がつかない可能性がある。また、視差方式においても同様の事が言えるため、特許文献３に開示された方式を視差方式に適用したとしてもデフォーカス量に対する距離分解能が異なるという課題が生じる。
本発明の目的は、被写体の距離分布に関連するデータを統合して、距離に対して距離分解能が同程度となる距離情報を生成することである。

本発明の一実施形態に係る画像処理装置は、撮影条件の異なる複数の画像を取得する取得手段と、前記取得手段により取得された前記複数の画像間の相関量を算出して被写体の距離分布に関連する複数の距離情報を生成する生成手段と、前記生成手段によって生成された前記距離情報ごとに決定される合成比率を用いて前記複数の距離情報を合成することにより、距離分解能を揃えた統合距離情報に統合する統合手段を有する。前記統合手段は、デフォーカス量の軸上の第１の領域で相対的に高く、前記軸上の第２の領域では前記第１の領域から離れるにつれて低くなる前記合成比率を決定して前記距離情報の合成を行う。

本発明の画像処理装置よれば、被写体の距離分布に関連するデータを統合して、距離に対して距離分解能が同程度となる距離情報を生成することができる。

本発明の第１実施形態のシステム構成を例示するブロック図である。 第１実施形態における被写体位置、合焦位置、演算対象画像の関係（フォーカスブラケット量が−１Ｆδの場合）を説明する図である。 第１実施形態における被写体位置、合焦位置、演算対象画像の関係（フォーカスブラケット量が−２Ｆδの場合）を説明する図である。 第１実施形態における距離情報のオフセット補正を説明する図である。 第１実施形態における合成比率を説明する図である。 第１実施形態におけるＤＦＤのパラメータに対する合成比率の関係を説明する図である。 本発明の第２実施形態のシステム構成を例示するブロック図である。 ＤＦＤ測距方式の説明図である。 視差測距方式の説明図である。 デフォーカス量から物体距離への変換を説明する図である。 瞳分割型撮像素子の構成例を説明する図である。 距離情報のオフセット補正を説明する図である。

以下、本発明の好適な実施形態について、添付図面を参照して説明する。各実施形態では、ＤＦＤ測距方式、像面位相差方式または視差測距方式により、被写体の距離分布に関連するデータである、デフォーカスマップデータや距離マップデータを生成し、当該データを合成して統合する処理について説明する。なお、被写体の距離分布に関連するデータが示す情報（距離情報）は画像の奥行き方向に関する情報であり、画像内における被写体の距離値を直接的に表し、または距離値に対応する情報を間接的に表すものとする。

［第１実施形態］
本発明の第１実施形態について、図１から図６を参照して説明する。本実施形態では、異なる合焦位置で撮像した画像に対してＤＦＤ測距方式を用いて複数の距離情報を算出し、測距分解能が同程度となる距離情報を算出する例を説明する。図１は本実施形態に係る画像処理装置を適用した撮像装置１００の構成例を示すブロック図である。撮像装置１００の制御部はＣＰＵ（中央演算処理装置）を備え、メモリから読み出したプログラムを実行することにより、以下に説明する各種の処理を実現する。

撮像部１０１は撮像動作により、合焦位置の異なる複数枚の画像を取得する。画像選択部１０２は撮像部１０１が撮像した画像の中から後段の処理に用いる２枚の画像を選択する。２枚の画像は焦点位置の異なる画像である。ＤＦＤ処理部１０３は、焦点位置の異なる２枚の画像を用いてＤＦＤ測距方式に基づいて距離情報を算出する。撮像部１０１、画像選択部１０２、ＤＦＤ処理部１０３について図２、図８を参照して説明する。

図２は、撮像位置、被写体位置、合焦位置、演算対象画像の関係を説明する図である。撮像装置２０１に対して、撮影被写体２０２から２０５がそれぞれ異なる距離にあるものとする。撮像装置２０１に最も近い被写体を撮影被写体２０２とし、最も遠い被写体を撮影被写体２０５とする。撮影被写体２０２から２０５は、−３Ｆδから＋３Ｆδに対応する距離範囲に存在している。Ｆは撮影時の絞り値を表し、δは撮像素子の許容錯乱円径（単位：ｍｍ）を表しており、１Ｆδを単位とする合焦のずれ量によって被写体までの距離を表現している。撮影時の合焦被写体を撮影被写体２０３とし、その距離情報を０Ｆδとする。また、撮像動作にて−３Ｆδから＋３Ｆδの範囲に亘って、１Ｆδの単位で焦点位置を変化させることにより、合計７枚の画像が取得される。焦点位置の変化を、各々の焦点位置２１１から２１７で示す。また演算対象画像としてＤＦＤ処理に用いる２画像を、第１の画像（２２１＋２・ｊ）と第２の画像（２２２＋２・ｊ）でそれぞれ表しており、ｊ＝０〜５とする。白色の四角形で示した第１の画像（２２１＋２・ｊ）と、灰色の四角形で示した第２の画像（２２２＋２・ｊ）を使用してＤＦＤ処理が実行される。撮影被写体２０３に合焦した状態での第１の画像２２７と、当該状態から焦点位置を変更した状態での第２の画像２２８を用いてＤＦＤ処理で算出された距離情報を基準距離情報とする。

ＤＦＤ測距方式について、図８を参照して具体的に説明する。以下では撮像光学系を第１の焦点位置に合わせて被写体を撮影したときに取得される画像を「第１の焦点画像」と呼び、続いて第２の焦点置に変更して同じ被写体を撮影したときに取得される画像を「第２の焦点画像」と呼ぶ。第１および第２の焦点画像は、暈けが異なる２枚の画像である。第１の焦点位置と第２の焦点位置との差であるフォーカス移動量を、フォーカスブラケット量と呼ぶ。なお、本明細書において、フォーカスブラケット量は像面の移動量、すなわち第１の焦点位置の像面と第２の焦点位置の像面との間の距離をさす。

図８（Ａ−１）は第１および第２の焦点画像に関する、撮像光学系のＰＳＦ（Point Spread Function）特性８０１を例示する。横軸はデフォーカス量を表し、縦軸はＰＳＦ値を表す。実線のグラフ曲線８０２は第１の焦点画像の場合を例示し、第１の合焦位置をピークとしてなだらかに減少していく形状である。破線のグラフ曲線８０３は第２の焦点画像の場合を例示し、第２の合焦位置をピークとしてなだらかに減少していく形状である。

図８（Ｂ−１）は第１および第２の焦点画像に関する相関量を表す、ＰＳＦピーク値の比（以下、ＤＦＤスコアともいう）８１１を例示する。横軸はデフォーカス量を表し、縦軸はＰＳＦピーク値の比を表す。比較のため、図８（Ａ−１）のグラフ曲線８０２をグラフ曲線８１２として示し、グラフ曲線８０３をグラフ曲線８１３として示す。太線のグラフ曲線８１４はＤＦＤスコアを表している。ＤＦＤスコアとデフォーカス量との対応関係から距離を算出可能である。なお、ＰＳＦピーク値の比を算出する際には、被写体の空間周波数等の影響を低減するために、バンドパスフィルタを使用する。画像における所定の帯域成分を通過させるバンドパスフィルタをかけた画像のスペクトル強度が用いられる。

ＤＦＤスコアは、２つのＰＳＦ値のうちでピーク値の大きい方を分母とすることで正規化して算出される。このためＤＦＤスコアは、２つの焦点位置（第１および第２の合焦位置）の中間位置にピークを持ち、その値は１となる。またＤＦＤスコアのグラフ曲線８１４は、２つの焦点位置の中間位置から離れるに従って値が低下していく対称な曲線となる。図８（Ｃ−１）はデフォーカス量に対する距離分解能を例示する。グラフ曲線８２１に示すように、距離分解能は２つの焦点位置の中間位置において高く、この位置から離れるに従って低くなる特性を持つ。

また、フォーカスブラケット量を変化させることによって、距離分解能と測距範囲が変化する。図８（Ａ−２）、（Ｂ−２）、（Ｃ−２）は、フォーカスブラケット量を大きくした場合の特性を例示する。図８（Ａ−２）は図８（Ａ−１）と同様にＰＳＦ特性８４１を例示し、横軸はデフォーカス量を表し、縦軸はＰＳＦ値を表す。実線のグラフ曲線８４２は第１の焦点画像の場合を例示し、第１の合焦位置をピークとしてなだらかに減少していく形状である。破線のグラフ曲線８４３は第２の焦点画像の場合を例示し、第２の合焦位置をピークとしてなだらかに減少していく形状である。図８（Ｂ−２）は、図８（Ｂ−１）と同様にＰＳＦピーク値の比を例示する。比較のため、図８（Ａ−２）のグラフ曲線８４２をグラフ曲線８５２として示し、グラフ曲線８４３をグラフ曲線８５３として示す。フォーカスブラケット量を大きくすると、暈けの変化が大きくなるため、太線のグラフ曲線８５４に示すＤＦＤスコア特性となる。グラフ曲線８５４は、図８（Ｂ−１）のグラフ曲線８１４に比べて、ＤＦＤスコアの傾きが急峻となる。その一方で、２画像間のＰＳＦピークが離れてしまい、デフォーカス特性の落ち込んだ領域で相関演算した結果について正しく測距できないため、測距範囲が狭くなってしまう。他方、フォーカスブラケット量を小さくした場合には逆の特性となり、ＤＦＤスコアの傾きが緩やかになる一方で、測距範囲が広くなる。なお、どちらのデフォーカス特性で正規化したかにより、基準のフォーカス位置より手前側（カメラ側）か奥側かの区別も可能である。またレンズの公式を用いて、デフォーカス量を被写体までの物体距離に換算可能である。

図１のオフセット補正部１０４は、ＤＦＤ処理部１０３の出力を取得してオフセット補正を行う。この補正は、ＤＦＤ処理部１０３により算出された複数の距離情報の中から基準となる距離情報に合わせるためのオフセット量を用いて加算処理を行う補正である。オフセット補正処理について、図１２を参照して説明する。図１２は図２を簡略化して示しており、合焦位置とＤＦＤスコアの特性を詳細に説明した図である。

図１２（Ａ）に示す撮像装置１２０１に対して、３つの撮影被写体１２０２から１２０４が異なる距離でそれぞれ位置している。撮影被写体１２０２を合焦被写体とし、撮影被写体１２０３、１２０４を非合焦被写体とする。合焦被写体とは撮像光学系の焦点が被写体に合っている場合の当該被写体であり、図１２（Ａ）の撮影被写体１２０２のデフォーカス量は０Ｆδである。非合焦被写体とは撮像光学系の焦点が被写体に合っていない場合の当該被写体である。図１２（Ａ）の撮影被写体１２０３のデフォーカス量を−１Ｆδとし、撮影被写体１２０４のデフォーカス量を−２Ｆδとして、各被写体に合焦させた画像を撮像するものとする。この場合のフォーカスブラケット量は−１Ｆδである。

焦点位置１２１１を第１の焦点位置とする撮影により取得される画像１２２１を第１の焦点画像とし、焦点位置１２１２を第２の焦点位置とする撮影により取得される画像１２２２を第２の焦点画像としてＤＦＤ演算が行われたとする。この場合、図１２（Ｂ）に示すＤＦＤスコア特性１２３１が得られる。横軸はデフォーカス量を表し、縦軸はＤＦＤスコアを表しており、グラフ曲線１２３２がＤＦＤスコアの変化を例示する。

次に、焦点位置１２１２を第１の焦点位置とする撮影により取得される画像１２４１を第１の焦点画像とし、焦点位置１２１３を第２の焦点位置とする撮影により取得される画像１２４２を第２の焦点画像としてＤＦＤ演算が行われたとする。この場合、図１２（Ｃ）に示すＤＦＤスコア特性１２５１が得られる。横軸はデフォーカス量を表し、縦軸はＤＦＤスコアを表しており、点線のグラフ曲線１２５２がＤＦＤスコアの変化を例示する。この場合、焦点位置１２１２を基準としてＤＦＤ演算を行っているため、撮影被写体１２０３のデフォーカス量が０Ｆδとなる。しかしながら、撮影被写体１２０２を合焦被写体として、グラフ曲線１２３２と１２５２のデータを合成する場合には、撮影被写体１２０３のデフォーカス量は０Ｆδではなく−１Ｆδとなる。このため、−１Ｆδ分のＤＦＤスコアを補正する必要がある。実際にグラフ曲線１２５２のオフセット補正、すなわち−１Ｆδ分だけ補正したグラフ曲線１２５３を実線で示す。ＤＦＤ演算時に０Ｆδとして測距された被写体は、−１Ｆδの位置にあるものとして補正されることになる。この処理を図２に示す被写体に対して行うと、図４に例示する特性となる。

図４（Ａ）は、図２の画像２２７を第１の焦点画像とし、図２の画像２２８を第２の焦点画像として算出した場合のＤＦＤ特性４０１を例示する。横軸はデフォーカス量を表し、縦軸はＤＦＤスコアを表しており、グラフ曲線４０２がＤＦＤスコアの変化を例示する。図４（Ｂ）は、図２の画像２２１を第１の焦点画像とし、図２の画像２２２を第２の焦点画像として算出した場合のＤＦＤ特性４１１を例示する。横軸はデフォーカス量を表し、縦軸はＤＦＤスコアを表しており、点線のグラフ曲線４１２がＤＦＤスコアの変化を例示する。図４（Ｃ）は、図２の画像２３１を第１の焦点画像とし、図２の画像２３２を第２の焦点画像として算出した場合のＤＦＤ特性４２１を例示する。横軸はデフォーカス量を表し、縦軸はＤＦＤスコアを表しており、点線のグラフ曲線４２２がＤＦＤスコアの変化を例示する。

図４（Ａ）から（Ｃ）に示すＤＦＤ特性はそれぞれの第１の焦点画像を基準としたＤＦＤ特性となる。このため、オフセット補正部１０４は、これらのＤＦＤスコアに対して合焦被写体２０３に対応する合焦位置で０Ｆδとなるようにオフセット補正を行う。具体的には、図４（Ｂ）にて点線のグラフ曲線４１２は、第１の焦点画像２２１と第２の焦点画像２２２を用いて算出されたＤＦＤスコアを表す。図２に示すように第１の焦点画像２２１は＋３Ｆδに、第２の焦点画像２２２は＋２Ｆδに焦点位置がそれぞれ移動したときの画像である。よって合焦被写体２０３に対応する合焦位置で０Ｆδとするために、＋３Ｆδのオフセット補正が行われる。その結果、実線のグラフ線４１３で示すＤＦＤ特性へと補正される。同様に、図４（Ｃ）では、点線のグラフ曲線４２２に対して、−３Ｆδのオフセット補正が行われ、実線のグラフ曲線４２３で示すＤＦＤ特性へと補正される。

図１の合成比率決定部１０５は、オフセット補正部１０４の出力を取得し、複数の距離情報を用いて１つの距離情報を生成する際の合成比率を決定する。合成比率決定部１０５は、距離情報合成部１０６とともに距離情報の統合処理を行い、距離に対する画像間の相関量の精度差を小さくして距離分解能を揃えるための処理を実行する。図８で示したように、ＤＦＤ特性はデフォーカス特性の中心座標における値をピークとしてなだらかに減少する特性となる。このため、１つの距離情報だけでは、焦点位置の中間では分解能の高い距離情報が得られるが、デフォーカスにつれて暈け量が大きくなるほど、その距離分解能が低下していく。つまり被写体距離に対して距離分解能が変化してしまうことになる。そこで合成比率決定部１０５は、算出された複数の距離情報に対して、隣り合う２つの焦点位置の間の中間位置での合成比率が相対的に高く、デフォーカスにつれて合成比率が相対的に低くなるような合成比率を設定する。これにより、どの被写体距離に対しても距離分解能が高い距離情報を取得することができる。この処理について図５を用いて説明する。図５（Ａ）から（Ｅ）は合成比率の特性を例示し、横軸はデフォーカス量を表し、縦軸は合成比率を表す。

図５（Ａ）に示す特性５０１は、図２の第１の焦点画像２２７と第２の焦点画像２２８を用いて算出された距離情報に対する合成比率を、グラフ線５０２で例示する。図５（Ｂ）に示す特性５１１は、図２の第１の焦点画像２２１と第２の焦点画像２２２を用いて算出された距離情報に対する合成比率を、グラフ線５１２で例示する。図５（Ｃ）に示す特性５２１は、図２の第１の焦点画像２３１と第２の焦点画像２３２を用いて算出された距離情報に対する合成比率を、グラフ線５２２で例示する。台形状のグラフ線５０２，５１２，５２２に示す各合成比率はオフセット補正部１０４がオフセット補正を行った距離情報に対する合成比率であり、値域は０から１の範囲である。

図５（Ｄ）は、各距離情報に対する合成比率をまとめた特性５３１を示す。グラフ線５３２が図５（Ｃ）のグラフ線５２２に、グラフ線５３４が図５（Ａ）のグラフ線５０２に、グラフ線５３７が図５（Ｂ）のグラフ線５１２にそれぞれ相当する。合成比率の合計値が１を超えないようにするため、合成比率決定部１０５は下記式（１）に示す正規化を行った合成比率を用いる。

式（１）にて、r(n,def)は各距離情報に対する合成比率であり、R(n,def)が正規化後の各距離情報に対する合成比率である。ｎはデフォーカス量に対する合成比率が距離情報の数だけ存在することを意味し、Σは１からｎまでの和を求める演算記号である。図２に示す例では、７つの距離情報を算出しているため、ｎは７である。

図５（Ｄ）の特性５３１では、各距離情報に対する合成比率について同様の特性となっている場合を示している。これに限らず、図５（Ｅ）に示す特性５４１のように、各距離情報に対して合成比率の特性をそれぞれ変化させてもよい。グラフ線５４２に例示する特性は、グラフ線５４３に例示する特性に比べて横軸方向の幅（半値幅）が相対的に狭い。グラフ線５４３に例示する特性は、グラフ線５４４に例示する特性に比べて横軸方向の幅が相対的に狭い。グラフ線５４４に例示する特性と、グラフ線５４５に例示する特性とは横軸方向の幅が同程度である。グラフ線５４６に例示する特性は、グラフ線５４５に例示する特性に比べて横軸方向の幅が相対的に狭い。グラフ線５４７に例示する特性は、グラフ線５４６に例示する特性に比べて横軸方向の幅が相対的に狭い。一般的に、遠くの被写体に合焦した場合、被写体の暈けの変化量を判別しにくくなる。このため、合焦被写体から遠くなるにつれて、合成比率を高くする範囲を狭くするように設定が行われる。

図２では、フォーカスブラケット量を−１Ｆδとした設定例を説明したが、フォーカスブラケット量については任意に設定可能である。例えば図３に示すように、フォーカスブラケット量を−２Ｆδに設定してもよい。図３に示す撮像装置３０１、撮影被写体３０２から３０５の位置関係は図２と同じであり、各々の焦点位置３１１から３１７を示す。演算対象画像としてＤＦＤ処理に用いる２画像を、第１の画像（３２１＋２・ｊ）と第２の画像（３２２＋２・ｊ）でそれぞれ表しており、ｊ＝０〜４とする。

図６を参照して、フォーカスブラケット量の違いによるＤＦＤスコア特性および合成比率の関係を説明する。図６（Ａ）はフォーカスブラケット量が−１Ｆδに設定された場合の、ＤＦＤスコア特性６０１および合成比率特性６２１を例示する。図６（Ｂ）はフォーカスブラケット量が−２Ｆδに設定された場合の、ＤＦＤスコア特性６３１および合成比率特性６４１を例示する。図６（Ａ）および（Ｂ）にて、上側のグラフ線６０２，６３２は、デフォーカス量に対するＤＦＤスコアの変化をそれぞれ示し、下側のグラフ線６２２，６４２は、デフォーカス量に対する合成比率をそれぞれ示す。図８に示したように、ＤＦＤ特性としてフォーカスブラケット量の大きさ（絶対値）を大きくすると、暈けの変化が大きくなるため、距離分解能が向上する。そのため、フォーカスブラケット量の大きさが大きい場合、フォーカスブラケット量の大きさが小さい場合よりも距離分解能が高いデフォーカス範囲が広がるので、グラフ線６４２のように合成比率を高くする範囲が広く設定される。ただし、フォーカスブラケット量の大きさを必要以上に大きくし過ぎると、距離分解能が向上する一方で、２画像間のＰＳＦピーク値が離れてしまい測距範囲が狭くなってしまう。その際には、撮像画像の焦点位置の間隔を狭くして撮像すればよい。具体的には、図３の焦点位置３１１から３１７のそれぞれの間隔を、１Ｆδよりも小さい値に設定すればよい。

また、各合成比率についてはデフォーカス量に対してではなく、物体距離に対して設定してもよい。図１０は撮像面距離から物面距離への変換を説明するための模式図である。図１０の右方向を正方向とし、左側から合焦物体面１００１、レンズ１００２、撮像面１００３を示す。撮像面位置１００４は、矢印１００５で示すデフォーカス量ｄｅｆに対応するデフォーカス状態での撮像面位置である。合焦物体距離１００６をＯＢＪ（０）とし、合焦像距離（合焦像物体に対する撮像面距離）１００７をＳ（０）とし、測距対象の物体距離１００８をＯＢＪ（ｄｅｆ）と表記する。ＯＢＪ（０）、ＯＢＪ（ｄｅｆ）に対してレンズの公式から、下記式（２）、（３）が各々成立する。

ｆはレンズ１００２の焦点距離である。式（２）および（３）を変形してＯＢＪ（ｄｅｆ）を導出すると、下記式（４）が得られる。

式（４）を用いて、デフォーカス量から被写体距離への変換処理が行われる。合成比率決定部１０５は被写体距離に対して合成比率を設定する。

図１の距離情報合成部１０６は、合成比率決定部１０５が算出した合成比率と、各距離情報を取得し、下記式を用いて合成処理を行う。

ここで、score_out(def)は合成後の距離情報を表し、R(n,def)は合成比率決定部１０５が式（１）により算出した正規化後の合成比率を表す。score_in(n,def)は各距離情報を表す。

図１の出力部１０７は距離情報合成部１０６が合成した距離情報を、ＳＤカード等の外部メモリに出力し、または通信ＩＦ（インタフェース）部を介して外部装置へ出力する。

本実施形態によれば、異なる合焦位置で撮像した画像に対してＤＦＤ測距方式を用いて算出した複数の距離情報を合成により統合し、どの距離にある被写体に対しても距離分解能が同程度となる距離情報を算出することができる。すなわち、距離に対する画像間の相関量の精度差を小さくすることにより距離分解能を揃えることができる。

なお、本実施形態ではＤＦＤ処理部１０３の入力画像として、焦点位置の異なる２画像を用いる例を説明したが、これに限ったものではない。例えば、絞り値の異なる２画像で暈けの変化をつけるアパーチャブラケット方式でＤＦＤ処理した距離情報を用いて同様の処理を行ってもよい。

［第２実施形態］
次に本発明の第２実施形態を説明する。本実施形態では視差測距方式への適用例を示す。つまり第２実施形態と第１実施形態との差異は、視差画像を用いた視差測距方式にある。異なる合焦位置で撮像された視差画像に対して視差測距方式を用いて複数の距離情報を算出する処理が実行され、複数の距離情報を合成することで測距分解能が揃った距離情報が算出される。図７は本実施形態に係る画像処理装置を適用した撮像装置７００のシステム構成を例示するブロック図である。なお、撮影条件は第１実施形態にて説明した図２と同一である。

図７の撮像部７０１は合焦位置の異なる複数枚の画像のデータを出力する。複数枚の画像は視差画像であり、図１１に例示した撮像部７０１により取得される。図１１を参照して像面位相差方式による撮像素子の構成を説明する。

図１１（Ａ）は撮像素子の画素配列を示す正面図であり、画素部１１００にて光電変換部を水平（左右）方向に２分割した形態を示す。画素部１１００は、円形のマイクロレンズ１１０１と、一対の光電変換部１１０２，１１０３とから構成される。光電変換部１１０２、１１０３は、撮像光学系にて異なる瞳領域をそれぞれ通過する被写体からの光を受光してそれぞれ光電変換を行って電気信号を出力する。複数の画素部１１００は二次元アレイ状に規則的に配列されている。また図１１（Ｂ）は、画素部１１１０にて光電変換部を上下左右に４分割した形態を例示する正面図である。画素部１１１０は、円形のマイクロレンズ１１１５と、４つの光電変換部１１１１，１１１２，１１１３，１１１４から構成され、複数の画素部１１１０が二次元アレイ状に規則的に配列されている。

図７の画像選択部７０２は撮像部７０１が撮像した複数枚の画像の中から、後段の処理に用いる２枚の画像を選択し、画像データを視差測距処理部７０３に出力する。視差測距処理部７０３は、視差の発生した２枚の画像のデータを用いて距離情報を算出する。例えば、図１１（Ａ）の構成を有する撮像素子の場合、視差測距処理部７０３は一対の画像の相関関数を計算し、相関値からデフォーカス量を算出する。一対の画像とは、第１の光電変換部１１０２の出力信号から得られる第１の画像（Ａ像）と、第２の光電変換部１１０３の出力信号から得られる第２の画像（Ｂ像）である。視差測距処理部７０３は以下の相関関数に基づいてデフォーカス量を計算する。その具体的処理について、図９を参照して説明する。図９（Ａ）から（Ｃ）にて横軸は像ずれ量Ｌを表し、縦軸は画像間の相関量Ｃ（Ｌ）を表す。図９（Ａ）は相関度が高い場合を例示し、図９（Ｂ）および（Ｃ）は相関度が低い場合を例示している。
撮像された画像の分割領域（微小ブロック）における一対の画素データを、Ｅ（１）〜Ｅ（ｍ）と、Ｆ（１）〜Ｆ（ｍ）として一般化して表現する。ｍはデータ数を表す自然数の変数である。第１のデータ系列Ｅ（１）〜Ｅ（ｍ）は、例えばＡ像の画素データに対応し、第２のデータ系列Ｆ（１）〜Ｆ（ｍ）はＢ像の画素データに対応する。第１のデータ系列Ｅ（１）〜Ｅ（ｍ）に対し、第２のデータ系列Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら、下記式（５）により相関量Ｃ（ｋ）の演算が実行される。ｋは、２つのデータ列間の相対的シフト量、つまり像ずれ量を表し、その値は整数である。
Ｃ（ｋ） ＝ Σ ｜ Ｅ（ｎ） − Ｆ（ｎ＋ｋ） ｜ ・・・（５）

式（５）において、Σ演算はｎについて和を求める演算である。Σ演算においてｎおよびｎ＋ｋのとり得る範囲は、１〜ｍの範囲に限定される。式（５）の演算の結果、一対のデータ系列の相関が高いシフト量（ｋjと記す）において相関量Ｃ（ｋj）が最小になる。相関量Ｃ（ｋ）が小さいほど相関度が高い。図９（Ａ）および（Ｂ）では、ｋj＝２である。ｋ値は整数であるので、相関量Ｃ（ｋ）は離散的な量である。そこで、下記式（６）〜（９）を用いた３点内挿処理によって、連続的な相関量Ｃ（ｘ）に対する最小値を与えるシフト量ｘが算出される。
ｘ ＝ ｋj＋ Ｄ ／ ＳＬＯＰ ・・・（６）
Ｃ（ｘ）＝ Ｃ（ｋj）−｜Ｄ｜ ・・・（７）
Ｄ ＝｛Ｃ（ｋj −１）− Ｃ（ｋj＋１）｝ ／ ２ ・・・（８）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋj＋１）−Ｃ（ｋj），Ｃ（ｋj−１）−Ｃ（ｋj）｝ ・・・（９）
シフト量ｘは実数値をとる。式（６）で求めたシフト量ｘより、被写体像面の予定結像面に対するデフォーカス量（ＤＥＦと記す）を、下記式（１０）で求めることができる。
ＤＥＦ＝ ＫＸ ・ＰＹ ・ｘ ・・・（１０）

式（１０）において、ＫＸは一対の測距瞳を通過する光束の重心の開き角の大きさによって決まる変換係数である。一対の測距瞳とは、被写体からの光が撮像光学系にて異なる瞳領域をそれぞれ通過する際の、対をなす瞳部分領域である。ＰＹは撮像素子の画素ピッチ（撮像素子を構成する画素の画素間距離）である。

図７の視差測距処理部７０３は、各焦点位置での距離情報に対応するデフォーカス量ＤＥＦを算出してオフセット補正部７０４に出力する。オフセット補正部７０４から出力部７０７は、第１実施形態にて説明した図１のオフセット補正部１０４から出力部１０７と同様の処理を行うため、それらの詳細な説明を割愛する。
本実施形態によれば、視差測距方式を用いて算出される複数の距離情報を合成することで、距離に対する画像間の相関量の精度差（距離情報に対する視差量の変化量）を小さくし、距離分解能の揃った距離情報を得ることができる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００，７００ 画像処理装置
１０１，７０１ 撮像部
１０２，７０２ 画像選択部
１０３ ＤＦＤ処理部
１０４，７０４ オフセット補正部
１０５，７０５ 合成比率決定部
１０６，７０６ 距離情報合成部
７０３ 視差測距処理部

Claims (17)

1. 撮影条件の異なる複数の画像を取得する取得手段と、
   前記取得手段により取得された前記複数の画像間の相関量を算出して被写体の距離分布に関連する複数の距離情報を生成する生成手段と、
   前記生成手段によって生成された前記距離情報ごとに決定される合成比率を用いて前記複数の距離情報を合成することにより、距離分解能を揃えた統合距離情報に統合する統合手段を有し、
   前記統合手段は、デフォーカス量の軸上の第１の領域で相対的に高く、前記軸上の第２の領域では前記第１の領域から離れるにつれて低くなる前記合成比率を決定して前記距離情報の合成を行う
   ことを特徴とする画像処理装置。
2. 前記生成手段は、焦点位置または絞り値が異なる前記複数の画像間での暈けの相関量から前記距離情報を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記相関量の精度は、前記距離情報に対する暈けの相関量の変化量であることを特徴とする請求項２に記載の画像処理装置。
4. 前記統合手段は、
   前記合成比率を決定する決定手段と、
   前記決定手段により決定された前記合成比率を用いて前記複数の距離情報の合成を行う合成手段を有することを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記決定手段は、前記生成手段によって生成された複数の前記距離情報を取得して前記距離情報ごとに前記合成比率を決定することを特徴とする請求項４に記載の画像処理装置。
6. 前記生成手段は、異なる焦点位置でそれぞれ撮像された画像から前記距離情報を算出し、
   前記決定手段は、複数の前記距離情報から基準となる基準距離情報を選択し、前記基準距離情報および前記基準距離情報とは異なる距離情報に対する合成比率をそれぞれ決定することを特徴とする請求項５に記載の画像処理装置。
7. 前記合成比率の特性は、複数の焦点位置のうちで隣り合う第１の焦点位置と第２の焦点位置との間の中間位置での合成比率が相対的に高く、前記中間位置から離れるにつれて合成比率が相対的に低くなる特性であることを特徴とする請求項６に記載の画像処理装置。
8. 前記基準距離情報に対する合成比率の特性は、前記基準距離情報とは異なる距離情報に対する合成比率の特性に比べて合成比率を高くする範囲が広いことを特徴とする請求項７に記載の画像処理装置。
9. 前記決定手段は、前記第１の焦点位置の像面と前記第２の焦点位置の像面との間の距離に相当するフォーカスブラケット量に応じて前記合成比率の特性を変更することを特徴とする請求項７に記載の画像処理装置。
10. 第１のフォーカスブラケット量における前記合成比率の特性は、前記第１のフォーカスブラケット量より大きい第２のフォーカスブラケット量における前記合成比率の特性に比べて、前記合成比率を高くする範囲が前記決定手段により狭く設定されることを特徴とする請求項９に記載の画像処理装置。
11. 前記統合手段は、前記基準距離情報とは異なる距離情報に対して、前記基準距離情報との差に対応するオフセット量をそれぞれ加算する補正手段を備えることを特徴とする請求項６から１０のいずれか１項に記載の画像処理装置。
12. 前記生成手段は視差測距方式により、前記複数の画像間の視差量から前記距離情報を生成することを特徴とする請求項１に記載の画像処理装置。
13. 前記相関量の精度は、前記距離情報に対する前記視差量の変化量であることを特徴とする請求項１２に記載の画像処理装置。
14. 請求項１から１３のいずれか１項に記載の画像処理装置と、
    撮像光学系を通して被写体を撮像する撮像素子を備え、
    前記撮像素子の画素部は、前記撮像光学系にて異なる瞳領域をそれぞれ通過した光を受光して光電変換する複数の光電変換部を有することを特徴とする撮像装置。
15. 前記距離情報は、デフォーカス量または当該デフォーカス量を物体距離に変換した情報であることを特徴とする請求項１４に記載の撮像装置。
16. 撮影条件の異なる複数の画像を処理する画像処理装置にて実行される画像処理方法であって、
    前記複数の画像を取得する取得ステップと、
    取得された前記複数の画像間の相関量を算出して被写体の距離分布に関連する複数の距離情報を生成する生成ステップと、
    前記生成ステップで生成された前記距離情報ごとに決定される合成比率を用いて前記複数の距離情報を合成することにより、距離分解能を揃えた統合距離情報に統合する統合ステップを有し、
    前記統合ステップでは、デフォーカス量の軸上の第１の領域で相対的に高く、前記軸上の第２の領域では前記第１の領域から離れるにつれて低くなる前記合成比率が決定されて前記距離情報の合成が行われる
    ことを特徴とする画像処理方法。
17. 請求項１６に記載の各ステップを画像処理装置のコンピュータに実行させるためのプログラム。
    

Images