JP6075835B2 - 距離情報取得装置、撮像装置、距離情報取得方法、及び、プログラム - Google Patents

Description

本発明は、距離情報取得装置、撮像装置、距離情報取得方法、及び、プログラムに関する。

従来、画像中の被写体までの距離を表す距離情報を取得する方法として、特許文献１に開示されているようなＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）方式の取得方法が提案されている。ＤＦＤ方式では、撮像光学系の撮影パラメータを制御することでぼけの異なる複数の画像が撮影され、撮影された複数の画像中の処理対象画素およびその周辺画素を用いて、撮影された複数の画像間のぼけの相関値が算出される。このぼけの相関値は、画像中の被写体までの距離に応じて変化する。ＤＦＤ方式では、ぼけの相関値と距離との関係に基づいて、ぼけの相関値から距離情報が取得される。ＤＦＤ方式では、１つの撮像系によって距離情報を取得することできる。そのため、ＤＦＤ方式の距離情報取得方法には、市販されている撮像装置に組み込むことが可能といった利点がある。
また、特許文献２には、異なる撮影パラメータで撮影したぼけの異なる複数の画像から処理対象領域内の画素毎に画素単位のぼけの相関値を算出して、被写体までの距離情報を取得する装置が開示されている。

しかしながら、画像がぼけると、画像の輝度や色度が変化する。そして、特許文献１に開示の方法では、複数の画像間のぼけの相関値が、画像の輝度や色度に依存し、取得される距離情報の精度が画像に依って低下してしまう。
このような問題を鑑み、特許文献２に開示の方法では、ぼけの相関値に画素単位の重み係数を設定し、重み係数に基づいてぼけの相関値の加重平均をとることで、取得される距離情報の精度を高めている。しかしながら、ぼけによって画像の輝度や色度が変化するため、画素単位の重み係数を最適に設定することは難しく、被写体の空間周波数に依存した相関値の変動を良好に抑制することは困難であった。そのため、高精度の距離情報を取得することが困難であった。

特開平１−１６７６１０号公報 特開２０１０−０１６７４３号公報

本発明は、被写体までの距離を表す距離情報に対する画像の輝度や色度の影響を低減し、より確実に高精度な距離情報を取得することのできる技術を提供することを目的とする。

本発明の距離情報取得装置は、
異なる撮影パラメータで被写体を撮影して得られるぼけの異なる２枚の実空間画像を用いて、前記被写体までの距離を表す距離情報を取得する距離情報取得装置であって、
実空間を周波数空間に変換する処理により、前記２枚の実空間画像を、２枚の周波数空間画像に変換する変換手段と、
前記２枚の周波数空間画像のそれぞれから、その周波数空間画像の振幅を揃えることにより、周波数空間位相画像を生成する生成手段と、
前記２枚の周波数空間画像から生成された２枚の周波数空間位相画像を用いて、前記２枚の周波数空間位相画像間の周波数毎の相関値を表す周波数空間相関値情報を算出する算出手段と、
周波数空間を実空間に逆変換する処理により、前記周波数空間相関値情報を実空間相関値情報に変換する逆変換手段と、
前記実空間相関値情報のピークの特徴に基づいて、前記被写体までの距離を表す距離情報を取得する取得手段と、
を有することを特徴とする。

本発明の撮像装置は、上記距離情報取得装置を有することを特徴とする。

本発明の距離情報取得方法は、
異なる撮影パラメータで被写体を撮影して得られるぼけの異なる２枚の実空間画像を用いて、前記被写体までの距離を表す距離情報を取得する距離情報取得方法であって、
コンピュータが、実空間を周波数空間に変換する処理により、前記２枚の実空間画像を、２枚の周波数空間画像に変換するステップと、
コンピュータが、前記２枚の周波数空間画像のそれぞれから、その周波数空間画像の振幅を揃えることにより、周波数空間位相画像を生成するステップと、
コンピュータが、前記２枚の周波数空間画像から生成された２枚の周波数空間位相画像を用いて、前記２枚の周波数空間位相画像間の周波数毎の相関値を表す周波数空間相関値情報を算出するステップと、
コンピュータが、周波数空間を実空間に逆変換する処理により、前記周波数空間相関値情報を実空間相関値情報に変換するステップと、
コンピュータが、前記実空間相関値情報のピークの特徴に基づいて、前記被写体までの距離を表す距離情報を取得するステップと、
を有することを特徴とする。

本発明のプログラムは、上記距離情報取得方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、被写体までの距離を表す距離情報に対する画像の輝度や色度の影響を低減し、より確実に高精度な距離情報を取得することができる。

本発明の実施例１に係る撮像装置の構成を示すブロック図 本発明の実施例１に係る距離情報取得部のフローチャート 本発明の実施例１に係る距離情報取得処理部のフローチャート 結像関係の説明図 位相画像相関値情報の一例を示す図 位相画像相関値情報の一例を示す図 位相画像相関値情報の一例を示す図 位相画像相関値情報の一例を示す図 位相画像相関値情報の一例を示す図 位相画像相関値情報の一例を示す図 本発明の実施例２に係る距離情報取得処理部のフローチャート 本発明の実施例２に係る距離情報取得処理部のフローチャート 本発明の実施例３に係る距離情報取得処理部のフローチャート

＜実施例１＞
以下、本発明の実施例１に係る距離情報取得装置、撮像装置、距離情報取得方法、及び、プログラムについて図面を参照しながら説明する。
図１に、本実施例に係る撮像装置１００の構成の一例を示す。撮像装置１００は、撮像光学系１０１、撮像素子１０２、信号処理部１０３、バッファ１０４、撮影制御部１０５、距離情報取得部１１０などを有する。距離情報取得部１１０は、処理領域選択部１１１、周波数空間変換部１１２、周波数空間位相画像生成部１１３、相関値算出部１１４、距離情報取得処理部１１５、メモリ１１６などを有する。
なお、距離情報取得部１１０（距離情報取得装置）は、撮像装置１００とは別体の装置であってもよい。距離情報取得部１１０の各機能部（例えば、処理領域選択部１１１、周波数空間変換部１１２、周波数空間位相画像生成部１１３、相関値算出部１１４、距離情報取得処理部１１５）は、例えば、コンピュータ（ＣＰＵ）がメモリに記憶されたプログラムを実行することにより実現される。

撮像光学系１０１は、被写体の像を撮像素子１０２上に結像させるものであり、例えば、コンパクトカメラのズームレンズや、一眼レフカメラの単焦点レンズ、ズームレンズ、携帯電話用カメラのレンズである。
撮像素子１０２は、単板式の撮像素子や三板式の撮像素子である。撮像素子１０２が単板式の撮像素子である場合、カラーフィルタはベイヤー配列のＲＧＢカラーフィルタや補色フィルタである。

信号処理部１０３は、撮像素子１０２上に結像した画像を取り込み、取り込んだ画像を、ＡＤ変換、ノイズ除去、デモザイク、輝度信号変換、収差補正、像倍率補正、位置合わせなどの信号処理を施してバッファ１０４に蓄積する。
なお、上述した全ての信号処理を行う必要はない。被写体までの距離を表す距離情報の取得に必要な処理のみが行われてもよい。よって、バッファ１０４に蓄積する画像は、デモザイク前の画像でもよいし、デモザイク後のＲＧＢ画像でもよい。バッファ１０４に蓄積する画像は、ＹＵＶ画像でもよい。バッファ１０４に蓄積する画像は、輝度のみの画像でもよい。ただし、信号処理部１０３が行う信号処理は、撮像光学系１０１によるぼけ方が変化しないような信号処理であるのがよく、特に距離情報に影響を及ぼすノイズを補正する信号処理であるのがよい。
また、距離情報取得用の画像とは別に、通常の撮像装置で得られるような画像（例えば、か観賞用の画像）を、通常の画像処理により生成し、不図示のメモリ等に保存してもよい。

撮影制御部１０５は、距離情報の取得に必要な２枚の画像を撮影するための制御を行う。本実施例では、撮影制御部１０５は、１枚目の画像を撮影した後、撮影パラメータを変更して２枚目の画像を撮影する制御を行う。それにより、２枚の画像（異なる撮影パラメータで撮影したぼけの異なる２枚の画像）が、同じ信号処理が施されて、バッファ１０４に蓄積される。ここで、バッファ１０４に蓄積される上記２枚の画像は、実空間での画像（実空間画像）である。変更する撮影パラメータは、撮像光学系１０１の焦点位置、撮像光学系１０１内にある絞りの開口サイズ、焦点距離等である。本実施例では撮像光学系１０１内にある絞りの開口サイズを変更して２枚の画像が撮影される。具体的には、Ｆ値＝Ｆ／４とＦ値＝Ｆ／８で２枚の画像が撮影される。バッファ１０４に蓄積された上記２枚の画像は距離情報取得部１１０が距離情報を取得する際に利用される。
なお、本実施例では、２枚の画像を用いて距離情報を取得する例を説明するが、距離情報の取得に用いる画像の数は２枚に限らない。例えば、異なる撮影パラメータで撮影したぼけの異なる３枚以上の画像を用いて、距離情報が取得されてもよい。

距離情報取得部１１０は、異なる撮影パラメータで撮影したぼけの異なる２枚の実空間
画像を用いて、被写体までの距離を表す距離情報を取得する。本実施例では、距離情報として、ピント位置からの距離に応じて変化する距離スコアを取得する。距離スコアは、被写体がピント位置近傍にある場合に高い値となり、被写体がピント位置から遠く離れた位置にある場合に低い値となる。
また、距離情報取得部１１０は、距離情報として、実際の距離を算出してもよい。実際の距離は、例えば、撮像光学系のパラメータを基に、距離スコアから算出することができる。実際の距離を算出するための撮像光学系のパラメータは、焦点距離、Ｆ値、フォーカシングレンズの位置などである。

本実施例ではＤＦＤ法を用いて距離情報を取得する。距離情報取得部１１０の詳しい動作について図２のフローチャートを用いて説明する。
撮影パラメータを変えて撮影が行われ、バッファ１０４に２枚の実空間画像が蓄積されると、その２枚の実空間画像が距離情報取得部１１０に送られ、距離情報取得処理が開始される。上記２枚の実空間画像を、実空間画像Ｉ１，Ｉ２と記載する。

距離情報取得処理が開始されると、距離情報取得部１１０の画像取得部（不図示）が実空間画像Ｉ１，Ｉ２をバッファ１０４から取得する（Ｓ１００）。距離情報取得部１１０は、これら２枚の実空間画像を使って画素ごとに距離情報を取得する。画素ごとに距離情報の取得が可能なため全画素での測距（距離情報の取得）が可能となる。ただし全画素について距離情報を取得する必要は無く、数画素おきに距離情報を取得してもよいし、予め定められた画素についてのみ距離情報を取得してもよい。本実施例では、一画素単位で全画素について距離情報を取得するので、処理対象画素決定部（不図示）が、画像中のＸ、Ｙ座標を走査して処理対象画素（距離情報の取得対象の画素）を決定する（Ｓ１０１，１０２）。

ＤＦＤ法による距離情報取得処理では処理対象画素に対してその周辺画素が必要となる。そこで、処理対象画素が決定された後に、処理領域選択部１１１が、２枚の実空間画像（実空間画像Ｉ１，Ｉ２）のそれぞれから、処理対象画素を含む画像領域を選択領域画像として選択する（Ｓ１０３）。この際、撮影された２枚の実空間画像Ｉ１，Ｉ２において一般には同じ領域を選択する（切り出す）必要がある。実空間画像Ｉ１から切り出された選択領域画像（処理対象画素とその周辺画素を含む画像領域）を選択領域画像Ｃ１と記載し、実空間画像Ｉ２から切り出された選択領域画像を選択領域画像Ｃ２と記載する。切り出す領域のサイズ（切り出し領域サイズ）は、処理時間を短縮するためには小さい方が良く、ノイズの影響を抑えて安定した解を導くにはある程度大きい方が良い。また、切り出し領域サイズは、撮影される画像におけるぼけの大きさに応じて決定してもよい。コンパクトデジタルカメラの場合は撮像素子サイズが小さくぼけも小さいため、切り出し領域サイズは小さくても良い。具体的には、コンパクトデジタルカメラの場合の切り出し領域サイズは、高速に処理するには１辺が１０画素程度の矩形領域が良く、ノイズの影響を抑えるには１辺が６０画素程度の矩形領域が良い。両者のバランスをとると、切り出し領域サイズは、１辺が１５から３０画素程度の矩形領域が好適である。選択領域画像Ｃ１，Ｃ２は、実空間画像である。

周波数空間変換部１１２は、処理領域選択部１１１で切り出された２枚の選択領域画像を、処理領域選択部１１１から受け取る。そして、周波数空間変換部１１２は、実空間を周波数空間に変換する処理により、上記２枚の選択領域画像を２枚の周波数空間画像に変換する（Ｓ１０４）。本実施例では、二次元フーリエ変換により、選択領域画像Ｃ１が周波数空間画像Ｆ１に変換され、選択領域画像Ｃ２が周波数空間画像Ｆ２に変換される。

周波数空間位相画像生成部１１３は、２枚の周波数空間画像Ｆ１，Ｆ２のそれぞれから、その周波数空間画像の振幅を揃えることにより、周波数空間位相画像を生成する（Ｓ１
０５）。本実施例では、周波数空間画像の振幅が当該振幅で除算される。それにより、周波数空間画像の振幅が「１」に揃えられる。本実施例では、周波数空間画像Ｆ１から周波数空間位相画像ＦＰ１が生成され、周波数空間画像Ｆ２から周波数空間位相画像ＦＰ２が生成される。
本処理により振幅が「１」に揃えられると輝度情報が削除され、位相情報のみが残る。この位相画像を実空間上で表したものが実空間位相画像であり、それは輪郭を良く表す。実空間位相画像を周波数空間上で表したものが周波数空間位相画像である。

相関値算出部１１４は、２枚の周波数空間位相画像ＦＰ１，ＦＰ２を用いて、２枚の周波数空間位相画像間の周波数毎の相関値を表す周波数空間相関値情報を算出する。そして、相関値算出部１１４は、周波数空間を実空間に逆変換する処理により、周波数空間相関値情報を実空間相関値情報に変換する（Ｓ１０６）。本実施例では、二次元逆フーリエ変換により、周波数空間相関値情報が実空間相関値情報に変換（逆変換）される。周波数空間相関値情報から得られた実空間相関値情報を、位相画像相関値情報ＰＣＣと記載する。位相画像（位相情報のみで表される画像）の変化は、撮影パラメータを変えて撮像したことによって生じたぼけの変化をよく表現するので、位相画像相関値情報ＰＣＣは画像のぼけの情報をよく表現する。この位相画像相関値情報ＰＣＣの特徴のうち少なくとも１つの特徴を用いて距離情報を取得することができる。
なお、周波数相関値情報の算出と、周波数相関値情報から実空間相関値情報への変換とは、互いに異なる機能部により実現されてもよい。

距離情報取得処理部１１５は、相関値算出部１１４が算出した位相画像相関値情報ＰＣＣのピークの特徴に基づいて、被写体までの距離を表す距離情報を取得する（Ｓ１０７）。本実施例では、位相画像相関値情報ＰＣＣのピークの最大値に基づいて、距離情報が取得される。ここで、“位相画像相関値情報ＰＣＣのピーク”は、位相画像相関値情報ＰＣＣの最大値を有するピークを意味する。なお、同じ被写体を撮影して得られる２枚の実空間画像を用いる場合には、ピークは１つしか現れない。
そして、距離情報取得処理部１１５は、取得した距離情報をメモリ１１６に格納する（Ｓ１０８）。

図３に距離情報取得処理部１１５のフローチャートを示す。
最大値算出ステップＳ１１５１にて位相画像相関値情報ＰＣＣの最大値が算出（検出）される。この位相画像相関値情報ＰＣＣの最大値は、被写体までの距離（例えば、ピント位置から被写体までの距離；デフォーカス量）と関係があり、この関係に基づいて距離情報が取得される。被写体がピント位置にあるときに位相画像相関値情報ＰＣＣの最大値は「１」となり、被写体がピント位置から離れるほど最大値は「０」に近づく。最大値が「１」のときにのみ被写体がピント位置（ピント面）にあると判断してもよいし、最大値が「１」近傍の値であるときに被写体がピント位置にあると判断してもよい。最大値が「０」のときにのみ被写体がピント位置から無限遠の位置にあると判断してもよいし、閾値を設定し、最大値が閾値以下のときに被写体がピント位置から無限遠の位置にあると判断してもよいし、「無限遠の位置」ではなく「遠方の位置」と判断してもよい。
位相画像相関値情報ＰＣＣのピークの特徴（具体的には位相画像相関値情報ＰＣＣの最大値）と、距離情報との対応関係を予め計算し、当該対応関係を表す対応情報（距離補正テーブル）を予め用意しておいてもよい。そのような距離補正テーブルを予めメモリ等に格納しておき、距離情報を取得する際に距離補正テーブルを用いることで、より正確な距離情報を取得することができる。
距離情報取得ステップＳ１１５２では、位相画像相関値情報ＰＣＣの最大値（ピークの特徴）と、予め用意された距離補正テーブルとに基づいて、被写体までの正確な距離が取得される。

図４に撮像光学系における結像関係を示す。
図４を用いて本実施例のＤＦＤ法による距離情報取得処理の原理を説明する。

物体ＯＢＪの物体距離Ｄｏは、像距離Ｄｉと撮像光学系の焦点距離ＦＬが分かれば、式１によって求めることができる。

（１／Ｄｏ）＋（１／Ｄｉ）＝（１／ＦＬ） ・・・（式１）

しかし、式１によって距離を求めることができるのは、通常、撮像面上に結像した物体に限定される。

本実施例のＤＦＤ法では、撮像面に結像しない物体ＯＢＪ１についての物体距離Ｄｏ１を算出するために、ぼけ量ＢＫ１と関連する位相画像相関値情報ＰＣＣから、物体ＯＢＪ１の像距離Ｄｉ１を求め、これを式１に代入する。それにより、物体距離Ｄｏ１を算出する。
具体的には、位相画像相関値情報ＰＣＣからデフォーカス量Ｄｅｆ１を求め、デフォーカス量Ｄｅｆ１から算出対象物体ＯＢＪ１の像距離Ｄｉ１を求めることで、撮像面に結像しない物体についての物体距離Ｄｏ１を算出することができる。

ぼけ量ＢＫ１と位相画像相関値情報ＰＣＣの関係を説明する。
図５（Ａ）〜図５（Ｆ）にぼけ量ＢＫ１と位相画像相関値情報ＰＣＣの関係の例を示す。
本実施例では、暗いＦ値（Ｆ/８）と明るいＦ値（Ｆ/４）とで２枚の実空間画像を撮影し、それらの実空間画像から得られた位相画像相関値情報ＰＣＣを用いて距離情報を求める。
暗いＦ値（Ｆ/８）で撮影した場合は、ピント位置から背景（もしくは前景）の全域に
渡ってピントが合っているパンフォーカス画像が得られる。
一方、明るいＦ値（Ｆ/４）で撮影した場合は、背景（もしくは前景）がぼけた画像が
得られる。
今回、距離情報取得処理に用いる２枚の実空間画像（選択領域画像）として、１０１画素×１０１画素のランダムパターン画像（元画像）と、元画像に対してガウシャンフィルタを掛けてぼかした画像（比較画像）とを用意した。
元画像は、画像全域に渡りランダムパターンがシャープに表示された画像であり、暗いＦ値（Ｆ/８）で撮影して得られるパンフォーカス画像を想定したものである。
比較画像は、ガウシャンフィルタを掛けてランダムパターンをぼかした画像であり、明るいＦ値（Ｆ/４）で撮影して得られる画像（背景（もしくは前景）がぼけた画像）を想
定したものである。

図５（Ａ）〜図５（Ｆ）は、ガウシャンフィルタの標準偏差σを変化させたときの位相画像相関値情報ＰＣＣの変化を示す。ガウシャンフィルタの標準偏差σを変化させることは、被写体がピント位置から離れるに従ってぼけが大きくなることを想定したものである。

まず、被写体がピント位置にある場合について説明する。
被写体がピント位置にある場合、被写体がぼけることなく撮影される。そのため、Ｆ値が異なっていても、２枚の実空間画像はほぼ同一となり、位相画像相関値情報の最大値は「１」もしくは「１近傍の値」となる。
図５（Ａ）は元画像と比較画像とが同じ場合（σ＝０．１の場合）の位相画像相関値情報のグラフを示す。
位相画像相関値情報ＰＣＣのグラフは画像の中央部（Ｙ＝５1）で最大となる。図５（
Ａ）では、位相画像相関値情報ＰＣＣの最大値は「１」である。このように、元画像と比較画像とが同じ画像の場合、位相画像相関値情報ＰＣＣの最大値は「１」となる。これは画像中の各周波数成分の相関値が「１」で揃っており、高周波成分の細かな点まで一致していることを示す。

次に、被写体がピント位置から離れた位置にある場合（σ＝０．７の場合）について説明する。
この場合、明るいＦ値で撮影した画像（比較画像）では被写体がぼけるが、暗いＦ値で撮影したパンフォーカス画像（元画像）では被写体はぼけない。
画像がぼけるとエッジ部の傾斜が緩やかになり高周波成分（コントラスト）が低下する。
実空間位相画像は、画像中のエッジ部（輪郭部）を表現したものであり、周波数空間位相画像を用いてエッジ部の僅かな変化を敏感に検出することができる。具体的には、エッジ部の変化は周波数空間における高周波成分の位相の変化として現れる。２枚の実空間画像のぼけが全く同じ場合には、高周波成分は位相が少しでもずれると相関を有さなくなるが、本実施例では、ぼけの異なる２枚の実空間画像を用いるため、高周波成分は位相が少しずれた場合でも相関を有するようになる。これが、元画像と比較画像との周波数空間位相画像から得られる位相画像相関値情報ＰＣＣの最大値の低下となって現れる。
図５（Ｂ）は、元画像と、標準偏差σ＝０．７のガウシャンフィルタを掛けた比較画像とから得られる位相画像相関値情報のグラフを示す。
図５（Ｂ）では、位相画像相関値情報ＰＣＣの最大値は「０．８２８７」であり、比較画像がぼけることによって位相画像相関値情報ＰＣＣの最大値が低下したことが分かる。

そして、被写体がピント位置からさらに離れた位置にある場合（σ＝１．０，１．５，２．０，３．０の場合）について説明する。
図５（Ｃ）は、元画像と、標準偏差σ＝１．０のガウシャンフィルタを掛けた比較画像とから得られる位相画像相関値情報のグラフを示す。このときの位相画像相関値情報ＰＣＣの最大値は「０．５６２７」である。このように、比較画像が図５（Ｂ）よりも大きくぼけている場合には、位相画像相関値情報ＰＣＣの最大値がさらに低下する。
図５（Ｄ）は、元画像と、標準偏差σ＝１．５のガウシャンフィルタを掛けた比較画像とから得られる位相画像相関値情報のグラフを示す。このときの位相画像相関値情報ＰＣＣの最大値は「０．３５１４」である。
図５（Ｅ）は、元画像と、標準偏差σ＝２．０のガウシャンフィルタを掛けた比較画像とから得られる位相画像相関値情報のグラフを示す。このときの位相画像相関値情報ＰＣＣの最大値は「０．２５１３」である。
図５（Ｆ）は、元画像と、標準偏差σ＝３．０のガウシャンフィルタを掛けた比較画像とから得られる位相画像相関値情報のグラフを示す。このときの位相画像相関値情報ＰＣＣの最大値は「０．１５３６」である。

標準偏差σと、位相画像相関値情報の最大値（ピークの最大値）との関係を表１に示す。

このように、ぼけの大きさに関連して位相画像相関値情報ＰＣＣの最大値が変化しており、これらの関係から、被写体のデフォーカス量、像距離を求め、物体距離を算出することができる。

このように、本実施例は、ぼけ量が異なる２枚の周波数空間位相画像ＦＰ１，ＦＰ２から得られる位相画像相関値情報ＰＣＣの最大値がピント位置からの距離に応じて変化することを利用して、距離情報を取得するものである。
また、実空間画像がぼけると周囲の輝度が平均化されるので、明るい点の輝度が低下したり暗い点の輝度が明るくなったりと輝度の変化を引き起こす。色度に関しても同様で、実空間画像がぼけると周囲の色が混ざり合い色度の変化が生じる。
これに対して、本実施例では輝度や色度の情報を排除した位相画像を用いているので、被写体依存性を低減させ、特に輝度や色度に対してロバストな距離情報を取得することが可能となる。
ＤＦＤ法を用いた距離情報の取得ではぼけの異なる２枚の画像が必要だが、２枚の画像を撮影するためには撮影を２回行う必要がある。２回の撮影には時間差があり、その間に被写体が移動したり撮影者や撮像装置が移動したりすることによって、２枚の画像間に位置ずれが生じてしまうことがある。
そして、ＤＦＤ法では２枚の画像の実質的に同じ位置の領域を処理領域として選択する必要があるが、画像の位置ずれが生じた場合は実質的に異なる位置の領域を処理領域として選択することとなり、正しい距離情報を取得できないことが問題となっていた。
本実施例のように周波数空間位相画像間の相関（周波数空間相関値情報）を取り、周波数空間相関値情報を実空間相関値情報に変換した場合、画像の位置ずれは実空間相関値情報の位置ずれに表れるが、実空間相関値情報の最大値にはあまり大きな影響を与えない。よって、本実施例では、２枚の画像に位置ずれが生じた場合でも高精度な距離情報を取得することができるメリットもある。つまり、本実施例によれば、画像間の位置ずれに対してもロバストで、常に高精度な距離情報を取得することができる。

ＤＦＤ法は原理的には高精度な距離情報を求めることができる。しかし、今までのＤＦＤ法では、画像間の被写体の輝度や色度の違いならびに位置ずれ等によって必ずしも高精度な距離情報を得られていなかった。
しかし、本実施例によれば、被写体までの距離を表す距離情報に対する、画像の輝度や色度、及び、画像間の位置のずれの影響を低減することができるため、より確実に（常に安定して）高精度な距離情報を取得することができる。

なお、被写体までの距離は、実空間画像のエッジ部分（空間周波数が高い部分）におけるぼけの違いとしてよく表される。そのため、周波数空間相関値情報として、高周波数領域の周波数毎に相関値（周波数空間位相画像間の相関値）が算出されてもよい。
なお、本実施例では、距離情報の取得のために２枚の実空間画像を撮影する例を示したが、３枚以上の実空間画像を撮影し、撮影した３枚以上の実空間画像のうちの２枚の実空
間画像を用いて、距離情報が取得されてもよい。

＜実施例２＞
実施例２に係る距離情報取得装置の構成は実施例１と同様であるが、実施例２と実施例１とでは距離情報取得部での距離情報の取得方法が異なる。具体的には、本実施例では、距離情報取得処理部は、位相画像相関値情報ＰＣＣのピークの幅に基づいて距離情報を取得する。

図６に本実施例の距離情報取得処理部のフローチャートを示す。
最大値算出ステップＳ２１５１にて位相画像相関値情報ＰＣＣの最大値が算出される。
そして、閾値算出ステップＳ２１５２にて幅算出用の閾値が算出される。本実施例では、位相画像相関値情報ＰＣＣの最大値に所定の比率（割合）を乗算することにより閾値が算出される。本実施例では、上記所定の比率を３０％とするが、比率は、５０％、３５％（１／ｅ）、２０％、１３．５％（１／ｅ^２）などでも良い。閾値を低く設定すると位相画像相関値情報ＰＣＣの変化を精度良く検出することができるので、ピント位置近傍の距離情報として正確な距離情報を取得したい場合に有効である。一方、閾値を高く設定すると物体がピント位置から遠く離れて大きくぼけた画像となった場合でもノイズの影響を受け難くすることができるので、広範囲な距離情報を取得したい場合に有効である。
次に、交点算出ステップＳ２１５３にて位相画像相関値情報ＰＣＣが閾値と交差する点が算出される。その交点は少なくとも２つあり、場合によっては３つ以上存在する。ここでは、位相画像相関値情報ＰＣＣのピークにおける２つの交点が算出される。
そして、ピーク幅算出ステップＳ２１５４にて上記２つの交点の間隔が、上記幅として算出される。即ち、本実施例では、位相画像相関値情報ＰＣＣのピークの幅として、当該ピークにおいて実空間相関値情報の値が閾値と等しくなる２点間の幅が算出される。位相画像相関値情報ＰＣＣのピークの幅は、画像のぼけの大きさに関係があり距離情報の元データとして利用できる。
距離情報取得ステップＳ２１５５では、位相画像相関値情報ＰＣＣのピークの幅と、距離補正テーブル（位相画像相関値ＰＣＣのピークの幅と、距離情報との対応関係を表すテーブル）とを用いて、距離情報（被写体までの距離）が取得される。

上記所定の比率を３０％とした場合の、図５（Ａ）〜図５（Ｆ）に示した位相画像相関値情報ＰＣＣのグラフから得られる幅（ピークの幅）を表２に示す。

このように、位相画像相関値情報ＰＣＣのピークの幅は画像のぼけの大きさと関係がある。したがって、位相画像相関値情報ＰＣＣのピークの幅から、被写体の物体距離を算出することができる。

本実施例によれば、実施例１と同様に、被写体の輝度や色度に対してロバストな距離情報を得ることができる。
そして、本実施例のように周波数空間位相画像間の相関（周波数空間相関値情報）を取
り、実空間相関値情報に変換した場合、画像の位置ずれは実空間相関値情報の座標のずれに表れるが、位相画像相関値情報のピークの幅にはあまり大きな影響を与えない。よって、本実施例では、２枚の画像に位置ずれが生じた場合でも高精度な距離情報を取得することができるメリットがある。つまり、本実施例によれば、画像間の位置ずれに対してもロバストで、常に正確な距離情報を取得することができる。

なお、距離情報取得処理部のフローチャートを図７のようにしてもよい。
図７では最大値算出ステップＳ２１５１の後に正規化ステップＳ２１５６を加えている。
正規化ステップＳ２１５６では位相画像相関値情報の値が最大値で正規化される。換言すれば、位相画像相関値情報の各値が最大値で除算される。それにより、位相画像相関値情報が、最大値が「１」となるように、正規化される。位相画像相関値情報を正規化することにより、閾値が常に一定となる。そのため、閾値を予め用意することができ、閾値を算出する必要がなくなる。
交点算出ステップ２１５３では、予め用意された閾値を用いて、図６と同様に、２つの交点が算出される。具体的には、正規化後の位相画像相関値情報と、閾値との交点が算出される。その後、図６と同様に、ピーク幅算出ステップＳ２１５４と距離情報取得ステップＳ２１５５が行われる。即ち、正規化後の実空間相関値情報のピークの幅に基づいて、距離情報が取得される。

なお、ピークの幅は、実空間相関値情報の値が閾値と等しくなる２点間の幅に限らない。例えば、ピークの幅は、ピークの半値全幅や最大幅であってもよい。

＜実施例３＞
実施例３に係る距離情報取得装置の構成は実施例１と同様であるが、実施例３と実施例１とでは距離情報取得部での距離情報の取得方法が異なる。本実施例では、距離情報の取得に用いる２枚の実空間画像間に位置ずれが生じた場合においても高精度な距離算出を実現する構成について説明する。具体的には、本実施例では、位相画像相関値情報から、距離情報の取得に用いる２枚の実空間画像の間の被写体位置のずれ量が算出され、位相画像相関値情報のピークの特徴と、算出したずれ量とに基づいて、距離情報が取得される。それにより、２枚の実空間画像間に位置ずれが生じた場合においても高精度な距離情報の取得を実現することができる。

図８に本実施例の距離情報取得処理部のフローチャートを示す。
実施例１と同様に最大値算出ステップＳ３１５１にて位相画像相関値情報ＰＣＣの最大値が算出される。
次に、画像位置ずれ量検出ステップＳ３１５２にて２枚の実空間画像間の位置のずれ量が算出（検出）される。本実施例のように周波数空間位相画像間の相関値（周波数空間相関値情報）を取り、周波数空間相関値情報を実空間相関値情報に変換した場合、画像の位置ずれは実空間相関値情報の位置ずれに表れる。そこで、実空間相関値情報を用いることにより、撮影した２枚の実空間画像間の位置のずれ量を検出することができる。
本実施例では、位相画像相関値情報が最大となる位置の、中心位置からのずれ量を検出しており、撮影した２枚の実空間画像の位置のずれ量をサブピクセルの精度で正確に検出することができる。
そして、距離情報取得ステップＳ３１５３にて、上記算出（検出）したずれ量と、距離補正テーブル（ピークの最大値と距離情報の対応関係を表すテーブル）を用いて、距離情報が取得される。例えば、ずれ量毎に距離補正テーブルが予め用意されていてもよい。その場合には、算出したずれ量に対応する距離補正テーブルを用いて、実施例１と同様の方法により、距離情報を取得することができる。また、ずれ量に応じて、距離補正テーブル、または、距離補正テーブルを用いて得られた距離情報が補正されてもよい。

このように、本実施例では画像の位置のずれ量が検出され、ずれ量を考慮して距離情報が取得されるため、実施例１，２よりも高精度な距離情報を取得することが可能となる。
なお、本実施例では、位相画像相関値情報のピークの最大値を用いて距離情報を取得したが、これに限らない。実施例２のように、位相画像相関値情報のピークの幅を用いて距離情報が取得されてもよい。

１１０ 距離情報取得部
１１１ 処理領域選択部
１１２ 周波数空間変換部
１１３ 周波数空間位相画像生成部
１１４ 相関値算出部
１１５ 距離情報取得処理部

Claims (14)

1. 異なる撮影パラメータで被写体を撮影して得られるぼけの異なる２枚の実空間画像を用いて、前記被写体までの距離を表す距離情報を取得する距離情報取得装置であって、
   実空間を周波数空間に変換する処理により、前記２枚の実空間画像を、２枚の周波数空間画像に変換する変換手段と、
   前記２枚の周波数空間画像のそれぞれから、その周波数空間画像の振幅を揃えることにより、周波数空間位相画像を生成する生成手段と、
   前記２枚の周波数空間画像から生成された２枚の周波数空間位相画像を用いて、前記２枚の周波数空間位相画像間の周波数毎の相関値を表す周波数空間相関値情報を算出する算出手段と、
   周波数空間を実空間に逆変換する処理により、前記周波数空間相関値情報を実空間相関値情報に変換する逆変換手段と、
   前記実空間相関値情報のピークの特徴に基づいて、前記被写体までの距離を表す距離情報を取得する取得手段と、
   を有することを特徴とする距離情報取得装置。
2. 前記取得手段は、前記ピークの最大値に基づいて距離情報を取得する
   ことを特徴とする請求項１に記載の距離情報取得装置。
3. 前記取得手段は、前記ピークの幅に基づいて距離情報を取得する
   ことを特徴とする請求項１に記載の距離情報取得装置。
4. 前記幅は、前記ピークにおいて前記実空間相関値情報の値が閾値と等しくなる２点間の幅である
   ことを特徴とする請求項３に記載の距離情報取得装置。
5. 前記取得手段は、前記実空間相関値情報の値を最大値で正規化し、正規化後の実空間相関値情報のピークの幅に基づいて距離情報を取得する
   ことを特徴とする請求項３または４に記載の距離情報取得装置。
6. 実空間相関値情報のピークの特徴と、距離情報との対応関係を表す対応情報が予め用意されており、
   前記取得手段は、前記逆変換手段により得られた前記実空間相関値情報の前記ピークの特徴と、前記対応情報とに基づいて、距離情報を取得する
   ことを特徴とする請求項１〜５のいずれか１項に記載の距離情報取得装置。
7. 前記取得手段は、
   前記逆変換手段により得られた実空間相関値情報から、距離情報の取得に用いる前記２枚の実空間画像の間の被写体位置のずれ量を算出し、
   前記逆変換手段により得られた前記実空間相関値情報の前記ピークの特徴と、算出した前記ずれ量とに基づいて、距離情報を取得する
   ことを特徴とする請求項１〜６のいずれか１項に記載の距離情報取得装置。
8. 前記周波数空間相関値情報は、高周波数領域の周波数毎の相関値を表す
   ことを特徴とする請求項１〜７のいずれか１項に記載の距離情報取得装置。
9. 実空間を周波数空間に変換する前記処理は、二次元フーリエ変換である
   ことを特徴とする請求項１〜８のいずれか１項に記載の距離情報取得装置。
10. 周波数空間を実空間に逆変換する前記処理は、二次元逆フーリエ変換である
    ことを特徴とする請求項１〜９のいずれか１項に記載の距離情報取得装置。
11. 前記生成手段は、前記周波数空間画像の振幅を当該振幅で除算することにより、前記周波数空間画像の振幅を揃える
    ことを特徴とする請求項１〜１０のいずれか１項に記載の距離情報取得装置。
12. 請求項１〜１１のいずれか１項に記載の距離情報取得装置を有する
    ことを特徴とする撮像装置。
13. 異なる撮影パラメータで被写体を撮影して得られるぼけの異なる２枚の実空間画像を用いて、前記被写体までの距離を表す距離情報を取得する距離情報取得方法であって、
    コンピュータが、実空間を周波数空間に変換する処理により、前記２枚の実空間画像を、２枚の周波数空間画像に変換するステップと、
    コンピュータが、前記２枚の周波数空間画像のそれぞれから、その周波数空間画像の振幅を揃えることにより、周波数空間位相画像を生成するステップと、
    コンピュータが、前記２枚の周波数空間画像から生成された２枚の周波数空間位相画像を用いて、前記２枚の周波数空間位相画像間の周波数毎の相関値を表す周波数空間相関値情報を算出するステップと、
    コンピュータが、周波数空間を実空間に逆変換する処理により、前記周波数空間相関値情報を実空間相関値情報に変換するステップと、
    コンピュータが、前記実空間相関値情報のピークの特徴に基づいて、前記被写体までの距離を表す距離情報を取得するステップと、
    を有することを特徴とする距離情報取得方法。
14. 請求項１３に記載の距離情報取得方法の各ステップをコンピュータに実行させるためのプログラム。

Images