JP6091228B2 - 画像処理装置、撮像装置 - Google Patents

Description

本発明は、撮影条件を変えて撮影した複数の画像から被写体までの距離を算出する技術に関する。

撮像装置によって取得された二次元画像から画像中の被写体までの奥行き方向の距離を取得する手法として特許文献１のようなDepth from Defocus（ＤＦＤ）法が提案されている。ＤＦＤ法では撮像光学系の撮影条件（撮影パラメータともいう）を制御することでボケの異なる複数の画像を取得し、測定対象画素およびその周辺画素を用いて各画像でのボケの大きさや画像間でのボケの相関量を算出する。

このボケの大きさや相関量は画像中の被写体の距離に応じて変化するため、その関係を用いて距離を算出することができる。ＤＦＤ法による距離計測は、１つの撮像系によって距離を算出することできるため、コンパクトデジタルカメラなどの民生品の撮像装置に組み込むことが可能といった利点を有する。

特開平０１−１６７６１０号公報

従来のＤＦＤ法は、撮像光学系によるボケの大きさが被写体までの距離に応じて変化することを利用し、複数画像のボケの大きさに基づき被写体の距離を推定している。このとき各画像の撮影条件が分かっていれば理論上は距離の算出が可能であるため、特許文献１においては好ましい撮影条件は特に言及されていない。しかしながら、本発明者らが研究を進めるなかで、各画像の撮影条件をどのように設定するかが、距離の推定精度（計測精度）や計測可能な距離範囲の大きさに影響を与えることが分かってきた。

そこで本発明の目的とするところは、異なる撮影条件で撮影された複数の画像を用いて被写体までの距離を算出する装置において、適切な撮影条件を設定するための技術を提供することにある。

本発明に係る画像処理装置は、ボケの異なる複数の画像を用いて画像中の物体までの奥行き方向の距離を算出する画像処理装置であって、算出すべき距離の範囲を指定する距離範囲情報を取得する取得手段と、前記距離範囲情報で指定された範囲に基づいて、各画像の撮影条件を決定する決定手段と、前記決定手段で決定された撮影条件でそれぞれ撮影された複数の画像を用いて距離を算出する距離算出手段と、を備えることを特徴とする画像処理装置である。

本発明に係る画像処理方法は、ボケの異なる複数の画像を用いて画像中の物体までの奥行き方向の距離を算出する画像処理方法であって、算出すべき距離の範囲を指定する距離範囲情報を取得するステップと、前記距離範囲情報で指定された範囲に基づいて、各画像の撮影条件を決定するステップと、前記決定された撮影条件でそれぞれ撮影された複数の画像を用いて距離を算出するステップと、を有することを特徴とする画像処理方法である。

本発明に係るプログラムは、本発明に係る画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。

本発明によれば、異なる撮影条件で撮影された複数の画像を用いて被写体までの距離を算出する装置において、適切な撮影条件を設定することができる。

本発明の実施形態に係る撮像装置の構成を示す図。 第１実施形態の距離計測の流れを示すフローチャート。 第１実施形態の距離範囲の指定と撮影条件の設定を説明するための図。 距離範囲の指定方法のバリエーションを示す図。 第２実施形態の距離計測の流れを示すフローチャート。 第２実施形態の距離範囲の指定と撮影条件の設定を説明するための図。 第３実施形態の距離範囲の分割のバリエーションを示す図。 ＰＳＦの断面をプロットした図。 ＰＳＦピーク値のデフォーカス特性を示す図。 ＰＳＦピーク比の特性を示す図。 ＦＢ量の変化に伴うＰＳＦピーク比の変化を示す図。 計測可能範囲とＰＳＦピーク比の値域のＦＢ量依存性を示す図。

本発明は、撮影条件を変えて撮影した２枚以上の画像を用い、それらの画像のボケの違いに基づいて被写体の奥行き方向の距離を算出（距離計測又は距離推定ともいう）するための技術に関し、いわゆるＤＦＤ法の改良を提案するものである。本発明者らは、各画像の撮影条件（フォーカス位置、Ｆ値等）の設定が、距離の推定精度や計測可能な距離範囲の広狭に影響を与え得ることを見出した。そこで本明細書では、算出（計測）すべき距離の範囲を指定する情報（これを距離範囲情報とよぶ）をユーザが与えるか、自動で設定し、その距離範囲情報に基づいて適切な撮影条件を自動決定する技術を提案する。かかる技術は、例えば、デジタルカメラやデジタルビデオカメラ等の撮像装置に搭載される画像処理装置（画像処理エンジン）の一機能として実装され、撮影画像に対する各種画像処理（測距、距離マップ生成、ボケ付加等）に利用される。

以下では、距離計測の原理と、撮影条件が距離の推定精度や計測可能な距離範囲に与える影響について説明を行い、その後、本発明の具体的な実施形態について例示的に説明する。

＜距離計測の原理＞
図１は、撮像光学系の構成と距離計測用の画像を撮影するときのフォーカス位置を模式的に示している。距離計測を行う場合、まず光学系を第一のフォーカス位置に合わせ（例えば、実線で示される光路）、被写体を撮影する。続いて、光学系を第二のフォーカス位置に変更し（例えば、破線で示される光路）、同じ被写体を撮影する。これによりボケが異なる２枚の画像が得られる。第一のフォーカス位置と第二のフォーカス位置の差をフォーカスブラケット量（又はフォーカス移動量）と呼ぶ。なお、本明細書において、フォーカスブラケット量は、特に断りの無い限り、像面の移動量（第一のフォーカス位置の像面と第二のフォーカス位置の像面の間の距離）をさす。

（ＰＳＦピーク値のデフォーカス特性）
本実施形態の距離計測では、光学系のＰＳＦ（Point Spread Function）のピーク値の
デフォーカス特性を利用して距離を推定する。以下、収差の無い理想的な撮像光学系のＰ
ＳＦを用いて説明するが、実際の撮像光学系においてもほぼ同様に扱うことができる。

フォーカス位置での収差のない理想的なＰＳＦの形状は、ＰＳＦ中心の座標における値をピークとしてなだらかに減少していくガウス関数のような形状をしている。図８にＰＳＦの断面形状を実線で示す。しかし、デフォーカスするに従いＰＳＦ座標中心での値は低下し、形状は崩れていく。図８の点線はそれぞれ２０μｍ、４０μｍ、６０μｍ、８０μｍだけデフォーカスした場合のＰＳＦの断面を示している。本明細書では、このＰＳＦの座標中心での値を「ＰＳＦピーク値」と定義する。

図９は、収差が無い理想的な撮像光学系におけるＰＳＦピーク値のデフォーカス特性を示している。横軸がデフォーカス量、縦軸がＰＳＦピーク値である。なお、撮影条件は、撮像光学系の焦点距離：１８．０ｍｍ、Ｆ値：４．００、物体距離：３０００ｍｍ、フォーカスブラケット量：−０．０２ｍｍ、波長：５８７．５６ｅ−６ｍｍである。図９に示すように、ＰＳＦピーク値はフォーカス位置で最大となり、デフォーカスするにしたがって低下し、ＳＩＮＣ関数のように振動しながら０へと近づいていく。

（ＰＳＦピーク比）
次に、ＰＳＦピーク値から距離を算出する方法について説明する。
図９に示したように、ＰＳＦピーク値はデフォーカス量に依存する。したがって、ＰＳＦピーク値を撮影画像から算出できれば、デフォーカス量がわかり、被写体までの物体距離に換算することが可能となる。しかしながら、被写体の空間周波数等の影響があるため、１枚の画像から撮像光学系のＰＳＦピーク値を正確に求めることは困難である。そこで、撮影条件を変えて撮影した複数の画像を用いて、被写体の影響を除去する。被写体の影響をキャンセルするためには、比をとるのが良い。以下、２つの画像からそれぞれ求めたＰＳＦピーク値の比を「ＰＳＦピーク比」と定義する。本実施形態の距離計測では、理論的に求めた撮像光学系のＰＳＦピーク比のデフォーカス特性と、実際に撮影して得た２枚の画像から求めたＰＳＦピーク比の値との対応をとることで距離を算出する。

図１０は、理論的に求めた、２画像それぞれのＰＳＦピーク値のデフォーカス特性とＰＳＦピーク比のデフォーカス特性を示している。撮影条件は図９と同じである。横軸は像面側のフォーカス位置である。図１０において、点線で示した２つの曲線が、フォーカス位置の異なる２つのＰＳＦピーク値のデフォーカス特性であり、実線で示した曲線が、ＰＳＦピーク比のデフォーカス特性である。

ピーク比をとる際は、ピーク値の大きい方を分母とすることで正規化している。その結果、ＰＳＦピーク比は、最大値が１となり、２つのフォーカス位置の中間位置にピークを持ち、ピークから離れるに従い値が低下していく対称な曲線となる。

実際に撮影して得られた２画像から、画像中の各点（画素又は画素群）のＰＳＦピーク比を求め、その値を図１０の実線で示されるデフォーカス特性に当てはめれば、画像中の各点に写っている物体が、基準のフォーカス位置からどれだけ離れているかを計算できる。なお、図１０の場合、基準のフォーカス位置は、２画像のフォーカス位置の中間位置である。また、どちらのＰＳＦピーク値で正規化したかにより、基準のフォーカス位置より手前側（カメラ側）か奥側かの区別も可能である。

ＰＳＦピーク比から物体側での距離Ｚｏを求めるためには、まずＰＳＦピーク比の値から、像面上でのフォーカス位置からのデフォーカス量Ｚｉを求める。次に焦点距離ｆおよび物体距離ｓから、

により像面側距離ｓ’を求め、デフォーカス量Ｚｉ用いて、

により物体側の距離に変換する。

（画像からのＰＳＦピーク比算出方法）
実際に撮影して得られた２画像からＰＳＦピーク比を計算する方法について説明する。２画像において対応する局所領域Ｉ１とＩ２は、シーンｓとＰＳＦ１およびＰＳＦ２の畳み込みで表される。フーリエ変換した前記領域をＦＩ１、ＦＩ２とし、シーンｓのフーリエ変換をＳとすると、この比は、

となる。ここでＰＳＦをフーリエ変換した光学伝達関数をＯＴＦとし、２つのＯＴＦの比をＯＴＦｒとする。このＯＴＦｒは、式３に示すようにシーンＳが打ち消されることでシーンに依存しない値となる。

このＯＴＦｒからＰＳＦピーク比ＰＳＦｒを求めるには、以下の数式に示すようにＯＴＦｒの平均値を求めればよい。ＰＳＦのピークが画像Ｉ１、Ｉ２の中心にあるとすると、ＰＳＦピーク比ＰＳＦｒは、

が成り立つ。これを離散的に表現すると、

となる。

式５により画像から算出されたＰＳＦピーク比ＰＳＦｒを、図１０に示すようなＰＳＦピーク比のデフォーカス特性に当てはめることで、局所領域Ｉ１とＩ２に写っている物体のデフォーカス量、すなわち距離情報を得ることができる。

（計測可能範囲）
続いてＰＳＦピーク比を用いた距離計測において計測可能な距離範囲（計測可能範囲又は測距範囲とも呼ぶ）に関して図１０を用いて説明する。

図１０の実線で示すように、ＰＳＦピーク比のデフォーカス特性は、異なる二つのフォ
ーカス位置の中間位置から徐々に値が低下し極小値に達した後再び値は上昇しこれを繰り返す。これは図９に示すように、ＰＳＦピーク値のデフォーカス特性が振動しているためである。以下、ＰＳＦピーク値、ＰＳＦピーク比などのデフォーカス特性曲線における最大のピークを「最大ピーク」もしくは「１次ピーク」と呼び、最大ピークの前側と後側にそれぞれ最初に現れる極小値を「１次極小値」と呼ぶ。

図９のＰＳＦピーク値のデフォーカス特性を見れば分かるように、１次極小値以降のＰＳＦピーク値は、値が小さくノイズ等の影響を受けやすい。そのため比をとった際にばらつきが大きく信頼性が低い。よって信頼して計測できる距離範囲は、ＰＳＦピーク比のデフォーカス特性（図１０の実線）において、最大ピークの前側の１次極小値の位置と後側の１次極小値の位置の間の範囲である。実際には、ＰＳＦピーク比がゼロに近いとノイズ等により精度が下がるため、前側の１次極小値と後ろ側の１次極小値の間よりもやや狭い範囲を計測可能範囲に設定することが好ましい。図１０の例では、約−７５μｍ〜５５μｍが計測可能範囲となる。なお、図における負方向を前側とする。

ここで、計測可能範囲を規定するＰＳＦピーク比の１次極小値の位置は、ＰＳＦピーク値のデフォーカス特性（図１０の点線）の１次極小値の位置に依存する。すなわち、図１０に示すように前側のＰＳＦピーク比の１次極小値の位置は、フォーカス位置の異なる二つの画像のうち、フォーカス位置が後側の画像のＰＳＦピーク値の前側の１次極小値の位置に対応している。一方、後側のＰＳＦピーク比の１次極小値の位置は、フォーカス位置が前側の画像のＰＳＦピーク値の後側の１次極小値の位置に対応している。つまり、計測可能範囲は、ＰＳＦピーク値のデフォーカス特性（前後の１次極小値の間隔）とフォーカスブラケット量によって決まる。

光学系のＦ値をＦ、光の波長をλとしたとき、その光学系（収差はないものとする）におけるＰＳＦピーク値のデフォーカス特性における前側と後側の１次極小値の間隔は、約１５Ｆ^２λと求めることができる（「約」と記載したのは、厳密には、前後の１次極小値の間隔は１５Ｆ^２λ〜１６Ｆ^２λの間の値となるからである）。したがって、フォーカスブラケット量をＦＢとすると、計測可能範囲Ｒは、以下の式で表される。

（フォーカスブラケット量とＰＳＦピーク比の特性）
次に、フォーカスブラケット量と計測可能範囲変化の関係、およびフォーカスブラケット量とＰＳＦピーク比の値域変化の関係に関して説明する。

図１１（ａ）〜図１１（ｆ）にフォーカスブラケット量を変えた場合のＰＳＦピーク値のデフォーカス特性と、ＰＳＦピーク比の変化を示す。フォーカスブラケット量は、２つのＰＳＦピーク値のデフォーカス特性（点線）の横軸方向の差である。つまり、図１１（ａ）から図１１（ｆ）にいくに従って、フォーカスブラケット量を徐々に大きくしている。ここでは、２つのＰＳＦピーク値のデフォーカス特性の交点（点線の交点）における値が、ＰＳＦピーク値の最大値の９９．８％、９０％、７０％、５０％、２０％、５％となるように設定した例を示している。フォーカスブラケット量の増加に伴い、ＰＳＦピーク比（実線）の特性が変化することが分かる。具体的には、フォーカスブラケット量が大きくなるにしたがって、計測可能範囲（ＰＳＦピーク比の最大ピークの前側の１次極小値位置と後側の１次極小値位置の間の範囲）が狭くなっていくことが分かる。このような特性は式６から明らかである。

ＰＳＦピーク比の値域（ＰＳＦピーク比の最大値と１次極小値の差）は、フォーカスブ
ラケット量が大きくなるにつれて急激に広がりその後徐々に１に近づいていく。ＰＳＦピーク比の値域が広いほど距離分解能が高く、ノイズ等の変動要因に対しての耐性が高くなり距離の推定精度が向上する。また、フォーカスブラケット量が大きくなるにしたがい、ＰＳＦピーク比のデフォーカス特性が急峻になっていくが、これも距離分解能（推定精度）に影響する。ＰＳＦピーク比の傾きが大きければ、僅かな距離差でもＰＳＦピーク比の値の変化を検知しやすくなるからである。

フォーカスブラケット量に伴う計測可能範囲の変化、およびＰＳＦピーク比の値域の変化をそれぞれ図１２（ａ）、（ｂ）に示す。図１２（ａ）において、横軸がフォーカスブラケット量であり、縦軸が像面側での計測可能範囲である。同様に図１２（ｂ）において、横軸がフォーカスブラケット量であり、縦軸が値域である。ここでＰＳＦピーク比は正規化されているため値域の最大値は１である。なお、フォーカスブラケット量が０の場合は距離計測できないため特異点となる。図１２（ａ）、（ｂ）より、フォーカスブラケット量を大きくしていくと計測可能範囲が狭くなるものの、距離分解能（推定精度）は向上することが分かる。

（最適な撮影条件の指針）
式６に示したように、計測可能範囲（Ｒ）は、Ｆ値（Ｆ）、波長（λ）、及びフォーカスブラケット量（ＦＢ）の関数で与えられる。また、図１２（ａ）、（ｂ）から分かるように、フォーカスブラケット量（ＦＢ）を変えると、計測可能範囲（Ｒ）だけでなく、距離分解能（推定精度）も変化する。したがって、所望の距離範囲や精度といった計測条件が与えられた場合に、それを満足するように、各画像を撮影する際のフォーカス位置や光学系のＦ値などの撮影条件を適切に設定することが望ましい。

基本的な考え方は次のとおりである。計測すべき距離範囲が狭いほど、２画像を撮影するときのＦ値は小さくするとよい。Ｆ値を小さくするほど被写界深度が浅くなる（ＰＳＦピーク比のデフォーカス特性が急峻になる）ので、距離分解能（推定精度）の向上が期待できるからである。このときのフォーカスブラケット量はＦ値に応じて適宜決めればよい。また、Ｆ値を変更できない撮像装置の場合には、計測すべき距離範囲が狭いほど、フォーカスブラケット量を大きくすればよい。上述したように、フォーカスブラケット量を大きくするほど距離分解能（推定精度）が向上するからである。

Ｆ値とフォーカスブラケット量の具体的な決定方法の一例を説明する。まず、Ｆ値（Ｆ）とフォーカスブラケット量（ＦＢ）を次の関係式を用いて設計する。つまり、フォーカスブラケット量を被写界深度に比例する量として捉えるのである。なお式７において、ｋはフォーカスブラケット量の大きさを調整するための係数、λは波長である。

式７を式６に代入したものが、下記の式８である。

たとえば、計測条件として計測したい距離範囲ｒが与えられた場合には、式８を用いて、距離範囲ｒを満足するＦ値を決定することができる（係数ｋと波長λは予め決まっているものとする）。具体的には、ｒ≦Ｒ、すなわち、

を満たすように、Ｆ値を決める。たとえば、撮像光学系で設定可能なＦ値の中で、式９を満たす最小のＦ値を選べばよい。

そして、そのＦ値を式７に代入することにより、フォーカスブラケット量ＦＢを決定することができる。２つの画像を撮影するときのフォーカス位置（像面側の位置）は、距離範囲ｒの中心位置ｒｃを基準に、それぞれ、ｒｃ−ＦＢ／２、ｒｃ＋ＦＢ／２のように決めればよい。以上の方法により、計測可能範囲Ｒを計測可能な撮影条件として、Ｆ値、フォーカスブラケット量、２画像それぞれのフォーカス位置を決定することができる。

（係数ｋ）
次に係数ｋの好ましい値について説明する。本発明者はシミュレーションと実験により、好ましい係数ｋの値を以下のように見出した。
係数ｋは、０＜ｋ＜１５の範囲の値とすべきである。ｋが１５よりも大きいと、被写体のボケが大きくなりすぎ、計測精度が低下するからである。なお、ｋ＝０が除外されているのは、同じフォーカス位置の画像からはボケの違いが得られないからである。

距離計測の目的が、距離の２層分離、つまり被写体が特定の距離範囲に含まれるか否かを判定するというものである場合、係数ｋは、８＜ｋ＜１５の範囲の値に設定するとよい。係数ｋが大きいほどフォーカスブラケット量は大きくなり、計測可能範囲が狭まる（図１１（ｅ）、（ｆ）参照）。計測可能範囲が狭いということは、ある特定の距離周辺に被写体が存在するかしないかで、ＰＳＦピーク比の値が大きく変化するということである。よって、２層分離の場合は、フォーカスブラケット量をある程度大きくするほうがよい。

一方、距離計測の目的が、距離の多層分離、つまり被写体が３つ以上の距離範囲のうちのいずれに含まれるかを判定するというものである場合、係数ｋは、１＜ｋ≦８の範囲の値に設定するとよい。図１１（ｂ）〜図１１（ｄ）に示すように、係数ｋが小さいほどフォーカスブラケット量は小さくなり、計測可能範囲が広がるため、２層以上の分離に適するからである。なお、０＜ｋ≦１の範囲を除外した理由は、この場合は、計測可能範囲は広がる反面、距離分解能が低下してしまうため、多層の分離に向かないからである（図１１（ａ）参照）。

さらに、係数ｋが２≦ｋ＜４の範囲の値であると好適である。この範囲では、計測可能範囲の広さと距離分解能のバランスが特に良好となり、広い距離範囲を高い精度で計測することが可能になるからである（図１１（ｂ）、（ｃ）参照）。
以上のように、距離計測の目的に応じて、係数ｋの値は０〜１５の範囲で適宜設定すればよい。

＜第１実施形態＞
（撮像装置の構成）
図１は、本発明の第１実施形態に係る撮像装置の構成を模式的に示している。撮像装置１は、撮像光学系１０、撮像素子１１、制御部１２、画像処理装置１３、記憶部１４、入力部１５、表示部１６を有している。

撮像光学系１０は、複数のレンズから構成され、入射する光を撮像素子１１の像面上に結像させる光学系である。撮像光学系１０としては可変焦点の光学系が用いられており、
制御部１２のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。撮像素子１１は、ＣＣＤやＣＭＯＳなどのイメージセンサを有する撮像素子である。カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、三板式の撮像素子でもよい。

画像処理装置１３は、信号処理部１３０、メモリ１３１、距離範囲指定部１３２、撮影条件決定部１３３、距離算出部１３４などを有している。信号処理部１３０は、撮像素子１１から出力されるアナログ信号のＡＤ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの各種信号処理を行う機能である。信号処理部１３０から出力されるデジタル画像データはメモリ１３１に蓄積され、表示部１６への表示、記憶部１４への記録（保存）、距離計測などに供される。距離範囲指定部１３２は、距離計測において算出すべき距離の範囲を指定する機能である。この距離範囲は、ユーザによって指定されてもよいし、画像処理装置１３が自動で決定してもよい。第１実施形態では、ユーザが距離範囲を指定する方法について述べる。撮影条件決定部１３３は、距離範囲情報で指定された範囲に基づいて、距離計測に用いる複数の画像それぞれの撮影条件を決定する機能である。距離算出部１３４は、画像中の物体までの奥行き方向の距離を算出する機能である。距離計測の詳しい動作については後述する。

記憶部１４は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部１４としては、高速に読み書きでき、且つ、大容量の記憶媒体であればどのようなものを利用してもよい。例えばフラッシュメモリなどが好ましい。入力部１５は、ユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。表示部１６は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１６は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。制御部１２は、撮像装置１の各部を制御する機能である。制御部１２の機能としては、例えば、オートフォーカス（ＡＦ）による自動焦点合わせ、フォーカス位置の変更、Ｆ値（絞り）の変更、画像の取り込み、シャッタやフラッシュ（いずれも不図示）の制御、記憶部１４や入力部１５や表示部１６の制御などがある。

（距離計測）
次に、図２と図３（ａ）、図３（ｂ）を用いて、撮像装置１の距離計測に関わる動作を説明する。図２は、距離計測の流れを示すフローチャートである。図３（ａ）、図３（ｂ）は、距離範囲の指定と撮影条件の設定について説明するための図である。

ユーザが、入力部１５を操作して距離計測の実行を指示すると、撮像素子１１から画像の取り込みが開始され、信号処理部１３０及びメモリ１３１を介して取り込まれた画像が表示部１６に順次表示される（ステップＳ２０）。図３（ａ）は表示部１６に表示された画像の一例を示している。画像には、手前から順に、花３０、人物３１、家３２が写っている。以下、人物３１にピントが合った画像と、花３０から家３２までの間の距離情報とを取得するためのユーザ操作及び撮像装置１の処理を説明する。

まず、距離範囲指定部１３２が、ユーザに対し最短位置（距離範囲の下限）の指定を要求する（ステップＳ２１）。例えば、表示部１６に「一番手前の点をタッチしてください」というガイドメッセージをオーバーレイ表示すればよい。ユーザが画像上の任意の点（図３（ａ）の例では花３０の部分）をタッチすると、制御部１２がその点に写る物体（花３０）に対し自動焦点合わせを行う（ステップＳ２２）。これにより、撮像光学系１０から花３０までの物体距離s_nearを取得することができる。続いて、距離範囲指定部１３２は、ユーザに対し最長位置（距離範囲の上限）の指定を要求する（ステップＳ２３）。例
えば、表示部１６に「一番奥の点をタッチしてください」というガイドメッセージをオーバーレイ表示すればよい。ユーザが画像上の任意の点（図３（ａ）の例では家３２の部分）をタッチすると、制御部１２がその点に写る物体（家３２）に対し自動焦点合わせを行う（ステップＳ２４）。これにより、撮像光学系１０から家３２までの物体距離s_farを
取得することができる。なお、ここでは最短位置と最長位置を順に指定させたが、ユーザに任意の順番で２点を指定させ、近い方の距離をs_near、遠い方の距離をs_farと判断し
てもよい。

次に、距離範囲指定部１３２が、ステップＳ２２、Ｓ２４で得られた２点の物体距離s_near、s_farをもとに、距離計測の対象となる距離範囲の設定を行う（ステップＳ２５）
。具体的には、距離範囲指定部１３２は、撮像光学系１０の焦点距離ｆと式１により、２点の物体距離s_near、s_farを像面側の距離s'_near、s'_farに換算し、s'_nearを距離範
囲の下限、s'_farを距離範囲の上限に設定する。s'_nearとs'_farの値は、距離範囲情報
として、撮影条件決定部１３３に引き渡される。

次に、撮影条件決定部１３３が、s'_nearとs'_farで指定された距離範囲ｒ（＝s'_near−s'_far）が、式６の計測可能範囲Ｒ内に収まるように、Ｆ値とフォーカスブラケット（ＦＢ）量を決定する（ステップＳ２６）。このとき、前述した式９と式７を用いてＦ値とフォーカスブラケット量を決定してもよいし、予め用意された撮影条件テーブルを参照することで、距離範囲ｒに対応するＦ値とフォーカスブラケット量を得てもよい。処理の高速化の観点からは、テーブルを用いる方法の方が好ましい。表１は、係数ｋ＝３．３、波長λ＝５５０ｎｍの場合の撮影条件テーブルの一例である。

例えば、下限距離s'_near＝１０．２０４ｍｍ、上限距離s'_far＝１０．０１０ｍｍの
場合、距離範囲ｒ＝１０．２０４−１０．０１０＝０．１９４ｍｍとなり、撮影条件として、Ｆ値＝５．６、ＦＢ量＝５７μｍが選ばれる。なお、表１では、係数ｋ＝３．３の例を示したが、係数ｋの値は０〜１５のうちのいずれの値でもよい。また、複数種類のｋの値についてテーブルを用意しておき、距離計測の目的（２層分離、多層分離、範囲重視、分解能重視など）に応じてテーブルを選択してもよい。なお、ユーザにより指定された距離範囲ｒが、２枚の画像から算出可能な距離の最大範囲である計測可能範囲Ｒを超えていた場合には、撮影条件を設定できない。その場合には、表示部１６に「距離範囲が広すぎます」などのエラーメッセージを出力して、ユーザに距離範囲を再指定させるとよい。

次に、撮影条件決定部１３３は、距離計測に用いる２枚の画像を撮影するときのフォーカス位置を計算する（ステップＳ２７）。奥側のフォーカス位置fp_farは、距離範囲ｒの中心位置ｒｃを基準にfp_far＝ｒｃ−ＦＢ／２と求まり、手前側のフォーカス位置fp_nearは、fp_near＝ｒｃ＋ＦＢ／２と求まる。上記の例では、ｒｃ＝（s'_near＋s'_far）／
２＝１０．１０７ｍｍであり、ＦＢ＝０．０５７ｍｍであるから、奥側のフォーカス位置fp_farは１０．０７８５ｍｍ、手前側のフォーカス位置fp_nearは１０．１３５５ｍｍの
ように求まる。確定した撮影条件（Ｆ値、２つのフォーカス位置fp_near、fp_far）は制
御部１２に送られる。

撮影条件が確定すると、制御部１２が表示部１６に「撮影してください」というガイドメッセージを表示する。ユーザが所望の被写体（図３（ａ）の例では人物３１）にピントを合わせてシャッタボタンを押すと、制御部１２がＦ値を自動で切り替え、被写体に合焦した画像（これを合焦画像と呼ぶ）を取り込むと共に、奥側のフォーカス位置fp_farと手前側のフォーカス位置fp_nearそれぞれの画像（これらを距離計測用画像と呼ぶ）も取り
込む（ステップＳ２８）。すなわち、上記撮影条件にしたがって３枚の画像が取り込まれ、メモリ１３１に蓄積される。

図３（ｂ）は、ユーザにより指定された距離範囲ｒ（s'_near、s'_far）、２枚の距離
計測用画像のフォーカス位置（fp_near、fp_far）、合焦画像のフォーカス位置（fp_target）、ＰＳＦピーク値及びＰＳＦピーク比のデフォーカス特性等の関係を模式的に示している。花３０から家３２までの範囲が、ＰＳＦピーク比による計測可能範囲でカバーされていることがわかる。

合焦画像と２枚の距離計測用画像はどのような順番で撮影してもよいが、フォーカス位置が徐々に前側（又は奥側）に移動するように撮影の順番を決めるとよい。例えば、図３（ｂ）のように、合焦画像のフォーカス位置fp_targetが、距離計測用画像の奥側のフォ
ーカス位置fp_farと手前側のフォーカス位置fp_nearの間にある場合には、合焦画像を２
番目に撮影するとよい。これによりフォーカス位置の移動量が最小となり撮影時間の短縮を図ることができる。なお、合焦画像のフォーカス位置fp_targetが、もしＰＳＦピーク
比による計測可能範囲の外であった場合には、表示部１６に「被写体が計測可能範囲から外れています」などのエラーメッセージを出力し、距離範囲の指定又は合焦画像の取り込みをやり直しさせるとよい。

次に、距離算出部１３４が、２枚の距離計測用画像において対応する局所領域Ｉ１，Ｉ２についてＰＳＦピーク比の値を計算し、その値から局所領域Ｉ１，Ｉ２に写っている物体の奥行き方向の距離を算出する。距離の算出方法は、式１〜式５に示したとおりである。なお、局所領域の大きさは任意であり、画素ごとに距離を算出することもできるし、数画素から十数画素の画素群（領域）ごとに距離を算出してもよい。画像内のすべての局所領域について距離を算出したら、距離算出部１３４は局所領域の画像座標と距離を対応付けたデータを生成する（ステップＳ２９）。このデータは、距離マップと呼ばれる。距離算出部１３４は、生成した距離マップをステップＳ２８で取り込まれた合焦画像のデータとともに記憶部１４に保存する。

ここで得られた距離マップは、例えば、合焦画像に対して距離に応じたボケを付加する処理や、合焦画像を３Ｄ変換する処理や、合焦画像から３次元位置を認識する処理などに利用することができる。

（本実施形態の利点）
以上述べた本実施形態によれば、ユーザによって指定された距離範囲に基づいて、距離計測用画像のそれぞれの撮影条件（本実施形態ではＦ値及び２つのフォーカス位置）が決定される。これにより、指定された距離範囲の計測に適した画像を自動で（つまりユーザが撮影条件を意識することなく）取得することができる。このとき、ユーザによって指定された距離範囲が２画像から計測可能な距離範囲に収まるように、Ｆ値及び２つのフォーカス位置の差（ＦＢ量）を決定するため、指定された距離範囲に対する距離算出の精度を保証することができる。

また、本実施形態では、撮像装置に取り込まれた画像を表示し、その画像上で２つの点を指定させるというユーザインタフェースを設けたので、ユーザは簡易かつ直感的な操作で所望の距離範囲を指定することができる。また、ユーザによって指定された距離範囲が計測可能範囲を超えている場合には、距離算出を行わず、ユーザに距離範囲の再指定を促すようにしたので、不適切な範囲指定による距離算出精度の低下を未然に防止できる。

（距離範囲の指定方法）
上述した第１実施形態では、画像上の２つの点をユーザに指定させるというユーザインタフェースを説明したが、距離範囲の指定方法はこれに限らず、どのような方法を用いてもよい。

図４（ａ）は、自動焦点合わせの操作をユーザに２回行わせる方法の例である。まず、表示部１６に「手前の被写体にピント合わせ」というガイドメッセージを表示する。ユーザがオートフォーカスにより花３０にピントを合わせシャッタボタンを押すと、そのときのＡＦ情報に基づいて花３０までの距離（像面側の距離）が計算される。続いて「奥側の被写体にピント合わせ」というガイドメッセージに従って、ユーザが家３２にピントを合わせシャッタボタンを押すと、同様に家３２までの距離が計算される。これにより、距離範囲の下限s'_nearと上限s'_farを指定することができる。なお、図４（ａ）では、手前
の被写体と奥側の被写体を順に指定させたが、任意の順番で２つの被写体を指定させ、近い方を下限、遠い方を上限と自動認識してもよい。

図４（ｂ）は、自動で距離範囲を決定する方法の例である。撮像装置１がオートフォーカスの測距点を複数（図４（ｂ）では９点）有しているものとする。まず、距離範囲指定部１３２は、それぞれの測距点について自動焦点合わせを実行することで、各測距点での距離を取得する。そして、距離範囲指定部１３２は、複数の測距点の中から２点を選択し、その２点の距離のうち近い方を距離範囲の下限s'_nearに、遠い方を距離範囲の上限s'_farにそれぞれ設定する。このとき、最小距離の点と最大距離（ただし無限遠は除く）の
点の２点を選択すれば、画像中のほとんどの物体を含むように距離範囲を設定できる。図４（ｂ）の右側は最小距離と最大距離の２点が選択された様子を示している。もちろん２点の選び方はどのように定めてもよい。例えば、画像中央の点（画像の中央には重要な被写体が写っている可能性が高いため）と最大距離の点を選択してもよい。或いは、最小距離の点と中間の距離の点を選択してもよい。このような方法により、画像に基づき自動で距離範囲を決定できるので、ユーザの指定の手間を省くことができる。

また、距離範囲の下限と上限の値をユーザに入力させてもよい。例えば、図４（ｃ）のような設定入力画面を表示部１６に表示し、距離範囲の下限と上限の数値を入力させるか、リストから選択させることで、距離範囲を直接設定できる。

或いは、図４（ｄ）のように基準位置に対する相対距離で範囲指定できるようにしてもよい。相対距離とは、基準位置を中心とする範囲（例：基準位置±５ｍ）、基準位置から奥側の距離（例：基準位置＋１０ｍ）、基準位置から手前側の距離（例：基準位置−７ｍ）、手前側と奥側それぞれの距離（例：基準位置−３ｍ〜＋８ｍ）などである。基準位置は固定でもよいし、ユーザに指定させてもよい。例えば、ユーザがピントを合わせた被写体の位置を基準位置に選ぶことができる。

＜第２実施形態＞
次に、本発明の第２実施形態について説明する。第２実施形態は、合焦画像を距離計測用画像の一つとして利用する点と、合焦画像のフォーカス位置を距離範囲ｒの下限（又は上限）に設定する点が、第１実施形態と異なる。以下、第１実施形態と異なる部分を中心に説明する。撮像装置１の構成は第１実施形態のものと同様のため、同一の符号を用いて
説明を行う。

図５と図６（ａ）、図６（ｂ）を用いて、撮像装置１の距離計測に関わる動作を説明する。図５は、第２実施形態の距離計測の流れを示すフローチャートである。図６（ａ）、図６（ｂ）は、距離範囲の指定と撮影条件の設定について説明するための図である。

ユーザが、入力部１５を操作して距離計測の実行を指示すると、撮像素子１１から画像の取り込みが開始され、その画像が表示部１６に順次表示される（ステップＳ５０）。図６（ａ）は表示部１６に表示された画像の一例を示している。画像には、手前から順に、人物３１と家３２が写っている。以下、人物３１にピントが合った合焦画像と、人物３１から家３２までの間の距離情報とを取得するためのユーザ操作及び撮像装置１の処理を説明する。

まず、距離範囲指定部１３２が、ユーザに対し最長位置（距離範囲の上限）の指定を要求する（ステップＳ５１）。例えば、表示部１６に「一番奥の物体にピントを合わせてください」というガイドメッセージをオーバーレイ表示すればよい。ユーザがオートフォーカスの測距点を家３２の部分に合わせると、制御部１２が自動焦点合わせを行う（ステップＳ５２）。これにより、撮像光学系１０から家３２までの物体距離s_farを取得するこ
とができる。

その後、距離範囲指定部１３２は、表示部１６に「撮影してください」というガイドメッセージを表示し、合焦画像の撮影を促す。ユーザが所望の被写体（人物３１）にピントを合わせてシャッタボタンを押下すると、制御部１２が人物３１までの物体距離s_nearを取得する（ステップＳ５３）。このように本実施形態では、合焦画像の被写体位置を距離範囲ｒの下限（最短位置）として利用することで、距離範囲の指定操作を簡略化している。

次に、距離範囲指定部１３２が、ステップＳ５２、Ｓ５３で得られた２点の物体距離s_near、s_farをもとに、距離計測の対象となる距離範囲の設定を行う（ステップＳ５４）
。具体的には、距離範囲指定部１３２は、第１実施形態と同様、物体距離s_near、s_far
を像面側の距離s'_near、s'_farに換算し、s'_nearを距離範囲の下限、s'_farを距離範囲の上限に設定する。

次に、撮影条件決定部１３３が、s'_nearとs'_farで指定された距離範囲ｒ（＝s'_near−s'_far）が、計測可能範囲に収まるように、Ｆ値とフォーカスブラケット（ＦＢ）量を決定する（ステップＳ５５）。図６（ｂ）に示すように、本実施形態では距離範囲の下限s'_near、合焦画像のフォーカス位置fp_target、手前側の距離計測用画像のフォーカス位置fp_nearが同じになるため、第１実施形態に比べて計測可能範囲が狭くなることに注意
する必要がある。具体的には、図６（ｂ）から分かるように、計測可能範囲は、ＰＳＦピーク値のデフォーカス特性における前後の１次極小値の間隔の１／２となる（フォーカスブラケット量には依存しない）。ＰＳＦピーク値のデフォーカス特性における前後の１次極小値の間隔は約１５Ｆ^２λであるから、第２実施形態の計測可能範囲Ｒ’は、Ｒ’＝約７．５Ｆ^２λとなる。

例えば、撮像光学系１０の焦点距離をｆ＝１０ｍｍ、人物３１の物体距離をs_near＝−１０００ｍｍ、家３２の物体距離をs_far＝−１００００ｍｍとすると、s'_nearとs'_farは、
s'_near＝１０．１０１ｍｍ
s'_far＝１０．０１０ｍｍ
となり、距離範囲ｒは、
ｒ＝s'_near−s'_far＝０．０９１ｍｍ
となる。

距離範囲ｒが計測可能範囲Ｒ’に収まる（ｒ≦Ｒ’）ようにするには、
ｒ≦７．５Ｆ^２λ
を満足するようにＦ値を設定すればよい。上式に、ｒ＝０．０９１ｍｍ、λ＝５５０ｎｍを代入すると、
Ｆ＞４．７０
となる。４．７０より大きく且つ撮像光学系１０で設定可能なＦ値として、例えば
Ｆ＝５．０
に決定する。

そして、Ｆ＝５．０、ｋ＝３．３、λ＝５５０ｎｍ、を式７に代入することで、フォーカスブラケット量が、
ＦＢ＝３．３×Ｆ^２λ＝４５μｍ
と決まる。

続いて、撮影条件決定部１３３は、距離計測用画像のフォーカス位置fp_farを計算する（ステップＳ５６）。図６（ｂ）から分かるように、手前側の距離計測用画像のフォーカス位置fp_nearは距離範囲の下限s'_nearと同じであるため、フォーカス位置fp_farは、
fp_far＝fp_near−ＦＢ＝１０．０５６ｍｍ
と決まる。

撮影条件が確定したら、制御部１２がＦ値を自動で切り替え、フォーカス位置fp_targetにて合焦画像を取り込み、フォーカス位置fp_farにて距離計測用画像を取り込む（ステ
ップＳ５７）。すなわち、上記撮影条件にしたがって２枚の画像が取り込まれ、メモリ１３１に蓄積される。その後の処理は第１実施形態のものと同様である。

以上述べた本実施形態の構成によっても、第１実施形態と同様の作用効果が得られる。加えて、本実施形態では、２枚の画像を撮影するだけでよいので、処理時間の短縮を図ることができる。また、合焦画像の被写体にピントを合わせる操作が、距離範囲を指定する操作を兼ねているため、操作が簡略化されるという利点もある。

なお、上記では、合焦画像の被写体位置から奥側に距離範囲を設定したが、逆に、被写体位置から手前側に距離範囲を設定してもよい。その場合は、ユーザに最短位置を指定させればよい。また、本実施形態でも、第１実施形態と同様、撮影条件テーブルを用いて撮影条件を決定することもできる。被写体位置や最長位置（又は最短位置）の指定方法も上記の方法に限らず、どのような方法を用いても構わない。

＜第３実施形態＞
次に、本発明の第３実施形態について説明する。第１実施形態では、指定された距離範囲ｒが計測可能範囲Ｒを超えている場合に、距離範囲の再指定をユーザに要求するようにした。これに対し、第３実施形態では、距離範囲ｒを計測可能範囲Ｒよりも小さいｎ個の小範囲ｒ１〜ｒｎに分割し、各小範囲の距離算出を個別に行うことで、計測可能範囲Ｒよりも広い範囲ｒの距離計測を可能にする。以下、第１実施形態と異なる部分を中心に説明する。

図２のステップＳ２５の処理において、距離範囲指定部１３２は、距離範囲ｒと計測可能範囲Ｒとを比較する。ｒ≦Ｒであれば、第１実施形態と同じように処理するが、ｒ＞Ｒの場合には、距離範囲ｒを複数の小範囲に分割する。分割数ｎ及び各小範囲の幅ｒ１〜ｒ
ｎは、下記の条件を満たす限り、どのように決めてもよい。
ｒ１，・・・，ｒｎ≦Ｒ
ｒ１＋・・・＋ｒｎ≧Ｒ
ｎ＞１
その後、各々の小範囲に対し、図２のステップＳ２６、Ｓ２７の処理を行うことにより、各小範囲を計測するための距離計測用画像の撮影条件を決定する。以降の処理は、第１実施形態と同じである。

図７（ａ）〜図７（ｃ）は、分割のバリエーションの例を示している。図７（ａ）は、指定された距離範囲ｒをｎ個の小範囲に等分割する方法である。図７（ａ）の例では、２個の小範囲ｒ１、ｒ２に分割されている。図中の矢印（１）〜（４）の位置が距離計測用画像のフォーカス位置を示す。つまり、４枚の距離計測用画像を用いることで、像側で約２倍の距離範囲を計測できることが分かる。図７（ｂ）は、小範囲ｒ１とｒ２のあいだに重複部分（マージン）を設定した例である。図７（ａ）と比べると、重複部分の幅だけトータルの距離範囲ｒが狭くなるが、重複部分に該当する距離については、２つの小範囲ｒ１、ｒ２での算出結果を総合することで、精度の向上を図ることができる。特に、小範囲同士の境界部分ではＰＳＦピーク比の値がゼロに近づき、ノイズの影響を受けやすいため、重複部分を設けることの効果は大きい。図７（ｃ）は、隣接する２つの小範囲ｒ１、ｒ２において、距離計測用画像の一枚を共用する例である。すなわち、小範囲ｒ１の手前側の距離計測用画像を、小範囲ｒ２の奥側の距離計測用画像として用いるのである。この方法は、図７（ａ）、図７（ｂ）の方法に比べてトータルの距離範囲ｒが狭いが、撮影する画像の枚数を削減できるという利点がある。

以上述べた本実施形態の構成によっても、第１実施形態と同様の作用効果が得られる。加えて、本実施形態では、指定された距離範囲が２枚の画像で計測可能な範囲を超えている場合にも、距離範囲の全体にわたり精度良い距離計測が実現できるという効果もある。なお、図７（ａ）〜図７（ｃ）では、２つに分割する例を示したが、小範囲の数（分割数）はいくつでもよい。また小範囲の幅は小範囲ごとに異なっていてもよい。

＜他の実施形態＞
第１〜第３実施形態で述べた構成は、本発明の一具体例にすぎず、本発明をそれらの構成に限定する趣旨のものではない。例えば、上記実施形態では、ＰＳＦピーク比の値に基づいて距離を算出する方法を例示したが、本発明は他の距離算出方法に対しても適用できる。２枚の画像の撮影条件に応じてその２枚の画像から算出可能な距離の範囲が変化する特性をもつ距離算出方法であれば、本発明の効果は得られる。例えば、ＰＳＦピーク比ではなく、画像の相関から推定されるＰＳＦの相関量（正規化相互相関など）に基づき距離を算出する方法にも本発明を適用可能である。また、ボケの異なる２画像として、異なるフォーカス位置で撮影した２画像を用いたが、フォーカス位置は変えずにＦ値（絞り）を変えて撮影した２画像を用いることもできる。この方法の場合は、撮影条件として、フォーカス位置と２種類のＦ値を決定することとなる。

＜実装例＞
上述した本発明の距離計測技術は、例えば、デジタルカメラやデジタルカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュータを含む）にも本発明の技術を適用可能である。上記実施形態では撮像装置本体に距離計測の機能を組み込んだ構成を示したが、距離計測の機能はどのように構成してもよい。たとえば、撮像装置を有するコンピュータに距離計測の機能を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて距離の算出を行うようにして
もよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離計測の機能が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて距離算出を行うようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

１：撮像装置、１３：画像処理装置、１３２：距離範囲指定部、１３３：撮影条件決定部、１３４：距離算出部

Claims (16)

1. ボケの異なる複数の画像を用いて画像中の物体までの奥行き方向の距離を算出する画像処理装置であって、
   算出すべき距離の範囲を指定する距離範囲情報を取得する取得手段と、
   前記距離範囲情報で指定された範囲に基づいて、各画像の撮影条件を決定する決定手段と、
   前記決定手段で決定された撮影条件でそれぞれ撮影された複数の画像を用いて距離を算出する距離算出手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記距離算出手段による距離算出方法は、２枚の画像の撮影条件に応じてその２枚の画像から算出可能な距離の範囲が変化する特性を有する方法であり、
   前記決定手段は、前記距離範囲情報で指定された範囲が、前記２枚の画像から算出可能な距離の範囲に収まるように、各画像の撮影条件を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記距離算出手段による距離算出方法は、２枚の画像のＰＳＦのピーク値の比に基づいて距離を算出する方法である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記距離算出手段による距離算出方法は、２枚の画像のＰＳＦの相関量に基づいて距離を算出する方法である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記決定手段は、前記距離範囲情報で指定された範囲が２枚の画像から算出可能な距離の最大範囲を超えている場合に、前記距離範囲情報で指定された範囲を、２枚の画像から算出可能な距離の最大範囲よりも小さい複数の小範囲に分割し、各小範囲の距離算出に用いる各画像の撮影条件を決定する
   ことを特徴とする請求項２〜４のうちいずれか１項に記載の画像処理装置。
6. 前記決定手段は、前記距離範囲情報で指定された範囲が２枚の画像から算出可能な距離
   の最大範囲を超えている場合に、前記距離範囲情報で指定された範囲の距離算出が可能な撮影条件が無いことを示す結果を出力する
   ことを特徴とする請求項２〜４のうちいずれか１項に記載の画像処理装置。
7. 前記決定手段は、前記距離範囲情報で指定された範囲が狭いほど、２枚の画像を撮影するときのＦ値を小さくする
   ことを特徴とする請求項２〜６のうちいずれか１項に記載の画像処理装置。
8. 前記決定手段は、Ｆ値を変更できない場合に、前記距離範囲情報で指定された範囲が狭いほど、２枚の画像のフォーカス位置の差であるフォーカスブラケット量を大きくする
   ことを特徴とする請求項２〜６のうちいずれか１項に記載の画像処理装置。
9. 撮像手段と、請求項１〜８のうちいずれか１項に記載の画像処理装置と、を有し、
   前記撮像手段が、前記画像処理装置で決定された撮影条件に従って複数の画像を撮影し、
   前記画像処理装置が、前記撮像手段で撮影された前記複数の画像を用いて画像中の物体までの奥行き方向の距離を算出する
   ことを特徴とする撮像装置。
10. 算出すべき距離の範囲をユーザに指定させる範囲指定手段を有する
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記範囲指定手段は、
    前記撮像手段から取り込まれた画像を表示部に表示して、表示した画像中の２点をユーザに指定させる手段と、
    前記指定された２点に対しそれぞれ自動焦点合わせを行うことにより、前記２点の奥行き方向の距離を取得する手段と、
    前記２点の距離のうち短い方を下限、長い方を上限とする範囲を、前記算出すべき距離の範囲として設定する手段と、を有する
    ことを特徴とする請求項１０に記載の撮像装置。
12. 前記範囲指定手段は、
    自動焦点合わせの操作をユーザに２回行わせることにより、２点の奥行き方向の距離を取得する手段と、
    前記２点の距離のうち短い方を下限、長い方を上限とする範囲を、前記算出すべき距離の範囲として設定する手段と、を有する
    ことを特徴とする請求項１０に記載の撮像装置。
13. 前記範囲指定手段は、
    前記算出すべき距離の範囲の下限と上限をユーザに入力させる手段を有する
    ことを特徴とする請求項１０に記載の撮像装置。
14. 前記範囲指定手段は、
    基準位置に対する相対距離によって前記算出すべき距離の範囲を指定させる手段を有する
    ことを特徴とする請求項１０に記載の撮像装置。
15. ボケの異なる複数の画像を用いて画像中の物体までの奥行き方向の距離を算出する画像処理方法であって、
    算出すべき距離の範囲を指定する距離範囲情報を取得するステップと、
    前記距離範囲情報で指定された範囲に基づいて、各画像の撮影条件を決定するステップと、
    前記決定された撮影条件でそれぞれ撮影された複数の画像を用いて距離を算出するステップと、を有する
    ことを特徴とする画像処理方法。
16. 請求項１５に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
    

Images