JP6157249B2 - 撮像装置、距離情報取得方法およびプログラム - Google Patents

Description

本発明は、フォーカス位置を変えて撮影した複数の画像から被写体までの距離を計測する技術に関する。

従来、撮像装置によって取得された画像から撮影シーンの距離を取得する手法として特許文献１のようなＤｅｐｔｈ ｆｒｏｍ Ｄｅｆｏｃｕｓ（ＤＦＤ）法が提案されている。ＤＦＤ法では撮像光学系の撮影パラメータを制御することでボケの異なる複数の画像を取得し、複数の取得画像において測定対象画素およびその周辺画素を用いて互いのボケの大きさや相関量を算出する。
このボケの大きさや相関量は画像中の被写体までの距離に応じて変化するため、その関係を用いて距離を算出する。ＤＦＤ法による距離計測は、１つの撮像系によって距離を算出することできるため、市販されている撮像装置に組み込むことが可能といった利点を有する。

特開平０１−１６７６１０号公報 特許第４４０３４７７号公報

従来のＤＦＤ法は、撮像光学系によるボケの大きさが被写体までの距離に応じて変化することを利用し、複数画像のボケの大きさに基づき被写体の距離情報を推定している。このとき各画像の撮影条件が分かっていれば理論上は距離の算出が可能であるため、特許文献１、２においては好ましい撮影条件は特に言及されていない。しかしながら、本発明者らが研究を進めるなかで、取得する複数画像の撮影条件をどのように設定するかが、距離の推定精度（計測精度）や計測可能範囲に影響を与えること、また撮像光学系の特性に依存して好ましい撮影条件が異なることなどが分かってきた。

そこで本発明の目的とするところは、フォーカス位置を変えて撮影した複数の画像から被写体の距離情報を取得する撮像装置において、光学系の特性及び／又は距離計測の目的に応じた適切な撮影条件を設定するための技術を提供することにある。

本発明の第１態様は、第一のフォーカス位置で被写体を撮像することで第一の画像を取得し、且つ、該第一のフォーカス位置と異なる第二のフォーカス位置で前記被写体を撮像することで該第一の画像とボケが異なる第二の画像を前記第一の画像を取得した後に取得する撮像手段と、前記第一の画像と前記第二の画像のボケの違いに基づいて前記被写体の距離情報を決定する距離情報決定手段と、前記第一のフォーカス位置と前記第二のフォーカス位置の差であるフォーカス移動量が以下の式を満たすように、前記第二のフォーカス位置を設定するフォーカス位置設定手段と、を有することを特徴とする撮像装置を提供するものである。
ｄ＝ｋＦ^２λ，−１６≦ｋ≦１６，ｋ≠０
ただし、ｄ：像面におけるフォーカス移動量、ｋ：係数、Ｆ：Ｆ値、λ：第一及び第二の画像の撮像に用いる光の波長、である。
本発明の第２態様は、第一のフォーカス位置で被写体を撮像することで第一の画像を取得し、且つ、該第一のフォーカス位置と異なる第二のフォーカス位置で前記被写体を撮像
することで該第一の画像とボケが異なる第二の画像を前記第一の画像を取得した後に取得する撮像手段と、前記第一の画像と前記第二の画像のボケの違いに基づいて前記被写体の距離情報を決定する距離情報決定手段と、前記第一のフォーカス位置と前記第二のフォーカス位置の差であるフォーカス移動量が以下の式を満たすように、前記第二のフォーカス位置を設定するフォーカス位置設定手段と、を有することを特徴とする撮像装置を提供するものである。
−１６×５８７．５６ｎｍ×Ｆ ^２ ≦ｄ≦１６×５８７．５６ｎｍ×Ｆ ^２ ，ｄ≠０
ただし、ｄ：像面におけるフォーカス移動量、Ｆ：Ｆ値である。

本発明の第３態様は、第一のフォーカス位置で被写体を撮像することで第一の画像を取得する第一の撮像ステップと、前記第一の撮像ステップの後、該第一のフォーカス位置と異なる第二のフォーカス位置で前記被写体を撮像することで該第一の画像とボケが異なる第二の画像を取得する第二の撮像ステップと、前記第一の画像と前記第二の画像のボケの違いに基づいて前記被写体の距離情報を決定する距離情報決定ステップと、を含む距離情報取得方法であって、前記第一のフォーカス位置と前記第二のフォーカス位置の差であるフォーカス移動量が以下の式を満たすように、前記第二のフォーカス位置が設定されていることを特徴とする距離情報取得方法を提供するものである。
ｄ＝ｋＦ^２λ，−１６≦ｋ≦１６，ｋ≠０
ただし、ｄ：像面におけるフォーカス移動量、ｋ：係数、Ｆ：Ｆ値、λ：第一及び第二の画像の撮像に用いる光の波長、である。
本発明の第４態様は、第一のフォーカス位置で被写体を撮像することで第一の画像を取得する第一の撮像ステップと、前記第一の撮像ステップの後、該第一のフォーカス位置と異なる第二のフォーカス位置で前記被写体を撮像することで該第一の画像とボケが異なる第二の画像を取得する第二の撮像ステップと、前記第一の画像と前記第二の画像のボケの違いに基づいて前記被写体の距離情報を決定する距離情報決定ステップと、を含む距離情報取得方法であって、前記第一のフォーカス位置と前記第二のフォーカス位置の差であるフォーカス移動量が以下の式を満たすように、前記第二のフォーカス位置が設定されていることを特徴とする距離情報取得方法を提供するものである。
−１６×５８７．５６ｎｍ×Ｆ ^２ ≦ｄ≦１６×５８７．５６ｎｍ×Ｆ ^２ ，ｄ≠０
ただし、ｄ：像面におけるフォーカス移動量、Ｆ：Ｆ値である。

本発明の第５態様は、上記した本発明に係る距離情報取得方法の各ステップをコンピュータに実行させることを特徴とするプログラムを提供するものである。

本発明によれば、フォーカス位置を変えて撮影した複数の画像から被写体の距離情報を取得する撮像装置において、光学系の特性及び／又は距離計測の目的に応じた適切な撮影条件を設定することができる。

本発明の実施例１に係る撮像装置の構成を示す図。 ＰＳＦの断面をプロットした図。 ＰＳＦピーク値のデフォーカス特性を示す図。 実施例１に係るＰＳＦピーク比の特性を示す図。 フォーカス移動量の変化に伴うＰＳＦピーク比の変化を示す図。 距離計測範囲とＰＳＦピーク比の値域のフォーカス移動量依存性を示す図。 フォーカス移動量とＦ値の関係を示す図。 距離計測範囲のフォーカス移動量依存性を示す図。 実施例２に係るＰＳＦピーク比の特性を示す図。 ＰＳＦピーク比の傾きのフォーカス移動量依存性を示す図。 ＰＳＦ相関量のデフォーカス特性を示す図である。 実施例６に係るＰＳＦ相関量の特性を示す図である。 距離計測範囲、ＰＳＦ相関量のフォーカス移動量依存性を示す図。 フォーカス移動量に伴う評価値の変化を示す図である。 物体距離および像面距離の関係を示す図である。 フォーカス移動量最大時のＰＳＦピーク比の特性を示す図。

本発明は、フォーカス位置を変えて撮影した２枚以上の画像を用い、それらの画像のボケの違いに基づいて被写体の距離情報を取得するための技術に関し、いわゆるＤＦＤ法の改良を提案するものである。本発明者らは、フォーカス位置の異なる複数の画像から各画素における距離推定を行う場合、各画像のフォーカス位置をどのように設定するかが、距離の推定精度や計測可能な距離範囲の広狭に影響を与え得ることを見出した。また撮像装置の光学系の特性に依存して、フォーカス位置の好ましい条件が変化することも見出した。そこで本明細書では、撮像装置の光学系の特性に依存して、距離推定に用いる画像のフォーカス位置の条件を設計することを提案する。また、光学系の特性が変わる撮像装置の場合には（ユーザが明示的に変更する場合もあれば、撮像装置が撮影モードや環境に応じて自動で変更する場合もある。）、それに応じて、フォーカス位置の条件を自動で変更することを提案する。

以下、本発明におけるフォーカス位置の条件設定の基本的な考え方を説明し、その後、いくつかの実施例を挙げて距離計測の目的に応じた具体的な条件について例示的に説明する。なお、本発明における被写体の距離情報とは、２画像のフォーカス位置の中間位置から被写体までの相対的な距離、もしくはどちらか１画像のフォーカス位置から被写体までの相対的な距離、撮影時の撮像装置から被写体までの絶対距離であってもよい。なお、絶対距離あるいは相対距離は、像面側での距離、物体側での距離のどちらであってもよい。

＜フォーカス位置の条件設定＞
図１は、撮像光学系の構成と距離推定用の画像を撮影するときのフォーカス位置を模式的に示している。距離推定を行う場合、まず光学系を第一のフォーカス位置に合わせ（例えば、実線で示される光路）、被写体を撮像する。続いて、光学系を第二のフォーカス位置に変更し（例えば、破線で示される光路）、同じ被写体を撮像する。これによりボケが異なる２枚の画像が得られる。

このとき、本発明では、第一のフォーカス位置と第二のフォーカス位置との差（フォーカス移動量と呼ぶ）を、光学系のＦ値（Ｆ）と、画像の撮像に用いる光の波長（λ）とから、以下のように決める。なお、下記式におけるフォーカス移動量は像面側の移動量であり、図１においてｄで示される距離である。また、第一のフォーカス位置（像面の位置）を０とする。

式１は、光学系のＦ値が大きい場合は、Ｆ値が相対的に小さい場合に比べ、フォーカス移動量ｄの絶対値を大きくすべきことを示している。

さらに、フォーカス移動量ｄは、比例係数ｋを用いて、下記の式２を満たすように設定されることが好ましい。

＜条件式の意義＞
ＤＦＤ法の基本原理は、撮影条件の異なる複数の画像からボケの変化を抽出することで被写体の距離情報（各画素における距離情報）を推定するというものである。以下では、被写体の距離情報は、特に指定がない限り、像面側でのフォーカス位置からの相対距離の例で説明する。また、画像間のボケ変化の度合いは、撮像光学系の特性、すなわち撮像光学系の被写界深度に依存する。つまり、被写界深度が浅いとフォーカス移動量が小さくても十分なボケ変化が得られるが、被写界深度が深いとフォーカス移動量を大きくしなければ十分なボケ変化が得られない。被写界深度はＦ^２λに比例するため、式１、式２のようにフォーカス移動量ｄを決めることで、所望のボケ変化が得られるようになる。

次に式２における係数ｋの値と距離計測の関係を説明する。この係数ｋは、距離の計測精度（分解能）や計測可能な距離範囲（単に距離計測範囲ともいう）を調整するためのパラメータとして用いることができる。本発明者はシミュレーションと実験により好ましい係数ｋの範囲を以下のように見出した。

式２に示すように、係数ｋは、−１６≦ｋ≦１６（ｋ≠０）の範囲の値であるとよい。ｋが−１６よりも小さいか＋１６よりも大きい場合は、被写体のボケが大きくなり、計測精度が低下するからである。なお、ｋ＝０が除外されているのは、同じフォーカス位置の画像からはボケの違いが得られないからである。式２の係数ｋの範囲は、距離計測の指標として、ボケの拡がり（大きさ）ではない指標（例えばＰＳＦのピーク変化又はＰＳＦの相関などの指標）を用いる場合に、特に有効となる。ボケの拡がりを評価する方法の場合、式２で規定されるフォーカス移動量ｄではボケが小さすぎ、計測精度の低下を招くおそれがあるからである。

距離計測の目的が、距離の２層分離、つまり被写体が特定の距離範囲に含まれるか否かを判定するというものである場合、係数ｋは、−１６≦ｋ＜−８，８＜ｋ≦１６の範囲の値に設定するとよい。係数ｋの絶対値が式２で示した上限値の１６に近いほど距離計測範囲が狭まるため、対象となる被写体が特定の距離範囲に存在するか否かの判定に適するからである。

一方、距離計測の目的が、距離の多層分離、つまり被写体が３つ以上の距離範囲のうちのいずれに含まれるかを判定するというものである場合、係数ｋは、−８≦ｋ＜０，０＜ｋ≦８の範囲の値に設定するとよい。係数ｋの絶対値が小さいほど距離計測範囲が広がるため、２層以上の分離に適するからである。ただし、−１≦ｋ＜０，０＜ｋ≦１の範囲は、この範囲は距離計測範囲は広がる反面、距離分解能が低下してしまうため、より好ましくは、−８≦ｋ＜−１，１＜ｋ≦８の範囲の値である。

さらに、係数ｋが−４＜ｋ≦−２，２≦ｋ＜４の範囲の値であると好適である。この範囲では、距離計測範囲の広さと距離分解能のバランスが特に良好となり、広い距離範囲を高い精度で計測することが可能になるからである。

＜実施例１＞
図１は、本発明の実施例１に係る撮像装置の主要な構成を模式的に示している。
撮像装置１００は、撮像光学系１０、撮像素子１１、撮像部１２、フォーカス位置設定部１３および距離情報決定部１４を備える。本実施例に用いる撮像光学系１０は、単焦点の光学系でも可変焦点の光学系でもよく、画像を撮影する通常の撮像装置の撮像光学系に
より構成される。像面に配置されている撮像素子１１は、カラーフィルタを有する撮像素子でもよいし、モノクロの撮像素子でもよいし、３板式の撮像素子でもよい。

本実施例の撮像装置は、図１の実線で示した所望の物体距離にフォーカスを合わせて撮影した第一の画像と、図１の点線で示したフォーカス位置をずらした第二の画像とを撮影する。このときのフォーカス移動量は、図１中に示すｄであり、像面における光軸方向へのフォーカス位置の差となる。

撮像装置１００の動作を説明する。撮影が開始されると撮像部１２は、撮像光学系１０を駆動し被写体に合焦し第一の画像を撮影する。続いて撮像部１２は、フォーカス位置設定部１３によって設定されたフォーカス移動量ｄだけ像面が移動するように撮像光学系１０を駆動し、第二の画像を撮影する。

フォーカス位置設定部１３は、式２によって、撮影時のＦ値に応じて第一のフォーカス位置からの像面上での移動量ｄを設定する。式２の係数ｋについては、予め与えられているものとする。なお、ここではＦ値が可変の撮像装置を想定しているが、Ｆ値が固定の撮像装置の場合は式２によって予め設定されたフォーカス移動量ｄを撮像装置のメモリ内に保持しておくものとする。

撮像部１２によって撮影された前記第一の画像と第二の画像は、距離情報決定部１４に出力される。距離情報決定部１４は入力された２画像のボケの違いに基づいて被写体の距離情報を算出する。

表１に本実施例における撮影条件を示す。

表１の撮影条件の場合、式２から得られる最大のフォーカス移動量ｄの範囲は
−０．１５０ｍｍ＜ｄ＜０．１５０ｍｍ，ｄ≠０となる。よって表１記載のフォーカス移動量は式２を満たしている。なお、表１の撮影条件では係数ｋは２．１３に設定されている。

次に、本実施例の撮影条件におけるフォーカス移動量の設定基準に関して説明する。
フォーカス移動量は、ＰＳＦ（Point Spread Function）のピーク値（ＰＳＦの座標中
心でのＰＳＦの値）のデフォーカス特性を用いて距離計測する場合に適した値として設定している。本実施例では、収差の無い理想的な撮像光学系のＰＳＦを用いて説明するが、実際の撮像光学系においてもほぼ同様に扱うことができる。フォーカス位置での収差のない理想的なＰＳＦの形状は、ＰＳＦ中心の座標における値をピークとしてなだらかに減少していくガウス関数のような形状をしている。図２にＰＳＦの断面形状を実線で示す。しかし、デフォーカスするに従いＰＳＦ座標中心での値は低下し、形状は崩れていく。図２の点線はそれぞれ２０μｍ、４０μｍ、６０μｍ、８０μｍだけデフォーカスした場合のＰＳＦの断面を示している。

このＰＳＦの座標中心における値の２画像での相対的な変化を検出することでデフォーカス量を算出することができ、距離計測が可能となる。本明細書では、このＰＳＦの座標中心での値を「ＰＳＦのピーク値」として定義する。

次にＰＳＦピーク値のデフォーカス特性と距離計測の関係について説明する。前述したＰＳＦピーク値のデフォーカス特性に関して図３を用いて説明する。図３は表１に示す本実施例の撮影条件において、撮像光学系に収差が無い理想的な場合の像面におけるＰＳＦピーク値のデフォーカスに伴う変化を示した図である。

図３に示すように、ＰＳＦのピーク値はフォーカス位置で最大となり、デフォーカスするにしたがって低下し、ＳＩＮＣ関数のように振動しながら０へと近づいていく。このとき、フォーカス位置前後の最初に現れる極小値の付近までデフォーカスしていくと、図２の６０μｍや８０μｍだけデフォーカスさせた点線に示すように、ＰＳＦ座標の中心よりも周辺部の方の値が大きくなる場合が発生する。このように大きくデフォーカスさせた場合のピーク値は、フォーカス位置のピークに比べはるかに小さく、ノイズ等の影響を受け検出する際に不確定性が増すこととなる。

＜ＰＳＦピーク比＞
次に、ＰＳＦのピーク値から距離を算出する方法について説明する。
ＰＳＦピーク値のデフォーカス変化を撮影画像から求めることができれば距離を算出することが可能である。しかしながら、１枚の画像では、被写体の影響があるため、撮像光学系のＰＳＦのピーク値を求めることは困難である。そこで、被写体の影響を除くため撮影条件を変えて撮影した複数の画像を用いる。被写体の影響を相殺するためには比をとるのが良い。具体的には、理論的に求めた撮像光学系のＰＳＦピーク値の比のデフォーカス特性と、実際に撮影して得た２枚の画像から求めた値との対応をとることで距離計測を行うことができる。

図４は、表１の撮影条件から理論的に求めた、２画像それぞれのＰＳＦピーク値のデフォーカス特性とＰＳＦピーク比のデフォーカス特性を示している。横軸は像面側のフォーカス位置である。図４において実線で示した曲線は、フォーカス位置の異なる２つのＰＳＦのピーク値の比のデフォーカス特性を示している。点線で示した２つの曲線は、フォーカス位置の異なる２つのＰＳＦのピーク値のデフォーカス特性である。ただし、ここではフォーカス位置が無限遠で収差のない理想的な撮像光学系によるＰＳＦの場合を示している。

ピーク比をとる際は、ピーク値の大きい方を分母とすることで正規化している。その結果、ＰＳＦピーク比は、最大値が１となり、２つのフォーカス位置の中間位置にピークを持ち、ピークから離れるに従い値が低下していく対称な曲線となる。

以上より、ＰＳＦピーク比を算出することで２画像のフォーカス位置の中間位置からの相対的な距離を求めることができる。このとき、どちらのＰＳＦピーク値で正規化したかによりピーク前後の区別も可能となる。

また、ＰＳＦピーク比から物体側での距離Ｚｏを求めるためには、まずＰＳＦピーク比の値から像面上でのフォーカス位置からのデフォーカス量Ｚｉを求める。次に焦点距離ｆおよび物体距離ｓから、

より像面側距離ｓ’を求め、デフォーカス量Ｚｉ用いて、

より物体側の距離に変換する。これらの関係を図１５に示す。

＜画像からのＰＳＦピーク比算出方法＞
実際に撮影して得られた２画像からＰＳＦピーク比を計算する方法について説明する。２画像において対応する局所領域Ｉ１とＩ２は、シーンｓとＰＳＦ１およびＰＳＦ２の畳み込みで表される。フーリエ変換した前記領域をＦＩ１、ＦＩ２とし、シーンｓのフーリエ変換をＳとすると、この比は、

となる。ここでＰＳＦをフーリエ変換した光学伝達関数をＯＴＦとし、２つのＯＴＦの比をＯＴＦｒとする。このＯＴＦｒは、式５に示すようにシーンＳが打ち消されることでシーンに依存しない値となる。

このＯＴＦｒからＰＳＦのピーク比ＰＳＦｒを求めるには、以下の数式に示すようにＯＴＦｒの平均値を求めればよい。ＰＳＦのピークが画像Ｉ１、Ｉ２の中心にあるとすると、ＰＳＦピーク比ＰＳＦｒは、

成り立つ。これを離散的に表現すると、

となる。

式７により画像から算出されたＰＳＦピーク比ＰＳＦｒを、図４に示すようなＰＳＦピーク比のデフォーカス特性に当てはめることで、画像Ｉ１とＩ２に写っている被写体のデフォーカス量、すなわち距離情報を得ることができる。

＜距離計測範囲＞
続いてＰＳＦピーク比を用いた距離計測における距離計測範囲に関して図４を用いて説明する。
図４の実線で示すように、ＰＳＦピーク比のデフォーカス特性は、異なる二つのフォーカス位置の中間位置から徐々に値が低下し極小値に達した後再び値は上昇しこれを繰り返す。これは図３に示すように、ＰＳＦピーク値のデフォーカス特性が振動しているためである。以下、ＰＳＦピーク値、ＰＳＦピーク比などのデフォーカス特性曲線における最大のピークを「最大ピーク」もしくは「１次ピーク」と呼び、最大ピークの前側と後側にそれぞれ最初に現れる極小値を「１次極小値」と呼ぶ。

図３のＰＳＦピーク値のデフォーカス特性を見れば分かるように、１次極小値以降のＰＳＦピーク値は、値が小さくノイズ等の影響を受けやすい。そのため比をとった際にばらつきが大きく信頼性が低い。よって信頼できる距離計測範囲は、ＰＳＦピーク比のデフォーカス特性（図４の実線）において、最大ピークの前側の１次極小値の位置から後側の１次極小値の位置までとするのが良い。図４の例では、−７５μｍ〜５５μｍの範囲となる。なお、図３における負方向を前側とする。

ここで、距離計測範囲を規定するＰＳＦピーク比の１次極小値の位置は、ＰＳＦピーク値のデフォーカス特性（図４の点線）の１次極小値の位置に依存する。図４に示すように前側のＰＳＦピーク比の１次極小値の位置は、フォーカス位置の異なる二つの画像のうち、フォーカス位置が後側の画像のＰＳＦピーク値の前側の１次極小値の位置に対応している。一方、後側のＰＳＦピーク比の１次極小値の位置は、フォーカス位置が前側の画像のＰＳＦピーク値の後側の１次極小値の位置に対応している。

よってＰＳＦピーク比を指標とした距離計測において、距離計測範囲はＰＳＦピーク値のデフォーカス特性の１次極小値の位置で決定することができる。つまり、フォーカス移動量によって距離計測範囲を設定可能なことを示している。

＜フォーカス移動量とＰＳＦピーク比の特性＞
次に、フォーカス移動量と距離計測範囲変化の関係、およびフォーカス移動量とＰＳＦピーク比の値域変化の関係に関して説明し、より最適なフォーカス移動量の設定に関して述べる。

図５（ａ）〜図５（ｆ）にフォーカス移動量を変えた場合のＰＳＦピーク値のデフォーカス特性と、ＰＳＦピーク比の変化を示す。フォーカス移動量は、２つのＰＳＦピーク値のデフォーカス特性（点線）の横軸方向の差で表されている。つまり、図５（ａ）から図５（ｆ）にいくに従って、フォーカス移動量を徐々に大きくしている。ここでは、２つのＰＳＦピーク値のデフォーカス特性の交点（点線の交点）における値が、ＰＳＦピーク値の最大値の９９．８％、９０％、７０％、５０％、２０％、５％となるように設定した例を示している。フォーカス移動量の増加に伴い、ＰＳＦピーク比（実線）の特性が変化することが分かる。具体的には、距離計測範囲（ＰＳＦピーク比の最大ピークの前側の１次極小値位置と後側の１次極小値位置の間の範囲）がフォーカス移動量が大きくなるに従って緩やかに狭くなっていくことが分かる。

同様に、ＰＳＦピーク比の値域（ＰＳＦピーク比の最大値と１次極小値の差）は、フォーカス移動量が大きくなるにつれて急激に広がりその後徐々に１に近づいていくことが分かる。ＰＳＦピーク比の値域が広いほど距離分解能が高く、ノイズ等の変動要因に対しての耐性が高くなり距離計測精度が向上する。

フォーカス移動量に伴う距離計測範囲の変化、およびＰＳＦピーク比の値域の変化をそれぞれ図６（ａ）、（ｂ）に示す。図６（ａ）において、横軸がフォーカス移動量であり、縦軸が像面側での距離計測範囲である。同様に図６（ｂ）において、横軸がフォーカス移動量であり、縦軸が値域である。ここでＰＳＦピーク比は正規化されているため値域の
最大値は１である。なお、フォーカス移動量が０の場合は距離計測できないため特異点となる。

＜最適なフォーカス移動量の指針＞
本実施例では、広い距離計測範囲と、高い距離分解能（広い値域）を両立できるように、フォーカス位置の条件を設定する。具体的には、距離計測範囲が最大範囲の８割以上となり、かつ値域が最大値域の９割程度以上となるように、フォーカス移動量を設定するのが良い。

値域を最大値域の９割程度以上に設定するのは、ＰＳＦピーク比のＳＮ比を向上させるためである。信号に数％のノイズが含まれることを考慮すると、ＰＳＦピーク比に対してノイズの２倍程度の誤差が発生する。このようにノイズの影響により等距離にある物体でもＰＳＦピーク比の値は異なった値となる。ここで、等距離上にある物体におけるＰＳＦピーク比の値が、幅σの中に収まるとすると、信頼できる距離の分割数はＰＳＦピーク比の値域を幅σで割った数となる。よってＰＳＦピーク比の値域が大きくなるほど信頼できる距離分解数は増えるため、値域を最大値域の９割程度以上にするのが好適である。

ＰＳＦピーク比において、値域は図６（ｂ）に示すようにフォーカス移動量が大きくなるほど大きくなる。しかしながら、距離計測範囲はフォーカス移動量が大きくなるほど低下していく（図６（ａ））。広い距離計測範囲を維持するためにはフォーカス移動量に限定を加える必要があり、最大範囲の８割以上にするのが良く、更には９割程度にするのが好適である。

本実施例の撮影条件で値域を９割以上とするには、フォーカス移動量の絶対値をおよそ０．０１ｍｍ以上とすればよい（図６（ｂ）参照）。また、最大距離計測範囲１４２μｍの８割にあたる１１４μｍ以上の距離計測範囲を得るには、フォーカス移動量の絶対値をおよそ０．０３６ｍｍ以下とすればよい（図６（ａ）参照）。すなわち、上記条件を満たすためには、フォーカス移動量を−０．０３６ｍｍ〜−０．０１ｍｍ又は０．０１ｍｍ〜０．０３６ｍｍの範囲に設定すればよい。

本実施例では、フォーカス移動量を−０．０２０ｍｍに設定し、値域が最大値域の９割程度以上、かつ距離計測範囲を最大範囲の９割とした。この条件を満たす本実施例の撮影条件は、フォーカス移動量が少ないため、撮影間隔を短くできる利点も生じる。また、フォーカス移動量が小さいことでＰＳＦピーク比の最大値も第一の画像のフォーカス位置に近く、フォーカス位置前後の距離計測が可能となるという利点もある。

＜Ｆ値依存性＞
本実施例の撮影条件では、フォーカス移動量ｄ＝−０．０２０ｍｍ、Ｆ値Ｆ＝４、波長λ＝５８７．５６ｎｍ、係数ｋ＝２．１３である。この係数ｋの値は、前述した距離計測範囲の広さと距離分解能のバランスが良好な条件である、２≦ｋ＜４を満足している。

本実施例の撮像装置において、撮影時のＦ値が変化した場合の最適なフォーカス移動量ｄを式２を用いて求めると表２のようになる。図７は、横軸にＦ値、縦軸にフォーカス移動量をプロットしたグラフである。

撮影時にユーザ操作により又は自動でＦ値が変更されると、フォーカス位置設定部１３が変更後のＦ値と予め決められた係数ｋの値を用い式２によってフォーカス移動量ｄを算出し、それに基づき第一及び第二のフォーカス位置を設定する。このとき、フォーカス位置設定部１３が式２の計算を実行してもよいが、表２に示したようなＦ値とフォーカス移動量の対応テーブルを予めメモリに格納しておき、変更後のＦ値に応じたフォーカス移動量をテーブルから読み出してもよい。また、係数ｋの値をユーザ操作によって変更できるようにしてもよい。その場合、フォーカス位置設定部１３が式２によりフォーカス移動量ｄを計算してもよいし、係数ｋごとのテーブルを用意してもよい。

なお、Ｆ値が固定の撮像装置の場合は、予め式２を満たすように設定された値でフォーカスを移動させればよい。また、Ｆ値が固定の撮像装置の場合でも、係数ｋの値をユーザ操作によって変更できるようにしてもよい。

＜波長決定＞
ここで式２は、波長を含む関数となっているため、フォーカス移動量は距離計測に用いる波長（つまり、第一及び第二の画像の撮像に用いる光の波長）で決めるのが好適である。撮像素子にカラーフィルタが配置されている場合は、波長によりぼけ方が異なるため色ごとに距離計測を行うのが好適である。その場合、カラーフィルタの中心波長を用いてフォーカス移動量を設定するのが良い。この場合、カラーフィルタの色の数だけフォーカス移動を行って撮影する必要がある。これを簡略化するため、例えばＲＧＢ画素配列の場合はＧ画素が多く配置されるためＧ画素を用いて距離計測を行うのが好適である。この場合は、フォーカス移動量の設定にはＧ画素フィルタの中心波長を使う。

また、カラーフィルタの無い撮像素子の場合は、可視光全域の波長が入射されるため撮像光学系の設計基準となる波長を用いるのが良い。これは、一般に設計波長において収差が良好に補正されているためである。本実施例では、撮像光学系の設計基準として一般的に使用されるｄ線（５８７．５６ｎｍ）を用いた。

＜フォーカス移動方向＞
ここまではフォーカス移動量について説明したが、続いてフォーカス移動方向に関して図８を用いて説明する。
図８（ａ）の０の位置が第一の画像の像面におけるフォーカス位置とすると、第一の画像のＰＳＦのデフォーカス特性は０位置をピークとした点線のようにガウス関数形状となる（１次極小値までの形状）。

ここで、第一の画像のフォーカス位置より無限遠側に距離計測範囲を広げたい場合は、第二の画像のフォーカス位置を無限遠側に移動させる。このときのフォーカス位置は像面
では負方向へ移動する（図８（ａ）のもう一方の点線）。これにより、ＰＳＦピーク比のピークは図８（ａ）の実線で示すように負方向へ移動する。このとき負方向に距離計測範囲が広がることが分かる。
一方、第一の画像のフォーカス位置より撮像装置側に距離計測範囲を広げたい場合は、第二の画像のフォーカス位置を撮像装置側に移動させる。図８（ｂ）に示すように、第二の画像のフォーカス位置を像面で正方向へ移動させることで距離計測範囲も正方向に広がる。
本実施例では、第二の画像のフォーカス位置を第一の画像のフォーカス位置より負方向に移動させることにより、物体側でフォーカス位置より無限遠方向の計測範囲を拡げている。

＜三枚撮影＞
本実施例では、所望のフォーカス位置での画像と、フォーカス位置を移動させた画像の２画像を用いて距離を計測する場合のフォーカス移動量について説明してきた。この条件の場合、ＰＳＦピーク比を求めると、ＰＳＦピーク比のピークは所望のフォーカス位置にはなく、２画像のフォーカス位置の中間位置に生じる。この結果は、ＰＳＦピーク比を距離に変換せずに、直接相対的な距離情報として利用する場合には向かない。ＰＳＦピーク比を相対的距離情報としてそのまま利用する場合には、所望のフォーカス位置に対し前後にずらして一枚ずつ撮影するのが好適である。この場合の前後の２枚のフォーカス位置の差は、本実施例のフォーカス移動量とし、２画像から得られるＰＳＦピーク比のピークが所望のフォーカス位置になるように移動させるのが好適である。これにより、算出したＰＳＦピーク比を直接相対的な距離情報として利用することが可能となる。

以上より、所望のフォーカス位置及びその前後のフォーカス位置の計３画像を撮影することにより、所望のフォーカス位置での相対的な距離変化を直接的に求めることが可能となる。

なお、フォーカス用の画像は距離計測用画像を撮像した後に撮影しても良いが、予め計測される距離範囲が既知であり、かつ距離計測用の画像の中間にフォーカス位置があるため、距離計測用画像を撮影する途中に連続して撮影するのが好適である。
また、本実施例で規定した２画像間のフォーカス移動量で複数枚撮影し、２画像ごとの距離計測を繰り返し実施することで、より広い範囲の距離計測を行うことも可能である。

以上のように、本実施形態による撮像装置では、ＰＳＦピークのデフォーカス特性を用いたＤＦＤ法による距離情報取得において、撮像時のフォーカス移動量をＦ値に応じて決定し、複数枚撮影を行うことができる。これにより、常に距離計測に最適なフォーカス位置の異なる複数枚の画像を撮影することが可能となる。

＜実施例２＞
実施例２にかかる撮像装置は、実施例１に示す撮像装置と同様の構成である。構成は同様であるが、フォーカス移動量を設定するための方針（具体的には係数ｋの設定値）が異なる。

本実施例では、被写体がある特定の距離範囲内に存在するかどうかを判定（２層分離）するのに適したフォーカス位置の条件に関して説明する。２層分離を行う場合には、距離計測範囲が狭いほうが有利である。表３に本実施例の撮影条件を示す。

本実施例の撮影条件では、距離計測範囲を狭めるため、Ｆ値を小さくし、かつフォーカス移動量（絶対値）を大きくしていることが特徴となる。

距離計測範囲を狭くするには、図６（ａ）に示したように、フォーカス移動量を大きくとればよい。しかしながら、フォーカス移動量をあまりに大きくしすぎると、ＰＳＦピーク比の信頼性が低下するという問題が生じる。そこで、フォーカス移動量の最大値を次のように制限する。

図４に示したように、ＰＳＦピーク値は、フォーカス位置で最大となり、デフォーカスするにしたがって低下し、フォーカス位置からのデフォーカス量が所定量（図４の例では±７５μｍ）のときに１次極小値をとる。図１６に２つのＰＳＦピーク値の１次極小値の位置が重なった場合を示す。図１６の場合でも、ＰＳＦピーク比を算出することはできるが、互いのＰＳＦピーク値が低下した領域での比となり、ノイズ等の影響を受けやすく有効なＰＳＦピーク比を求めることができない。またこれ以上フォーカス移動量が大きくなった場合も同様に有効なＰＳＦピーク比を算出することができない。よって２つのＰＳＦピーク値の１次極小値が互いに重なる位置をフォーカス移動量の最大値とすべきである。この場合のフォーカス移動量は、Ｆ値が４の理想光学系の場合、１５０μｍと算出される。式２における係数ｋの値を算出するとｋ≒１６となる。

以上より、狭い距離計測範囲に適したフォーカス移動量は、式２において係数ｋを±１６もしくはそれに近い値にすることで得ることができる。実用的には、−１６≦ｋ＜−８，８＜ｋ≦１６の範囲の係数ｋを用いてフォーカス移動量を設定するとよい。

本実施例の撮影条件は、この条件を満たすように設定した撮影条件である。具体的には、ｋ＝１４．３としてフォーカス移動量を設定した。図９に本実施例の撮影条件におけるＰＳＦピーク比（実線）、および２つのフォーカス位置でのＰＳＦピーク値のデフォーカス特性（点線）を示す。

この条件の場合、距離計測範囲が１２μｍと狭く、ＰＳＦピーク比の値域も最大時の９割程度と広いため、狭い距離範囲を高精度に計測可能となる。しかし、ＰＳＦピーク比の距離計測範囲において、２つのフォーカス位置のＰＳＦピーク値が低い領域での比となり、ノイズ等の影響を受けやすくわずかな変動でＰＳＦピーク比の値が大きく変動する。そのため、算出したＰＳＦピーク比の信頼度が低く、値域が広くとも細かい距離分解が正確に行えない。

一方、距離計測範囲から外れた領域では、２つのうちの一方のＰＳＦピーク値が十分に大きいためＰＳＦピーク比は極めて低い値に抑えられる。よって、ＰＳＦピーク比がある閾値以上の場合とそれ以外に分けることで距離計測範囲のみを抽出可能となる。つまり、距離計測範囲のみを取り出す２層の距離分離、もしくは前後を区別した３層の距離分離を行うのに適している。なお、前記閾値は、距離計測最大範囲におけるＰＳＦピーク比の値以上に設定するのが良く、好ましくはＰＳＦピーク比の値域の２割程度とするのが良い。

なお、本実施例による距離計測では、２つのフォーカス位置の中間領域での距離計測となり、その距離計測範囲は撮影した画像のフォーカス位置と重複しない。よって、抽出した距離範囲にピントが合った画像が必要な場合は、フォーカス用画像も別途撮影しても良い。また、２枚の距離計測用画像とフォーカス用画像をフォーカス位置の変化順に連続的に撮影しても良い。

以上のように、本実施形態による撮像装置では、特定の距離範囲とそれ以外の範囲に分離するのに適した画像を撮影することが可能となる。

＜実施例３＞
実施例３にかかる撮像装置は、実施例１に示す撮像装置と同様の構成である。構成は同様であるが、フォーカス移動量を設定するための方針が異なる。

本実施例では、より広い距離範囲を計測するのに適したフォーカス移動量に関して説明する。表４に本実施例の撮影条件を示す。

本実施例の撮影条件では、より広い距離計測を行うためＦ値を大きくし、かつフォーカス移動量を小さくしていることが特徴となる。

距離計測範囲を広げたい場合は、図６（ａ）に示したように可能な限りフォーカス移動量を小さくするのが良い。しかしながら、図６（ｂ）に示したようにフォーカス移動量が小さいと値域も小さくなり距離分解能が低下する。また、値域が狭いため相対的にノイズの影響を受けやすく距離計測精度が低下する。よって広い距離計測範囲にする場合は、値域が最大の７割程度以上になる位置にフォーカス移動量を設定するのが良い。より好ましくは９割以上とするのが良い。

本実施例におけるフォーカス移動量は、値域が９割となる領域で設定している。本実施例の撮影条件の場合、数式２におけるｋの値を算出すると、ｋ＝０．２６６となり、式２で規定する係数ｋの範囲を満たしている。これは、特に係数ｋが０近傍の値における、広い範囲の距離計測に適したフォーカス移動量である。

以上のように、本実施例による撮像装置では、広い範囲の距離を計測する場合に適した画像を撮影することが可能となる。

＜実施例４＞
実施例４にかかる撮像装置は、実施例１に示す撮像装置と同様の構成である。構成は同様であるが、フォーカス移動量を設定するための方針が異なる。

本実施例では、所望のフォーカス位置での距離分解能を高めるための撮影条件に関して説明する。実施例１と同様に撮影枚数は、所望のフォーカス位置で撮影した第一の画像と、フォーカス位置をずらして撮影した第二の画像の二枚撮影とする。

距離分解能は、ＰＳＦピーク比の傾きが大きいほど高くなる。距離の差に対するＰＳＦピーク比の変化量が大きくなるからである。したがって、所望のフォーカス位置での距離分解能を最大とするには、そのフォーカス位置でのＰＳＦピーク比の傾きが最大となるようにフォーカス移動量を設定すればよい。図１０は、波長が５８７．５６ｎｍ、Ｆ値が４の場合の所望のフォーカス位置でのＰＳＦピーク比の傾きをプロットした図である。図１０の横軸はフォーカス移動量である。フォーカス移動量が±０．０３１ｍｍの時にＰＳＦピーク比の傾きが最大となっている。

この時、式２における係数ｋの値を算出すると、ｋ＝３．３０となる。実用的には、係数ｋを−４＜ｋ≦−２，２≦ｋ＜４の範囲に設定すれば、フォーカス位置において十分な距離分解能が得られる。以上のように、本実施例による撮像装置では、所望のフォーカス位置での距離分解能が最大となるような距離計測用の画像を撮影することが可能となる。

＜実施例５＞
実施例５にかかる撮像装置は、実施例１に示す撮像装置と同様の構成である。構成は同様であるが、フォーカス移動量を設定するための方針が異なる。本実施例では、所望のフォーカス位置（第一の画像のフォーカス位置）が距離計測範囲に含まれるように、フォーカス移動量を設定する。

図５（ａ）〜図５（ｆ）に示したように、フォーカス移動量が大きくなるほど距離計測範囲は狭くなっていく。図５（ａ）〜図５（ｄ）では、第一の画像のフォーカス位置（横軸が０μｍの位置）は距離計測範囲に含まれているが、図５（ｅ）〜図５（ｆ）のようにフォーカス移動量が大きくなると、第一の画像のフォーカス位置が距離計測範囲から外れてしまう。

ここで、ＰＳＦピーク値が１次極小値をとるときのデフォーカス量を極小デフォーカス量とよぶと、第一の画像のフォーカス位置が距離計測範囲に含まれるのは、フォーカス移動量（絶対値）が極小デフォーカス量より小さい場合である。言い換えれば、第一の画像のフォーカス位置を距離計測範囲に含めるには、式２で得られるフォーカス移動量ｄが極小デフォーカス量より小さくなるように係数ｋの値を選ぶ。

Ｆ＝４、λ＝５８７．５６ｎｍの場合の極小デフォーカス量は約０．０７５ｍｍであるため、フォーカス移動量ｄは−０．０７５ｍｍ〜＋０．０７５ｍｍ（０ｍｍは除く）の範囲に設定するとよい。このときの係数ｋの範囲は、−８≦ｋ≦８（ｋ≠０）である。

なお、フォーカス移動量が極小デフォーカス量に等しい場合は、距離計測範囲は、第一の画像のフォーカス位置から前後どちらか一方の側のみとなる。その方向は、第二の画像の撮影時にフォーカスを移動した方向に一致する。

＜実施例６＞
実施例６にかかる撮像装置は、実施例１に示す撮像装置と同様の構成である。構成は同様であるが、距離計測に用いる指標が異なる。表５に本実施例で用いた撮影条件を示す。

本実施例では、ＰＳＦピーク値ではなく、ＰＳＦの相関量を用いて距離計測を行う場合のフォーカス移動量の設定方法を説明する。
ＰＳＦの相関量を用いた距離計測は、２画像のＰＳＦの形状がどれだけ類似しているかを指標とする。

ＰＳＦの相関量を用いた距離計測の方法としては、例えば正規化相互相関が利用できる。正規化相互相関ＮＣＣは、二つの撮影画像の同じ部分領域をＣｆ１、Ｃｆ２として

より算出することができる。本実施例の撮影条件を用い、式８により得られるＰＳＦの相関量のデフォーカス特性を図１１に示す。図１１において実線で示した曲線は、本実施例の撮影条件で撮影したフォーカス位置の異なる２つのＰＳＦの正規化相互相関のデフォーカス特性を像面側位置でプロットした曲線である。点線で示した２つの曲線は、フォーカス位置の異なる２つＰＳＦの分散値の正規化したデフォーカス特性である。

続いてＰＳＦの相関量を用いた距離計測における距離計測範囲に関して図１１を用いて説明する。
図１１の実線で示すように、ＰＳＦの相関量のデフォーカス特性は、異なる二つのフォーカス位置の中間位置から徐々に値が低下し極小値に達した後再び値は上昇しこれを繰り返す。ＰＳＦ相関量のデフォーカス特性曲線の場合も、最大のピークを「最大ピーク」もしくは「１次ピーク」と呼び、最大ピークの前側と後側にそれぞれ最初に現れる極小値を「１次極小値」と呼ぶ。

＜フォーカス移動量とＰＳＦ相関量の特性＞
次に、フォーカス移動量と距離計測範囲変化の関係、およびフォーカス移動量とＰＳＦ相関量の値域変化の関係に関して説明し、より最適なフォーカス移動量の設定に関して述べる。

図１２（ａ）〜図１２（ｆ）にフォーカス移動量を変えた場合のＰＳＦ分散値のデフォーカス特性と、ＰＳＦ相関量（正規化相互相関値）の変化を示す。フォーカス移動量は、２つのＰＳＦ分散値のデフォーカス特性（点線）の横軸方向の差で表されている。つまり、図１２（ａ）から図１２（ｆ）にいくに従って、フォーカス移動量を徐々に大きくしている。ここでは、２つのＰＳＦ分散値のデフォーカス特性の交点（点線の交点）における値が、ＰＳＦ分散値の最大値の９５％、９０％、７０％、５０％、３０％、１０％となるように設定した例を示している。フォーカス移動量の増加に伴い、ＰＳＦ相関量（実線）の特性が変化することが分かる。具体的には、距離計測範囲（ＰＳＦ相関量の最大ピーク
の前側の１次極小値位置と後側の１次極小値位置の間の範囲）がフォーカス移動量が大きくなるに従って緩やかに狭くなっていくことが分かる。

同様に、ＰＳＦ相関量の値域（ＰＳＦ相関量の最大値と１次極小値の差）は、フォーカス移動量が大きくなるにつれて広がりその後また狭くなることが分かる。なお、ＰＳＦ相関量の値域は、広いほど距離分解能が高く、ノイズ等の変動要因に対しての耐性が高くなり距離計測精度が向上する。

フォーカス移動量に伴う距離計測範囲の変化、およびＰＳＦ相関量の値域の変化をそれぞれ図１３（ａ）、（ｂ）に示す。図１３（ａ）において、横軸がフォーカス移動量であり、縦軸が像面側での距離計測範囲である。なお、フォーカス移動量が０の場合は距離計測できないため特異点となる。
同様に図１３（ｂ）において、横軸がフォーカス移動量であり、縦軸が値域である。ここでＰＳＦ相関量は正規化されているため値域の最大値は１である。±０．０７８ｍｍ付近のフォーカス移動量の場合に値域が最大となる。
また、図１３（ｃ）に、第一の画像のフォーカス位置におけるＰＳＦ相関量の傾きのフォーカス移動量に伴う変化を示す。±０．０５４ｍｍ付近のフォーカス移動量の場合に傾きが最大となる。

フォーカス移動量を大きくするほどＰＳＦの分散値が低下した領域でのＰＳＦ相関量を求めることになる。この領域では、ＰＳＦが大きく広がっており、ＰＳＦ相関量はノイズによる影響を受けやすくなる。よってフォーカス移動量の最大値はある程度限定される。フォーカス移動量の最大値は、２つのＰＳＦ分散値の交点での値がＰＳＦ分散値の最大値から１／ｅ^２に低下する距離までとするのが良い。２つのＰＳＦ分散値の交点は２つのフォーカス位置の中点（つまりフォーカス移動量の半分）ゆえ、上記条件は、ＰＳＦ分散値が最大値の１／ｅ^２となるデフォーカス量の２倍よりもフォーカス移動量（絶対値）を小さくする、と言い換えることができる。これはレーザーのビームウェスト径の定義と同様の考えによるものである。この条件を満足するには、式２の係数ｋの値をおよそ１０以下にするとよい。

＜最適なフォーカス移動量の指針＞
本実施例では、距離計測範囲の広さと、値域の広さと、第一の画像のフォーカス位置での距離分解能の高さの３つが同時満足できるように、撮影条件を設定する。具体的には、距離計測範囲、値域、フォーカス位置でのＰＳＦ相関量の傾き、の３つを夫々正規化して加重平均をとり、評価値（スコア）を算出する。そして、この評価値を最大にするフォーカス移動量を設定する。本実施例では全て同じ重みにして評価した。この時の最適なフォーカス移動量が±０．０５５ｍｍである。この結果を図１４に示す。
本実施例の撮影条件は、フォーカス移動量ｄ＝−０．０５５ｍｍ、Ｆ値Ｆ＝４、波長λ＝５８７．５６ｎｍである。これらから式２の係数ｋの値を算出すると、ｋ＝５．８５となり、式２で規定する係数ｋの範囲を満足している。

本実施例では、ＰＳＦ相関量による距離計測の例として正規化相互相関を用いたが、他の方法でＰＳＦ相関量を算出しても良い。また、フォーカス移動量は、計測範囲、値域、フォーカス位置での相関値の傾きの少なくともいずれか一つを用いて設定するのが良い。

＜実装例＞
上述した本発明の距離計測技術は、例えば、ディジタルカメラやカムコーダなどの撮像装置、或いは撮像装置で得られた画像データに対し画像処理を施す画像処理装置やコンピュータなどに好ましく適用できる。また、このような撮像装置或いは画像処理装置を内蔵する各種の電子機器（携帯電話、スマートフォン、スレート型端末、パーソナルコンピュ
ータを含む）にも本発明の技術を適用可能である。上記実施例では撮像装置本体に距離情報決定部の機能を組み込んだ構成を示したが、距離情報決定部の機能はどのように構成してもよい。たとえば、撮像装置を有するコンピュータに距離情報決定部を組み込み、撮像装置で撮影した画像をコンピュータが取得して、それに基づいて距離算出を行うようにしてもよい。また、有線あるいは無線によりネットワークアクセス可能なコンピュータに距離情報決定部が組み込まれて、そのコンピュータがネットワークを介して複数枚の画像を取得し、それに基づいて距離算出を行うようにしてもよい。得られた距離情報は、例えば、画像の領域分割、立体画像や奥行き画像の生成、ボケ効果のエミュレーションなどの各種画像処理に利用することができる。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装とハードウェアによる実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各種処理を実現してもよい。また、本発明の全部又は一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。

１００：撮像装置、１０：撮像光学系、１１：撮像素子、１２：撮像部、１３：フォーカス位置決定部、１４：距離情報決定部

Claims (15)

1. 第一のフォーカス位置で被写体を撮像することで第一の画像を取得し、且つ、該第一のフォーカス位置と異なる第二のフォーカス位置で前記被写体を撮像することで該第一の画像とボケが異なる第二の画像を前記第一の画像を取得した後に取得する撮像手段と、
   前記第一の画像と前記第二の画像のボケの違いに基づいて前記被写体の距離情報を決定する距離情報決定手段と、
   前記第一のフォーカス位置と前記第二のフォーカス位置の差であるフォーカス移動量が以下の式を満たすように、前記第二のフォーカス位置を設定するフォーカス位置設定手段と、を有することを特徴とする撮像装置。
   ｄ＝ｋＦ^２λ，−１６≦ｋ≦１６，ｋ≠０
   ただし、ｄ：像面におけるフォーカス移動量、ｋ：係数、Ｆ：Ｆ値、λ：第一及び第二の画像の撮像に用いる光の波長、である。
2. 前記距離情報決定手段は、前記第一の画像から得られるＰＳＦのピーク値と前記第二の画像から得られるＰＳＦのピーク値の比に基づいて、前記距離情報を決定することを特徴とする請求項１に記載の撮像装置。
3. 前記撮像手段のＰＳＦのピーク値は、フォーカス位置で最大となり、デフォーカスするにしたがって低下し、前記フォーカス位置からのデフォーカス量が所定量のときに極小値をとる特性を有しており、
   前記フォーカス移動量の絶対値は、前記所定量よりも小さい値に設定されることを特徴とする請求項２に記載の撮像装置。
4. 前記距離情報決定手段は、前記第一の画像から得られるＰＳＦと前記第二の画像から得られるＰＳＦの相関に基づいて、前記距離情報を決定することを特徴とする請求項１に記載の撮像装置。
5. 前記撮像手段のＰＳＦの分散値は、フォーカス位置で最大となり、デフォーカスするにしたがって低下し、前記フォーカス位置からのデフォーカス量が所定量のときに最大値の１／ｅ^２となる特性を有しており、
   前記フォーカス移動量の絶対値は、前記所定量の２倍よりも小さい値に設定されることを特徴とする請求項４に記載の撮像装置。
6. 前記距離情報決定手段が、前記被写体がある１つの距離範囲に含まれるか否かを判定するものである場合に、
   前記フォーカス移動量が以下の式を満たすように設定されることを特徴とする請求項１〜５のうちいずれか１項に記載の撮像装置。
   ｄ＝ｋＦ^２λ，−１６≦ｋ＜−８，８＜ｋ≦１６
   ただし、ｄ：像面におけるフォーカス移動量、ｋ：係数、Ｆ：Ｆ値、λ：第一及び第二の画像の撮像に用いる光の波長、である。
7. 前記距離情報決定手段が、前記被写体が３つ以上の距離範囲のうちのいずれに含まれるかを判定するものである場合に、
   前記フォーカス移動量が以下の式を満たすように設定されることを特徴とする請求項１〜５のうちいずれか１項に記載の撮像装置。
   ｄ＝ｋＦ^２λ，−８≦ｋ＜０，０＜ｋ≦８
   ただし、ｄ：像面におけるフォーカス移動量、ｋ：係数、Ｆ：Ｆ値、λ：第一及び第二の画像の撮像に用いる光の波長、である。
8. 前記フォーカス移動量が以下の式を満たすように設定されることを特徴とする請求項７に記載の撮像装置。
   ｄ＝ｋＦ^２λ，−４＜ｋ≦−２，２≦ｋ＜４
9. 前記距離情報決定手段が、前記第一のフォーカス位置よりも無限遠側にある被写体の距離情報を決定する場合は、
   前記第一のフォーカス位置よりも無限遠側に前記第二のフォーカス位置が設定されることを特徴とする請求項１〜８のうちいずれか１項に記載の撮像装置。
10. 前記距離情報決定手段が、前記第一のフォーカス位置よりも撮像装置側にある被写体の距離情報を決定する場合は、
    前記第一のフォーカス位置よりも撮像装置側に前記第二のフォーカス位置が設定されることを特徴とする請求項１〜９のうちいずれか１項に記載の撮像装置。
11. 前記撮像手段が、ＲＧＢ画素配列のカラーフィルタを備える撮像素子を有し、
    前記λは、Ｇ画素のカラーフィルタの中心波長であることを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
12. 第一のフォーカス位置で被写体を撮像することで第一の画像を取得し、且つ、該第一のフォーカス位置と異なる第二のフォーカス位置で前記被写体を撮像することで該第一の画像とボケが異なる第二の画像を前記第一の画像を取得した後に取得する撮像手段と、
    前記第一の画像と前記第二の画像のボケの違いに基づいて前記被写体の距離情報を決定する距離情報決定手段と、
    前記第一のフォーカス位置と前記第二のフォーカス位置の差であるフォーカス移動量が以下の式を満たすように、前記第二のフォーカス位置を設定するフォーカス位置設定手段と、を有することを特徴とする撮像装置。
    −１６×５８７．５６ｎｍ×Ｆ ^２ ≦ｄ≦１６×５８７．５６ｎｍ×Ｆ ^２ ，ｄ≠０
    ただし、ｄ：像面におけるフォーカス移動量、Ｆ：Ｆ値である。
13. 第一のフォーカス位置で被写体を撮像することで第一の画像を取得する第一の撮像ステップと、
    前記第一の撮像ステップの後、該第一のフォーカス位置と異なる第二のフォーカス位置で前記被写体を撮像することで該第一の画像とボケが異なる第二の画像を取得する第二の撮像ステップと、
    前記第一の画像と前記第二の画像のボケの違いに基づいて前記被写体の距離情報を決定する距離情報決定ステップと、を含む距離情報取得方法であって、
    前記第一のフォーカス位置と前記第二のフォーカス位置の差であるフォーカス移動量が以下の式を満たすように、前記第二のフォーカス位置が設定されていることを特徴とする距離情報取得方法。
    ｄ＝ｋＦ^２λ，−１６≦ｋ≦１６，ｋ≠０
    ただし、ｄ：像面におけるフォーカス移動量、ｋ：係数、Ｆ：Ｆ値、λ：第一及び第二の画像の撮像に用いる光の波長、である。
14. 第一のフォーカス位置で被写体を撮像することで第一の画像を取得する第一の撮像ステップと、
    前記第一の撮像ステップの後、該第一のフォーカス位置と異なる第二のフォーカス位置で前記被写体を撮像することで該第一の画像とボケが異なる第二の画像を取得する第二の撮像ステップと、
    前記第一の画像と前記第二の画像のボケの違いに基づいて前記被写体の距離情報を決定する距離情報決定ステップと、を含む距離情報取得方法であって、
    前記第一のフォーカス位置と前記第二のフォーカス位置の差であるフォーカス移動量が以下の式を満たすように、前記第二のフォーカス位置が設定されていることを特徴とする距離情報取得方法。
    −１６×５８７．５６ｎｍ×Ｆ ^２ ≦ｄ≦１６×５８７．５６ｎｍ×Ｆ ^２ ，ｄ≠０
    ただし、ｄ：像面におけるフォーカス移動量、Ｆ：Ｆ値である。
15. 請求項１３又は１４に記載の距離情報取得方法の各ステップをコンピュータに実行させることを特徴とするプログラム。

Images