WO2012066774A1

WO2012066774A1 - 撮像装置及び距離計測方法

Info

Publication number: WO2012066774A1
Application number: PCT/JP2011/006373
Authority: WO
Inventors: 邦昭磯貝; 河村　岳; 木村　雅之
Original assignee: パナソニック株式会社
Priority date: 2010-11-17
Filing date: 2011-11-16
Publication date: 2012-05-24
Also published as: US20120300114A1; US8698943B2; CN102713512B; EP2642245A4; EP2642245A1; EP2642245B1; JP5832424B2; JPWO2012066774A1; CN102713512A

Abstract

　本発明に係る撮像装置（１０）は、撮像部（１１）と、撮像部（１１）の合焦位置を変化させながら、撮像部（１１）に、それぞれ異なる合焦範囲を有する第１画像（３１ａ）及び第２画像（３１ｂ）を撮影させる合焦範囲制御部（１２）と、第１画像（３１ａ）及び第２画像（３１ｂ）を用いて、ぼけの基準となる参照画像（３２）を生成する参照画像生成部（１３）と、第１画像（３１ａ）及び第２画像（３１ｂ）と、参照画像（３２）とのぼけの度合いの差から被写体までの距離を計測する距離計測部（１４）とを備え、第１画像（３１ａ）と第２画像（３１ｂ）とが有する合焦範囲は互いに独立しており、各合焦範囲間に非合焦な間隔が設けられている。

Description

撮像装置及び距離計測方法

　本発明は、撮像装置及び距離計測方法に関し、特に、撮影された複数枚の画像を用いて、被写体の距離を計測する撮像装置及び距離計測方法に関するものである。

　ある３次元シーンの奥行き、すなわち各被写体までの距離を非接触で計測するためのさまざまな方法が提案されている。それらを大別すると、赤外線、超音波、又はレーザーなどを被写体に照射し、反射波が戻ってくるまでの時間又は反射波の角度などを基に距離を算出する能動的手法と、被写体の像に基づいて距離を算出する受動的手法とがある。特にカメラにおいては赤外線などを照射するための装置を必要としない受動的手法が広く用いられている。

　受動的手法にも多くの手法が提案されているが、その一つとしてフォーカス（合焦位置）の変化によって生じるぼけに基づいて距離を計測するＤｅｐｔｈ　ｆｒｏｍ　Ｄｅｆｏｃｕｓ（以下、「ＤＦＤ」と表記する。）と呼ばれる手法がある。このＤＦＤは、複数のカメラを必要とせず、また、少数の画像から距離計測が可能である、などの利点がある。

　ＤＦＤは画像のぼけを利用して距離を計測する手法である。しかし、撮影された画像に存在するぼけがレンズのフォーカスの変化によって生じたものなのか、あるいはレンズによるぼけがない状態を表す原画像が元々ぼけたテクスチャを有しているのかを撮影された画像自身から判別することは非常に困難である、という課題が存在する。

　これに対し、特許文献１に記載の手法では複数の撮影画像間の空間周波数スペクトルの比と、シーンの奥行きに対応するぼけの空間周波数スペクトルの比とを比較することで、原画像のスペクトル成分に依存しない計測を行っている。

　一方、特許文献２に記載の手法ではフォーカスを変えながら多数の画像を撮影し、それらの合焦部分のみを取り出すことで原画像に相当する参照画像を得ている。この参照画像に対して種々のぼけを畳み込んだ尺度空間（Ｓｃａｌｅ　Ｓｐａｃｅ）を構成し、参照画像と撮影画像とを比較することで距離計測を行っている。

特開平１１－３３７３１３号公報米国特許出願公開第２００７／００１９８８３号明細書

"Ｆｌｅｘｉｂｌｅ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ　Ｐｈｏｔｏｇｒａｐｈｙ"、Ｈ．Ｎａｇａｈａｒａ、Ｓ．Ｋｕｔｈｉｒｕｍｍａｌ、Ｃ．Ｚｈｏｕ、Ｓ．Ｋ．Ｎａｙｅｒ、Ｅｕｒｏｐｅａｎ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ（ＥＣＣＶ）、Ｏｃｔ、２００８

　しかし、特許文献１に記載の手法では、計測を容易にするために開口部に特殊な構造のマスクを挿入している。これにより、当該手法は、ぼけの空間周波数スペクトルに周期的に零点が出現するなどの構造化を行っている。しかし、当該手法は、このマスクによって入射光量が減少するという問題がある。これを補うためには撮像素子の感度を高くするか露光時間を長くするかのいずれかが必要になる。しかし前者は撮影画像のノイズの増大を、後者は被写体ぶれを招く。これらによって被写体のスペクトル成分が乱れることで、距離計測の精度が低下する。

　一方、特許文献２に記載の手法では、絞りを大きく絞らない限り画像の被写界深度の幅が距離計測を行う範囲より格段に狭いため、参照画像を得るためには多数の画像を撮影する必要がある。これは少数の画像で距離計測が可能であるというＤＦＤのメリットを相殺している。加えて絞りを大きく絞ることで少ない枚数の画像から参照画像を得ることができるが、入射光量が低下するため、当該手法は特許文献１に記載の手法と同じ問題を抱えることになってしまう。

　本発明は上述の問題に鑑みてなされたものであって、少ない枚数の撮影画像から安定な距離計測を実現できる撮像装置及び距離計測方法を提供することを目的とする。

　上記目的を達成するために、本発明の一形態に係る撮像装置は、被写体を撮像することにより画像を生成する撮像部と、前記撮像部の合焦位置を変化させながら、前記撮像部に、それぞれ異なる合焦範囲を有するｎ枚（ｎは２以上の整数）の画像を撮影させる合焦範囲制御部と、前記ｎ枚の画像を用いて、ぼけの基準となる参照画像を生成する参照画像生成部と、前記ｎ枚の画像と、前記参照画像とのぼけの度合いの差から前記被写体までの距離を計測する距離計測部とを備え、前記ｎ枚の画像のそれぞれが有する合焦範囲は互いに独立しており、各合焦範囲間に非合焦な間隔が設けられている。

　このような構成によると、本発明の一形態に係る撮像装置は、合焦位置を変化させながら画像を撮像することで、絞りを絞ることなく通常より合焦範囲の広い画像を得ることができる。これにより、本発明の一形態に係る撮像装置は、少ない枚数の画像から参照画像を得ることが可能となる。加えて、各画像が有する合焦範囲が互いに独立であることから、複数の画像を用いて被写体距離に対してほぼ均一なぼけを有する画像を生成できる。従って、本発明の一形態に係る撮像装置は、簡単な方法で精度の高い参照画像を得ることが可能となる。このように、本発明の一形態に係る撮像装置は、少ない枚数の撮影画像から安定な距離計測を実現できる。

　また、前記撮像部は、撮像素子と、前記撮像素子に光を集光するレンズとを備え、前記合焦範囲制御部は、前記撮像素子と前記レンズとの距離を等速で変化させることで前記合焦位置を変化させてもよい。

　このような構成によると、撮像素子とレンズとの距離を変化させた分だけ被写界深度が拡張されるので、少ない枚数で広い範囲の距離計測を行うことができる。

　また、前記ｎ枚の画像の露光時間は同じであってもよい。

　このような構成によると、合焦範囲の異なるｎ枚の画像に含まれるノイズを同程度にできるので、距離算出の精度を向上できる。

　また、前記合焦範囲制御部は、前記撮像部が前記ｎ枚の画像の撮像を開始してから、終了するまでの期間において、前記撮像素子と前記レンズとの距離を等速で変化させてもよい。

　このような構成によると、合焦位置を変更する制御を容易に行うことができる。

　また、前記撮像部は、レンズと、前記レンズからの光路長がそれぞれ異なるように配置されたｎ個の撮像素子と、前記レンズからの光を前記ｎ個の撮像素子のそれぞれに分割するビームスプリッタとを備え、前記合焦範囲制御部は、同一の期間において前記ｎ個の撮像素子の合焦位置を同時に変化させながら、前記ｎ個の撮像素子に前記ｎ枚の画像を同時に撮像させてもよい。

　このような構成によると、合焦範囲が互いに異なるｎ枚の画像を同時に撮影することができるので、処理全体にかかる時間を短縮することができる。かつ、各画像は被写界深度が連続的に拡張されているため、少ない枚数で広い範囲の距離計測を行うことができる。

　また、前記撮像部は、レンズと、ｎ個の撮像素子と、前記レンズからの光を前記ｎ個の撮像素子のいずれか１つへ選択的に入射させる選択部とを備え、前記合焦範囲制御部は、前記ｎ個の撮像素子を順次選択し、選択した撮像素子に、前記選択部により選択的に光を入射させることで、前記ｎ個の撮像素子の各々に、前記ｎ枚の画像の各々を撮像させてもよい。

　このような構成によると、合焦範囲が互いに異なるｎ枚の画像を同時に撮影することができるので、処理全体にかかる時間を短縮することができる。かつ、各画像は不連続な合焦範囲を有するため、ＤＦＤアルゴリズムでより距離計測をしやすいぼけの形状を持たせることが可能となる。

　また、前記参照画像生成部は、前記ｎ枚の画像の平均画像を生成し、当該平均画像を用いて前記参照画像を生成してもよい。

　このような構成によると、各画像が有する合焦範囲が互いに独立であることから、各画像を平均した画像は被写体距離に対してほぼ均一なぼけを有する。従って、簡単な方法で精度の高い参照画像を得ることが可能となる。

　また、前記参照画像生成部は、前記平均画像に１種類の点広がり関数による逆畳み込み演算を行うことにより、前記参照画像を生成してもよい。

　なお、本発明は、このような撮像装置として実現できるだけでなく、撮像装置に含まれる特徴的な手段をステップとする距離計測方法、又は、撮像装置の制御方法として実現したり、そのような特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ－ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体、及びインターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

　さらに、本発明は、このような撮像装置の機能の一部又は全てを実現する半導体集積回路（ＬＳＩ）として実現したりできる。

　以上より、本発明は、少ない枚数の撮影画像から安定な距離計測を実現できる撮像装置及び距離計測方法を提供できる。

図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。図２は、本発明の実施の形態に係る合焦位置を変化させた際の集光の様子を模式的に示す図である。図３は、本発明の実施の形態に係る撮像装置の動作の流れを示すフローチャートである。図４は、本発明の実施の形態に係る、合焦位置の変化を示す図である。図５は、本発明の実施の形態に第１画像及び第２画像のぼけ量を示す図である。図６Ａは、本発明の実施の形態に係る、シーンのテクスチャを示す図である。図６Ｂは、本発明の実施の形態に係る、シーンの被写体距離を示す図である。図７Ａは、本発明の実施の形態に係る、接合する合焦範囲を持つ２枚の画像から距離計測を行った結果を示す図である。図７Ｂは、本発明の実施の形態に係る、間隔を空けた合焦範囲を持つ２枚の画像から距離計測を行った結果を示す図である。図８Ａは、本発明の実施の形態に係る、合焦範囲の間隔と、距離計測結果のＲＭＳとの関係を示す表である。図８Ｂは、本発明の実施の形態に係る、合焦範囲の間隔と、距離計測結果のＲＭＳとの関係を示すグラフである。図９Ａは、本発明の実施の形態の変形例１に係る撮像部の構成を示す図である。図９Ｂは、本発明の実施の形態の変形例１に係る、合焦位置の変化を示す図である。図１０は、本発明の実施の形態の変形例２に係る撮像部の構成を示す図である。図１１Ａは、本発明の実施の形態の変形例２に係る撮像部の動作を示す図である。図１１Ｂは、本発明の実施の形態の変形例２に係る撮像部の動作を示す図である。図１１Ｃは、本発明の実施の形態の変形例２に係る撮像部の動作を示す図である。図１２は、本発明の実施の形態の変形例２に係る合焦位置の変化を示す図である。

　以下、本発明の実施の形態について、図面を参照しながら説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。本発明は、請求の範囲だけによって限定される。よって、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、本発明の課題を達成するのに必ずしも必要ではないが、より好ましい形態を構成するものとして説明される。

　本発明の実施の形態に係る撮像装置は、独立した合焦範囲を有する複数の画像を撮影する。さらに、複数の画像の複数の合焦範囲間に間隔を設ける。これにより、当該撮像装置は、これらの複数の画像を用いて、被写体距離に対してほぼ均一なぼけを有する画像を生成できる。このように、本発明の実施の形態に係る撮像装置は、少ない枚数の撮影画像から安定な距離計測を実現できる。

　図１は、本発明の実施の形態に係る撮像装置１０の構成を示す図である。図１に示す撮像装置１０は、画像を撮影するとともに、当該画像を用いて、撮像装置１０と、当該画像に含まれる被写体との距離を計測する。この撮像装置１０は、撮像部１１、合焦範囲制御部１２、参照画像生成部１３、及び距離計測部１４を有する。

　撮像部１１は、光線を集めるレンズ２１が組み込まれたレンズユニットと、ＣＣＤ又はＣＭＯＳなどの撮像素子２２とを備える。この撮像部１１は、被写体の像を撮像することにより画像を生成する機能を有する。

　合焦範囲制御部１２は、撮像部１１が有するレンズユニットを制御し、合焦位置及び被写界深度を制御する機能を有する。具体的には、合焦範囲制御部１２は、レンズ２１と、撮像素子２２との距離を変化させることにより、合焦位置を変化させる。より具体的には、合焦範囲制御部１２は、レンズ２１及び撮像素子２２の一方、又は両方を移動することにより、レンズ２１と撮像素子２２との距離を変化させる。例えば、合焦範囲制御部１２は、レンズユニットに組み込まれたオートフォーカス機構を特定のパターンで動作させる、又は特定の光学素子を切り替える。なお、レンズユニットには複数のレンズが含まれてもよい。この場合、合焦範囲制御部１２は、当該複数のレンズのうち１以上を移動させればよい。また、レンズと撮像素子との距離とは、例えば、移動させるレンズ、又は、複数のレンズのレンズ主点位置と、撮像素子との距離である。

　また、合焦範囲制御部１２は、撮像部１１の合焦位置を変化させながら、撮像部１１に、それぞれ異なる合焦範囲及び被写界深度を有する複数枚の画像（第１画像３１ａ及び第２画像３１ｂ）を撮影させる。ここで、複数枚の画像のそれぞれが有する合焦範囲は互いに独立しており、各合焦範囲間に非合焦な間隔が設けられている。

　なお、以下では、合焦範囲及び被写界深度の異なる２枚の画像を用いる例を述べるが、３枚以上の画像を用いてもよい。

　参照画像生成部１３は、合焦範囲制御部１２の作用によって生成された、異なる合焦位置及び被写界深度を有する第１画像３１ａ及び第２画像３１ｂを用いて、ぼけの基準となる参照画像３２を生成する。具体的には、参照画像３２は、レンズ２１によるぼけがない状態を推定した画像である。

　距離計測部１４は、第１画像３１ａ及び第２画像３１ｂと、参照画像３２とを用いて、ＤＦＤの手法に基づいて距離計測を行う。つまり、距離計測部１４は、第１画像３１ａ及び第２画像３１ｂと、参照画像３２とのぼけの度合いの差から被写体までの距離を計測する。

　次に、撮影される画像の被写界深度を拡張する手法について説明する。一般的な被写界深度の幅は以下のように定義される。まず、過焦点距離（Ｈｙｐｅｒｆｏｃａｌ　Ｄｉｓｔａｎｃｅ）について説明する。過焦点距離は、その距離に合焦位置（フォーカス）を合わせた場合、その距離から後側に無限遠までが合焦していると判断される距離のことである。レンズの焦点距離をｆ、レンズのＦナンバーをＦ、検知可能な最小のぼけを表す許容錯乱円の大きさをｃとした時、過焦点距離ｈは以下の（式１）で近似される。

　距離ｓに合焦位置を合わせた際の被写界深度は、ｓより前側の被写界深度をＤＮ、後側の被写界深度をＤｆとした時、以下の（式２）及び（式３）で表される。

　以上の式より、焦点距離を固定した場合、被写界深度の幅は絞りによってのみ変更可能である。

　これに対して、絞りを絞ることなく被写界深度の幅を広げる種々の手法が提案されている。これらは、被写界深度拡張（Ｅｘｔｅｎｄｅｄ　Ｄｅｐｔｈ　ｏｆ　Ｆｉｅｌｄ：以下、「ＥＤＯＦ」と表記する。）と称される。以下、ＥＤＯＦの具体的な手法について説明する。

　最も単純なＥＤＯＦ手法は、合焦位置を少しずつずらしながら複数の画像を撮影し、それらの画像から合焦している部分を抜き出して合成する手法である。この手法は、特許文献２においても用いられている。

　これに対して、露光中に合焦位置を変化させることで、多数の画像を合成するのと同様の効果を実現する手法が、非特許文献１に開示されている。

　図２は、合焦位置を変化させた際の集光の様子を模式的に示す図である。図２のように、被写体位置ａ１に合焦する場合の撮像素子２２の位置（像面位置）をｂ１とし、被写体位置ａ２に合焦する場合の撮像素子２２の位置をｂ２とする。レンズの公式よりａ１とａ２との間の任意の被写体位置に合焦させる場合の撮像素子２２の位置は必ずｂ１とｂ２との間にある。従って、露光中に撮像素子２２がｂ１からｂ２まで移動すると、ａ１に対しては始め合焦していた状態から段々とぼけが大きくなり、画像にはこれらのぼけが積分されて重なって写る。一方、ａ２に対しては逆にぼけが大きい状態から段々と合焦していき、やはり画像にはこれらのぼけが重なって写る。

　このことを、数式を用いてさらに詳しく説明する。光学系のぼけの状態を表す点広がり関数（Ｐｏｉｎｔ　Ｓｐｒｅａｄ　Ｆｕｎｃｔｉｏｎ：以下、「ＰＳＦ」と表記する。）が、以下の（式４）及び（式５）で表す形状であるとする。

　ただし、ｆは光学系の焦点距離、ａは光学系の開口部の直径、ｕは被写体距離、ｖはレンズの公式１／ｆ＝１／ｕ＋１／ｖで定まる像面位置、Δｖはｖからの像面位置の移動量、Ｒはぼけの中心からの距離、ｇは定数をそれぞれ表す。ここで、像面位置とはレンズを基準とした撮像素子の位置である。言い換えると、像面位置はレンズと撮像素子との間の距離に相当する。

　（式４）及び（式５）は像面位置の移動量Δｖの関数なので、Δｖがある関数Ｖ（ｔ）に従って時刻０からＴにわたって変化する場合、最終的に得られるＰＳＦは以下の（式６）のように定義できる。

　ここで、Ｖ（ｔ）が等速運動、即ちＶ（ｔ）＝Ｖ（０）＋ｓｔで表されるとすると、式６は以下の式７のように解ける。

　ここで、ｅｒｆｃ（ｘ）は相補誤差関数（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｅｒｒｏｒ　Ｆｕｎｃｔｉｏｎ）である。また、ｂ（ｔ）は、時刻ｔにおけるぼけの直径である。（式７）から得られえるＰＳＦは、距離Ｖ（０）～Ｖ（Ｔ）の間で、距離によらずほぼ普遍なぼけ形状となることが、非特許文献１にて示されている。すなわち、像面位置の始点ｖ＋Ｖ（０）、及び終点ｖ＋Ｖ（Ｔ）を変化させることで、ぼけが一定となる被写体距離の範囲を変化させることができる。

　次に、参照画像を用いたＤＦＤの手法について説明する。参照画像Ｒと撮影画像Ｉの間には、以下の（式８）で示す関係が成立する。

　ここで、ｈは位置（ｘ、ｙ）におけるＰＳＦを表し、ｄ（ｘ、ｙ）は位置（ｘ、ｙ）における被写体距離を表す。また、式中の＊は畳み込み演算を表す。例えば（式４）及び（式５）のように、ＰＳＦは被写体距離によって異なるため、複数の被写体が異なる距離に存在する場合、画像の位置ごとに異なるＰＳＦが畳み込まれた画像が撮影画像として得られる。

　ここで、被写体距離ｄ１、ｄ２、…、ｄｎに対応するＰＳＦをｈ（ｘ、ｙ、ｄ１）、ｈ（ｘ、ｙ、ｄ２）、…、ｈ（ｘ、ｙ、ｄｎ）とする。例えば参照画像Ｒ（ｘ、ｙ）に存在する被写体が距離ｄ１にある場合、撮影画像Ｉ（ｘ、ｙ）はＲ（ｘ、ｙ）にＨ（ｘ、ｙ、ｄ１）を畳み込んだ画像に等しい。また、Ｒ（ｘ、ｙ）に他の被写体距離に対応するＰＳＦを畳み込んだ画像と、撮影画像Ｉ（ｘ、ｙ）とには差が生じる。よって、Ｒ（ｘ、ｙ）に各ＰＳＦを畳み込んだ複数の画像と、撮影画像との差を順に比較し、その差が最小となるＰＳＦに対応する距離を調べることで、ｄ（ｘ、ｙ）を求めることができる。具体的には以下の（式９）によってｄ（ｘ、ｙ）は求められる。

　実際には撮影画像Ｉに含まれるノイズの影響を低減するため、画像をブロックに区切ってブロック内での誤差の総和を求め、誤差が最小となる距離をそのブロック全体の距離とするなどの処理を行うことで、より安定に距離計測を行うことができる。

　次に、本発明の実施の形態に係る撮像装置１０によって、被写界深度を拡張した２枚の画像から距離計測を行う処理の流れについて図３、図４及び図５に基づいて説明する。なお、以下では被写界深度を拡張する手法として、露光期間中に合焦位置を変化させる方法を用いるものとして説明を行う。

　まず、撮像部１１は、それぞれ異なる合焦範囲を有する第１画像３１ａ及び第２画像３１ｂを撮影する。具体的には、第１画像３１ａ及び第２画像３１ｂのそれぞれの露光中に、合焦範囲制御部１２は、像面位置を図４で示すように等速で移動させる。このとき、合焦範囲制御部１２は、まず、像面位置をｖ１からｖ３まで等速で移動させながら、撮像部１１に第１画像３１ａを撮影させる（Ｓ１０１）。次に、合焦範囲制御部１２は、合焦位置を所定の距離だけ移動させる（Ｓ１０２）。具体的には、合焦範囲制御部１２は、非露光期間の間、撮像位置をｖ３からｖ４に等速で移動させる。その後、合焦範囲制御部１２は、像面位置をｖ４からｖ２まで等速で移動させながら、撮像部１１に第２画像３１ｂを撮影させる（Ｓ１０３）。このようにして撮影された第１画像３１ａは図５に示すように、像面位置ｖ１からｖ３までの第１画像３１ａの合焦範囲内で均一なぼけを有し、像面位置ｖ１からｖ３以外の位置では、第１画像３１ａの合焦範囲からの距離に応じたぼけを有する。同様に、第２画像３１ｂは像面位置ｖ４からｖ２までの第２画像３１ｂの合焦範囲内で均一なぼけを有し、像面位置ｖ４からｖ２以外の位置では、第２画像３１ｂの合焦範囲からの距離に応じたぼけを有する。被写体距離に対して均一なぼけは参照画像３２の生成に用いられ、被写体距離に応じたぼけはＤＦＤによる距離計測に用いられる。

　なお、ｖ３及びｖ４はｖ１とｖ２の間の任意の位置にすることができるが、第１画像３１ａと第２画像３１ｂとの露光時間を同一にするため、ｖ１とｖ３及びｖ４とｖ２の距離は等しくなるように設定することが望ましい。第１画像３１ａと第２画像３１ｂとの露光時間を同一にすることで、第１画像と第２画像とに含まれるノイズを同程度にできるので、距離算出の精度を向上できる。

　また、図４に示すように、合焦範囲制御部１２は、第１画像３１ａの露光期間、非露光期間及び第２画像３１ｂの露光期間を含む期間の間、合焦位置を等速で移動させる。言い換えると、合焦範囲制御部１２は、撮像部１１が第１画像３１ａ及び第２画像３１ｂの撮像を開始してから、終了するまでの期間において、像面位置を等速で変化させる。これにより、合焦位置を変更する制御を容易に行うことができる。

　なお、第１画像３１ａの露光期間における合焦位置の移動速度と第２画像３１ｂの露光期間における合焦位置の移動速度とは異なってもよい。

　次に、参照画像生成部１３は、第１画像３１ａ及び第２画像３１ｂを用いて参照画像３２を生成する（Ｓ１０４）。ここで、（式８）より参照画像３２は撮影画像に対してＰＳＦを逆畳み込みすることで求められる。本来参照画像３２を正しく求めるためには被写体距離ｄ（ｘ、ｙ）が既知である必要があるが、第１画像３１ａ及び第２画像３１ｂは被写界深度が拡張されているため、拡張された範囲の被写体距離に対してＰＳＦは一定である。

　ここでは、参照画像生成部１３は、第１画像３１ａと第２画像３１ｂの平均を取ることで、平均画像を生成する。平均画像は図４からも分かるようにｖ３からｖ４の区間を除いて、ｖ１からｖ２の範囲にわたり被写界深度がほぼ等しくなる。つまり、平均画像は、ｖ１からｖ２の全ての範囲にわたり均一なぼけを有する画像とほぼ等価である。従って、参照画像生成部１３は、この平均画像に対して、均一なぼけに対応する１種類のＰＳＦによる逆畳み込み演算を行うことにより、ｖ１からｖ２の範囲全てに合焦した参照画像３２を生成する。

　なお、第１画像３１ａ及び第２画像３１ｂの露光時間又は合焦位置の移動速度が異なる場合は、被写体距離に対する重みが一定となるよう重み付け平均を取ることで上記と同様に扱うことができる。

　また、逆畳み込みのアルゴリズムにはウィーナーフィルタ（Ｗｉｅｎｅｒ　Ｆｉｌｔｅｒ）のような既知の手法を用いることができる。

　最後に、距離計測部１４は、撮影された第１画像３１ａ及び第２画像３１ｂと、ステップＳ１０４で生成された参照画像３２とを用いて、（式９）に従って距離マップｄ（ｘ、ｙ）を算出する（Ｓ１０５）。具体的には、距離計測部１４は、（式９）に従って、第１画像３１ａを用いた距離マップと、第２画像３１ｂを用いた距離マップとを算出する。次に、距離計測部１４は、これらを統合することで一つの距離マップを算出する（Ｓ１０６）。この統合には各画像から算出される距離マップの単純平均を取る手法などを用いることができる。

　なお、（式８）及び（式９）をフーリエ変換し、周波数領域上での比較を行うことで距離計測を行ってもよい。周波数領域では（式８）及び（式９）における畳み込み演算が乗算に変換されるので、より高速に距離計測を行うことができる。

　以上に示すように、本実施の形態に係る撮像装置１０は、第１画像３１ａ及び第２画像３１ｂのみを用いて参照画像３２を生成できる。このように、撮像装置１０は、少数の画像で高精度に距離計測を行うことができる。さらに、露光中の合焦位置の変化は標準的なオートフォーカス機構を流用することで実現可能なため、特殊な機構を必要とすることもない。

　なお、上記説明では２枚の画像を用いる例を述べたが、撮影する画像は３枚以上であってもよい。この場合、各画像の合焦範囲間にそれぞれ非合焦範囲を設ける。そして、各合焦範囲の長さを均等とすることで、２枚の場合と同じように扱うことが可能となる。この際、参照画像も撮影した全ての画像の平均画像から算出する。

　また、上記説明では、複数の画像の平均画像を用いる場合を例に説明したが、複数の画像を加算した加算画像を用いても同様の処理を行うことができる。

　また、上記説明では、平均画像にＰＳＦによる逆畳み込み演算を行うことにより生成した画像を参照画像３２として用いているが、ｖ１からｖ２の全ての範囲でほぼ均一なぼけを有する画像であれば参照画像３２として用いることができる。例えば、上記平均画像又は加算画像を参照画像３２として用いてもよい。

　（シミュレーション評価結果）
　以下、合焦範囲の間に間隔を設ける利点について述べる。位置（ｘ、ｙ）における正しい距離の値をＤ、正しくない距離の値をＤ’とする。（式９）より参照画像Ｒにｈ（ｘ、ｙ、ｄ）とｈ（ｘ、ｙ、Ｄ’）とをそれぞれ畳み込んだ結果が大きく異なるほど、正しい距離であるか否かの判定が容易になる。以下ではシミュレーションで検証する。

　図６Ａに示すテクスチャを持ち、被写体距離が図６Ｂのような２０段の階段状のシーンを考える。被写体距離は図中暗いほど遠いものとする。

　また、シミュレーションで想定するレンズの性能は、焦点距離９ｍｍ、Ｆナンバー１．４とする。

　次に、合焦範囲の記法について説明する。２０段の被写体距離の各段に合焦位置が合っているか否かを２０桁の数字で表現するものとする。例えば、［１、０、１、１、１、０、０、０、０、１、０、０、０、０、０、０、０、０、０、０］であれば遠い方から１、３、４、５、１０段目に合焦していることを表す。

　まず、合焦範囲が連続する（間隔を設けていない）２枚の画像から、ＤＦＤによって距離計測を行った結果を図７Ａに示す。具体的には、この２枚の画像は、合焦範囲が［１、１、１、１、１、１、１、１、１、１、０、０、０、０、０、０、０、０、０、０］（１～１０段目）の画像と、合焦範囲が［０、０、０、０、０、０、０、０、０、０、１、１、１、１、１、１、１、１、１、１］（１１～２０段目）の画像とである、このとき、被写体距離は以下の（式１０）及び（式１１）で示す形で求められる。

　ただし、Ｆ１及びＦ２は１枚目及び２枚目の画像の周波数成分を表し、Ｈ１及びＨ２は１枚目及び２枚目の合焦範囲に対応するＰＳＦの周波数成分を表し、Ｈ１＊及びＨ２＊はＨ１及びＨ２の複素共役を表し、εは零除算を防ぐための微小な値を表し、ｆ^－１は逆フーリエ変換を表す。

　これに対し、合焦範囲に間隔を設けた２枚の画像から、同じように距離計測を行った結果を図７Ｂに示す。具体的には、この２枚の画像は、合焦範囲が［１、１、１、１、１、１、１、１、１、１、０、０、０、０、０、０、０、０、０、０］（１～１０段目）の画像と、合焦範囲が［０、０、０、０、０、０、０、０、０、０、０、１、１、１、１、１、１、１、１、１］（１２～２０段目）の画像とである。つまり、１１段目が非合焦範囲である。

　ここで、計測結果が図６Ｂに近いほど精度が高いことを意味する。図７Ａでは特にテクスチャが少ない右側の中央部分で計測結果が図６Ｂから離れている。一方、図７Ｂでは計測結果が図７Ａに比べて改善されている。

　図８Ａ及び図８Ｂは、合焦範囲の間隔に対する、計測結果と正解データとの差を示す図である。ここで、計測結果と正解データとの差は、ＲＭＳ（Ｒｏｏｔ　Ｍｅａｎ　Ｓｑｕａｒｅ）を用いる。ＲＭＳの値が０に近いほど、計測精度が高いことを示す。図８Ａは、合焦範囲の間隔に対する、距離計測結果のＲＭＳを示す表である。図８Ｂは、ＲＭＳを棒グラフとして表示した図である。

　図８Ａ及び図８Ｂに示すように、最もＲＭＳの小さい組み合わせは、１０～１２段目の３段分に合焦しない場合であった。また、合焦範囲に間隔を設けない場合よりも、間隔を設けた場合の方が、計測精度が高くなる。ただし、間隔が広すぎる場合は、計測精度が低下する。つまり、間隔は４段以下が好ましい。また、間隔は２～４段であることがより好ましい。

　ここで、１段は像面位置の約５０μｍに相当する。つまり、間隔に対応する像面位置は２００μｍ以下（４段に相当）であることが好ましく、１００μｍ以上（２段に相当）かつ２００μｍ以下（４段に相当）であることがより好ましい。

　ただし、ぼけの性質はレンズにより異なるため、全ての場合においてこの間隔が最適であるとは限らない。

　なお、上記説明ではＤＦＤに用いる画像を１枚ずつ撮影しているが、これを２枚同時に撮影することが出来れば撮影にかかる時間は半分になる。以下、本実施の形態の変形例を説明する。

　＜変形例１＞
　図９Ａは、変形例１に係る撮像部１１の構成を示す図である。また、図９Ｂは、変形例１における、合焦位置の変化を示す図である。

　図９Ａに示すように撮像部１１は、レンズ２１と、２つの撮像素子２２ａ及び２２ｂと、光線を分割するためのビームスプリッタ２３と、光路を曲げるためのミラー２４とを備える。２つの撮像素子２２ａ及び２２ｂはレンズ２１からの光路長が異なるように配置されている。図９Ａでは、撮像素子２２ａに対してΔｖだけ撮像素子２２ｂの光路長が長い。ビームスプリッタ２３は、レンズ２１からの光を２つの撮像素子２２ａ及び２２ｂ分割する。

　また、合焦範囲制御部１２は、同一の期間において２個の撮像素子２２ａ及び２２ｂの合焦位置を同時に変化させながら、撮像素子２２ａに第１画像３１ａを、撮像素子２２ｂに第２画像３１ｂを同時に撮像させる。具体的には、このような光学系において、露光中に合焦位置を等速で変化させながら２つの撮像素子２２ａ及び２２ｂで同時に画像を撮影すると、図９Ｂに示すように撮像素子２２ａ及び撮像素子２２ｂで常にΔｖだけ合焦位置がずれた画像が得られる。この際、Δｖをｖ１からｖ４までの距離に等しく設定することで、ｖ３からｖ４までの距離を合焦しない２枚の画像を同時に撮影ができる。

　なお、光路を曲げるための手段として、ミラーの代わりにプリズムを用いてもよい。または、後述する図１０に示す構成のように、ミラー及びプリズムを持たない構成でもよい。

　＜変形例２＞
　図１０は、変形例２に係る撮像部１１の構成を示す図である。図１１Ａ～図１１Ｂは、撮像部１１の動作を示す図である。図１２は、変形例２における、合焦位置の変化を示す図である。

　図１０に示す撮像部１１は、レンズ２１と、２つの撮像素子２２ａ及び２２ｂと、絞り２５と、可動ミラー２６とを備える。可動ミラー２６は、レンズ２１と２つの撮像素子２２ａ及び２２ｂとの光路の途中に配置されており、レンズ２１からの光の光軸方向を変化させる光軸変化手段である。また、可動ミラー２６は、レンズ２１からの光を２つの撮像素子２２ａ及び２２ｂのいずれか１つへ選択的に入射させる選択部として機能する。

　また、レンズ２１から２つの撮像素子２２ａ及び２２ｂへの光路長は等しい。

　可動ミラー２６は、例えば、ガルバノミラー又はＭＥＭＳミラーである。この可動ミラー２６は、図１１Ａ及び図１１Ｃで示すように２つの撮像素子２２ａ及び２２ｂのいずれか一方に光線を導く機能を有する。

　絞り２５は、図１１Ｂで示すように、可動ミラー２６が光線の到達する撮像素子を切り替える動作中に光線を遮断する。

　合焦範囲制御部１２は、２個の撮像素子２２ａ及び２２ｂを順次選択し、選択した撮像素子に、可動ミラー２６により選択的に光を入射させることで、２個の撮像素子の各々に、２枚の画像の各々を撮像させる。具体的には、このような光学系において、露光中に合焦位置を等速で変化させると同時に、可動ミラー２６によって光線を撮像素子２２ａと２２ｂとに振り分ける。合焦位置がｖ１からｖ３の区間において光線は撮像素子２２ａに到達し、区間ｖ４からｖ２においては撮像素子２２ｂに到達する。よって、図１２に示すように、第１画像３１ａと第２画像３１ｂとは不連続な合焦範囲の画像となる。

　ここで、１個の撮像素子を用いて第１画像３１ａ及び第２画像３１ｂを撮像する構成では、第１画像３１ａを撮像してから、第２画像３１ｂの撮像を開始するまでに、データの読み出し期間等が必要となる。一方、変形例２の構成では、このような期間が必要ないので、非露光期間を短くすることできる。

　なお、変形例２における光路は図１０に示す構成に限らず、複数の撮像素子の光路長が一定である限り、任意の光路を用いることができる。

　（その他変形例）
　なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。

　（１）上記の撮像装置の機能の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、及びマウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、撮像装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

　（２）上記の撮像装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

　（３）上記の撮像装置を構成する構成要素の一部または全部は、撮像装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

　（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。

　また、本発明は、前記コンピュータプログラムまたは前記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ　Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。

　また、本発明は、前記コンピュータプログラムまたは前記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

　また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

　また、前記プログラムまたは前記デジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

　（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

　また、上記で用いた数字は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。

　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

　また、上記のステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

　更に、本発明の主旨を逸脱しない限り、本実施の形態に対して当業者が思いつく範囲内の変更を施した各種変形例も本発明に含まれる。

　本発明はレンズ系を有する撮像装置、特に単眼の撮像装置に適用可能である。

　１０　　撮像装置
　１１　　撮像部
　１２　　合焦範囲制御部
　１３　　参照画像生成部
　１４　　距離計測部
　２１　　レンズ
　２２、２２ａ、２２ｂ　　撮像素子
　２３　　ビームスプリッタ
　２４　　ミラー
　２５　　絞り
　２６　　可動ミラー
　３１ａ　　第１画像
　３１ｂ　　第２画像
　３２　　参照画像

Claims

　被写体を撮像することにより画像を生成する撮像部と、
　前記撮像部の合焦位置を変化させながら、前記撮像部に、それぞれ異なる合焦範囲を有するｎ枚（ｎは２以上の整数）の画像を撮影させる合焦範囲制御部と、
　前記ｎ枚の画像を用いて、ぼけの基準となる参照画像を生成する参照画像生成部と、
　前記ｎ枚の画像と、前記参照画像とのぼけの度合いの差から前記被写体までの距離を計測する距離計測部とを備え、
　前記ｎ枚の画像のそれぞれが有する合焦範囲は互いに独立しており、各合焦範囲間に非合焦な間隔が設けられている
　撮像装置。
　前記撮像部は、撮像素子と、前記撮像素子に光を集光するレンズとを備え、
　前記合焦範囲制御部は、前記撮像素子と前記レンズとの距離を等速で変化させることで前記合焦位置を変化させる
　請求項１に記載の撮像装置。
　前記ｎ枚の画像の露光時間は同じである
　請求項２に記載の撮像装置。
　前記合焦範囲制御部は、前記撮像部が前記ｎ枚の画像の撮像を開始してから、終了するまでの期間において、前記撮像素子と前記レンズとの距離を等速で変化させる
　請求項２又は３に記載の撮像装置。
　前記撮像部は、
　レンズと、
　前記レンズからの光路長がそれぞれ異なるように配置されたｎ個の撮像素子と、
　前記レンズからの光を前記ｎ個の撮像素子のそれぞれに分割するビームスプリッタとを備え、
　前記合焦範囲制御部は、同一の期間において前記ｎ個の撮像素子の合焦位置を同時に変化させながら、前記ｎ個の撮像素子に前記ｎ枚の画像を同時に撮像させる
　請求項１に記載の撮像装置。
　前記撮像部は、
　レンズと、
　ｎ個の撮像素子と、
　前記レンズからの光を前記ｎ個の撮像素子のいずれか１つへ選択的に入射させる選択部とを備え、
　前記合焦範囲制御部は、前記ｎ個の撮像素子を順次選択し、選択した撮像素子に、前記選択部により選択的に光を入射させることで、前記ｎ個の撮像素子の各々に、前記ｎ枚の画像の各々を撮像させる
　請求項１に記載の撮像装置。
　前記参照画像生成部は、前記ｎ枚の画像の平均画像を生成し、当該平均画像を用いて前記参照画像を生成する
　請求項１～６のいずれか一項に記載の撮像装置。
　前記参照画像生成部は、前記平均画像に１種類の点広がり関数による逆畳み込み演算を行うことにより、前記参照画像を生成する
　請求項７に記載の撮像装置。
　被写体を撮像することにより画像を生成する撮像部を備える撮像装置における距離計測方法であって、
　前記撮像部の合焦位置を変化させながら、前記撮像部に、それぞれ異なる合焦範囲を有するｎ枚（ｎは２以上の整数）の画像を撮影させる撮影ステップと、
　前記ｎ枚の画像を用いて、ぼけの基準となる参照画像を生成する参照画像生成ステップ部と、
　前記ｎ枚の画像と、前記参照画像とのぼけの度合いの差から前記被写体までの距離を計測する距離計測ステップとを含み、
　前記ｎ枚の画像のそれぞれが有する合焦範囲は互いに独立しており、各合焦範囲間に非合焦な間隔が設けられている
　距離計測方法。
　請求項９に記載の距離計測方法をコンピュータに実行させるための
　プログラム。