JP5103637B2 - 撮像装置、撮像方法、およびプログラム - Google Patents

Description

本発明は、撮像装置、撮像方法、およびプログラムに関する。

３次曲面を有する位相板を使用することによって光学システムの光伝達関数を焦点位置から或るレンジ内で実質的に一定に留めるとする技術が知られている（例えば、特許文献１および２参照。）。
特開２００６−９４４６９号公報 特表平１１−５００２３５号公報

上記特許文献に記載の技術によると、被写体像はぼけを伴っているので、コントラスト検出によって被写体までの距離を測定することができない。特許文献１の技術によると、外部アクティブ方式で被写体距離を測定するが、距離測定用のデバイスを別途設けなければならない。

上記課題を解決するために、本発明の第１の態様によると、撮像装置であって、撮像部と、物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系と、光学系の光学特性を制御することによりデフォーカス量を制御する制御部と、制御部により異なるデフォーカス量に制御されて撮像された第１画像および第２画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定部とを備える。

光学系は、物点からの光の波面を変調することにより、物点からの光を物点までの距離によらず略同一の広さに広げてよい。

光学系は、物点からの光の位相分布を、光軸からの位置に関する２次より大きい次数の多項式で近似される位相分布にすることにより、物点からの光を物点までの距離によらず略同一の広さに広げてよい。光学系は、物点からの光の位相分布を、デフォーカス量に応じた位相分布を表す２次の項を含む多項式で近似される位相分布にしてよい。光学系は、物点からの光の位相分布を、３次以上の奇数次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。光学系は、物点からの光の位相分布を、３次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。

光学系は、光を結像する結像レンズと、通過する光の位相を変調する光変調部とを有し、光学系は、物点からの光の位相分布を、光変調部の位相変調による３次以上の奇数次の項、および、結像レンズによるデフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。

制御部は、結像レンズの光路中に光変調部が挿入された状態と、結像レンズの光路から光変調部が外された状態とに制御することにより、デフォーカス量を制御してよい。

光学系は、被写体光を絞る絞り部を有し、制御部は、絞り部の開度を制御することによりデフォーカス量を制御してよい。

制御部は、光変調部による位相変調および結像レンズによる収差の影響が予め定められた値以下になる開度と、当該開度より大きい開度とに絞り部の開度を制御することにより、デフォーカス量を制御してよい。

位置特定部は、第１画像におけるオブジェクトの位置と、第２画像におけるオブジェクトの位置との間の距離であるオブジェクト距離に基づいて、被写体距離を特定してよい。

位置特定部は、オブジェクト距離がより小さい場合に、結像レンズが撮像部の撮像面に結像することができる物点の位置により近い位置に対応する距離を、被写体距離として特定してよい。

第２画像を、第２画像が撮像されたときの光学系の光学伝達特性に応じて補正する画像処理部をさらに備え、位置特定部は、画像処理部により第２画像が補正された補正画像および第２画像のそれぞれにおける同じ被写体を示すオブジェクトの位置に基づいて、被写体距離を特定してよい。

位置特定部は、第１画像におけるオブジェクトの位置、第２画像におけるオブジェクトの位置、第１画像を撮像部が撮像したときの絞り部の開度、および、第２画像を撮像部が撮像したときの絞り部の開度に基づいて、被写体距離を特定してよい。

光変調部は、光学系による物点からの光の結像位置を異ならせるべく、互いに直交する方向で異なる分布の位相差を物点からの光に与え、位置特定部は、第１画像および第２画像におけるオブジェクトの２次元上の位置に基づいて、被写体距離を特定してよい。

位置特定部は、第１画像および第２画像におけるオブジェクトの２次元上の位置に基づいて、結像レンズが撮像部の撮像面に結像することができる物点の位置より光学系に近い位置にあるか否かを特定してよい。

制御部は、結像レンズによる結像位置を制御することによりデフォーカス量を制御し、位置特定部は、第１画像および第２画像のそれぞれにおけるオブジェクトの位置と、第１画像および第２画像を撮像したときのそれぞれの結像位置とに基づいて、被写体距離を特定してよい。

位置特定部は、結像レンズによる結像位置とオブジェクトの位置とに対応づけて、当該オブジェクトとして撮像された被写体が存在すべき位置に対応する被写体距離を予め記憶しており、位置特定部は、第１画像および第２画像を撮像したときのそれぞれの結像位置に対応づけて記憶している被写体距離を特定してよい。

本発明の第２の態様によると、撮像方法であって、物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系を通じて撮像する撮像段階と、光学系の光学特性を制御することによりデフォーカス量を制御する制御段階と、制御段階における制御により異なるデフォーカス量に制御されて撮像された第１画像および第２画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定段階とを備える。

本発明の第３の態様によると、撮像装置用のプログラムであって、コンピュータを、物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系を通じて撮像する撮像部、光学系の光学特性を制御することによりデフォーカス量を制御する制御部、制御部により異なるデフォーカス量に制御されて撮像された第１画像および第２画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、一実施形態に係わる撮像装置１１０のブロック構成の一例を示す。撮像装置１１０は、被写体までの距離を算出することができる撮像装置を提供する。なお、撮像装置１１０としては、デジタルスチルカメラの他、撮像機能付きの携帯電話端末、監視カメラ、内視鏡などの、撮像機能を有する撮像機器を例示することができる。

撮像装置１１０は、光学系１００、受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、位置特定部１５０、出力部１９０、および、制御部１２０を備える。光学系１００は、複数の結像レンズ１０２ａおよびｂ、光変調部１０４、ならびに、絞り部１０６を備える。なお、以後の説明においては、結像レンズ１０２ａおよびｂを、結像レンズ１０２と総称する場合がある。

絞り部１０６は、光学系１００を通過する被写体光を絞る。本図の例では、絞り部１０６は、結像レンズ１０２および光変調部１０４の少なくともいずれかの光学素子の間に設けられている。他の構成では、絞り部１０６は、結像レンズ１０２および光変調部１０４のいずれの光学素子より物体側に設けられてもよく、結像レンズ１０２および光変調部１０４のいずれの光学素子より受光部１７０側に設けられてもよい。

光学系１００は、光変調部１０４による光の波面変調により、物点からの光の広がりを物点までの距離に対して略一定にする。なお、光変調部１０４の光学特性については、図２などに関連して後述する。このように、光学系１００は、物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する。なお、光学系１００がデフォーカス量に応じた位置に結像することについては、図２などに関連して説明する。

制御部１２０は、光学系１００の光学特性を制御することによりデフォーカス量を制御する。具体的には、制御部１２０は、光学系１００の位置、および、絞り部１０６の絞り開度の少なくとも一方を制御することにより、デフォーカス量を制御する。なお制御部１２０は、光学系１００の光学特性を制御すべく、光学系１００の焦点距離を制御してもよい。光学系１００の焦点距離とは、結像レンズ１０２の焦点距離であってもよい。

受光部１７０は、光学系１００を通過した被写体光を受光する。受光部１７０は、光学系１００の光軸に垂直な面上に２次元的に配置された複数の撮像素子を有する。複数の撮像素子は、光学系１００を通過した光をそれぞれ受光する。

なお、受光部１７０が有する撮像素子は、ＣＣＤ型の撮像素子であってよく、ＣＭＯＳ型の撮像素子であってもよい。各撮像素子の受光量を示す撮像信号は、撮像画像生成部１７２に供給される。

撮像画像生成部１７２は、撮像信号に基づき画像を生成する。撮像画像生成部１７２は、各撮像素子からの撮像信号をそれぞれＡ／Ｄ変換することにより、デジタルの画像を生成する。なお、受光部１７０、および撮像画像生成部１７２は、この発明における撮像部として機能する。

画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶する。画像記憶部１７４は、半導体メモリ、磁気メモリなどの記憶素子を有してよい。なお、画像記憶部１７４は、揮発性の記憶素子を有してよく、不揮発性の記憶素子を有してもよい。画像記憶部１７４は、撮像画像生成部１７２が生成した画像を記憶素子に記憶してよい。

画像取得部１３０は、画像記憶部１７４が記憶している画像を取得する。具体的には、画像取得部１３０は、制御部１２０により異なるデフォーカス量に制御されて撮像された第１画像および第２画像を取得する。画像取得部１３０が取得した画像は、位置特定部１５０および画像処理部１８０に供給される。位置特定部１５０は、制御部１２０により異なるデフォーカス量に制御されて撮像された第１画像および第２画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する。

画像処理部１８０は、画像処理部１８０は、光学系１００の光学伝達関数に基づいて、画像における光学系１００による点像の広がりを補正する補正処理を施すことにより、補正画像を生成する。例えば、画像処理部１８０は、光学系１００の光学伝達関数に基づく逆フィルタを画像に施すことにより、補正画像を生成してよい。なお、画像処理部１８０は、位置特定部１５０が特定した被写体距離に応じた補正処理を施してよい。

出力部１９０は、画像処理部１８０により生成された補正画像を出力する。例えば、出力部１９０は、画像を記録する記録媒体に補正画像を出力してよい。出力部１９０は、撮像装置１１０の外部に補正画像を出力してよい。例えば、出力部１９０は、パーソナルコンピュータ、プリンタ、ディスプレイなどの出力機器に、補正画像を出力してよい。

画像処理パラメータ格納部１８８は、光学系１００の結像特性に対応づけて、画像に適用すべき補正処理に用いる画像処理パラメータを格納している。画像処理パラメータとしては、上述した逆フィルタを例示することができる。画像処理部１８０は、制御部１２０により制御された結像特性に適合する結像特性に対応づけて画像処理パラメータ格納部１８８が格納している画像処理パラメータを用いて、画像に補正処理を施してよい。

なお、画像取得部１３０、位置特定部１５０、画像処理部１８０、画像処理パラメータ格納部１８８、および出力部１９０は、撮像装置１１０とは別の画像処理装置が備えてよい。画像処理装置は、撮像装置１１０から、撮像された画像を取得することにより、上述の補正処理を施すことができる。このような画像処理装置としては、パーソナルコンピュータなどの電子情報処理装置を例示することができる。

図２は、デフォーカスに応じた瞳面における位相分布の一例を示す。以下に説明する本図の位相分布は、光軸を原点とする直交座標系に属する座標系の各座標値に関して、３次式で表される曲面形状を有する光変調部１０４による位相分布を示す。具体的には、光学系１００の光軸に直交する２軸をｘ、ｙとしたとき、光変調部１０４による波面収差は（ｘ^３＋ｙ^３）に比例する。

ここで、光変調部１０４および結像レンズ１０２を含む光学系１００による位相分布には、結像レンズ１０２によるデフォーカスの効果が加えられる。光学系１００全体による一次元の位相分布φ（ｘ）は、デフォーカス量ｄとしたとき、φ（ｘ）＝ｘ^３＋ｄｘ^２で表される。このように、光学系１００は、物点からの光の位相分布を、光軸からの位置に関する２次より大きい次数の多項式で近似される位相分布にする。光学系１００は、物点からの光の波面を、このような位相分布の波面に変換することにより、物点からの光を物点までの距離によらず略同一の広さに広げることができる。

ここで、位相分布φ（ｘ）は、φ（ｘ）＝（ｘ＋ｄ／３）^３−（ｄ^２／３）ｘ−ｄ^３／２７と変形できる。変形後の式の第１項は、光変調部１０４全体の位置シフトを表しており、この項による結像への影響は比較的に小さい。第２項は、波面の傾きを表しており、この項の影響が結像位置のずれとして現れる。第３項は、定数の位相ずれを表しており、結像特性には影響しない。このように、光学系１００によると、デフォーカス量に応じて結像位置にずれが生じる。

本図の位相分布２００は、デフォーカス量が０の場合の位相分布を示す。位相分布２１０および位相分布２２０は、それぞれデフォーカス量が正および負の場合の位相分布を示す。位相分布２１０を参照すると、原点近傍のｘが負の領域においては、傾きが負になっていることがわかる。また、位相分布２１０と位相分布２００との間のｘ方向のずれ幅（位相差が同じ値となるｘ座標の差の絶対値）について、ｘが正の領域におけるずれ幅が、ｘが負の領域におけるずれ幅より小さいことがわかる。このように、位相分布２１０全体の形は、位相分布２００全体を負の向きに傾けた形に近いことがわかる。

同様に、位相分布２２０全体の形も、位相分布２００全体を負の向きに傾けた形に近いことがわかる。このため、光学系１００は、物点からの光の波面を物点まで距離に応じて異なる傾きに変調することがわかる。このデフォーカス量に応じた傾きが画像上における結像位置に影響する。

このように、光学系１００は、物点からの光の位相分布を、デフォーカス量に応じた位相分布を表す２次の項を含む多項式で近似される位相分布にする。具体的には、光学系１００は、物点からの光の位相分布を、３次以上の奇数次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。より具体的には、光学系１００は、物点からの光の位相分布を、３次の項、および、デフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。なお、光学系１００は、物点からの光の位相分布を、光変調部１０４の位相変調による３次以上の奇数次の項、および、結像レンズ１０２によるデフォーカス量に応じた２次の項を含む多項式で近似される位相分布にしてよい。

図３は、デフォーカス量の変化の一例を示す。光軸上の物点の位置３８０からの光は、結像レンズ１０２によって焦点面と光軸との交点である結像位置３９０に結像する。物点の位置３８０の光軸上の位置が変わると、結像位置３９０も変わり、それによりデフォーカス量ｄが変化する。ここで、制御部１２０が結像レンズ１０２の主点の位置３７０を矢印３７２で示す方向に移動させると、結像位置３９０は矢印３７４で示す方向に移動する。このように、制御部１２０は、結像レンズ１０２の主点の位置３７０を制御して結像位置３９０を制御することで、デフォーカス量ｄを変化させることができる。他にも、制御部１２０は、結像レンズ１０２の焦点距離を制御することによって、デフォーカス量ｄを制御してもよい。

図４Ａは、光学系１００の位置ずらし量に対する結像位置のシフト量の依存関係を示す。本グラフの横軸は、光学系１００の光軸方向の位置を示しており、Δｚは制御部１２０による光学系１００の位置のずらし量とする。ここでは、Δｚ＝０に制御された状態で、デフォーカス量ｄが０になっているものとする。なお、位置シフト量は、実際に結像した位置の、本来結像すべき点からのシフト量とする。ここで、本来結像すべき点とは、絞り部１０６を最小開度に制御した状態での結像点であってよい。制御部１２０が絞り部１０６の絞り開度を最大にした状態では、光変調部１０４の光軸近傍以外の領域を光が通過することにより、光変調部１０４による波面変調効果が与えられるので、デフォーカス量に応じた結像位置の位置シフトが生じる。

線３６０は、位置シフト量Δｘ、Δｙの、Δｚに対する依存性を示している。上述したように位置シフトは、φ（ｘ）の変形後の式の上記第２項の係数である−ｄ^２／３により生じる。したがって、ｘ軸方向の位置シフト量はｄ^２に応じた値となる。ｙ軸方向のシフト量についても同じく、デフォーカス量ｄ^２に応じた値となる。なお、結像レンズ１０２の焦点距離が固定されている場合、図３に関連して説明した物点から結像レンズ１０２までの距離ａは結像レンズ１０２から結像点までの距離ｂより著しく大きいので、Δｚはｄと略一致する。したがって、位置シフト量Δは、Δｚに対して、線３６０で示されるような２次曲線様の依存性を有する。

具体的には、制御部１２０によりΔｚの値がΔｚ１または−Δｚ１になるよう制御されている場合、位置シフト量ΔｘおよびΔｙの値はΔ１になる。この場合、物点からの光は図４Ｂに関連して後述する位置３０１−１に対応する位置に結像される。制御部１２０によりΔｚの値がΔｚ２または−Δｚ２になるよう制御されている場合、位置シフト量ΔｘおよびΔｙの値はΔ２になる。この場合、物点からの光は図４Ｂに関連して後述する位置３０１−２に対応する位置に結像される。

図４Ｂは、結像位置のシフトの一例を示す。撮像された画像３５０において、絞り部１０６の絞り開度が最小にされた状態で撮像した場合に、ある物点からの光が画像３５０における位置３００に結像するとする。なお、光変調部１０４の光軸近傍の領域を通過した光の波面は光変調部１０４により実質的に変調されないので、絞り開度を最小にした状態では、光学系１００による結像効果としては結像レンズ１０２による結像効果が残る。このため、物点からの光は特定の位置３００に結像する。

一方、絞り部１０６の開度を最大にして撮像した場合、デフォーカス量ｄが０であれば、物点からの光は、特定の位置３００にぼけを伴って結像される。そして、デフォーカス量ｄの絶対値が大きくなるほど、物点からの光は、特定の位置３００から特定方向３２０により離れた位置に、ぼけを伴って結像される。

例えば、ある被写体からの光が、絞り開度を最小にした場合に位置３００に結像したとする。この被写体を、絞り開度を最大にして撮像した場合に、この被写体からの光が位置３０１−１に結像したとする。この場合、位置特定部１５０は、位置３００からの位置シフト量Δに基づいて、デフォーカス量ｄの絶対値を算出することができる。例えば、図４Ａに示した線３６０のように、位置特定部１５０は、シフト量Δに対するデフォーカス量ｄの大きさの依存性を予め記憶していてよい。これにより、位置特定部１５０は、シフト量Δに基づいてデフォーカス量ｄの大きさを算出することができる。

なお、図４Ａに関連して説明したように、位置シフト量Δはデフォーカス量ｄの絶対値に依存するので、デフォーカス量ｄの大きさだけでは、被写体までの正確な距離は分からない場合がある。例えば、位置特定部１５０は、位置シフト量Δが、実質的に無視することができる所定の閾値より小さい場合には、焦点距離および図３で示した関係から、距離ｂおよび焦点距離に応じた距離ａを、被写体距離として特定することができる。一方、位置シフト量Δが無視することができない大きさである場合には、位置特定部１５０は、光学系１００を含む結像光学で結像される物点の位置より光学系１００に近い側に存在するか遠い側に存在するかを特定することができない。

被写体が光学系１００に近い側に存在するか遠い側に存在するかは、以下に説明するように、Δｚを異なる値に制御した場合における位置シフト量の差を検出することで判断することができる。例えば、制御部１２０が、Δｚが増大する方向に光学系１００の位置を変化させた場合を考える。この場合、同じ被写体からの光が位置３０１−２に結像したとする。図４Ａを参照すると、Δｚを増大させた場合に結像位置が位置３０１−１から位置３０１−２へと、位置３００から離れる方向に結像位置が移動するのは、ΔｚをΔｚ１からΔｚ２に変化させた場合であることがわかる。このため、デフォーカス量ｄの符号がわかるので、位置特定部１５０はデフォーカス量ｄに基づいて被写体の距離を算出することができる。

具体的には、位置特定部１５０は、Δｚの差と位置シフト量Δの差とを変数として持つ、被写体距離についての関数を予め記憶していてよい。ここで、上述した例でいうと、Δｚ２−Δｚ１がΔｚの差に相当し、Δ２−Δ１が位置シフト量の差に相当する。位置特定部１５０は、当該関数、Δｚ２−Δｚ１の値、およびΔ２−Δ１の値を用いて、被写体距離を演算することができる。なお、線３６０に示すように、Δｚに対する位置シフト量Δの依存関係は下に凸な形をしているので、Δｚが異なる状態で２回撮像することによって、画像間のΔｚの差およびシフト量Δの差に基づき、被写体距離Ｚを算出することができる。他にも、Δｚが異なる状態で３回以上撮像することで、被写体距離の算出精度をより高めることもできる。

このように、位置特定部１５０は、第１画像におけるオブジェクトの位置と、第２画像におけるオブジェクトの位置との間の距離であるオブジェクト距離に基づいて、被写体距離を特定することができる。この場合、制御部１２０は、光変調部１０４による位相変調および結像レンズ１０２による収差の影響が予め定められた値以下になる開度と、当該開度より大きい開度とに絞り部１０６の開度を制御することにより、デフォーカス量を制御してよい。例えば、第１画像は、光変調部１０４による位相変調および結像レンズ１０２による収差の影響が予め定められた値以下になるよう絞り開度を最小に制御した状態で撮像された画像であり、第２画像は、絞り開度を最大に制御した状態で撮像された画像であってよい。

なお、第２画像はぼけを伴うので、画像処理部１８０は、第２画像を、第２画像が撮像されたときの光学系１００の光学伝達特性に応じて補正してよい。そして、位置特定部１５０は、画像処理部１８０により第２画像が補正された補正画像および第２画像のそれぞれにおける同じ被写体を示すオブジェクトの位置に基づいて、被写体距離を特定してよい。また、位置特定部１５０は、第１画像におけるオブジェクトの位置、第２画像におけるオブジェクトの位置、第１画像を撮像したときの絞り部１０６の開度、および、第２画像を撮像したときの絞り部１０６の開度に基づいて、被写体距離を特定してもよい。以上説明したように、位置特定部１５０は、オブジェクト距離がより小さい場合に、結像レンズ１０２が撮像面に結像することができる物点の位置により近い位置に対応する距離を、被写体距離を特定することができる。

図５Ａは、光学系１００の位置ずらし量に対する結像位置のシフト量の依存関係の他の一例を示す。図５Ｂは、結像位置のシフトの他の一例を示す。以下に、図５Ａおよび図５Ｂに関連して、図４Ａおよび図４Ｂとの相違点を説明する。

図５Ａおよび図５Ｂに関連して、位相分布がｘ方向とｙ方向とで異なる光学系１００により得られる位置シフトの一例について説明する。具体的には、上記で説明したデフォーカス量ｄが、ｘ方向とｙ方向とで異なるよう、光変調部１０４が与える位相差が調整されてよい。例えば、光変調部１０４は、互いに直交する方向において異なる分布の位相差を物点からの光に与えることで、光学系１００による物点からの光の結像位置を異ならせる。

図５Ａを参照して、この光学系１００によって撮像された画像３５０において、制御部１２０が絞り部１０６の絞り開度を最小にした状態で撮像した場合に、ある物点からの光が、撮像された画像３５０における位置４００に結像したものとする。

図５Ａを参照して、線４５０ａはｘ方向の位置シフト量ΔｘのΔｚに対する依存性を示しており、線４５０ｂはｙ方向の位置シフト量ΔｙのΔｚに対する依存性を示している。上述したようにｘ方向とｙ方向とで結像位置が異なっているので、線４５０ｂは、線４５０ａを、当該結像位置のずれ量に応じてシフトさせたものとなる。このため、図４Ａおよび図４Ｂで説明した場合と異なり、位置シフト量は、Δｚに応じてｘ方向とｙ方向とで異なる変化を示す。

本図の線４５０ａを参照して、制御部１２０によりΔｚの値が０になるよう制御されていたとすると、位置シフト量Δｘは０となり、位置シフト量ΔｙはΔ１になる。この場合、物点からの光は図５Ｂに示す位置４０１−１に対応する位置に結像される。制御部１２０によりΔｚの値がΔｚ１になるよう制御されている場合、位置シフト量ΔｘはΔ２となり、位置シフト量Δｙは０になる。この場合、物点からの光は図５Ｂに示す位置４０１−２に対応する位置に結像される。

このようにｘ軸方向のデフォーカス量が０である場合に、ｙ軸方向のデフォーカス量は０にならない。したがって図５Ｂに示すように、絞り開度を最大にした状態では、物点からの光は、位置４００からｙ軸方向のデフォーカス量に応じた値Δ１だけｙ方向にシフトした位置４０１−１に、ぼけを伴って結像される。一方、ｙ軸方向のデフォーカス量が０である場合には、ｘ軸方向のデフォーカス量は０にならない。この場合、物点からの光は、位置４００からｘ軸方向のデフォーカス量に応じた値Δ２だけｘ方向にシフトした位置４０１−２に、ぼけを伴って結像される。このように、物点からの光は、デフォーカス量に応じた軌跡４２０上の位置にぼけを伴って結像されることになる。

このように、位置シフトは、ｘ軸方向のデフォーカス量およびｙ軸方向のデフォーカス量に応じて生じる。したがって、位置特定部１５０は、ｘ方向のシフト量およびｙ方向のシフト量に基づき、ｘ方向のデフォーカス量およびｙ方向のデフォーカス量を特定することができる。そして、位置特定部１５０は、特定したｘ方向およびｙ方向のデフォーカス量に基づき、被写体距離を特定することができる。なお、図５Ａおよび図５Ｂに関連して説明した光学系１００の場合においても、図４Ａおよび図４Ｂに関連して説明したように、結像位置を変えて複数回撮像することで、被写体距離を算出することができる。具体的には、図４Ａおよび図４Ｂに関連して説明した場合と同様に、Δｚの差と位置シフト量Δの差とを変数として持つ被写体距離についての関数を予め記憶しておくことで、被写体距離を算出することができる。

このように、位置特定部１５０は、第１画像および第２画像におけるオブジェクトの２次元上の位置に基づいて、被写体距離を特定することができる。また、図４Ａおよび図４Ｂで説明した光学系１００の場合と比べると、本図で説明した光学系１００によると、位置特定部１５０は、第１画像および第２画像におけるオブジェクトの２次元上の位置に基づいて、結像レンズ１０２が撮像面に結像することができる物点の位置より光学系１００に近い位置にあるか否かを特定することができる。

また、図４Ａから図５Ｂに関連して説明した距離算出方法のうち、結像位置を変えて撮像することで距離を算出する方法によると、絞りを絞ることなく、結像位置を異ならせて撮像された第１画像および第２画像のそれぞれにおけるオブジェクトの位置から、当該オブジェクトとして撮像された被写体までの距離を特定することができる。このため、明るい画像からオブジェクトの位置を算出することができるので、オブジェクト位置の算出精度が高くなり、被写体距離の算出精度も高まる。

図４Ａおよび図４Ｂに関連して説明したように、光変調部１０４がｘ方向およびｙ方向に略同一な位相分布を与える場合、光学系１００の位置に応じてデフォーカス量が変わるので、第１画像および第２画像におけるオブジェクトの位置に違いが生じる。例えば、第１画像において位置３０１−１に撮像されているオブジェクトが、第２画像における位置３０１−２に撮像されている場合、差位置特定部１５０は、位置３０１−１および位置３０１−２の位置の差に基づいて、当該オブジェクトとして撮像された被写体までの距離を特定することができる。例えば、位置特定部１５０は、位置３０１−１と位置３０１−２との間のｘ座標の差、または、位置３０１−１と位置３０１−２との間のｙ座標の差に基づき、被写体までの距離を特定することができる。

また、図５Ａおよび図５Ｂに関連して説明したように、光変調部１０４がｘ方向およびｙ方向に異なる位相分布を与える場合にも、光学系１００の位置に応じてデフォーカス量が変わるので、第１画像および第２画像におけるオブジェクトの位置に違いが生じる。例えば、第１画像において位置４０１−１に撮像されているオブジェクトが、第２画像における位置４０１−２に撮像されている場合、位置特定部１５０は、位置４０１−１および位置４０１−２のそれぞれの座標値に基づいて、被写体までの距離を特定することができる。

以上説明したように、制御部１２０は、結像位置を制御することによりデフォーカス量を制御する。そして、位置特定部１５０は、第１画像および第２画像のそれぞれにおけるオブジェクトの位置と、第１画像および第２画像を撮像したときのそれぞれの結像位置とに基づいて、被写体距離を特定することができる。位置特定部１５０は、結像レンズ１０２による結像位置とオブジェクトの位置とに対応づけて被写体距離を記憶しており、位置特定部１５０は、第１画像および第２画像を撮像したときのそれぞれの結像位置に対応づけて予め記憶している被写体距離を特定することができる。

なお、上述した距離算出方法において、位置特定部１５０は、オブジェクトの位置の差に基づいて、デフォーカス量を画像エリア毎に算出してよい。例えば、位置特定部１５０は、オブジェクトの位置の差がデフォーカス量に依存する依存性を、画像エリア毎に記憶していてよい。位置特定部１５０は、記憶している依存性、オブジェクトの位置の差に基づいて、デフォーカス量を画像エリア毎に算出してよい。これにより、位置特定部１５０は、光学系１００の像高に応じた結像特性を考慮して、被写体距離をより高精度に特定することができる。

図６は、画像処理パラメータ格納部１８８が格納しているデータの一例をテーブル形式で示す。画像処理パラメータ格納部１８８は、被写体距離および画像エリアに対応づけて、復元フィルタを格納している。

画像エリアは、復元対象となる画像上の領域を示す。なお、画像エリアが矩形である場合、画像エリアを特定する情報としては、矩形の対角の座標値を例示することができる。画像エリアが矩形でない場合には、エリアの外形を示すベクトル情報などを、画像エリアを特定する情報として例示することができる。

復元フィルタは、画像処理パラメータの一例であり、光変調部１０４によるぼけをキャンセルするデコンボリューションフィルタを例示することができる。デコンボリューションフィルタとしては、光学系１００によるぼけ像を点像に復元するべく光学系１００の光学伝達関数の逆変換をするものであってよく、逆フィルタ法に基づくデジタルフィルタなどを例示することができる。

画像処理部１８０は、位置特定部１５０が特定した被写体距離に対応づけて画像処理パラメータ格納部１８８が格納している各画像エリアに対する復元フィルタを選択する。そして、画像処理部１８０は、各画像エリアの画像信号を、それぞれの画像エリアに対する復元フィルタを用いて復元する。

以上説明したように、画像処理パラメータ格納部１８８が画像エリア毎に復元フィルタを格納しているので、画像処理部１８０は、撮像画像生成部１７２が生成した画像に、像高に応じた補正処理を施すことができる。したがって、画像処理部１８０は、ぼけた被写体像を復元する適切な復元フィルタを用いることができ、ひいては、補正処理によって生じるアーチファクトの強度を低減することができる。

なお、上記において光変調部１０４の一例として種々の曲面形状の位相板を示したが、光変調部１０４は、他の種々の手段で波面を変形させることができる。例えば、光変調部１０４としては、屈折率が変化する光学素子（例えば、屈折率分布型の波面変調光学素子）、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子（例えば、波面変調ハイブリッドレンズ）、光の位相分布を変調可能な液晶素子（例えば、液晶空間位相変調素子）などを例示することができる。

なお、本実施形態における画像は、動画に含まれる複数の動画構成画像であってよい。動画構成画像としては、フレーム画像を例示することができる。画像処理部１８０は、動画に含まれる複数の動画構成画像のそれぞれに、上述の画像処理を施すことができる。

図７は、撮像装置１１０として機能するコンピュータ１５００のハードウェア構成の一例を示す。本図に関連して説明するコンピュータ１５００などの電子情報処理装置が、撮像装置１１０として機能することができる。

コンピュータ１５００は、ＣＰＵ周辺部と、入出力部と、レガシー入出力部とを備える。ＣＰＵ周辺部は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示デバイス１５８０を有する。入出力部は、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する。レガシー入出力部は、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有する。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、より高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムの内容に応じて動作して、各部の制御をする。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示デバイス１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、ＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワーク通信装置１５９８に接続してプログラムまたはデータを送受信する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動するときに実行するブート・プログラム、あるいはコンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、あるいはパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＣＰＵ１５０５が実行するプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。記録媒体に格納されたプログラムは圧縮されていても非圧縮であってもよい。プログラムは、記録媒体からハードディスクドライブ１５４０にインストールされ、ＲＡＭ１５２０に読み出されてＣＰＵ１５０５により実行される。ＣＰＵ１５０５により実行されるプログラムは、コンピュータ１５００を、図１から図６に関連して説明した受光部１７０、撮像画像生成部１７２、画像記憶部１７４、画像取得部１３０、画像処理部１８０、画像処理パラメータ格納部１８８、位置特定部１５０、出力部１９０、および、制御部１２０などとして機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤまたはＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークあるいはインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用して、ネットワークを介したプログラムとしてコンピュータ１５００に提供してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

一実施形態に係わる撮像装置１１０のブロック構成の一例を示す図である。 デフォーカスに応じた瞳面における位相分布の一例を示す図である。 デフォーカス量の変化の一例を示す図である。 光学系１００の位置ずらし量に対する結像位置のシフト量の依存関係を示す図である。 結像位置のシフトの一例を示す図である。 光学系１００の位置ずらし量に対する結像位置のシフト量の依存関係の他の一例を示す図である。 結像位置のシフトの他の一例を示す図である。 画像処理パラメータ格納部１８８が格納しているデータの一例をテーブル形式で示す図である。 撮像装置１１０に係わるコンピュータ１５００のハードウェア構成の一例を示す図である。

符号の説明

１００ 光学系
１０２ 結像レンズ
１０４ 光変調部
１０６ 絞り部
１１０ 撮像装置
１２０ 制御部
１３０ 画像取得部
１５０ 位置特定部
１７０ 受光部
１７２ 撮像画像生成部
１７４ 画像記憶部
１８０ 画像処理部
１８８ 画像処理パラメータ格納部
１９０ 出力部
１５００ コンピュータ
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示デバイス
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ
１５９８ ネットワーク通信装置

Claims (21)

1. 物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系と、
   前記光学系の光学特性を制御することによりデフォーカス量を制御する制御部と、
   前記制御部により異なるデフォーカス量に制御された状態で、前記光学系を通過した被写体光でそれぞれ撮像する撮像素子と、
   前記制御部により異なるデフォーカス量に制御された状態で前記撮像素子によりそれぞれ撮像された第１画像および第２画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定部と
   を備える撮像装置。
2. 前記光学系は、物点からの光の波面を変調することにより、物点からの光を物点までの距離によらず略同一の広さに広げる
   請求項１に記載の撮像装置。
3. 前記光学系は、物点からの光の位相分布を、光軸からの位置に関する２次より大きい次数の多項式で近似される位相分布にすることにより、物点からの光を物点までの距離によらず略同一の広さに広げる
   請求項１または２に記載の撮像装置。
4. 前記光学系は、物点からの光の位相分布を、前記デフォーカス量に応じた位相分布を表す２次の項を含む前記多項式で近似される位相分布にする
   請求項３に記載の撮像装置。
5. 前記光学系は、物点からの光の位相分布を、３次以上の奇数次の項、および、前記デフォーカス量に応じた前記２次の項を含む前記多項式で近似される位相分布にする
   請求項４に記載の撮像装置。
6. 前記光学系は、物点からの光の位相分布を、３次の項、および、前記デフォーカス量に応じた前記２次の項を含む前記多項式で近似される位相分布にする
   請求項５に記載の撮像装置。
7. 前記光学系は、
   光を結像する結像レンズと、
   通過する光の位相を変調する光変調部と
   を有し、
   前記光学系は、物点からの光の位相分布を、前記光変調部の位相変調により前記多項式で近似される位相分布にする
   請求項３から６のいずれか一項に記載の撮像装置。
8. 前記制御部は、前記結像レンズの光路中に前記光変調部が挿入された状態と、前記結像レンズの光路から前記光変調部が外された状態とに制御することにより、前記デフォーカス量を制御する
   請求項７に記載の撮像装置。
9. 前記光学系は、被写体光を絞る絞り部を有し、
   前記制御部は、前記絞り部の開度を制御することにより前記デフォーカス量を制御する
   請求項７に記載の撮像装置。
10. 前記制御部は、前記光変調部による位相変調および前記結像レンズによる収差の影響が予め定められた値以下になる開度と、当該開度より大きい開度とに前記絞り部の開度を制御することにより、前記デフォーカス量を制御する
    請求項９に記載の撮像装置。
11. 前記位置特定部は、前記第１画像における前記オブジェクトの位置と、前記第２画像における前記オブジェクトの位置との間の距離であるオブジェクト距離に基づいて、前記被写体距離を特定する
    請求項９または１０に記載の撮像装置。
12. 前記位置特定部は、前記オブジェクト距離がより小さい場合に、前記結像レンズが前記撮像素子の撮像面に結像することができる物点の位置により近い位置に対応する距離を、前記被写体距離として特定する
    請求項１１に記載の撮像装置。
13. 前記位置特定部は、前記第１画像における前記オブジェクトの位置、前記第２画像における前記オブジェクトの位置、前記第１画像を前記撮像素子で撮像したときの前記絞り部の開度、および、前記第２画像を前記撮像素子で撮像したときの前記絞り部の開度に基づいて、前記被写体距離を特定する
    請求項９に記載の撮像装置。
14. 前記光変調部は、前記光学系による物点からの光の結像位置を異ならせるべく、互いに直交する方向で異なる分布の位相差を物点からの光に与え、
    前記位置特定部は、前記第１画像および前記第２画像における前記オブジェクトの２次元上の位置に基づいて、前記被写体距離を特定する
    請求項７から１２のいずれか一項に記載の撮像装置。
15. 前記位置特定部は、前記第１画像および前記第２画像における前記オブジェクトの２次元上の位置に基づいて、前記結像レンズが前記撮像素子の撮像面に結像することができる物点の位置より前記光学系に近い位置にあるか否かを特定する
    請求項１４に記載の撮像装置。
16. 前記制御部は、前記結像レンズによる結像位置を制御することにより前記デフォーカス量を制御し、
    前記位置特定部は、前記第１画像および前記第２画像のそれぞれにおける前記オブジェクトの位置と、前記第１画像および前記第２画像を撮像したときのそれぞれの前記結像位置とに基づいて、前記被写体距離を特定する
    請求項７に記載の撮像装置。
17. 前記位置特定部は、前記結像レンズによる結像位置と前記オブジェクトの位置とに対応づけて、当該オブジェクトとして撮像された被写体が存在すべき位置に対応する前記被写体距離を予め記憶しており、
    前記位置特定部は、前記第１画像および前記第２画像を撮像したときのそれぞれの結像位置に対応づけて記憶している前記被写体距離を特定する
    請求項１６に記載の撮像装置。
18. 前記光変調部による位相変調および前記結像レンズによる収差の影響が予め定められた値以下になる開度より大きい開度に前記絞り部の開度が制御された状態で前記撮像素子により撮像された前記第２画像を、前記第２画像が撮像されたときの前記光学系の光学伝達特性に応じて補正する画像処理部
    をさらに備え、
    前記位置特定部は、前記画像処理部により前記第２画像が補正された補正画像および前記第１画像のそれぞれにおける同じ被写体を示すオブジェクトの位置に基づいて、前記被写体距離を特定する
    請求項９から１２のいずれか一項に記載の撮像装置。
19. 前記撮像素子により撮像された画像に、当該画像が撮像されたときの前記光学系の光学伝達関数に基づいて、前記光学系による点像の広がりを補正する補正処理を施すことにより、補正画像を生成する画像処理部
    をさらに備え、
    前記画像処理部は、前記位置特定部が特定した被写体距離に応じた前記補正処理を施すことにより、前記補正画像を生成する
    請求項１から１７のいずれか一項に記載の撮像装置。
20. 前記光学系を備える撮像装置用のプログラムであって、コンピュータを、請求項１から１９のいずれか一項に記載の撮像装置として機能させるためのプログラム。
21. 物点からの光の波面を変調することにより物点までの距離に対して略一定な光学的伝達関数を持ち、物点からの光の波面を物点まで距離に応じて異なる傾きに変調する光学系の光学特性を制御することによりデフォーカス量を制御する制御段階と、
    前記制御段階で異なるデフォーカス量に制御された状態で、前記光学系を通過した被写体光でそれぞれ撮像素子によって撮像する撮像段階と、
    前記制御段階における制御により異なるデフォーカス量に制御された状態で前記撮像素子によりそれぞれ撮像された第１画像および第２画像における同じ被写体を示すオブジェクトの位置に基づいて、当該被写体までの距離である被写体距離を特定する位置特定段階と
    を備える撮像方法。