JP5430292B2

JP5430292B2 - 被写体距離計測装置

Info

Publication number: JP5430292B2
Application number: JP2009196601A
Authority: JP
Inventors: 貴志前川
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2009-03-26
Filing date: 2009-08-27
Publication date: 2014-02-26
Anticipated expiration: 2029-08-27
Also published as: JP2010249794A

Description

本発明は、撮像画像を用いた被写体距離計測装置に関するものである。

従来、カメラ画像のみを用いて被写体までの距離を推定するパッシブ方式の測距技術として、いくつかの手法が知られている（たとえば特許文献１参照）。

その一つに、ステレオ法が挙げられる。
これは対象となる被写体を複数のカメラで撮像し、カメラ間距離（基線長）と画像上での差異（視差）を用い、三角測距の原理で距離を推定するものである。
この手法を用いたシステムとしては、例えば車の前方監視用ステレオカメラが知られており、前方障害物等の検出に利用されている。

また、その他の手法の一つにＤＦＤ（Depth from Defocus）法が挙げられる。
これは画像のボケ量と被写体距離との相関から距離を推定するものであるが、ステレオ法のような基線長を必要とせず、システムの小型化に有利である。
この手法を用いたシステムとしては、例えば顕微鏡を使った３次元画像生成などに応用されている。

ＤＦＤ（Depth from Defocus）法においては、単一の画像から距離を推定することは困難なため、ボケ量の異なる複数枚の画像を用いる方法が一般的である。
ボケ量の異なる複数枚の画像を得るために、特許文献１ではプリズムを使用した３ＣＣＤ構成としている。
また、特許文献２においても、同様にハーフミラーを使用した２ＣＣＤ構成としている。

特許第２９６３９９０号特許第３３５６２２９号

しかしながら、ＤＦＤにおいて上述のようにプリズムやハーフミラーを使用した構成では、光路長が長くなり、また、特に低背化が困難であり、搭載場所が限られる小型カメラ、特に携帯電話用カメラや車載用カメラなどには不向きである。
また、焦点距離の短い広角カメラにおいてはプリズムやハーフミラーの配置そのものが困難となる。
さらには、プリズムやハーフミラーで分光すると撮像系の感度低下につながるので、特に夜間など暗い状況下でノイズが発生しやすくなる問題がある。

先行技術では、光学系を介して収束する光線をプリズム等によって複数に分離して、分離した光線から互いに相違する合焦位置の画像を撮像素子によってそれぞれ取り込み、得られた画像に含まれるボケを比較・解析し、その量から合焦位置を求め、被写体の距離を演算する手法が提案されている。
しかしながら、より広い距離範囲の被写体距離を計測するには撮像素子の位置を大きく異ならせる必要があり、光学系の光路長は長くなってしまう。

本発明は、光路長を長く取る必要がなく、搭載機器の低背化、小型化を図ることが可能な被写体距離計測装置を提供することにある。

本発明の第１の観点の被写体距離計測装置は、撮像レンズと、前記撮像レンズを通過した被写体像を撮像する撮像素子と、前記撮像レンズと前記撮像素子の光路中に挿入される高屈折率材料体と、前記撮像素子から得られた画像データを処理・解析する距離推定部と、を有し、前記距離推定部は、前記高屈折率材料体の挿入によって、前記撮像素子に結像する被写体像の像倍率は略同一で合焦位置のみが異なる複数の撮像画像を取得し、当該画像同士の周波数特性の比と当該画像を撮像した撮像レンズの被写体距離をパラメータとした伝達関数の比との差が最小となるような被写体の距離を推定被写体距離とする。

好適には、前記撮像レンズはテレセントリック性を有する。

好適には、前記撮像レンズと撮像素子は、光学系の焦点距離が等しく撮像素子との位置関係も等しい複数組よりなり、前記高屈折率材料体の有無およびもしくは前記高屈折率材料の屈折率もしくは光軸方向の厚みによって合焦位置が異ならせてある。

好適には、前記高屈折率材料体は、前記光路中に挿入退出可能である。

本発明によれば、光路長を長く取る必要がなく、搭載機器の低背化、小型化を図ることができる。

本発明の第１の実施形態に係る被写体距離計測装置の構成例を示すブロック図である。本第１の実施形態に係る被写体距離計測装置における撮像系を模式的に示す図である。距離推定部で、物体距離ｌをパラメータとした評価値Ｅが最小値をとるときのｌを物体推定距離とする例を説明するための図である。本発明の第２の実施形態に係る被写体距離計測装置の構成例を示すブロック図である。被写体距離における撮像画像（元画像）とその周波数特性を示す図である。ノイズのない場合の評価値を示す図である。ノイズ重畳画像とそのノイズ重畳画像の周波数特性を示す図である。ノイズが重畳した場合の評価値を示す図である。ノイズがない場合と実際にノイズが重畳した場合の周波数特性を示す図である。閾値による判定して算出した評価値Ｅ”を示す図である。本第２の実施形態に係る距離推定処理を説明するためのフローチャートである。本発明の第３の実施形態に係る被写体距離計測装置の構成例を示すブロック図である。

以下、本発明の実施形態を図面に関連付けて説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る被写体距離計測装置の構成例を示すブロック図である。

本被写体距離計測装置１０は、図１に示すように、第１の撮像装置１１、第２の撮像装置１２、距離推定部１３、およびＯＴＦ格納部１４を有する。

第１の撮像装置１１は、第１の撮像レンズ１１１、第１の撮像素子１１２、および第１の画像処理部１１３を有する。

第１の撮像レンズ１１１は、被写体ＯＢＪの像を、第１の撮像素子１１２の撮像面（結像面）に結像する。
第１の撮像レンズ１１１は、テレセントリック性を有する。

第１の撮像素子１１２は、ＣＣＤ（CCD：Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-oxide Semiconductor）センサにより形成され、複数の画素がマトリクス状に配列されている。
撮像素子１１２は、アナログの画像信号をデジタルの画像信号に変換して画像処理部１１３に出力する。

第１の画像処理部１１３は、カラー補間Ｍ、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、フィルタリング等の処理を行い、処理後の画像データを距離推定部１３に出力する。

第２の撮像装置１２は、第２の撮像レンズ１２１、高屈折材料体１２２、第２の撮像素子１２３、および第２の画像処理部１２４を有する。

第２の撮像レンズ１２１は、被写体ＯＢＪの像を、高屈折材料体１２２を介して第２の撮像素子１２３の撮像面（結像面）近傍に結像する。
第２の撮像レンズ１２１は、焦点距離が第１の撮像装置１１の第１の撮像レンズ１１１の焦点距離と等しい。
第２の撮像レンズ１２１は、テレセントリック性を有する。

高屈折材料体１２２は、たとえば平行板により形成され、第２の撮像レンズ１２１と第２の撮像素子１２３との間の光路に配置され（挿入され）、画像のボケ量を変化させて、第２の撮像素子１２３の撮像面に入射させる。
高屈折材料体１２２は、被写体ＯＢＪ像の第２の撮像素子１２３における結像位置を、第１の撮像系１１の状態と変化させる目的で配置されている。

第２の撮像素子１２３は、ＣＣＤやＣＭＯＳセンサにより形成され、複数の画素がマトリクス状に配列されている。
第２の撮像素子１２３は、アナログの画像信号をデジタルの画像信号に変換して第２の画像処理部１２４に出力する。

第２の画像処理部１２４は、カラー補間Ｍ、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、フィルタリング等の処理を行い、処理後の画像データを距離推定部１３に出力する。

このように、本第１の実施形態においては、撮像レンズ（光学系）と撮像素子は、光学系の焦点距離が等しく撮像素子との位置関係も等しい複数組（ここでは２組）よりなり、高屈折率材料対１２２の有無およびもしくは高屈折率材料体１２２の屈折率もしくは光軸方向の厚みによって合焦位置が異ならせてある。

距離推定部１３は、第２の撮像装置１２において高屈折率材料体１２２の挿入によって、第１および第２の撮像素子１１２，１２３に結像する被写体像の像倍率は略同一で合焦位置のみが異なる複数の撮像画像を取得し、その焦点のボケ状態の違いから被写体の距離を推定する。
距離推定部１３は、合焦位置が異なる画像同士の周波数特性の比と画像を撮像した撮像レンズの被写体距離をパラメータとした伝達関数の比との差が最小となるような被写体距離を推定被写体距離とする。

図２は、本第１の実施形態に係る被写体距離計測装置１０における撮像系を模式的に示す図である。
ここで、本第１の実施形態に係る被写体距離計測装置１０における撮像系の機能を、図２に関連付けて説明する。

本第１の実施形態においては、図２に示すように、焦点距離の等しい２つの撮像レンズ１１１，１２１を用い、略同一の視野の画像を撮像する。
第１の撮像レンズ１１１および第２の撮像レンズ１２１はそれぞれ複数枚のレンズで構成しても良い。
第１および第２の撮像素子１１２，１２３は、物理的に二つを並べても良いし、一つの撮像素子の撮像面を中央で分割して仮想的に二つとみなしても良い。
本第１の実施形態においては、一方の光路上、すなわち第２の撮像装置１２の光路上には、画像のボケ量を変化させる目的で、平行板である高屈折率材料体１２２が挿入されている。
いま、高屈折率材料体１２２の屈折率をｎ、厚みをｄ（ｍｍ）とすると、光路長の伸びａ（ｍｍ）は一般的に次式で表される。

高屈折率材料体１２２は結像位置のみを変化させる目的なので、平行板であることを基本とするが、レンズや撮像素子の配置場所の都合で、光路を僅かに屈折させる必要がある場合には、完全な平行板である必要はない。
また、高屈折率材料体１２２は複数枚で構成されていても良い。
光路長が伸びることで撮像レンズと撮像素子との間隔を変化させた場合と同等の効果が得られ、他方と略同じ視野でありながらボケ量のみが異なる画像を得ることができる。
撮像レンズを像側テレセントリック系のレンズ構成にすれば像倍率の変化がなくなるため、第１の撮像素子１１２と第２の撮像素子１２３の画像視野は略等しくボケ量だけが異なった画像となり、距離推定演算において有利である。

次に、ボケ量の異なる２枚の画像から、被写体ＯＢＪの距離推定を行う方法について図１に関連付けて説明する。
ここで、第１の撮像レンズ１１１と第１の撮像素子１１２とをまとめて第１の撮像系とし、第２の撮像レンズ１２１と高屈折率材料体１２２と第２の撮像素子１２３とをまとめて第２の撮像系とする。

一般的に、光学系の焦点ずれによりボケた画像の周波数特性Ｇ（ｕ，ｖ）は、原画像の周波数特性Ｆ（ｕ，ｖ）と、光学系の伝達関数ＯＴＦ（Optical Transfer Function)との積により表現されることが知られている。
ＯＴＦは被写体距離ｌによって変化する。また、ＯＴＦを逆フーリエ変換したものが点像分布関数ＰＳＦ（Point Spread Function)として知られている。

今、第１の撮像系の伝達関数をＯＴＦ_１（ｕ，ｖ，ｌ）、第１の撮像系の出力画像の周波数特性をＧ_１（ｕ，ｖ）、第２の撮像系の伝達関数をＯＴＦ_２（ｕ，ｖ，ｌ）、第２の撮像系の出力画像の周波数特性をＧ_２（ｕ，ｖ）とする。

第１の撮像系と第２の撮像系の入力画像が略等しいとみなせる場合、つまり、第１の撮像レンズ１１１と第２の撮像レンズ１２１の焦点距離が同じで共に像側テレセントリック系のレンズであり、かつ被写体距離が充分遠い場合には、第１の撮像系と第２の撮像系の入力画像は略等しいと見なせ、これをＦ（ｕ，ｖ）とおくと、次式が成立する。

これらの式の両辺をそれぞれ除算するとＦ（ｕ，ｖ）を消去することができ、下式が成立する。

理想的には上式が成立するが、実際には画像ノイズや量子化誤差等の影響もあり、完全なイコールは成立し難い。
そこで、距離推定部１３では、物体距離ｌをパラメータとした次式の評価値Ｅを計算し、図３に示すように、Ｅが最小値をとるときのｌを物体推定距離として出力する。

このとき、ある周波数域で分母が０になるとＥが大きく振れてしまう。このため、ウィナーフィルタの考え方を導入した次式の評価値Ｅ´を使って被写体距離ｌを推定しても良い。

ただし、Ｒ_ｎはノイズの自己相関関数、Ｒ_ＧはＧ_２の自己相関、Ｒ_ＯＴＦはＯＴＦ_２の自己相関をそれぞれ示している。
なお、ＯＴＦ_１やＯＴＦ_２は撮像系固有の値であるため、ｌをパラメータとした関数やルックアップテーブル（ＬＵＴ）の形で予め算出し、ＯＴＦ格納部１４に保存してある。

本第１の実施形態によれば、以下の効果を得ることができる。
本実施形態では、光路中に高屈折率材料体を挿入することで、像倍率を変えずに合焦位置の異なる画像を得ることができ、被写体距離の演算が可能となる。よって、光路長を長く取る必要はなくなり、低背化・小型化に有効である。

［第２の実施形態］
図４は、本発明の第２の実施形態に係る被写体距離計測装置の構成例を示すブロック図である。

本第２の実施形態の被写体距離計測装置１０Ａは、距離推定部１３Ａが画像データに重畳するノイズ量を推定するノイズ量推定部１３１を含む。
そして、距離推定部１３Ａは、高屈折率材料体１２２の挿入によって、撮像素子１１２Ａ，１２３Ａに結像する被写体像の像倍率は略同一で合焦位置のみが異なる複数の撮像画像を取得し、その焦点のボケ状態の違いから、推定したノイズ量に応じて、被写体の距離を推定する。
ノイズ量推定部１３１は、撮像素子１１２Ａ，１２３Ａのシャッタータイムおよびゲインの値によってノイズ量を推定する。
なお、ノイズ量の推定は、シャッタータイムおよびゲインの値のうちの少なくとも一方によって推定可能である。ここでは、両者を用いて推定する例が示されている。

距離推定部１３Ａは、撮像画像の周波数成分のうち推定したノイズ量に応じて決められるある所定値より大きい周波数領域の成分を用いて、距離をパラメータとした評価値を算出し、その評価値によって被写体の距離を推定する。
距離推定部１３Ａは、評価値は高屈折率材料体１２２の有無による撮像レンズ１１１，１２１の伝達関数の比と、高屈折率材料体１２２の有無による撮像素子１１２Ａ，１２３Ａから得られた画像データの周波数特性の比とを用いて算出する。

以下に、本第２の実施形態の被写体距離計測装置１０Ａの距離推定処理についてさらに詳細に説明する。

上記数１〜数３に示す式はノイズがない理想的な条件における記述のため、評価値は数４の式のように単純化して記述が可能であるが、実際の撮像画像においてはノイズの影響は無視できない。

次にその影響を調べる。ここで、元画像として、正弦波にインパルスを加算したものを用意している。これにより、全ての周波数帯域において０では無い値を持つため、解析が容易となる。
ＰＳＦ（ＯＴＦ）をガウスフィルタで仮定し、被写体距離の変化はガウスフィルタのσの大きさの変化に対応させる。
ある被写体距離における撮像画像ｇ ₁とその周波数特性Ｇ ₁はそれぞれ図５（Ａ），（Ｂ）に示すようになる。
なお、図５（Ａ）は元画像を、図５（Ｂ）は元画像の周波数特性を、それぞれ示している。

図６は、ノイズのない場合の評価値を示す図である。
図６において、横軸が距離を、縦軸が評価値を、それぞれ表している。

ここで、設定条件として被写体位置を１８に設定し、実際に数４の式の評価値Ｅを演算すると図６のようになる。
評価値Eは横軸１８で最小値を取り、これは設定条件と一致する。すなわち距離推定が可能であることを示している。

同様にして、ノイズを重畳した場合について、ある被写体距離における撮像画像ｇ´₁とその周波数特性Ｇ´₁はそれぞれ図７（Ａ），（Ｂ）に示すようになる。
なお、図７（Ａ）はガウスノイズσ＝０．０１の場合のノイズ重畳画像を、図７（Ｂ）はノイズ重畳画像の周波数特性を、それぞれ示している。

図８は、ノイズが重畳した場合の評価値を示す図である。
図８において、横軸が距離を、縦軸が評価値を、それぞれ表している。

ここで、設定条件として被写体位置を１８に設定し、実際に数４の式の評価値Ｅを演算すると図８のようになる。
評価値Ｅは横軸１８で最小値をとらないので、設定条件と一致しない。
これは距離推定ができないことを意味する。

このため、ノイズの量に応じて評価値算出の対象となる周波数領域を選択することを考える。
カメラ画像の場合、一般的には周囲環境が暗いほど長いシャッタータイムや高いゲインを必要とし、それと共に画像ノイズが増大する。
よって実際には、ＡＥ（自動露光）動作におけるシャッタータイムやゲインより、どのくらいの画像ノイズ量が発生するかを予測することが可能である。
この予測されたノイズ量に対し、画像のある周波数領域の成分が所定値以上の場合はその領域を評価値算出の対象とし、逆に所定値以下の場合は評価値算出の対象に含めないこととする。

図９（Ａ）〜（Ｅ）は、ノイズがない場合と実際にノイズが重畳した場合の周波数特性を示す図である。
図９（Ａ）は、ガウスノイズσ＝０でノイズがない場合の周波数特性を、図９（Ｂ）はガウスノイズσ＝０．０００１である場合の周波数特性を、それぞれ示している。
図９（Ｃ）はガウスノイズσ＝０．００１である場合の周波数特性を、図９（Ｄ）はガウスノイズσ＝０．０１である場合の周波数特性を、図９（Ｅ）はガウスノイズσ＝０．１である場合の周波数特性を、それぞれ示している。

実際にノイズが重畳した場合の周波数特性は、図９（Ｂ）〜（Ｅ）に示すようになる。
これらは、図５の元画像に対してガウスノイズを重畳した場合の、ｙ方向周波数＝０におけるｘ方向の周波数特性であるが、２次元フーリエ変換の場合と同様に、直流成分（周波数=0）が中心になるようにシフトしている。

図９（Ａ）〜（Ｅ）に示すように、ノイズによる増加分は実際にはランダムであるが、ノイズが大きくなるにつれ、特に中高域成分の変化量が大きいことが分かる。
すなわち、ＳＮＲが特に劣化している領域である。
一方、もともと周波数成分が高いもの（図においては直流成分の部分に相当する）は、ノイズの増加の影響が少なく、ＳＮＲが高いと想定できるため、これを評価値算出の対象とする。

この評価値算出対象の判定は、得られた周波数成分の大きさで行う。
前述の通り、ノイズによる増加分は実際にはランダムであるが、評価値算出への影響度合いも勘案し、ある閾値αを定めてたとえばルックアップテーブルのような形でシャッタータイムやゲインの値と対応させる。
画像においては、周波数特性は２次元的に得られるので、その全てにおいてこの閾値αによる判定を行い、評価値算出の対象か否かを判定する。

図１０は、閾値による判定して算出した評価値Ｅ”を示す図である。
図１０において、横軸が距離を、縦軸が評価値を、それぞれ表している。

図１０は、設定した被写体距離１８で最小値をとっているので、距離推定が可能であることを示している。

図１１は、本第２の実施形態に係る距離推定処理を説明するためのフローチャートである。

まず、距離推定部１３Ａは、第１の撮像装置１１Ａおよび第２の撮像装置１２Ａから画像Ｇ１、Ｇ２を取得する（ＳＴ１）。
また、第１の撮像素子１１２Ａおよび第２の撮像素子１２３Ａから（あるいはそれらの制御系から）シャッタータイムおよび（または）ゲイン値を取得する（ＳＴ２）。
ノイズ量推定部１３１が、ノイズ量を推定する（ＳＴ３）。
次に、距離推定部１３Ａは、評価値を算出するために、閾値αを設定する（ＳＴ４）。
ここで、ｘ方向の周波数ｕ、ｙ方向の周波数ｖを０に初期化する（ＳＴ５）。
次に、画像の周波数特性Ｇ_１（ｕ，ｖ）、Ｇ_２（ｕ，ｖ）Ｇが閾値αより大きいか否かを判定する（ＳＴ６）。
ステップＳＴ６において肯定的判定結果が得られた場合には、評価値を算出し、加算処理を行う（ＳＴ７）。
ステップＳＴ６において否定的判定結果が得られた場合またはステップＳＴ７の処理後、周波数領域（ｕ，ｖ）におけるスキャンが終了したか否かを判定する（ＳＴ８）。
ステップＳＴ８において、否定的判定結果が得られた場合には、ｕまたはｖをインクリメントして（ＳＴ９）、ステップＳＴ６からの処理を行う。
ステップＳＴ８において、肯定的判定結果が得られた場合には、処理を終了する。

以上のように、本第２の実施形態によれば、Ｓ／Ｎ比の高い周波数成分だけを抽出して評価値算出することで、距離推定精度を高めることができる。

［第３の実施形態］
図１２は、本発明の第３の実施形態に係る被写体距離計測装置の構成例を示すブロック図である。

本第３の実施形態においては、撮像レンズと撮像素子を一つずつとし、高屈折率材料体１１４を駆動装置１５により機械的に出し入れする、あるいは、高屈折率機能の発現、非発現を制御する。
この第３の実施形態のように、時系列的にボケ量の異なる画像を撮像するようにしても良い。
上記と同様に、撮像レンズや高屈折率材料体はそれぞれ複数枚で構成されていても良い。

本第３の実施形態によれば、上述した第１および第２の実施形態の効果と同様の効果を得ることができる。

１０，１０Ａ，１０Ｂ・・・被写体距離計測装置、１１，１１Ａ・・・第１の撮像装置、１１１・・・第１の撮像レンズ、１１２，１１２Ａ・・・第１の撮像素子、１１３・・・第１の画像処理部、１１４・・・高屈折率材料体、１２，１２Ａ・・・第２の撮像装置、１２１・・・第２の撮像レンズ、１２２・・高屈折率材料体、１２３，１２３Ａ・・・第２の撮像素子、１２４・・・第２の画像処理部、１３，１３Ａ・・・距離推定部、１３１・・・ノイズ量推定部、１４・・・ＯＴＦ格納部。

Claims

撮像レンズと、
前記撮像レンズを通過した被写体像を撮像する撮像素子と、
前記撮像レンズと前記撮像素子の光路中に挿入される高屈折率材料体と、
前記撮像素子から得られた画像データを処理・解析する距離推定部と、を有し、
前記距離推定部は、
前記高屈折率材料体の挿入によって、前記撮像素子に結像する被写体像の像倍率は略同一で合焦位置のみが異なる複数の撮像画像を取得し、当該画像同士の周波数特性の比と当該画像を撮像した撮像レンズの被写体距離をパラメータとした伝達関数の比との差が最小となるような被写体の距離を推定被写体距離とする
被写体距離計測装置。
前記撮像レンズはテレセントリック性を有する
請求項１に記載の被写体距離計測装置。
前記撮像レンズと撮像素子は、
光学系の焦点距離が等しく撮像素子との位置関係も等しい複数組よりなり、前記高屈折率材料体の有無およびもしくは前記高屈折率材料体の屈折率もしくは光軸方向の厚みによって合焦位置が異ならせてある
請求項１または２に記載の被写体距離計測装置。
前記高屈折率材料体は、前記光路中に挿入退出可能である
請求項１または２に記載の被写体距離計測装置。