JP6920974B2 - 距離計測装置および距離計測方法 - Google Patents

Description

本発明は、距離計測装置および距離計測方法に関する。

特許文献１には、撮影後のフォーカス調整（リフォーカス）、オートフォーカス、測距等を行う高機能な撮像装置を実現するための構成として、「撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、前記画像センサの受光面に設けられ、光の強度を変調する変調器と、前記画像センサから出力される画像信号を一時的に格納する画像記憶部と、前記画像記憶部から出力される画像信号の画像処理を行う信号処理部と、を具備し、前記変調器は、複数の同心円から構成される第１の格子パターンを有し、前記信号処理部は、前記画像センサから出力される画像信号を、複数の同心円から構成される第２の格子パターンで変調することでモアレ縞画像を生成する」ことを特徴とする撮像装置が開示されている。

国際公開第２０１７／１４９６８７号

特許文献１に記載の撮像装置では、距離計測を行うため、撮像結果のコントラストの高低を基に距離情報を抽出している。しかしながら、該撮像装置の構成では、デフォーカス時のボケ形状が影響し、距離情報に大きな誤差が生じてしまうことがある。

本発明は、このような状況に鑑みてなされたものであり、撮像装置等の距離計測演算において、正確な距離情報を生成できるようにすることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記課題を解決すべく、本発明の一態様に係る距離計測装置は、光を電気信号に変換してセンサ画像を生成する画像センサと、撮影用パターンに基づいて前記画像センサ上に投影される光の強度を変調する変調器と、前記センサ画像から複素数を有する複素情報を生成する複素情報生成部と、前記複素情報の位相情報を基に評価指標配列を生成する評価指標配列生成部と、前記評価指標配列を基に距離情報を生成する距離情報生成部と、を備えることを特徴とする。

本発明によれば、正確な距離情報を生成することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明に係る第１の実施形態である距離計測装置の構成例を示すブロック図である。 撮像部の構成例を示す図である。 撮像部の他の構成例を示す図である。 撮影用パターンまたは現像用パターンの一例を示す図である。 撮影用パターンまたは現像用パターンの一例を示す図である。 斜め入射平行光によるパターン基板表面から画像センサへの射影像が面内ずれを生じることを説明するための図である。 撮影用パターンの一例の投影像を示す図である。 現像用パターンの一例を示す図である。 相関現像方式による現像画像の一例を示す図である。 フリンジスキャンにおける初期位相の組合せの例を示す図である。 時分割フリンジスキャンの場合の距離計測装置の構成例を示す図である。 液晶表示素子における透明電極の一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 液晶表示素子における透明電極の電圧印加パターンの一例を示す図である。 空間分割フリンジスキャンの場合の距離計測装置の構成例を示す図である。 撮影用パターンの一例を示す図である。 物体が無限距離にある場合に撮影用パターンが投影されることを示す図である。 物体が有限距離にある場合に撮影用パターンが拡大されることを示す図である。 評価指標配列生成方法の一例を示す図である。 複素情報パターンの例を示す図である。 距離計測装置における評価指標配列生成用パターンの例を示す図である。 評価指標配列のプロファイルの一例を示す図である。 評価指標配列のプロファイルの一例を示す図である。 評価指標配列のプロファイルの一例を示す図である。 評価指標配列のプロファイルの一例を示す図である。 評価指標配列のプロファイルの一例を示す図である。 評価指標配列の一例を示す図である。 評価指標配列の配列要素の値が評価指標配列生成用パターンのピッチに応じて変化する様子の一例を示す図である。 距離計測の一例を示す図である。 距離情報をデータ変換した距離画像の一例を示す図である。 距離計測処理の一例を説明するフローチャートである。 評価指標配列をサンプリングする様子の一例を示す図である。 評価指標配列生成方法の一例を示す図である。 モアレ現像方式によるモアレ縞の一例を示す図である。 撮影用パターンおよび評価指標配列生成用パターンの一例を示す図である。 撮影用パターンおよび評価指標配列生成用パターンの一例を示す図である。 本発明に係る第２の実施形態である距離計測装置の構成例を示すブロック図である。 評価指標配列をサンプリングする様子の一例を示す図である。 評価指標配列をサンプリングする様子の一例を示す図である。 評価指標配列をサンプリングする様子の一例を示す図である。 本発明に係る第３の実施形態である距離計測装置であって、評価指標配列をサンプリングする様子の一例を示す図である。 本発明に係る第４の実施形態である距離計測装置の構成例を示す図である。 補助照明投影部による照明光パターンの一例を示す図である。 照明用光源による照明光パターンの一例を示す図である。

以下に説明する各実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、各実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、各実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。同様に、各実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。また、各実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

以下、本発明に係る実施の形態について図面を用いて説明する。

＜第１の実施の形態＞
＜無限遠物体の撮影原理＞
図１は、本発明に係る第１の実施の形態である距離計測装置１０１の構成例を示している。

距離計測装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得するものであり、図１に示すように、撮像部１０２、画像処理部１０６、コントローラ１０７、及び距離計測変数設定部１１１から構成されている。

画像処理部１０６は、複素情報生成部１０８、評価指標配列生成部１０９、及び距離情報生成部１１０を有する。

図２は、撮像部１０２の構成例を示している。撮像部１０２は、画像センサ１０３、パターン基板１０４、及び撮影用パターン１０５から構成されている。

パターン基板１０４は、その一方の平面が画像センサ１０３の受光面に密着して固定されており、他方の平面には撮影用パターン１０５が形成されている。パターン基板１０４は、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。

撮影用パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。

なお、撮影用パターン１０５の形成はこれに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。また、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う際には、パターン基板１０４は例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料を用い、撮影用パターン１０５は遮断する材料を用いればよい。

なお、ここでは撮影用パターン１０５をパターン基板１０４に形成する方法について述べたが、図３に示すように形成してもよい。

図３は、撮像部１０２の他の構成例を示している。図３の撮像部１０２は、撮影用パターン１０５を薄膜に形成し、支持部材３０１により保持するようになされている。なお、距離計測装置１０１において、撮影画角はパターン基板１０４の厚さによって変更可能である。よって、例えばパターン基板１０４が図３の構成であり支持部材３０１の長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。

画像センサ１０３の表面には、受光素子である画素１０３ａが格子状に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。画像センサ１０３から出力された画像信号は、画像処理部である画像処理部１０６によって画像処理されて出力される。

以上の構成において、撮影する場合には、撮影用パターン１０５を透過する光は、そのパターンによって光強度が変調され、透過した光は画像センサ１０３にて受光される。画像センサ１０３から出力された画像信号は、画像処理部１０６によって画像処理されたデータがコントローラ１０７に出力される。コントローラ１０７は、画像処理部１０６の出力をホストコンピュータや外部記録媒体に出力する場合には、ＵＳＢ等のインターフェイスに適合するようデータ形式を変換し出力する。

続いて、距離計測装置１０１における画像撮影原理について説明する。まず、撮影用パターン１０５は、中心からの半径に対して反比例してピッチが細かくなる同心円状のパターンである。ここで、撮影用パターン１０５を、同心円の中心である基準座標からの半径ｒ、係数βを用いて、次式（１）のように定義する。

撮影用パターン１０５は、式（１）に比例して透過率変調されているものとする。

撮影用パターン１０５のような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。図４に式（１）のガボールゾーンプレート、図５に式（１）を閾値１で２値化したフレネルゾーンプレートの例を示す。

なお、ここより以降、簡単化のためにｘ軸方向についてのみ数式で説明するが、同様にｙ軸方向について考慮することで２次元に展開して考えることが可能である。

撮影用パターン１０５が形成された厚さｄのパターン基板１０４に、図６に示すようにｘ軸方向に角度θ_０で平行光が入射したとする。パターン基板１０４中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３に入射する。このとき、次式（２）に示されるような強度分布を持つ投影像が画像センサ１０３上で検出される。

なお、Φは式（１）の透過率分布の初期位相を示す。この撮影用パターン１０５の投影像は式（２）のようにｋシフトして投影される。これが撮像部１０２の出力となる。

撮影した画像の現像では、撮影用パターン１０５の投影像（図７）と現像用パターン８０１（図８）との相互相関関数を演算することにより、シフト量ｋの輝点（図９）を得る。

なお、一般的に相互相関演算を２次元畳込み演算で行うと演算量が大きくなってしまうので、演算量が少ないフーリエ変換を用いて演算する例について、数式を用いて原理を説明する。

まず、現像用パターン８０１は、撮影用パターン１０５と同様にガボールゾーンプレートやフレネルゾーンプレートを用いるため、現像用パターン８０１は、初期位相Φを用いて、次式（３）にように表すことができる。

現像用パターン８０１は、画像処理部１０６による画像処理で使用されるため、式（１）のように１でオフセットさせる必要はなく、負の値を有していても問題ない。

式（１），（３）のフーリエ変換は、それぞれ次式（４），（５）のようになる。

ここで、Ｆはフーリエ変換の演算を表し、ｕはｘ方向の周波数座標、δ（）はデルタ関数である。式（４），（５）で重要なことは、フーリエ変換後の式もまたフレネルゾーンプレートやガボールゾーンプレートとなっている点である。よって、式（４），（５）に基づいてフーリエ変換後の現像用パターンを直接的に生成してもよい。これにより演算量を低減することが可能である。

次に、式（４）と式（５）を乗算して次式（６）を得る。

式（６）における指数関数で表された項ｅｘｐ（−ｉｋｕ）が信号成分であり、この項をフーリエ変換すると、次式（７）のように変換され、元のｘ軸においてｋの位置に輝点を得ることができる。

この輝点が無限遠の光束を示しており、距離計測装置１０１による撮影像となる。

なお、相関現像方式では、パターンの自己相関関数が単一のピークを有するものであれば、フレネルゾーンプレートやガボールゾーンプレートに限定されないパターン、例えばランダムなパターンで実現してもよい。

＜ノイズキャンセル＞
ところで、上述した式（６）から式（７）への変換については、信号成分に着目して説明したが、実際には信号成分以外の項が現像を阻害してノイズを生じさせてしまう。そこで、フリンジスキャンに基づくノイズキャンセルを行う。具体的には、三角関数の直交性を利用して、次式（８）に示されるように、式（６）の乗算結果を初期位相Φに関して積分すると、ノイズ項がキャンセルされて、信号項の定数倍だけを残すことができる。

なお、式（８）は積分の形で示しているが、実際には、図１０に示す複数種類（同図の場合４種類）の初期位相Φ（Φ＝０，Φ＝π／２，Φ＝π，Φ＝３π／２）の組合せの総和を計算することによっても同様の効果が得られる。この組合せのように、初期位相Φは、０〜２πの間の角度を等分するように設定すればよい。

以上で説明したフリンジスキャンでは、撮影用パターン１０５として初期位相Φが異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。

時分割でパターンを切り替えてフリンジスキャンを実現する場合の距離計測装置１０１の構成を図１１に示す。撮影用パターン１２０１としては、図１０に示された複数の初期位相Φを電気的に切り替えて表示することが可能な液晶表示素子などを用いればよい。この液晶表示素子の切替タイミングと画像センサ１０３のシャッタタイミングを変調器制御部１２０２で同期して制御し、４枚の画像を取得後、フリンジスキャン演算を実施する。

なお、液晶表示素子を用いてフリンジスキャンを行う場合、液晶表示素子を駆動する電極は、例えば図１２に示すように構成すればよい。該電極は、撮影用パターン１０５の１周期を４分割するように同心円状透明電極が構成されており、内側から４本おきに外側の電極と結線されて、最終的に端子部４２０１では電極の駆動端子として４本の電極が出力されている。なお、撮影用パターン１５０の１周期は図４で示した撮影用パターンの白い円環と隣り合う黒い円環（もしくは黒い円）の一セット分にあたる。これらに所定の電圧を印加して実際に初期位相を可変するには、４つの電極に印加する電圧状態を“０”と“１”の２つの状態で時間的に切り替え、図１３に示す初期位相Φ＝０の状態、図１４に示す初期位相Φ＝π／２の状態、図１５に示す初期位相Φ＝πの状態、図１６に示す初期位相Φ＝３π／２の状態を表示し、液晶表示素子における光透過率を変化させることで実現している。

対して、空間分割でパターンを切り替えてフリンジスキャンを実現する場合の距離計測装置１０１の構成を図１７に示す。撮影用パターン１３０１としては、図１８に示す複数の初期位相を有する撮影用パターン１３０１を使用すればよい。そそて、１枚の画像を取得後、画像分割部１３０２においてそれぞれの初期位相のパターンに対応して４枚に分割した後、フリンジスキャン演算を実施する。

＜距離計測原理＞
次に、図１９は、これまで述べた被写体が遠い場合における撮影用パターン１０５の画像センサ１０３への射影の様子示している。遠方の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり撮影用パターン１０５を照射し、その投影像１４０２が画像センサ１０３に投影される場合、投影像は撮影用パターン１０５とほぼ同じ形状である。よって、投影像１４０２に対して、現像用パターンを用いて現像処理を行うことにより、単一の輝点を得ることが可能である。

次に、図２０は、撮像する物体が有限距離にある場合に撮影用パターン１０５の画像センサ１０３への射影が撮影用パターン１０５より拡大されることを示している。物体を構成する点１５０１からの球面波が撮影用パターン１０５を照射し、その投影像１５０２が画像センサ１０３に投影される場合、投影像はほぼ一様に拡大される。なお、投影像と撮影用パターンのサイズ比αは、撮影用パターン１０５から点１５０１までの距離ｆを用いて、次式（９）のように算出できる。

そのため、平行光に対して設計された現像用パターンをそのまま用いて現像処理したのでは、ピントの合った画像が現像できない。そこで、一様に拡大された撮影用パターン１０５の投影像に合わせて、現像用パターン８０１に次式（１０）に示す係数β’を乗算して拡大させれば、ピントの合った画像の現像が可能となる。

したがって、現像時にピントの合った画像が再生できる現像用パターン８０１の拡大率α^２を求めることで、撮影対象までの距離を計測することが可能となる。

通常のカメラで撮影した画像のピントのボケを基に距離計測を行うレンズ焦点法では、主に画像のコントラストが高くなるピント位置を算出することで距離情報を抽出するが、距離計測装置１０１では、点広がり関数が通常のカメラのようなガウス関数型形状でなく、正負に振動するＳｉｎｃ関数型の形状をしている。このため、単純に画像のコントラストを基に距離情報を抽出する方法では、抽出した距離情報に含まれる誤差が大きくなり、高精度な距離計測が出来ない。

そこで、距離計測装置１０１では、現像画像のコントラストとは異なる評価指標を用いてピントの合う現像用パターン８０１の拡大率α^２を求め、その拡大率α^２を基に距離情報を抽出するようにする。

以上のように構成される距離計測装置１０１による距離計測方法を説明する。距離計測装置１０１では、画像センサ１０３で生成したセンサ画像（画像信号）を画像処理部１０６に供給し、所定の画像処理によって距離情報を生成する。なお、図１１に示した時分割フリンジスキャンを行う場合の構成では、変調器制御部１２０２で撮影用パターン１２０１に、図１０に示された複数の初期位相Φを切り替えて表示して４枚の画像を撮影し、画像処理部１０６に４枚のセンサ画像を供給する。

一方、図１７に示した空間分割フリンジスキャンを行う場合の構成では、画像分割部１３０２で、１枚のセンサ画像を４つの領域に分割して、図１０に示された複数の初期位相Φで撮影したセンサ画像を生成した後に画像処理部１０６へとセンサ画像を供給する。

画像処理部１０６では、複素情報生成部１０８、評価指標配列生成部１０９、及び距離情報生成部１１０が順次、所定の処理を行う。すなわち、複素情報生成部１０８は、画像センサ１０３の出力である４つのセンサ画像１６０１に基づいて、複素情報１６０２を生成する。

図２１は、複素情報生成部１０８による複素情報１６０２の生成方法を示している。４つのセンサ画像をＩ_Ｓ１，Ｉ_Ｓ２，Ｉ_Ｓ３，Ｉ_Ｓ４とし、各センサ画像に対応した撮影用パターン１０５の初期位相をΦ_１，Φ_２，Φ_３，Φ_４とする。そして、次式（１１）に示すように、各センサ画像にそれぞれｅｘｐ（ｉΦ_１），ｅｘｐ（ｉΦ_２），ｅｘｐ（ｉΦ_３），ｅｘｐ（ｉΦ_４）を乗算した結果を加算することで複素情報１６０２を生成する。

次に、評価指標配列生成部１０９は、複素情報１６０２に基づいて評価指標配列１６０３を生成する。評価指標配列１６０３の生成方法について図２２乃至図２９を参照して説明する。

被写体１９０１が点光源であった場合、複素情報１６０２は、例えば図２２に示す実部と虚部からなる情報となる。

拡大率α^２で撮影用パターン１０５を拡大した場合のピッチ係数をβ’とした場合、評価指標配列生成部１０９では、図２３に示すようにβ’を変化させながら（β’≧β０，β’＝β０，β’≦β０）評価指標配列生成用パターン１８０１と、複素情報１６０２との相互相関演算を行う。図２４乃至図２８は、その相互相関演算結果の例を示している。

ここで係数β_０は、センサ画像１６０１に投影された撮影用パターン投影像の係数である。この結果で注目すべきは、係数β’が係数β_０と一致する場合に破線で示した相互相関演算結果の虚数成分が０になり、係数の差が増加するにつれて虚数成分の振幅が増加する点である。よって、この虚数成分が０となる係数β’を探索することが後述する距離情報生成部１１０における処理となる。

そこで、評価指標配列生成部１０９では、係数β’に応じた相互相関演算結果の虚部絶対値を評価指標配列１６０３に格納、出力する。また、評価指標配列１６０３は、図２９に示すように撮影範囲を任意の分解能のピクセルに分割して保持してもよい。

なお、ピクセルの分割数をＬ×Ｍ、相互相関演算に用いた係数β’の数をＮとすると、評価指標配列１６０３は、図２９に示されたように、Ｎ個の評価指標配列生成用パターン１８０１の係数β’_１，β’_２，…，β’_Ｎを用いた演算で生成したＮ枚のＬ×Ｍの２次元配列から構成される３次元配列となる。

最後に、距離情報生成部１１０は、評価指標配列生成部１０９の出力である評価指標配列１６０３に基づいて距離情報２９０１を生成する。前述したように評価指標配列１６０３は係数β’が係数β０と一致する場合に０となるが、一般の被写体の場合には０にはならないことがある。

図３０は、評価指標配列１６０３のある要素における、係数β’依存性を示している。同図は、図２９に示されたＮ枚のＬ×Ｍ配列の中から、それぞれ(ｌ、ｍ)番目の配列要素２００１〜２００Ｎを抜き出し、これらＮ個の配列要素をプロットすることで作成する。

図３０から、周囲の要素の影響により、評価指標配列１６０３の配列要素は０にならないが、β’＝β_０となる条件で最小値を示すことを読み取ることができる。このように、評価指標配列１６０３の配列要素が最小値となる点のβ’から、式（１０）を満たす拡大率α^２が求まり、式（９）から被写体１９０１までの距離ｆを算出することができる。

コントローラ１０７は、距離情報生成部１１０の出力である距離情報２９０１を用途に応じたデータ変換を行って出力する。例えば、図３１に示すように、被写体１９０１を撮影したセンサ画像を基に距離情報２９０１を生成し、ディスプレイに距離画像を表示する場合、図３２のような距離画像２９０１にデータ変換して出力する。この場合、図３２の距離画像２９０１のうち、被写体１９０１に対応する領域２９０２の距離情報は被写体までの距離ｆとして出力される。なお、図３２に示したように、コントローラ１０７は出力する距離画像として、距離情報２９０１と撮影対象を撮影した通常画像をオーバーラップしたものを出力してもよい。また、距離情報２９０１を機械装置の制御に用いる場合は、距離情報２９０１から目的とする制御量を達成するための操作量を算出し、算出した操作量を出力してもよい。また、ユーザインターフェースを介して距離計測変数を距離計測変数設定部１１１に入力し、その入力変数に応じてコントローラ１０７から出力されるデータのデータ形式を変更してもよい。

次に、図３３は、距離計測装置１０１による距離計測処理の一例を説明するフローチャートを示している。距離計測処理が開始されると、はじめに、ステップＳ１において、β’の異なるＮ個の評価指標配列生成用パターン１８０１を生成する。次にステップＳ２において、画像センサ１０３でセンサ画像１６０１を取得する。その後、ステップＳ３において、ステップＳ２で取得したセンサ画像１６０１を基に複素情報１６０２を生成する。

次に、ステップＳ４において、ステップＳ３で生成した複素情報１６０２と、ステップＳ１で生成した評価指標配列生成用パターン１８０１の相互相関演算を行い、評価指標配列１６０３を生成する。この相互相関演算は、ステップＳ１で生成した複数の評価指標配列生成用パターン１８０１と行うため、評価指標配列１６０３は、図２９に示された３次元配列として生成される。最後に、ステップＳ５において、ステップＳ４で生成した複数の評価指標配列１６０３を基に距離情報２９０１を生成し、距離情報２９０１をコントローラ１０７に出力して、該距離計測処理を終了する。

なお、図３０に曲線で示した評価指標配列１６０３の配列要素の値は、ステップＳ１で生成したＮ個の評価指標配列生成用パターン１８０１と、同数のＮ点のサンプリング点でサンプリングされるため、図３４に黒い点で示すように、β’に対して離散的に評価指標の値が求まる。ステップＳ５では、サンプリングを行ったＮ個のβ’の中で評価指標が最小となるβ’を探索してもよい。また、図２８のデータ点数に対してカーブフィッティングや補間処理を行うことで、距離情報２９０１の精度を高めてもよい。

なお、上述した説明では、センサ画像１６０１として４枚の画像を用いたが、図３５に示すように、少なくとも２枚の画像があれば、距離計測を行うことができる。この場合、例えば、複素情報生成部１０８は、センサ画像１６０１の２枚の画像からそれぞれの画像のＤＣ成分３００１，３００２を除去したセンサ画像３００３を生成した後に、複素情報１６０２を生成する。ＤＣ成分３００１，３００２の除去は、例えばセンサ画像１６０１の平均輝度をオフセット除去することで行ってもよいし、センサ画像１６０１にハイパスフィルタ処理を行い、低周波成分を除去することで行ってもよい。

２枚のセンサ画像１６０１から距離計測を行うようにすれば、時分割フリンジスキャンの場合は、センサ画像の取得時間を短縮することが可能となる。また、空間分割フリンジスキャンの場合は、センサ画像の分割数を少なくすることで分割後のセンサ画像の解像度が向上し、距離情報２９０１の解像度を高めることが可能となる。

なお、３枚のセンサ画像１６０１から距離計測を行ってもよいし、５枚以上のセンサ画像を用いることでノイズをより低減させるようにしてもよい。

距離情報生成部１１０は、評価指標配列１６０３を複数の配列要素の平均値、もしくは絶対値の平均値の計算により平滑化した後に距離情報２９０１を生成することで、距離計測精度を向上させてもよい。また、評価指標配列１６０３の平均値を計算する代わりに、例えばガウス型関数などの平滑化フィルタと評価指標配列１６０３の畳み込み演算を行うことで平滑化を行ってもよい。このようにすることで、距離情報２９０１の精度の劣化を抑えつつ、撮影面内の解像度を向上できる。

また、上述した説明では、相互相関演算結果の虚部絶対値を最小とする係数β’を求めたが、例えば、評価指標配列１６０３に、相互相関演算結果の虚部絶対値と実部絶対値の比を距離情報２９０１生成時の指標として用いてもよい。この場合、評価指標配列１６０３の配列要素が最大もしくは最小となる係数β’をもとに距離情報２９０１が生成できる。

また、相互相関演算結果の虚部絶対値の代わりに、相互相関演算結果の虚部を評価指標配列１６０３に格納してもよい。このようにすることで、評価指標配列１６０３の配列要素は正負の符号を有する値となり、一枚のＬ×Ｍ配列から、撮影対象の位置がピント位置に対して手前もしくは奥にあるなどの位置関係を判定することが可能となる。

また、評価指標配列１６０３の生成に用いる複数のβ’の決定方法は、ユーザインターフェースを介して距離計測変数設定部１１１に入力された距離計測レンジと距離計測分解能を基に、評価指標配列生成部１０９がβ’を選択し、図３４に示されたサンプリング点の個数、間隔を決定してもよい。

また、評価指標配列１６０３の生成では、複素情報１６０２と評価指標配列生成用パターン１８０１の相互相関演算を用いたが、複素情報１６０２に対して、評価指標配列生成用パターン１８０１を掛け合わせて、図３６に示すようなモアレ縞を生成した後にモアレ縞のフーリエ変換を行うことで、評価指標配列１６０３を生成してもよい。

また、撮影用パターン１０５や評価指標配列生成用パターン１８０１として、図４に示したガボールゾーンプレートや図５に示したフレネルゾーンプレートを用いる構成で説明したが、図３７に示す楕円状のパターンを、撮影用パターン１０５や評価指標配列生成用パターン１８０１として用いてもよい。このような構成とすることで、画像センサ１０３として長方形のセンサを用いた場合でも、センサの縦横方向のサイズ、解像度に対して最適なピッチのパターンで撮影できるようになり、距離情報２９０１の解像度を最適化することができる。なお、楕円状のパターンで時分割フリンジスキャンを行う場合は、図１１に示した同心円状の撮影用パターン１２０１を楕円状のものに置き換えればよい。

また、図３８に示すランダムパターンを撮影用パターン１０５や評価指標配列生成用パターン１８０１として用いてもよい。このような構成とすることで、距離計測を行うための評価指標配列生成用パターン１８０１を秘匿化し、セキュリティを高めることが可能になる。

以上に説明した構成・方法によれば、図１に示した簡単な構成の距離計測装置１０１において、被写体の距離情報を計測することができる

＜第２の実施の形態＞
次に、図３９は、本発明に係る第２の実施の形態である距離計測装置１０１１の構成例を示している。

該距離計測装置１０１１は、距離計測装置１０１（図１）に対して、距離計測レンジ入力部３１０１を追加したものであり、評価指標配列が所定の条件を満たす評価指標配列生成用パターン１８０１の係数β’を非探索的に算出する点が異なる。

距離計測装置１０１１の距離計測レンジ入力部３１０１は、ユーザが入力する距離計測レンジを受け付けて距離計測変数設定部１１１に供給する。ユーザは、例えば、距離計測レンジの最近距離Ｌ_Ｎと、最遠距離Ｌ_Ｆと指定することによって距離計測レンジを入力する。

距離計測変数設定部１１１は、最近距離Ｌ_Ｎと最遠距離Ｌ_Ｆに基づいて評価指標配列１６０３の演算を行うピント距離を複数決定し、評価指標配列生成部１０９に出力する。評価指標配列生成部１０９は、距離計測変数設定部１１１の出力である複数のピント距離を基に評価指標配列１６０３生成に用いる評価指標配列生成用パターン１８０１の係数β’の値を複数個選択する。

なお、評価指標配列生成部１０９は、ピント距離ｆに対するβ’として、式９と式１０を満たすβ’を選択する。その後、評価指標配列生成部１０９は、選択した係数β’の評価指標配列生成用パターン１８０１と複素情報１６０２の相互相関演算結果から評価指標配列１６０３を生成する。距離情報生成部１１０は、評価指標配列生成部１０９の出力である評価指標配列１６０３を基に距離情報２９０１を生成する。

次に、図４０は、評価指標配列１６０３の配列要素の虚部絶対値とサンプリング点の様子を示している。

距離情報生成部１１０は、サンプリング点３２０１〜３２０４のみから距離情報２９０１を算出する。サンプリング点３２０１，３２０２における値は、ｆ＜Ｌ_Ｎとなるようなβ’の評価指標配列生成用パターン１８０１と複素情報１６０２の相互相関演算結果の虚部絶対値であり、サンプリング点３２０３，３２０４の値は、ｆ＞Ｌ_Ｆとなるようなβ’の評価指標配列生成用パターン１８０１と複素情報１６０２の相互相関演算結果の虚部絶対値である。

距離情報生成部１１０は、これら４点の値を基に相互相関演算結果の虚部絶対値が最小になるβ’を算出する。例えば、サンプリング点３２０１，３２０２を通る直線３２０５を算出するとともに、サンプリング点３２０３，３２０４を通過する直線３２０６を算出し、直線３２０５と直線３２０６の交点を算出することで、相互相関演算結果の虚部絶対値が最小になるβ’を導出し、距離情報２９０１を生成してもよい。

また、図４１に示すように、サンプリング点を３点に減らし、サンプリング点３３０１，３３０２を通過する直線３３０４を算出した後、直線３３０４の傾きの符号を反転させた傾きを持ち、サンプリング点３３０３を通過する直線３３０５を算出し、直線３３０４と直線３３０５の交点から距離情報２９０１を生成してよい。

上述した例の他、図４２に示すように、距離計測変数設定部１１１で、Ｌ_Ｎ＜ｆ＜Ｌ_Ｆとなるような３つのβ’を選んだのち、距離情報生成部１１０で、３点の評価指標であるサンプリング点３４０１〜３４０３に対して放物線３４０４でカーブフィッティングを行うことで、距離情報２９０１を生成してもよい。

以上説明したように、距離計測装置１０１１は、距離計測装置１０１と比較して距離計測精度は低下するものの、より高速に距離情報を生成することが可能となる。

なお、距離計測装置１０１１のように粗い精度の距離情報を生成した後に、距離計測装置１０１にように高精度な探索型の距離情報生成を、狭い距離計測レンジ内で行うことで、距離情報生成速度と精度の向上を両立させてもよい。

＜第３の実施の形態＞
次に、本発明に係る第３の実施の形態である距離計測装置について説明する。第３の実施の形態である距離計測装置は、距離計測装置１０１（図１）と同様に構成されるが、評価指標配列の位相角を基に距離情報を生成する点が異なる。

図４３は、複素情報１６０２と評価指標配列生成用パターン１８０１の相互相関演算結果の位相角を、評価指標配列生成用パターン１８０１の係数β’に対してプロットした結果を示す。

位相角は、係数β’に対して線形に変化し、β’＝β_０の点で０と交差する。このため、評価指標配列生成部１０９において、複素情報１６０２と任意の２つのβ’の評価指標配列生成用パターン１８０１の相互相関演算結果を基に評価指標配列１６０３を生成し、点３５０１，３５０２における位相角を算出し、この２点間を通過する直線３５０３を算出する。その後、直線３５０３が位相角ゼロの直線３５０４と交差するβ’を算出し、距離情報２９０１を生成する。

以上のように距離情報を生成すれば、評価指標配列生成用１８０１の生成に用いる係数β’を２つにまで低減することができ、高速な距離情報生成が可能となる。

また、位相角と係数β’は線形な関係にあるため、例えば、上述した距離計測装置１０１１にように少ないサンプリング点を用いたフィッティングでは問題となり得る距離計測精度の劣化を生じることなく、高精度な距離計測が可能となる。

なお、距離情報生成部１１０は、位相角の値を、ピッチ係数β’の代わりに、拡大率α^２や距離ｆに対して線形に変化する値に変換し、拡大率α^２を基に距離情報２９０１を生成したり、距離ｆを直接算出したりすることで、演算量を減らしてもよい。

＜第４の実施の形態＞
次に、図４４は、本発明に係る第４の実施の形態である距離計測装置１０１２の構成例を示している。

該距離計測装置１０１２は、距離計測装置１０１（図１）に対して補助照明投影部３６０１が追加されたものである。

図４５は、補助照明投影部３６０１が照射する照明光パターン３７０２を示している。補助照明投影部３６０１は、同図に示されるように、撮影領域３７０１内に、格子状の照明光パターン３７０２からなる構造化照明光を照射する。なお、補助照明投影部３６０１は、格子状の照明光パターン３７０２の他、図４６に示されるように、点が等間隔に配置された照明光パターン３８０１からなる構造化照明光を照射するようにしてもよい。

距離計測装置１０１２において撮像部１０２は、撮影領域３７０１に投影された、照明光パターン３７０２（または照明光パターン３８０１）を撮影し、撮影したセンサ画像を基に、画像処理部１０６にて距離情報２９０１を生成する。

照明光パターン３７０２（または照明光パターン３８０１）を照射する距離計測装置１０１２によれば、平坦な無地の面や暗所などの条件でも距離計測を行うことができる。

また、距離情報２９０１の生成に用いるテクスチャを粗にすることで、撮影領域３７０１内の他の画素に配置された被写体からのボケ成分の漏れこみを抑制することが可能となり、距離情報２９０１における誤差を低減することが可能となる。

なお、本発明は、上述した各実施の形態に限定されるものではなく、様々な変形が可能である。例えば、上述した各実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えたり、追加したりすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１・・・距離計測装置、１０２・・・撮像部、１０３・・・画像センサ、１０３ａ・・・画素、１０４・・・パターン基板、１０５・・・撮影用パターン、１０６・・・画像処理部、１０７・・・コントローラ、１０８・・・複素情報生成部、１０９…評価指標配列生成部、１１０…距離情報生成部、１１１…距離計測変数設定部、８０１・・・現像用パターン、１０１１・・・距離計測装置、１０１２・・・距離計測装置、１２０１…撮影用パターン、１２０２…変調器制御部、１３０１…撮影用パターン、１３０２…画像分割部、１４０１・・・点、１４０２・・・投影像、１５０１・・・点、１５０２・・・投影像、１６０１…センサ画像、１６０２…複素情報、１６０３…評価指標配列、１８０１・・・評価指標配列生成用パターン、１９０１…被写体、２９０１…距離情報、３１０１…距離計測レンジ入力部、３６０１…補助照射投影部、３７０１…撮影領域、３７０２…照明光パターン、３８０１…照明光パターン、４２０１…端子部

Claims (21)

1. 光を電気信号に変換してセンサ画像を生成する画像センサと、
   撮影用パターンに基づいて前記画像センサ上に投影される光の強度を変調する変調器と、
   前記センサ画像から複素数を有する複素情報を生成する複素情報生成部と、
   ピッチ係数を変化させた複数の評価用パターンと前記複素情報との相互相関演算を行い、前記ピッチ係数に対応付けて前記相互相関演算の結果の虚部絶対値、虚部、または位相角を格納した評価指標配列を生成する評価指標配列生成部と、
   前記評価指標配列を基に距離情報を生成する距離情報生成部と、
   を備えることを特徴とする距離計測装置。
2. 光を電気信号に変換してセンサ画像を生成する画像センサと、
   撮影用パターンに基づいて前記画像センサ上に投影される光の強度を変調する変調器と、
   前記センサ画像から複素数を有する複素情報を生成する複素情報生成部と、
   ピッチ係数を変化させた複数の評価用パターンにより前記複素情報を変調してフーリエ変換を行い、前記ピッチ係数に対応付けて前記フーリエ変換の結果の虚部絶対値、虚部、または位相角を格納した評価指標配列を生成する評価指標配列生成部と、
   前記評価指標配列を基に距離情報を生成する距離情報生成部と、
   を備えることを特徴とする距離計測装置。
3. 請求項１または２に記載の距離計測装置であって、
   前記撮影用パターンは、複数領域のパターンに分割され、
   前記複数領域のパターンは、互いに空間的な位相がずれており、
   前記センサ画像を前記複数領域のパターンに対応した領域ごとに分割して少なくとも２つの分割センサ画像を生成し、
   前記分割センサ画像を基に前記複素情報を生成する
   ことを特徴とする距離計測装置。
4. 請求項３に記載の距離計測装置であって、
   前記複数領域のパターンは、それぞれ基準座標からの距離に対してピッチが反比例して細かくなる同心円状のパターンである
   ことを特徴とする距離計測装置。
5. 請求項３に記載の距離計測装置であって、
   前記複数領域のパターンは、それぞれ基準座標からの距離に対してピッチが反比例して細かくなる複数の楕円状パターンであり、
   前記複数の楕円状パターンの長軸方向と短軸方向の最小ピッチが等しい
   ことを特徴とする距離計測装置。
6. 請求項１または２に記載の距離計測装置であって、
   前記変調器は、前記撮影用パターンを透明電極によって表示する液晶表示素子を有し、
   前記透明電極は、前記撮影用パターンの透過率を変更し、
   前記撮影用パターンの位相が異なる状態で少なくとも２つの複数センサ画像を取得し、
   前記複数センサ画像を基に前記複素情報を生成する
   ことを特徴とする距離計測装置。
7. 請求項１または２に記載の距離計測装置であって、
   前記変調器は、前記撮影用パターンを同心円状の透明電極によって表示する液晶表示素子を有し、
   前記透明電極は、前記撮影用パターンの各周期を少なくとも２以上の同心円環に分割して選択的に光透過率を変更し、
   前記撮影用パターンの各周期を分割する少なくとも２以上の前記透明電極の印加電圧をそれぞれ少なくとも１回は切り替えさせて複数の前記センサ画像を取得する
   ことを特徴とする距離計測装置。
8. 請求項１または２に記載の距離計測装置であって、
   前記変調器は、前記撮影用パターンを楕円状の透明電極によって表示する液晶表示素子を有し、
   前記透明電極は、前記撮影用パターンの各周期を少なくとも２以上の楕円環に分割して光透過率を変更し、
   前記撮影用パターンの各周期を分割する少なくとも２以上の楕円環状透明電極の印加電圧を、それぞれ少なくとも１回は切り替えさせて複数の前記センサ画像を取得する
   ことを特徴とする距離計測装置。
9. 請求項１〜８のいずれか一項に記載の距離計測装置であって、
   前記評価用パターンは、前記撮影用パターンと相似形であり、
   前記距離情報生成部は、前記評価指標配列が所定の条件を満たす前記評価用パターンの前記撮影用パターンとの拡大率を基に前記距離情報を生成する
   ことを特徴とする距離計測装置。
10. 請求項９に記載の距離計測装置であって、
    前記距離情報生成部は、前記評価指標配列の各配列要素が最小となる前記拡大率を基に前記距離情報を生成する
    ことを特徴とする距離計測装置。
11. 請求項９に記載の距離計測装置であって、
    前記距離情報生成部は、前記評価指標配列の各配列要素が最大となる前記拡大率を基に前記距離情報を生成する
    ことを特徴とする距離計測装置。
12. 請求項９に記載の距離計測装置であって、
    前記評価指標配列の各配列要素は、符号を持った数値の集合であり、
    前記距離情報生成部は、前記各配列要素がゼロになる前記拡大率を基に前記距離情報を生成する
    ことを特徴とする距離計測装置。
13. 請求項９に記載の距離計測装置であって、
    前記評価指標配列の各配列要素は、前記拡大率に比例して変化する
    ことを特徴とする距離計測装置。
14. 請求項９に記載の距離計測装置であって、
    前記評価指標配列生成部は、前記拡大率の異なる複数の前記評価用パターンで複数の前記評価指標配列を生成し、
    前記距離情報生成部は、前記複数の前記評価指標配列から距離情報を生成する
    ことを特徴とする距離計測装置。
15. 請求項１４に記載の距離計測装置であって、
    距離計測対象までの距離に応じて、距離計測レンジと距離計測精度を決定する距離計測変数設定部を備え、
    前記評価指標配列生成部は、前記距離計測レンジと前記距離計測精度を基に前記複数の前記評価用パターンの前記撮影用パターンとの前記拡大率を選択する
    ことを特徴とする距離計測装置。
16. 請求項１〜１５のいずれか一項に記載の距離計測装置であって、
    照射光を照射する補助照明投影部を備える
    ことを特徴とする距離計測装置。
17. 請求項１６に記載の距離計測装置であって、
    前記補助照明投影部から照射する前記照射光は、所定のパターンを有する構造化照明光である
    ことを特徴とする距離計測装置。
18. 撮影用パターンに基づいて画像センサ上に投影される光の強度を変調し、
    前記光を電気信号に変換することでセンサ画像を生成し、
    前記センサ画像から複素数を有する複素情報を生成し、
    ピッチ係数を変化させた複数の評価用パターンと前記複素情報との相互相関演算を行い、前記ピッチ係数に対応付けて前記相互相関演算の結果の虚部絶対値、虚部、または位相角を格納した評価指標配列を生成し、
    前記評価指標配列を基に距離情報を生成する
    ことを特徴とする距離計測方法。
19. 撮影用パターンに基づいて画像センサ上に投影される光の強度を変調し、
    前記光を電気信号に変換することでセンサ画像を生成し、
    前記センサ画像から複素数を有する複素情報を生成し、
    ピッチ係数を変化させた複数の評価用パターンによって前記複素情報を変調してフーリエ変換を行い、前記ピッチ係数に対応付けて前記フーリエ変換の結果の虚部絶対値、虚部、または位相角を格納した評価指標配列を生成する評価指標配列生成部と、
    前記評価指標配列を基に距離情報を生成する
    ことを特徴とする距離計測方法。
20. 請求項１８または１９に記載の距離計測方法において、
    前記評価用パターンは、前記撮影用パターンと相似形であり、
    前記評価指標配列が所定の条件を満たす前記評価用パターンの前記撮影用パターンとの拡大率を基に前記距離情報を生成する
    ことを特徴とする距離計測方法。
21. 請求項２０に記載の距離計測方法において、
    距離計測対象までの距離に応じて、距離計測レンジと距離計測分解能を決定し、
    前記距離計測レンジと前記距離計測分解能を基に前記複数の前記評価用パターンの前記撮影用パターンとの拡大率を選択する
    ことを特徴とする距離計測方法。

Images