本発明の実施形態を説明するにあたり、まず本実施形態で用いる距離画像センサの構成について説明する。
距離画像センサは、図1に示すように、対象空間に光を照射する発光源2を備えるとともに、対象空間からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子1を備える。対象空間に存在する対象物Obまでの距離は、発光源2から対象空間に光が照射されてから対象物Obでの反射光が光検出素子1に入射するまでの時間(「飛行時間」と呼ぶ)によって求める。ただし、飛行時間は非常に短いから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。なお、本発明の技術思想は、距離画像センサとして、飛行時間により距離画像を生成する構成のほか、三角測量法の原理によって距離画像を生成する構成においても採用可能である。ただし、以下に説明する構成の距離画像センサは、三角測量法の原理を用いる距離画像センサに比較して短時間で(ほぼ実時間)で距離画像を生成できるから、三角測量法の原理を採用した距離画像センサよりも好ましい。
図2(a)に示すように、発光源2から空間に放射する光の強度が曲線イのように変化し、光検出素子1で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより対象物Obまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相が0度、90度、180度、270度の位相で求めた曲線ロの受光光量がそれぞれA0、A1、A2、A3であるとする(受光光量A0、A1、A2、A3を斜線部で示している)。ただし、各位相における受光光量A0、A1、A2、A3は、瞬時値ではなく所定の時間Twで積算した受光光量を用いる。いま、受光光量A0、A1、A2、A3を求める間に、位相差ψが変化せず(つまり、対象物Obまでの距離が変化せず)、かつ対象物Obの反射率にも変化がないものとする。また、発光源2から放射する光の強度を正弦波で変調し、時刻tにおいて光検出素子1で受光される光の強度がA・sin(ωt+δ)+Bで表されるものとする。ここに、Aは振幅、Bは外光成分、ωは角振動数、δは位相である。光検出素子1で受光する受光光量A0、A1、A2、A3を時間Twの積算値ではなく瞬時値とすれば、受光光量A0、A1、A2、A3は、次のように表すことができる。
A0=A・sin(δ)+B
A1=A・sin(π/2+δ)+B
A2=A・sin(π+δ)+B
A3=A・sin(3π/2+δ)+B
ここに、δ=−ψであるから、A0=−A・sin(ψ)+B、A1=A・cos(ψ)+B、A2=A・sin(ψ)+B、A3=−A・cos(ψ)+Bであり、結果的に、各受光光量A0、A1、A2、A3と位相差ψとの関係は、次式のようになる。
ψ=tan−1{(A2−A0)/(A1−A3)} …(1)
(1)式では受光光量A0、A1、A2、A3の瞬時値を用いているが、受光光量A0、A1、A2、A3として時間Twにおける積算値を用いても(1)式で位相差ψを求めることができる。
上述のように対象空間に照射する光の強度を変調するために、発光源2としては、たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源2は、制御回路部3から出力される所定の変調周波数である変調信号によって駆動され、発光源2から放射される光は変調信号により強度が変調される。制御回路部3では、たとえば20MHzの正弦波で発光源2から放射する光の強度を変調する。なお、発光源2から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。
光検出素子1は、規則的に配列された複数個の感光部11を備える。また、感光部11への光の入射経路には受光光学系10が配置される。感光部11は光検出素子1において対象空間からの光が受光光学系10を通して入射する部位であって、感光部11において受光光量に応じた量の電荷を生成する。また、感光部11は、平面格子の格子点上に配置され、たとえば垂直方向(つまり、縦方向)と水平方向(つまり、横方向)とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。
受光光学系10は、光検出素子1から対象空間を見るときの視線方向と各感光部11とを対応付ける。すなわち、受光光学系10を通して各感光部11に光が入射する範囲を、受光光学系10の中心を頂点とし各感光部11ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源2から放射され対象空間に存在する対象物Obで反射された反射光が感光部11に入射すれば、反射光を受光した感光部11の位置により、受光光学系10の光軸を基準方向として対象物Obの存在する方向を知ることができる。
受光光学系10は一般に感光部11を配列した平面に光軸を直交させるように配置されるから、受光光学系10の中心を原点とし、感光部11を配列した平面の垂直方向と水平方向と受光光学系10の光軸とを3軸の方向とする直交座標系を設定すれば、対象空間に存在する対象物Obの位置を球座標で表したときの角度(いわゆる方位角と仰角)が各感光部11に対応する。なお、受光光学系10は、感光部11を配列した平面に対して光軸が90度以外の角度で交差するように配置することも可能である。
本実施形態では、上述のように、対象物Obまでの距離を求めるために、発光源2から対象空間に照射される光の強度変化に同期する4点のタイミングで受光光量A0、A1、A2、A3を求めている。したがって、目的の受光光量A0、A1、A2、A3を得るためのタイミングの制御が必要である。また、発光源2から対象空間に照射される光の強度変化の1周期において感光部11で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図1のように各感光部11で発生した電荷をそれぞれ集積する複数個の電荷集積部13を設けるとともに、各感光部11において利用できる電荷を生成する領域の面積を変化させることにより各感光部11の感度をそれぞれ調節する複数個の感度制御部12を設けている。
各感度制御部12では、感度制御部12に対応する感光部11の感度を上述した4点のうちのいずれかのタイミングで高め、感度が高められた感光部11では当該タイミングの受光光量A0、A1、A2、A3に対応する電荷を主として生成するから、当該受光光量A0、A1、A2、A3に対応する電荷を当該感光部11に対応する電荷集積部13に集積させることができる。
ところで、感度制御部12は感光部11において利用できる電荷を生成する領域の面積(実質的な受光面積)を変化させることにより各期間の電荷の生成量を変化させるものであるから、電荷集積部13に集積された電荷は必ずしも受光光量A0、A1、A2、A3が得られる期間に生成された電荷だけではなく、他の期間に生成された電荷も混入することになる。いま、感度制御部12において、受光光量A0、A1、A2、A3に対応した電荷を生成する期間の感度をα、それ以外の期間の感度をβとし、感光部11は受光光量に比例する電荷を生成するものとする。この条件では、受光光量A0に対応した電荷を集積する電荷集積部13には、αA0+β(A1+A2+A3)+βAx(Axは受光光量A0、A1、A2、A3が得られる期間以外の受光光量)に比例する電荷が蓄積され、受光光量A2に対応した電荷を集積する電荷集積部13には、αA2+β(A0+A1+A3)+βAxに比例する電荷が蓄積される。上述したように、位相差ψを求める際には(A2−A0)を求めており、A2−A0=(α−β)(A2−A0)になり、同様にしてA1−A3=(α−β)(A1−A3)になるから、(A2−A0)/(A1−A3)は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。
感光部11と感度制御部12と電荷集積部13とを備える光検出素子1は1つの半導体装置として構成され、光検出素子1には電荷集積部13に集積された電荷を半導体装置の外部に取り出すために電荷取出部14が設けられる。電荷取出部14はCCDイメージセンサにおける垂直転送部および水平転送部と同様の構成を有する。
電荷取出部14から取り出された電荷は画像生成部4に画像信号として与えられ、画像生成部4において対象空間内の対象物Obまでの距離が上述した(1)式を用いて受光光量A0、A1、A2、A3から算出される。すなわち、画像生成部4では各感光部11に対応した各方向における対象物Obまでの距離が算出され、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。
以下に光検出素子1の具体的構造例を説明する。図3に示す光検出素子1は、複数個(たとえば、100×100個)の感光部11をマトリクス状に配列したものであって、たとえば1枚の半導体基板上に形成される。感光部11のうち垂直方向の各列では一体に連続する半導体層21を共用するとともに半導体層21を垂直方向への電荷(本実施形態では、電子を用いる)の転送経路として用い、さらに各列の半導体層21の一端から電荷を受け取って水平方向に電荷を転送するCCDである水平転送部Thを半導体基板に設ける構成を採用することができる。
すなわち、図4に示すように、半導体層21が感光部11と電荷の転送経路とに兼用された構造であって、フレーム・トランスファ(FT)方式のCCDイメージセンサと類似した構造になる。また、FT方式のCCDイメージセンサと同様に、感光部11を配列した撮像領域Daに隣接して遮光された蓄積領域Dbを設けてあり、蓄積領域Dbに蓄積した電荷を水平転送部Thに転送する。撮像領域Daから蓄積領域Dbへの電荷の転送は垂直ブランキング期間に一気に行い、水平転送部Thでは1水平期間に1水平ライン分の電荷を転送する。図1に示した電荷取出部14は、半導体層21における垂直方向への電荷の転送経路としての機能とともに水平転送部Thを含む機能を表している。ただし、電荷集積部13は蓄積領域Dbを意味するのではなく、撮像領域Daにおいて電荷を集積する機能を表している。言い換えると、蓄積領域Dbは電荷取出部14に含まれる。
半導体層21は不純物が添加してあり、半導体層21の主表面は酸化膜からなる絶縁膜22により覆われ、半導体層21に絶縁膜22を介して複数個の制御電極23を配置している。この光検出素子1はMIS素子として知られた構造であるが、1個の光検出素子1として機能する領域に複数個(図示例では5個)の制御電極23を備える点が通常のMIS素子とは異なる。絶縁膜22および制御電極23は発光源2から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜22を通して半導体層21に光が入射すると、半導体層21の内部に電荷が生成される。図示例の半導体層21の導電形はn形であり、光の照射により生成される電荷として電子eを利用する。図3は1個の感光部11に対応する領域のみを示したものであり、半導体基板(図示せず)には上述したように図3の構造を持つ領域が複数個配列されるとともに電荷取出部14となる構造が設けられる。電荷取出部14として設ける垂直転送部は、図3の左右方向に電荷を転送することを想定しているが、図3の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極23の左右方向の幅寸法を1μm程度に設定するのが望ましい。
この構造の光検出素子1では、制御電極23に正の制御電圧+Vを印加すると、半導体層21には制御電極23に対応する部位に電子eを集積するポテンシャル井戸(空乏層)24が形成される。つまり、半導体層21にポテンシャル井戸24を形成するように制御電極23に制御電圧を印加した状態で光が半導体層21に照射されると、ポテンシャル井戸24の近傍で生成された電子eの一部はポテンシャル井戸24に捕獲されてポテンシャル井戸24に集積され、残りの電子eは半導体層21の深部での再結合により消滅する。また、ポテンシャル井戸24から離れた場所で生成された電子eも半導体層21の深部での再結合により消滅する。
ポテンシャル井戸24は制御電圧を印加した制御電極23に対応する部位に形成されるから、制御電圧を印加する制御電極23の個数を変化させることによって、半導体層21の主表面に沿ったポテンシャル井戸24の面積(言い換えると、受光面において利用できる電荷を生成する領域の面積)を変化させることができる。つまり、制御電圧を印加する制御電極23の個数を変化させることは感度制御部12における感度の調節を意味する。たとえば、図3(a)のように3個の制御電極23に制御電圧+Vを印加する場合と、図3(b)のように1個の制御電極23に制御電圧+Vを印加する場合とでは、ポテンシャル井戸24が受光面に占める面積が変化するのであって、図3(a)の状態のほうがポテンシャル井戸24の面積が大きいから、図3(b)の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部11の感度を高めたことになる。このように、感光部11および感度制御部12は半導体層21と絶縁膜22と制御電極23とにより構成されていると言える。ポテンシャル井戸24は光照射により生成された電荷を保持するから電荷集積部13として機能する。
ポテンシャル井戸24から電荷を取り出すには、FT方式のCCDと同様の技術を採用すればよく、ポテンシャル井戸24に電子eが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極23に印加することによってポテンシャル井戸24に集積された電子eを一方向(たとえば、図の右方向)に転送することができる。つまり、半導体層21をCCDの垂直転送部と同様に電荷の転送経路に用いることができる。さらに、電荷は図4に示した水平転送部Thを転送され、半導体基板に設けた図示しない電極から光検出素子1の外部に取り出される。要するに、制御電極23への制御電圧の印加パターンを制御することにより、各感光部11ごとの感度を制御するとともに、光照射により生成された電荷を集積し、さらに集積された電荷を転送することができる。
本実施形態における感度制御部12は、利用できる電荷を生成する面積を大小2段階に切り換えることにより感光部11の感度を高低2段階に切り換えるのであって、受光光量A0、A1、A2、A3のいずれかに対応する電荷を感光部11で生成しようとする期間にのみ高感度とし(電荷を生成する面積を大きくし)、他の期間には低感度にする。高感度にする期間と低感度にする期間とは、発光源2を駆動する変調信号に同期させて設定される。また、変調信号の複数周期に亘ってポテンシャル井戸24に電荷を集積した後に電荷取出部14を通して光検出素子1の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の1周期内では感光部11が利用可能な電荷を生成する期間が短く(たとえば、変調信号の周波数を20MHzとすれば50nsの4分の1以下)、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷(発光源2から照射された光に対応する電荷)と雑音電荷(外光成分および光検出素子1の内部で発生するショットノイズに対応する電荷)との比を大きくとることができ、大きなSN比が得られる。
ところで、位相差ψを求めるのに必要な4種類の受光光量A0、A1、A2、A3に対応する電荷を1個の感光部11で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量A0、A1、A2、A3に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量A0、A1、A2、A3に対応する電荷を4個の感光部11でそれぞれ生成するとすれば、各受光光量A0、A1、A2、A3に対応する電荷を求める時間差は小さくなるが、4種類の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、本実施形態では、2個の感光部11を用いることにより、変調信号の1周期内で受光光量A0、A1、A2、A3に対応する電荷を2種類ずつ生成する構成を採用している。つまり、2個の感光部11を組にして用い、組になる2個の感光部11に同じ視線方向からの光が入射するようにしている。
上述の構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量A0、A1、A2、A3に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量A0、A1、A2、A3に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している対象物Obについても距離の検出精度を比較的高く保つことができる。なお、本実施形態の構成では、1個の感光部11で4種類の受光光量A0、A1、A2、A3に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部11の小型化や受光光学系10の設計によって向上させることが可能である。
以下に動作を具体的に説明する。図3に示した例では、1個の感光部11について5個の制御電極23を設けた例を示しているが、両側の2個の制御電極23は、感光部11で電荷(電子e)を生成している間に隣接する感光部11に電荷が流出するのを防止するための障壁を形成するものであって、2個の感光部11を組にして用いる場合には隣接する感光部11のポテンシャル井戸24の間には、いずれかの感光部11で障壁が形成されるから、各感光部11には3個ずつの制御電極23を設けるだけで足りることになる。この構成によって、感光部11の1個当たりの占有面積が小さくなり、2個の感光部11を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。
ここでは、図5に示すように、組にした2個の感光部11にそれぞれ設けた3個ずつの制御電極23を区別するために各制御電極23に(1)〜(6)の数字を付す。(1)〜(6)の数字を付与した制御電極23を有する2個の感光部11は、1つの視線方向に対応しておりイメージセンサにおける画素を構成する。なお、1画素ずつの感光部11に対応付けて、それぞれオーバフロードレインを設けるのが望ましい。
図5(a)(b)はそれぞれ制御電極23に異なる印加パターンで制御電圧+Vを印加した状態(半導体基板に設けた図示しない基板電極と制御電極23との間に制御電圧+Vを印加した状態)を示しており、ポテンシャル井戸24の形状からわかるように、図5(a)では1画素となる2個の感光部11のうち制御電極(1)〜(3)に正の制御電圧+Vを印加するとともに、残りの制御電極(4)〜(6)のうちの中央の制御電極(5)に正の制御電圧+Vを印加している。また、図5(b)では制御電極(1)〜(3)のうちの中央の制御電極(2)に正の制御電圧+Vを印加するとともに、残りの制御電極(4)〜(6)に正の制御電圧+Vを印加している。つまり、1画素を構成する2個の感光部11に印加する制御電圧+Vの印加パターンを交互に入れ換えている。2個の感光部11に印加する制御電圧+Vの印加パターンを入れ換えるタイミングは、変調信号における逆位相の(位相が180度異なる)タイミングになる。なお、各感光部11に設けた3個の制御電極23に同時に制御電圧+Vを印加している期間以外は、各感光部11に設けた中央部の1個の制御電極23(つまり、制御電極(2)(5))にのみ制御電圧+Vを印加し、他の制御電極23は0Vに保つ状態とする。
たとえば、1画素を構成する2個の感光部11において受光光量A0、A2に対応する電荷を交互に生成する場合は、図2のように、一方の感光部11で受光光量A0に対応する電荷を生成するために3個の制御電極(1)〜(3)に制御電圧+Vを印加している間に、他方の感光部11では受光光量A2に対応する電荷を保持するために1個の制御電極(5)にのみ制御電圧+Vを印加する。同様にして、一方の感光部11で受光光量A2に対応する電荷を生成するために3個の制御電極(4)〜(6)に制御電圧+Vを印加している間には、他方の感光部11では受光光量A0に対応する電荷を保持するために1個の制御電極(2)にのみ制御電圧+Vを印加する。また、受光光量A0、A2に対応する電荷を生成する期間以外では制御電極(2)(5)にのみ制御電圧+Vを印加する。図2(b)(c)に受光光量A0、A2に対応する電荷を蓄積する際の各制御電極(1)〜(6)に制御電圧+Vの印加のタイミングを示す。図において斜線部が制御電圧+Vを印加している状態を示し、空白部が制御電極(1)〜(6)に電圧を印加していない状態を示している。
1画素を構成する2個の感光部11において受光光量A1、A3に対応する電荷を生成する場合も同様であって、受光光量A0、A2に対応する電荷を生成する場合とは制御電極23に制御電圧+Vを印加するタイミングが、変調信号の位相における90度異なる点が相違するだけである。また、受光光量A0、A1に対応する電荷を生成する期間と、受光光量A1、A3に対応する電荷を生成する期間との間で撮像領域から蓄積領域に電荷を転送する。つまり、受光光量A0に対応する電荷が制御電極(1)〜(3)に対応するポテンシャル井戸24に蓄積されるとともに、受光光量A2に対応する電荷が制御電極(4)〜(6)に対応するポテンシャル井戸24に蓄積されると、これらの受光光量A0、A2に対応する電荷を外部に取り出す。次に、受光光量A1に対応する電荷が制御電極(1)〜(3)に対応するポテンシャル井戸24に蓄積されるとともに、受光光量A3に対応する電荷が制御電極(4)〜(6)に対応するポテンシャル井戸24に蓄積されると、これらの受光光量A1、A3に対応する電荷を外部に取り出す。このような動作を繰り返すことによって、4区間の受光光量A0、A1、A2、A3に対応する電荷を2回の読出動作で光出力素子1の外部に取り出すことができ、取り出した電荷を用いて位相差ψを求めることが可能になる。なお、たとえば30フレーム毎秒の画像を得るためには、受光光量A0、A1に対応する電荷を生成する期間と受光光量A1、A3に対応する電荷を生成する期間とは60分の1秒よりも短い期間とする。
上述の例では3個の制御電極23((1)〜(3)または(4)〜(6))に同時に印加する制御電圧と、1個の制御電極23((2)または(5))にのみ印加する制御電圧とを等しくしているから、ポテンシャル井戸24の面積は変化するもののポテンシャル井戸24の深さは等しくなっている。この場合、制御電圧を印加していない制御電極23((1)(3)または(4)(6))において生成された電荷は、同程度の確率でポテンシャル井戸24に流れ込む。つまり、感光部11を構成する3個の制御電極23のうちの1個にのみ制御電圧+Vを印加することによって電荷集積部13として機能している領域と、3個の制御電極23のすべてに制御電圧+Vを印加している領域との両方に同程度の量の電荷が流れ込む。つまり、電荷を保持しているポテンシャル井戸24に流れ込む雑音成分が比較的多いものであるから、ダイナミックレンジを低下させる原因になる。
そこで、図6のように、組になる2個の感光部11に設けた各3個の制御電極(1)〜(3)または(4)〜(6)に同時に印加する制御電圧が、1個の制御電極(2)または(5)にのみ印加する制御電圧よりも高くなるように設定し、大面積のポテンシャル井戸24を小面積のポテンシャル井戸24よりも深く設定するのが望ましい。このように、主として電荷(電子e)を生成しているポテンシャル井戸24を、主として電荷の保持を行っているポテンシャル井戸24よりも深くすることにより、制御電圧を印加していない制御電極(1)(3)または(4)(6)に対応する部位で生じた電荷は、深いほうのポテンシャル井戸24に流れ込みやすくなる。つまり、制御電極23に一定の制御電圧+Vを印加する場合に比較すると、電荷を保持するポテンシャル井戸24に流れ込む雑音成分を低減することができる。
なお、上述した距離画像センサの構成例では、受光光量A0、A1、A2、A3に対応する4期間を変調信号の1周期内で位相の間隔が90度ずつになるように設定しているが、変調信号に対する位相が既知であれば4期間は90度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、4期間の受光光量に対応した電荷を取り出す周期は、対象物Obの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の1周期内で4個の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源2から放射される光の波長のみを透過させる光学フィルタを感光部11の前に配置するのが望ましい。図5、図6を用いて説明した構成例では、感光部11ごとに3個ずつの制御電極23を対応付けているが、制御電極23を4個以上設けるようにしてもよい。また、上述の例ではFT方式のCCDイメージセンサと同様の構成を採用しているが、インターライン・トランスファ(IT)方式、フレーム・インターライン・トランスファ(FIT)方式と同様の構成を採用することも可能である。
次に、上述した距離画像センサを用いて対象空間に存在する対象物Obの実寸を推算する技術について説明する。ここでは、距離画像を生成する際の光検出素子1への外光成分の入射を低減するために、発光源2から赤外線を対象空間に照射し、光検出素子1の前方に赤外線透過フィルタを配置しているものとする。
図1に示すように、画像生成部4で生成された距離画像は対象物抽出部5に与えられ、対象物抽出部5において距離画像から対象物Obが抽出される。距離画像から対象物Obを抽出する方法には種々の方法がある。もっとも簡単な方法としては距離画像をモニタ装置の画面に表示し、所望の対象物Obを含む矩形領域をマウスなどによって指定する方法を採用することができる。対象物Obを自動的に抽出する場合には、たとえば距離画像の距離値を微分した後に2値化して対象物Obのエッジに相当する領域を抽出し、抽出された領域のうち対象物Obを抽出しようとする距離範囲内に存在する領域を対象物Obの候補領域とし、さらに候補領域がひとかたまりになるか否かを評価し(たとえば、隣接する2個の候補領域間の三次元空間での距離差が閾値以下である場合に、両候補領域を連続した1つの対象物Obに含まれる領域とみなす)、さらに、ひとかたまりになる領域(つまり、連結領域)に囲まれる画素数と距離値とを用いて対象物Obの大きさを評価すればよい(同じ対象物Obであれば、画素数は距離の二乗に反比例する)。あるいはまた、対象物Obが移動する場合には、距離画像の距離値を微分した後に2値化し、異なる時刻の距離画像から得られる2値化した画像の差分をとれば、移動した対象物Obを抽出することができる。さらにまた、着目する対象物Obを背景から分離するために、あらかじめ対象物Obの存在しない状態で背景のみから生成した距離画像と、対象物Obが存在する状態で生成した距離画像との差分画像(対応する各画素ごとの差分を画素値に持つ画像)を生成し、この差分画像について微分および2値化を行えば対象物Obの存在する領域の抽出が容易になる。
距離値の微分は以下のように行う。距離値を微分したときの微分値は、着目する画素の8近傍を用いて求められる値であって、本実施形態では、図7のような3×3平方領域の中央の画素p5を着目する画素とするときに、他の画素p1〜p4,p6〜p9の距離値B1〜B4,B6〜B9を用いることにより(2)式で表される。
(ΔX2+ΔY2)1/2 …(2)
ただし、
ΔX=(B1+B4+B7)−(B3+B6+B9)
ΔY=(B1+B2+B3)−(B7+B8+B9)
(2)式によって求めた距離微分値を画素値に持つ距離微分画像においては距離画像における距離差の大きい部位ほど距離微分値が大きくなる。
上述したように対象物抽出部5において対象物Obの存在領域が抽出されると、対象物Obの存在領域と距離画像とは実寸推算部7に与えられ、実寸推算部7では対象物Obまでの距離値と受光光学系10および光検出素子1の構成と距離画像内での対象物の寸法とから対象物の実寸を推算する。すなわち、光検出素子1の画素の位置は対象空間に対する視線方向に対応しており、距離画像センサにより得られる距離画像と合わせることによって、対象空間に存在する対象物Obの三次元の位置を特定することができるから、距離画像の距離値を対象空間の実寸に合致するように校正してあれば、対象物Obの各部位の三次元空間での座標位置を求めることによって、対象物Obについて実寸を算出することができる。
ところで、対象物Obまでの距離値は対象物Obの各部位で異なり、とくに対象物Obの形状が複雑であるときには、対象物Obの各部位について三次元空間での座標位置を求める演算は処理量の増加につながる。ここで、移動する対象物Obを追跡する場合のように、対象物Obの実寸を求める精度が比較的低くてもよい場合には、対象物Obの実寸を求める演算の処理量を低減することが可能である。そこで、本実施形態では、実寸推算部6において、距離画像から得られる三次元空間を複数の判定領域に分割し、対象物Obが移動し対象物Obの存在する判定領域が変わると実寸を推算するようにし、このときに用いる対象物Obまでの距離として判定領域の代表点の位置を用いている。判定領域の代表点としては、判定領域の領域内の平均距離を用いたり、判定領域の重心位置を用いたりすることができる。この技術を採用した場合に、対象空間を斜め上方から俯瞰して撮像することにより得られる距離画像では対象物Obの実寸として求められる値に含まれる誤差成分が距離によって変化するが、対象物Obが移動する平面に平行または直交する方向から対象空間を撮像する場合には大きな誤差成分の変化は少なくなる。
実寸推算部6で推算された対象物Obの実寸は、本実施形態では、追跡処理部7に与える。追跡処理部7では、実寸推算部6で推算した各判定領域における対象物Obの実寸の差分を求め、この差分が規定範囲内であれば、実寸のほぼ等しい対象物Obが判定領域間で移動したことになるから、両判定領域に存在する対象物Obは同一の対象物Obであると判断する。このように各判定領域における対象物Obの同一性の判断を対象物Obの実寸によって行うことで、対象物Obの追跡が可能になる。なお、対象物Obの同一性を判断する他の技術とこの技術とを併用すれば、移動する対象物Obの同一性をより確実に保証することができる。
上述した例では距離画像から得られる三次元空間を複数の判定領域に分割しているが、本実施形態の距離画像は時系列で得られるから、追跡処理部7では異なる時刻に撮像した距離画像に含まれる対象物Obの実寸について差分を求め、差分が規定範囲内である対象物Obを同一の対象物Obとみなす構成を採用してもよい。この構成を採用すると、判定領域の分割が不要になる。
ところで、対象物抽出部5で抽出した対象物Obについて着目している対象物Obか否かを判断する技術として、従来からテンプレートとの照合を行う技術が知られている。テンプレートと照合する場合には、対象物抽出部5で対象物Obの特徴量を抽出しておき、この特徴量を類似度算出部8においてテンプレートと照合する。対象物Obの特徴量としては、対象物Obの存在領域における距離値の分布(位置ごとの距離値、あるいは距離値の度数分布)を用いたり、距離微分画像から得られる対象物Obの存在領域における距離微分値の分布(位置ごとの距離微分値、あるいは距離微分値の度数分布)を用いたりすることができる。
テンプレートと照合するには、距離画像内の対象物Obの大きさに一致するようにテンプレートの大きさを変化させる必要があり、一般にはテンプレートの大きさを数段階に変化させて、各大きさで対象物Obとの類似度を求め、類似度が最大になる大きさのテンプレートを選択している。これに対して、本実施形態における類似度算出部8では、実寸推算部6で推算された対象物Obの実寸と対象物抽出部5で抽出された対象物Obまでの距離値とから距離画像内での対象物Obの拡大縮小率を求め、求めた拡大縮小率を用いてテンプレートを拡大縮小した後に対象物Obの特徴量をテンプレートと照合する。要するに、対象物Obの実寸がわかっているから、対象物Obまでの距離値によって着目している対象物Obの距離画像内での大きさに対応するテンプレートの大きさを一意に決定することができるのである。このようにテンプレートの大きさを一意に決定して類似度を算出するから、テンプレートの大きさを複数段階に変化させる場合に比較してテンプレートとの照合に要する処理量を大幅に低減することができる。
テンプレートは、欠陥のない基準となる対象物Obに関する距離画像から対象物抽出部5において抽出した対象物Obの特徴量であって、類似度算出部8に設けたテンプレート記憶部8aにあらかじめ登録される。テンプレートが登録された後に、類似度算出部8では対象物Obの距離画像から抽出した対象物Obの特徴量に対してテンプレートを走査し、テンプレートに含まれる各特徴量とテンプレートに重複する部位の特徴量との差分の総和を類似度を評価する値として算出する。算出された値は対象物抽出部9に与えられ、対象物抽出部9では、類似度算出部8で得られた値が最小値(類似度が最大)になり、かつ当該値が規定の閾値以下であるときに、テンプレートに一致する対象物Obが存在すると判断し、このときのテンプレートの代表点の位置を対象物Obの位置とする。
上述した例では1種類のテンプレートとの照合について説明したが、複数種類のテンプレートと対象物Obとを照合した結果の類似度に基づいて、対象物判定部9において対象物Obの種類を特定する場合もある。この場合、テンプレート記憶部8aには複数種類のテンプレートが登録され、類似度算出部8では対象物Obに照合するテンプレートをテンプレート記憶部8aに登録されたテンプレートの中から選択することが必要になる。テンプレートの選択にあたっては、あらかじめテンプレートを対象物Obの実寸に応じて分類しておき、実寸推算部6で推算した対象物Obの実寸に対応するテンプレートを選択すればテンプレートの選択が容易になり、対象物Obと照合するテンプレートの種類が絞り込まれるから、対象物Obとテンプレートとの照合に要する処理量を低減することができる。
たとえば、テンプレートを対象物Obとしての人と照合する場合に、身長階層別に複数のテンプレートをあらかじめ記憶しておき、実寸推算部6で推算した実寸に対応するテンプレートを選択することができる。この構成によって、身長が130cm以上か否かというような判定が可能になり、遊園地の乗り物での入場規制などに応用できる。
なお、上述した例では、テンプレートとのマッチングする対象を対象物Obの距離画像から抽出した特徴量としているが、濃淡画像から抽出した特徴量をテンプレートと照合する場合でも、距離画像から求めた対象物Obの実寸を用いることにより、テンプレートの大きさを対象物Obに一致させたり複数種類のテンプレートから対象物Obに照合するテンプレートを絞り込んだりすることが可能である。