まず、本実施形態における距離画像センサの基本構成について説明する。距離画像センサは、図1に示すように、対象空間に光を照射する発光源2を備えるとともに、対象空間からの光を受光し受光光量を反映した出力が得られる光検出素子1を備える。対象空間に存在する対象物Obまでの距離は、発光源2から対象空間に光が照射されてから対象物Obでの反射光が光検出素子1に入射するまでの時間(「飛行時間」と呼ぶ)によって求める。ただし、飛行時間は非常に短いから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。
図2(a)に示すように、発光源2から空間に放射する光の強度が曲線イのように変化し、光検出素子1で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより対象物Obまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相が0度、90度、180度、270度の位相で求めた曲線ロの受光光量がそれぞれA0、A1、A2、A3であるとする(受光光量A0、A1、A2、A3を斜線部で示している)。ただし、各位相における受光光量A0、A1、A2、A3は、瞬時値ではなく所定の受光期間Twで積算した受光光量を用いる。いま、受光光量A0、A1、A2、A3を求める間に、位相差ψが変化せず(つまり、対象物Obまでの距離が変化せず)、かつ対象物Obの反射率にも変化がないものとする。また、発光源2から放射する光の強度を正弦波で変調し、時刻tにおいて光検出素子1で受光される光の強度がA・sin(ωt+δ)+Bで表されるものとする。ここに、Aは振幅、Bは直流成分(外光成分と反射光成分との平均値)、ωは角振動数、δは初期位相である。光検出素子1で受光する受光光量A0、A1、A2、A3を受光期間Twの積算値ではなく瞬時値とし、変調の周期に同期した時刻t=n/f(n=0、1、2、…、fは変調の周波数)における受光光量を、A0=A・sin(δ)+Bとすれば、受光光量A0、A1、A2、A3は、次のように表すことができる。なお、反射光成分とは、発光源2から放射され対象物Obにより反射された後に光検出素子1に入射する光の成分を意味する。
A0=A・sin(δ)+B
A1=A・sin(π/2+δ)+B
A2=A・sin(π+δ)+B
A3=A・sin(3π/2+δ)+B
図2では位相差がψであるから、光検出素子1で受光する光の強度変化の波形における初期位相δ(時刻t=0の位相)は−ψになる。つまり、δ=−ψであるから、A0=−A・sin(ψ)+B、A1=A・cos(ψ)+B、A2=A・sin(ψ)+B、A3=−A・cos(ψ)+Bであり、結果的に、各受光光量A0、A1、A2、A3と位相差ψとの関係は、次式のようになる。
ψ=tan−1{(A2−A0)/(A1−A3)} …(1)
(1)式では受光光量A0、A1、A2、A3の瞬時値を用いているが、受光光量A0、A1、A2、A3として受光期間Twにおける積算値を用いても(1)式で位相差ψを求めることができる。
また、光検出素子1で受光される光の強度をA・cos(ωt+δ)+Bとする場合、つまり変調の周期に同期した時刻t=n/f(n=0、1、2、…)における受光光量を、A0=A・cos(δ)+Bとすれば、位相差ψを次式で求めることができる。
ψ=tan−1{(A1−A3)/(A0−A2)}
この関係は、変調の周期に同期させるタイミングを90度ずらした関係である。また、距離値の符号は正であるから、位相差ψを求めたときに符号が負になる場合には、tan−1の括弧内の分母または分子の各項の順序を入れ換えるか括弧内の絶対値を用いるようにしてもよい。
上述のように対象空間に照射する光の強度を変調するために、発光源2としては、たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源2は、制御回路部3から出力される所定の変調周波数である変調信号によって駆動され、発光源2から放射される光は変調信号により強度が変調される。制御回路部3では、たとえば20MHzの正弦波で発光源2から放射する光の強度を変調する。なお、発光源2から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。
光検出素子1は、規則的に配列された複数個の感光部11を備える。また、感光部11への光の入射経路には受光光学系6が配置される。感光部11は光検出素子1において対象空間からの光が受光光学系6を通して入射する部位であって、感光部11において受光光量に応じた量の電荷を生成する。また、感光部11は、平面格子の格子点上に配置され、たとえば垂直方向(つまり、縦方向)と水平方向(つまり、横方向)とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。
受光光学系6は、光検出素子1から対象空間を見るときの視線方向と各感光部11とを対応付ける。すなわち、受光光学系6を通して各感光部11に光が入射する範囲を、受光光学系6の中心を頂点とし各感光部11ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源2から放射され対象空間に存在する対象物Obで反射された反射光が感光部11に入射すれば、反射光を受光した感光部11の位置により、受光光学系6の光軸を基準方向として対象物Obの存在する方向を知ることができる。
受光光学系6は一般に感光部11を配列した平面に光軸を直交させるように配置されるから、受光光学系6の中心を原点とし、感光部11を配列した平面の垂直方向と水平方向と受光光学系6の光軸とを3軸の方向とする直交座標系を設定すれば、対象空間に存在する対象物Obの位置を球座標で表したときの角度(いわゆる方位角と仰角)が各感光部11に対応する。なお、受光光学系6は、感光部11を配列した平面に対して光軸が90度以外の角度で交差するように配置することも可能である。
本実施形態では、上述のように、対象物Obまでの距離を求めるために、発光源2から対象空間に照射される光の強度変化に同期する4点のタイミングで受光光量A0、A1、A2、A3を求めている。したがって、目的の受光光量A0、A1、A2、A3を得るためのタイミングの制御が必要である。また、発光源2から対象空間に照射される光の強度変化の1周期において感光部11で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図1のように各感光部11で発生した電荷をそれぞれ集積する複数個の電荷集積部13を設けるとともに、各感光部11の感度をそれぞれ調節する複数個の感度制御部12を設けている。
各感度制御部12では、感度制御部12に対応する感光部11の感度を上述した4点のうちのいずれかのタイミングで高め、感度が高められた感光部11では当該タイミングの受光光量A0、A1、A2、A3に対応する電荷を主として生成するから、当該受光光量A0、A1、A2、A3に対応する電荷を当該感光部11に対応する電荷集積部13に集積させることができる。
以下では、感度制御部12の具体的な構成として、感光部11で生成された電荷のうち電荷集積部13に与える電荷の割合を調節する技術と、実質的に感光部11として機能する部位の面積を変化させる技術とを示す。電荷集積部13に与える電荷の割合を調節する技術には、感光部11から電荷集積部13への通過率を調節する技術と、感光部11から電荷を廃棄する廃棄率を調節する技術と、通過率と廃棄率との両方を調節する技術とがある。
感度制御部12において通過率と廃棄率とを調節する技術では、図3に示すように、感光部11と電荷集積部13との間にゲート電極12aを設け、ゲート電極12aに印加する通過電圧を変化させることにより、感光部11から電荷集積部13への電荷の移動(つまり、通過率)を制御する。また、電荷廃棄部12cを設け、電荷廃棄部12cに付設した廃棄電極12bに印加する廃棄電圧を変化させることにより、感光部11から電荷廃棄部12cへの電荷の移動(つまり、廃棄率)を制御する。電荷集積部13は感光部11ごとに一対一に対応するように設けられ、電荷廃棄部12cは複数個の感光部11に共通させて一対多に対応するように設けられる。図示例では、光検出素子1のすべての感光部11で1組の廃棄電極12bおよび電荷廃棄部12cを共用している。
感度を制御するために、感光部11からの電荷の廃棄を行わずに感光部11から電荷集積部13への通過率の制御のみを行うことが考えられるが、電荷の廃棄を行わなければ感光部11において電荷が暫時残留するから、感光部11で生成された電荷のうち不要な残留電荷が、利用する電荷(以下、信号電荷という)に雑音成分として混入する。したがって、信号電荷への残留電荷の混入を防止するために、ゲート電極12aに印加する通過電圧だけでなく廃棄電極12bに印加する廃棄電圧を制御する。
ゲート電極12aと廃棄電極12bとを用いて感度を制御するには、ゲート電極12aに印加する通過電圧を一定電圧に保つことにより感光部11で生成された電荷を電荷集積部13に通過可能としておき、感光部11で生成された電荷のうち信号電荷に用いる電荷が生成される期間以外には感光部11から電荷廃棄部12cに電荷が移動するように廃棄電極12bに廃棄電圧を印加する。要するに、感光部11において信号電荷として用いる電荷が生成される期間にのみ電荷廃棄部12cへの電荷の廃棄を行わず、他の期間には電荷廃棄部12cに電荷を廃棄することにより、信号電荷として用いようとする期間に生成された電荷のみを電荷集積部13に集積する。
いま、図4(a)のような変調信号により発光源2から空間に照射される光の強度が変調されているとする。電荷集積部13には変調信号の複数周期(数万〜数十万周期)において変調信号に同期する特定の区間の受光光量A0,A1,A2,A3に相当する電荷を集積し、各区間の電荷の集積毎に集積した信号電荷を取り出して次の区間の電荷を集積する。たとえば、受光光量A0に相当する電荷を変調信号の数万周期について集積すると、この受光光量A0に相当する信号電荷を一旦外部に取り出し、その後、受光光量A1に相当する電荷を変調信号の数万周期について集積する。
図4は受光光量A0に相当する電荷を集積している状態を示しており、図4(b)に示すようにゲート電極12aに印加する通過電圧を一定電圧に保っている。また、受光光量A0に相当する電荷としては、変調信号の位相が0〜90度の区間において感光部11で生成された電荷を採用している。つまり、廃棄電極12bには、図4(c)のように変調信号の位相が90〜360度の区間において、感光部11で生成される電荷を不要電荷とするように廃棄電圧を印加する。この制御により、図4(d)のように所望の区間の受光光量A0に対応した信号電荷を電荷集積部13に集積することが可能になる。図4に示す処理は変調信号の数万〜数十万周期について行われ、この期間に電荷集積部13に得られた信号電荷は受光光量A0に対応する受光出力として電荷取出部14により取り出される。
電荷取出部14から取り出された電荷は画像生成部4に画像信号として与えられ、画像生成部4において、対象空間内の対象物Obまでの距離が、上述した(1)式を用いて受光光量A0、A1、A2、A3に対応する受光出力から算出される。すなわち、画像生成部4では各感光部11に対応した各方向における対象物Obまでの距離が算出され、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。
なお、上述の制御では、廃棄電極12bに廃棄電圧を印加している期間においてゲート電極12aにも一定電圧である通過電圧を印加しているが、廃棄電圧と通過電圧との大小関係を適宜に設定すれば、不要電荷を廃棄している期間には信号電荷がほとんど集積されないようにすることができる。また、変調信号の数万〜数十万周期について電荷を集積しているのは、集積する電荷量を多くすることによって高感度化するためであり、変調信号をたとえば20MHzと設定すれば、30フレーム/秒で信号電荷を取り出すとしても、数十万周期以上の集積が可能になる。
上述したように、廃棄電極12bを備えた電荷廃棄部12cを設け、感光部11に生じた電荷のうち信号電荷として利用しない不要電荷を電荷廃棄部12cに積極的に廃棄しているから、感光部11において電荷集積部13に信号電荷を与えていない期間に感光部11で生成される電荷はほとんどが不要電荷として廃棄されることになり、信号電荷への雑音成分の混入が大幅に抑制される。
上述の例では、ゲート電極12aに一定電圧である通過電圧を印加している期間に廃棄電極12bに廃棄電圧を印加する期間と印加しない期間とを設けることによって、廃棄電圧が印加されていない期間において感光部11に生成された電荷を信号電荷として用いているが、図5に示すように、ゲート電極12aに通過電圧を印加する期間と廃棄電極12bに廃棄電圧を印加する期間とが重複しないように制御してもよい。
図5は受光光量A0に対応する信号電荷を集積する場合の動作を示している。図5(a)は発光源2から空間に照射される光の強度を変調する変調信号を示しており、ゲート電極12aには、図5(b)のように、受光光量A0に対応するタイミングで通過電圧を印加する。ゲート電極12aに通過電圧を印加する期間は、変調信号の位相における0度から一定期間(図示例では0〜90度)に設定され、この期間において感光部11から電荷集積部13への電荷の移動が可能になる。一方、廃棄電極12bには、図5(c)のように、電荷集積部13に受光光量A0に相当する信号電荷を集積する期間以外において廃棄電圧を印加し、信号電荷を集積する期間以外では感光部11で生成した電荷を不要電荷として電荷廃棄部12cに廃棄する。このような制御によって、図5(d)のように受光光量A0に相当する信号電荷を取り出すことが可能になる。
図5に示す制御では、ゲート電極12aに通過電圧を印加している期間と廃棄電極12bに廃棄電圧を印加している期間とが異なるから、図4に示した制御例のように通過電圧と廃棄電圧との大小関係を考慮しなくとも通過電圧と廃棄電圧との大きさを独立して制御することができ、結果的に通過電圧および廃棄電圧の制御が容易になり、感光部11で受光した光量に対して信号電荷を取り込む割合である感度の制御が容易になるとともに、感光部11で生成された電荷のうち不要電荷として廃棄する割合の制御が容易になる。また、図5に示す制御例では、電荷集積部13に信号電荷を集積する期間はゲート電極12aに印加する通過電圧により規定されるから、廃棄電極12bに廃棄電圧を印加する期間を短縮することが可能であり、たとえば、ゲート電極12aに通過電圧を印加する直前の所定期間にのみ廃棄電極12bに廃棄電圧を印加することも可能である。
図5に示す制御を行えば、感光部11で生成した電荷を電荷集積部13に信号電荷として集積していない期間において感光部11で生成される電荷をほとんど不要電荷として廃棄するから、信号電荷への雑音成分の混入が大幅に抑制されることになる。
通過電圧と廃棄電圧との制御例としては、図6に示すように、廃棄電極12bに印加する廃棄電圧を一定電圧に保って感光部11で生成された電荷の一部をつねに廃棄するようにしてもよい。図6の制御例では、ゲート電極12aに通過電圧を印加する期間と印加しない期間とを設け、通過電圧を印加する期間を電荷集積部13に信号電荷を集積する期間としている。
図6は受光光量A0に相当する信号電荷を集積する場合の動作を示している。図6(a)は発光源2から空間に照射される光の強度を変調する変調信号を示しており、電荷集積部13に設けたゲート電極12aには、図6(b)のように、受光光量A0に対応する期間に通過電圧が印加され、感光部11において生成された電荷を受光光量A0に相当する信号電荷として電荷集積部13に集積する。つまり、ゲート電極12aに通過電圧を印加する期間は、変調信号の位相における0度から一定期間(図示例では0〜90度)に設定され、この期間において感光部11から電荷集積部13への電荷の移動が可能になる。一方、廃棄電極12bには、図6(c)のように、直流電圧である一定電圧の廃棄電圧がつねに印加され、感光部11で生成された電荷の一部をつねに不要電荷として電荷廃棄部12cに廃棄する。上述の制御では、信号電荷を電荷集積部13に集積する期間にのみゲート電極12aに通過電圧を印加しているから、図6(d)のように受光光量A0に相当する信号電荷を取り出すことが可能になる。
図6に示す制御では、ゲート電極12aに通過電圧を印加しているか否かにかかわらず廃棄電極12bに一定電圧の廃棄電圧を印加しているから、感光部11において生成された電荷のうち電荷集積部13に信号電荷として集積されなかった不要電荷は、廃棄電荷として電荷廃棄部12cに廃棄される。ここで、感光部11で生成された電荷の一部を信号電荷として電荷集積部13に集積する期間においても感光部11から電荷廃棄部12cへの電荷の廃棄が継続しているから、信号電荷を電荷集積部13に適正に集積するために、通過電圧と廃棄電圧との大小関係を考慮する必要がある。ただし、廃棄電圧は一定電圧であって廃棄電極12bにつねに印加しているだけであるから、実際には通過電圧のみを制御すればよく、制御自体は容易である。
図3に示した感度制御部12を備える光検出素子1は、オーバーフロードレインを備えたCCDイメージセンサにより実現することができる。CCDイメージセンサにおける電荷の転送方式はどのようなものでもよく、インターライントランスファ(IT)方式、フレームトランスファ(FT)方式、フレームインターライントランスファ(FIT)方式のいずれであってもよい。
図7に縦型オーバーフロードレインを備えるインターライントランスファ方式のCCDイメージセンサの構成を示す。図示例は、感光部11となるフォトダイオード41を水平方向と垂直方向とに複数個ずつ(図では3×4個)配列した2次元イメージセンサであって、垂直方向に配列したフォトダイオード41の各列の右側方にCCDからなる垂直転送レジスタ42を備え、フォトダイオード41および垂直転送レジスタ42が配列された領域の下方にCCDからなる水平転送レジスタ43を備える。垂直転送レジスタ42は各フォトダイオード41ごとに2個ずつの転送電極42a,42bを備え、水平転送レジスタ43は各垂直転送レジスタ42ごとに2個ずつの転送電極43a,43bを備える。
フォトダイオード41と垂直転送レジスタ42と水平転送レジスタ43とは1枚の半導体基板40上に形成され、半導体基板40の主表面には、フォトダイオード41と垂直転送レジスタ42と水平転送レジスタ43との全体を囲む形でアルミニウム電極であるオーバーフロー電極44が、半導体基板40の全周に亘って絶縁膜を介さずに半導体基板40に直接接触するように設けられる。オーバーフロー電極44に半導体基板40に対して正極性になる適宜の廃棄電圧を印加すればフォトダイオード41で生成された電子(電荷)はオーバーフロー電極44を通して廃棄される。オーバーフロー電極44は、感光部11であるフォトダイオード41において生成した電荷のうち不要電荷を廃棄する際に廃棄電圧が印加されるから廃棄電極12bとして機能し、オーバーフロー電極44に廃棄電圧を印加する電源が感光部11で生成された電子(電荷)を廃棄する電荷廃棄部12cとして機能する。半導体基板40の表面はフォトダイオード41に対応する部位を除いて遮光膜46(図8参照)により覆われる。
図7に示したCCDイメージセンサについて、1個のフォトダイオード41に関連する部分を切り出して図8に示す。半導体基板40にはn形半導体を用い、半導体基板40の主表面にはフォトダイオード41と垂直転送レジスタ42とに跨る領域にp形半導体からなるウェル領域31を形成している。ウェル領域31は、フォトダイオード41に対応する領域に比較して垂直転送レジスタ42に対応する領域の厚み寸法が大きくなるように形成してある。ウェル領域31のうちフォトダイオード41に対応する領域にはn+形半導体層32を重ねて設けてあり、ウェル領域31とn+形半導体層32とのpn接合によってフォトダイオード41が形成される。フォトダイオード41の表面にはp+形半導体からなる表面層33を積層してある。表面層33はフォトダイオード41で生成された電荷を垂直転送レジスタ42に移動させる際に、n+形半導体層32の表面付近が電荷の通過経路にならないように制御する目的で設けてある。このような構造は、埋込フォトダイオードとして知られている。
ウェル領域31のうち垂直転送レジスタ42に対応する領域にはn形半導体からなる蓄積転送層34を重ねて設けてある。蓄積転送層34の表面と表面層33の表面とは略同一平面であって、蓄積転送層34の厚み寸法は表面層33の厚み寸法よりも大きくしてある。蓄積転送層34は、表面層33とは接触しているが、n+形半導体層32との間には、表面層33と不純物濃度が等しいp+形半導体からなる分離層35が介在する。蓄積転送層34の表面には、絶縁膜45を介して転送電極42a,42bが配置される。転送電極42a,42bは1個のフォトダイオード41に対して2個ずつ設けられ、垂直方向において2個の転送電極42a,42bのうちの一方は他方よりも広幅に形成される。具体的には、図9のように、1個のフォトダイオード41に対応する2個の転送電極42a,42bのうち狭幅の転送電極42bは平板状に形成されており、広幅の転送電極42aは、幅狭の転送電極42bと同一平面上に配列され一対の転送電極42bの間に配置される平板状の部分と、平板状の部分の垂直方向(図9の左右方向)における両端部からそれぞれ延長され転送電極42bの上に重複する湾曲した部分とを備える。ここに、絶縁膜45はSiO2 により形成され、また転送電極42a,42bはポリシリコンにより形成され、各転送電極42a,42bは絶縁膜45を介して互いに絶縁されている。さらに、フォトダイオード41に光を入射させる部位を除いて光検出素子1の表面は遮光膜46により覆われる。ウェル領域31において垂直転送レジスタ42に対応する領域および蓄積転送層34は垂直転送レジスタ42の全長に亘って形成され、したがって、蓄積転送層34には広幅の転送電極42aと狭幅の転送電極42bとが交互に配列される。
上述した光検出素子1では、フォトダイオード41が感光部11に相当し、転送電極42aがゲート電極12aに相当し、オーバーフロー電極44が廃棄電極12bに相当し、垂直転送レジスタ42が電荷集積部13および電荷取出部14の一部として機能する。また、水平転送レジスタ43も電荷取出部14の一部になる。すなわち、フォトダイオード41に光が入射すれば電荷が生成され、フォトダイオード41で生成された電荷のうち垂直転送レジスタ42に信号電荷として引き渡される電荷の割合は転送電極42aに印加する通過電圧とオーバーフロー電極44に印加する廃棄電圧との関係によって決めることができる。転送電極42aに通過電圧を印加すると蓄積転送層34にポテンシャル井戸が形成され、通過電圧の制御によりポテンシャル井戸の深さを制御することができる。したがって、ポテンシャル井戸の深さおよび通過電圧を印加する時間とを制御すれば、フォトダイオード41から垂直転送レジスタ42に引き渡される電荷の割合を調節することができる。また、オーバーフロー電極44に印加する廃棄電圧を制御すれば、フォトダイオード41と半導体基板40との間の電位勾配を制御することができるから、電位勾配と廃棄電圧を印加する時間とを制御すれば、垂直転送レジスタ42に引き渡される電荷の割合を調節することができる。通過電圧と廃棄電圧とは図4ないし図6に示した制御例のように制御すればよい。
フォトダイオード41から垂直転送レジスタ42に引き渡された信号電荷は、上述した4区間の受光光量A0,A1,A2,A3のうちの各1区間の受光光量A0,A1,A2,A3に相当する信号電荷が集積されるたびに読み出される。たとえば、受光光量A0に相当する信号電荷が各フォトダイオード41に対応して形成されるポテンシャル井戸に集積されると信号電荷を読み出し、次に受光光量A1に相当する信号電荷がポテンシャル井戸に集積されると再び信号電荷を読み出すという動作を繰り返す。なお、各受光光量A0,A1,A2,A3に相当する信号電荷を集積する期間は等しく設定しておく。
ところで、上述した制御例のうち、図4に示す制御例では、感光部11(フォトダイオード41)で生成された電荷(電子)を電荷集積部13(垂直転送レジスタ42)に対してつねに引き渡しているから、電荷集積部13に集積された電荷は必ずしも目的の受光光量A0、A1、A2、A3が得られる期間に生成された電荷だけではなく、目的外の期間に生成された電荷も混入することになる。いま、感度制御部12において、受光光量A0、A1、A2、A3に対応した電荷を生成する期間(つまり、受光期間Tw)の感度をα、それ以外の期間(以下では、「保持期間」と呼ぶ)の感度をβとし、感光部11は受光光量に比例する電荷を生成するものとする。この条件では、受光光量A0に対応した電荷を集積する電荷集積部13には、αA0+β(A1+A2+A3)+βAx(Axは受光光量A0、A1、A2、A3が得られる期間以外の受光光量)に比例する電荷が集積され、受光光量A2に対応した電荷を集積する電荷集積部13には、αA2+β(A0+A1+A3)+βAxに比例する電荷が集積される。上述したように、位相差ψを求める際には(A2−A0)を求めており、(A2−A0)に相当する値を電荷集積部13に集積した電荷から求めると(α−β)(A2−A0)になり、同様にして(A1−A3)に相当する値は(α−β)(A1−A3)になるから、(A2−A0)/(A1−A3)は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。
上述した構成例では、CCDイメージセンサを光検出素子1に用い、電荷集積部13に通過させる電荷の量と、電荷廃棄部12cに廃棄する電荷の量との少なくとも一方を制御することにより感度制御部12を構成する例を示したが、以下に示す感度制御部12は、感光部11において利用できる電荷を生成する領域の面積(実質的な受光面積)を変化させるものである。
以下に光検出素子1の具体的構造例を説明する。図10に示す光検出素子1は、複数個(たとえば、100×100個)の感光部11をマトリクス状に配列したものであって、たとえば1枚の半導体基板上に形成される。1個の感光部11は不純物を添加した半導体層21に酸化膜からなる絶縁膜22を介して複数個(図では5個)の制御電極23を配列した構成を有する。図示例では制御電極23が並ぶ方向(左右方向)が垂直方向であり、感光部11で生成した電荷(本実施形態では、電子を用いる)を取り出す際には、垂直転送レジスタにより電荷を垂直方向に転送した後、水平転送レジスタを用いて水平方向に転送される。つまり、垂直転送レジスタと水平転送レジスタとにより電荷取出部14が構成される。垂直転送レジスタおよび水平転送レジスタの構成には、CCDイメージセンサにおけるインターライントランスファ(IT)方式、フレームトランスファ(FT)方式、フレームインターライントランスファ(FIT)方式と同様の構成を採用することができる。
すなわち、垂直方向に並ぶ各感光部11が一体に連続する半導体層21を共用するとともに半導体層21を垂直転送レジスタに用いれば、半導体層21が感光部11と電荷の転送経路とに兼用された構造になり、FT方式のCCDイメージセンサと同様にして電荷を垂直方向に転送することができ、また、感光部11から転送ゲートを介して垂直転送レジスタに電荷を転送すれば、IT方式またはFIT方式のCCDイメージセンサと同様にして電荷を転送することができる。
上述のように、半導体層21は不純物が添加してあり、半導体層21の主表面は酸化膜からなる絶縁膜22により覆われ、半導体層21に絶縁膜22を介して複数個の制御電極23を配置している。この光検出素子1はMIS素子として知られた構造であるが、1個の光検出素子1として機能する領域に複数個(図示例では5個)の制御電極23を備える点が通常のMIS素子とは異なる。絶縁膜22および制御電極23は発光源2から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜22を通して半導体層21に光が入射すると、半導体層21の内部に電荷が生成される。図示例の半導体層21の導電形はn形であり、光の照射により生成される電荷として電子eを利用する。図10は1個の感光部11に対応する領域のみを示したものであり、半導体基板(図示せず)には上述したように図10の構造を持つ領域が複数個配列されるとともに電荷取出部14となる構造が設けられる。電荷取出部14として設ける垂直転送レジスタは、図10の左右方向に電荷を転送することを想定しているが、図10の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極23の左右方向の幅寸法を1μm程度に設定するのが望ましい。
この構造の光検出素子1では、制御電極23に正の制御電圧+Vを印加すると、半導体層21には制御電極23に対応する部位に電子eを集積するポテンシャル井戸(空乏層)24が形成される。つまり、半導体層21にポテンシャル井戸24を形成するように制御電極23に制御電圧を印加した状態で光が半導体層21に照射されると、ポテンシャル井戸24の近傍で生成された電子eの一部はポテンシャル井戸24に捕獲されてポテンシャル井戸24に集積され、残りの電子eは半導体層21の深部での再結合により消滅する。また、ポテンシャル井戸24から離れた場所で生成された電子eも半導体層21の深部での再結合により消滅する。
ポテンシャル井戸24は制御電圧を印加した制御電極23に対応する部位に形成されるから、制御電圧を印加する制御電極23の個数を変化させることによって、半導体層21の主表面に沿ったポテンシャル井戸24の面積(言い換えると、受光面において利用できる電荷を生成する領域の面積)を変化させることができる。つまり、制御電圧を印加する制御電極23の個数を変化させることは感度制御部12における感度の調節を意味する。たとえば、図10(a)のように3個の制御電極23に制御電圧+Vを印加する場合と、図10(b)のように1個の制御電極23に制御電圧+Vを印加する場合とでは、ポテンシャル井戸24が受光面に占める面積が変化するのであって、図10(a)の状態のほうがポテンシャル井戸24の面積が大きいから、図10(b)の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部11の感度を高めたことになる。このように、感光部11および感度制御部12は半導体層21と絶縁膜22と制御電極23とにより構成されていると言える。ポテンシャル井戸24は光照射により生成された電荷を保持するから電荷集積部13として機能する。
上述したように、ポテンシャル井戸24から電荷を取り出すには、CCDイメージセンサと同様の技術を採用する。たとえば感光部11を垂直転送レジスタとして用いる場合は、ポテンシャル井戸24に電子eが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極23に印加することによってポテンシャル井戸24に集積された電子eを一方向(たとえば、図の右方向)に転送することができる。あるいはまた、感光部11とは別に設けた垂直転送レジスタに転送ゲートを介して感光部11から電荷を転送する構成を採用することもできる。垂直転送レジスタからは水平転送レジスタに電荷を引き渡し、水平転送レジスタを転送された電荷は、半導体基板に設けた図示しない電極から光検出素子1の外部に取り出される。
図10に示す構成における感度制御部12は、利用できる電荷を生成する面積を大小2段階に切り換えることにより感光部11の感度を高低2段階に切り換えるのであって、受光光量A0、A1、A2、A3のいずれかに対応する電荷を感光部11で生成しようとする受光期間にのみ高感度とし(電荷を生成する面積を大きくし)、他の期間である保持期間には低感度にする。高感度にする受光期間と低感度にする保持期間とは、発光源2を駆動する変調信号に同期させて設定される。具体的には、変調信号に同期する特定の区間(特定位相の区間)において、電荷を生成する面積を大きくして感光部11で生成した電荷を集積し、上記特定区間以外の他の区間において、電荷を生成する面積を小さくして感光部11で生成した電荷を蓄積する。すなわち、感光部11において、電荷を集積する機能と蓄積する機能とが交互に実現される。ここで、集積とは電荷を集めることを意味し、蓄積とは電荷を保持することを意味する。言い換えると、図10に示す構成では、感光部11に設けた電荷集積部13の大きさ(面積)を変化させることにより、電荷を集積する期間には感光部11で生成された電荷の集積率を大きくし、電荷を蓄積する期間には感光部11で生成された電荷の集積率を小さくするのである。
また、変調信号の複数周期に亘ってポテンシャル井戸24に電荷を集積した後に電荷取出部14を通して光検出素子1の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の1周期内では感光部11が利用可能な電荷を生成する期間が短く(たとえば、変調信号の周波数を20MHzとすれば50nsの4分の1以下)、生成される電荷が少ないからである。つまり、変調信号の複数周期分の電荷を集積することにより、信号電荷(発光源2から照射された光に対応する電荷)と不要電荷(主に外光成分および光検出素子1の内部で発生するショットノイズに対応する電荷)との比を大きくとることができ、大きなSN比が得られる。
ところで、位相差ψを求めるのに必要な4区間の受光光量A0、A1、A2、A3に対応する電荷を1個の感光部11で生成するとすれば、視線方向に関する分解能は高くなるが、各受光光量A0、A1、A2、A3に対応する電荷を求める時間差が大きくなるという問題が生じる。一方、各受光光量A0、A1、A2、A3に対応する電荷を4個の感光部11でそれぞれ生成するとすれば、各受光光量A0、A1、A2、A3に対応する電荷を求める時間差は小さくなるが、4区間の電荷を求める視線方向にずれが生じ視線方向に関する分解能は低下する。そこで、2個の感光部11を用いることにより、変調信号の1周期内で受光光量A0、A1、A2、A3に対応する電荷を2種類ずつ生成する構成を採用してもよい。つまり、2個の感光部11を組にして用い、組になる2個の感光部11に同じ視線方向からの光が入射するようにしてもよい。
この構成を採用することにより、視線方向の分解能を比較的高くし、かつ受光光量A0、A1、A2、A3に対応する電荷を生成する時間差を少なくすることができる。つまり、受光光量A0、A1、A2、A3に対応する電荷を生成する時間差を少なくしていることにより、対象空間の中で移動している対象物Obについても距離の検出精度を比較的高く保つことができる。なお、この構成では、1個の感光部11で4区間の受光光量A0、A1、A2、A3に対応する電荷を生成する場合よりも視線方向の分解能が低下するが、視線方向の分解能については感光部11の小型化や受光光学系16の設計によって向上させることが可能である。
図10に示した例では、1個の感光部11について5個の制御電極23を設けた例を示しているが、両側の2個の制御電極23は、感光部11で電荷(電子e)を生成している間に隣接する感光部11に電荷が流出するのを防止するための障壁を形成するものであって、2個の感光部11を組にして用いる場合には隣接する感光部11のポテンシャル井戸24の間には、いずれかの感光部11で障壁が形成されるから、各感光部11には3個ずつの制御電極23を設けるだけで足りることになる。この構成によって、感光部11の1個当たりの占有面積が小さくなり、2個の感光部11を組にして用いながらも視線方向の分解能の低下を抑制することが可能になる。
ところで、上述したように、対象物Obが移動する場合には、画像生成部4において生成された距離画像のうち対象物Obの境界を含む領域内の画素値は対象物Obまでの距離を表していない。この理由を単純化したモデルを用いて説明する。このモデルでは、図11(a)のように、対象物Obは平面状であり距離を変化させることなく図中の矢印の向きに移動するものとする。また、背景BGはたとえば壁であって対象物Obの移動方向と平行であるものとする。図11(a)においては、距離を求めるのに必要な一組の受光光量A0、A1、A2、A3を得る時間で対象物Obが実線の位置から二点鎖線の位置まで移動する状態を示している。以下では、実線の位置の時刻をt1、二点鎖線の位置の時刻をt2として説明する。
上述の条件において距離画像を生成したとすると、対象物Obの周部付近を除く領域では対象物Obの距離と背景BGの距離とはそれぞれ一定であるから、図11(b)に示すように、時刻t1と時刻t2とにおいて距離が変化していない部位は、対象物Obおよび背景BGまでの距離を正確に求めることができるが、時刻t1から時刻t2までの間に距離が変化した部位、すなわち、対象物Obの周辺を含む領域では、距離画像内の距離値が背景BGと対象物Obとには無関係な値になる。これは、一組の受光光量A0、A1、A2、A3が得られる時間内で対象物Obが移動することにより、一組の受光光量A0、A1、A2、A3に対象空間の異なる部位に関する受光光量が含まれるからである。たとえば、受光光量A0,A2と受光光量A1,A3とに対応する電荷をそれぞれ異なる期間に光検出素子1から読み出す構成を採用している場合であって、受光光量A0,A2は対象物Obについて得られ、受光光量A1,A3は背景BGについて得られるとすれば、これらの受光光量A0、A1、A2、A3を組み合わせて求めた距離は、対象空間内の実体に対する距離ではなく、対象物Obや背景BGとの距離とは異なる値になる。要するに、組になる受光光量A0、A1、A2、A3が得られる期間において、投光時の強度変調の波形が受光時に保存されていないから、距離を求めることができないのである。
上述のように、受光光量A0、A1、A2、A3の組が対象空間の実体に対応しない場合には対象物Obや背景BGの距離とはまったく異なる距離値が得られ、このような距離値は異常値ということができる。異常値は移動する対象物Obの境界を含む領域(境界以外に、対象物Obの段差や反射率が変化する部位でも異常値が発生する)において生じるから、図1に示すように、画像生成部4で生成された距離画像を輪郭抽出部5に与え距離値が異常値である領域を移動する対象物Obの境界が含まれる領域として抽出する。
輪郭抽出部5は、距離画像から距離変動を滑らかにした平滑化画像を生成する平滑化部5aと、距離画像と平滑化画像との差分画像を生成し、差分画像において差分値が規定した閾値以上になる領域を距離が異常値である領域として抽出する境界領域抽出部5bとからなる。図11に戻って説明すれば、図11(b)のような距離値を有する距離画像に対して、平滑化部5aで得られる平滑化画像は図11(c)のようになる。境界領域抽出部5bでは図11(b)の距離画像と図11(c)の平滑化画像との差分を求めるから、図11(d)のような差分画像が得られる。対象物Obや背景BGにおいて対象物Obが移動しても距離が変化しない領域では差分画像における差分値はほぼ0であり、異常値が発生した領域では差分値の絶対値が比較的大きな値になる。したがって、境界領域抽出部5bでは差分画像の画素値(差分値)に対して適宜の閾値TH1,TH2を適用し、差分値の絶対値が閾値以上になる領域を、距離画像において距離値が異常値になる領域として抽出するのである。
平滑化部5aでは、距離画像内の注目画素を中心とする距離画像の局所領域ごとに注目画素の周辺の距離から推定される距離を注目画素の距離として用いる構成、あるいは距離画像に対して空間周波数の低域成分を通過させるローパスフィルタを用いる構成を採用する。前者の構成としては、局所領域内の画素値の平均値を注目画素の距離に用いる移動平均値を用いる構成、あるいは局所領域内の注目画素に近いほど重み係数を大きくした加重平均値を用いる構成、さらには、局所領域内のメディアンを用いる構成などがある。また、後者の構成としては、FFT(高速フーリエ変換)によって得られた周波数成分のうち高周波成分を除去する構成がある。
距離値が異常値である領域は、対象物Obの境界を含む領域とみなしているから、上述の処理により対象物Obの境界を含む領域を抽出することができる。得られた領域に細線化処理などを施せば移動する物体でも対象物Obの輪郭を抽出することができる。このようにして抽出した境界は距離を求めるための組になる受光光量A0、A1、A2、A3が得られる時間において対象物Obが移動した距離程度の誤差を含んでいるが、この時間は比較的短時間であるから、対象物Obが高速に移動していない限り、この程度の誤差は実用上差し支えない。また、距離値が異常値である領域は移動する対象物Obの境界以外の領域を含んでいる可能性があり、たとえば対象物Obに凹凸があったり対象物Obの反射率が大きく変化したりする場合には、それらの領域も含まれることになる。したがって、対象物Obの境界のみを抽出しようとするときには、対象物Obに関する既知の情報(たとえば、画像内での面積や形状など)を用いて対象物Obの境界を表す領域のみを抽出するのが望ましい。
なお、上述した距離画像センサの構成例では、受光光量A0、A1、A2、A3に対応する4区間を変調信号の1周期内で位相の間隔が90度ずつになるように設定しているが、変調信号に対する位相が既知であれば4区間は90度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、4区間の受光光量A0、A1、A2、A3に対応した信号電荷を取り出す周期は、対象物Obの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の1周期内で4区間の信号電荷を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源2から放射される光の波長のみを透過させる光学フィルタを感光部11の前に配置するのが望ましい。