JP3906859B2 - 距離画像センサ - Google Patents

Description

本発明は、対象空間を撮像し対象空間に存在する対象物までの距離を画素値とした距離画像を生成する距離画像センサに関するものである。

従来から、対象空間で光を走査するとともに対象空間内の対象物からの反射光を受光し、三角測量法の原理を用いて対象物までの距離を求めることにより、対象空間の三次元情報を得ることができる測距センサが提案されている（たとえば、特許文献１参照）。

しかしながら、三角測量法の原理による測距センサで対象空間の三次元情報を得るには対象空間で光を走査する必要があるから、対象空間の全体について三次元情報が得られるまでに比較的長い時間を要し、たとえば移動物体を追跡するような用途では用いることができないという問題がある。

この種の問題を解決するものとして、強度変調した光を対象空間に照射するとともに、対象空間の画像を撮像し、投光時と受光時との位相差を用いて対象空間内の対象物までの距離が得られる距離画像センサを先に提案した（たとえば、特許文献２参照）。
特開平９−２５７４１８号公報 特開２００４−４５３０４号公報

ところで、上述した距離画像センサは、対象空間を撮像する複数の感光部を配列した光検出素子を用い、対象空間に照射した光の強度変調の位相に同期する受光期間での受光光量に基づいて対象物までの距離を求めている。また、受光期間は変調信号の１周期分よりも短い時間に設定してあり、感光部で生成された電荷を変調信号の１周期以上の検出期間ごとに光検出素子から取り出して距離の演算を行っている。

感光部で発生するショットノイズの影響を低減してＳＮ比を大きくとるには、検出期間を長期間に設定することによって受光光量を増加させることが望ましいが、感光部が受光する光には外光成分が含まれており、外光成分が多く含まれる環境では検出期間を長くすれば光検出素子が飽和しやすくなる。光検出素子が飽和すると感光部の受光光量は強度変調した光とは無関係になるから、当該感光部に対応する画素については距離を正確に求めることができなくなるという問題が生じる。一方、検出期間を短くすれば光検出素子の飽和は生じにくくなるものの、上述したようにＳＮ比が低下し、ＳＮ比が極端に低下すれば距離を正確に求めることができなくなる。

本発明は上記事由に鑑みて為されたものであり、その目的は、光検出素子の飽和を防止しながらも高ＳＮ比が得られるようにして距離の測定精度を高めた距離画像センサを提供することにある。

請求項１の発明は、所定周期の変調信号で強度変調された光を対象空間に照射する発光源と、対象空間からの光を受光してそれぞれ受光光量に応じた電荷を生成する複数個の感光部を有し対象空間を撮像する光検出素子と、各感光部が対象空間からの光を受光する受光期間を制御する制御回路部と、感光部で生成された電荷を用いて対象物までの距離を求めこの距離を画素値とする距離画像を生成する画像生成部とを備え、受光期間は、変調信号の位相に同期しかつ変調信号の周期よりも短く設定され、光検出素子は、複数個隣接した前記感光部を演算単位とし、複数の受光期間で得られる電荷を変調信号の１周期以上の期間である検出期間ごとに集積した電荷を画像生成部に与え、かつ演算単位となる各感光部の受光期間を、検出期間毎に前記位相のうちの異なる位相の受光期間に変更するように電荷の転送タイミングが制御回路部で制御され、制御回路部は、あらかじめ設定した異なる長さの複数の検出期間を光検出素子に適用可能であり、画像生成部は、各長さの検出期間で集積される電荷の電荷量が光検出素子に許容された電荷量を越えない範囲で最大になる検出期間を選択し、さらに選択した長さの検出期間に関して複数の検出期間の電荷量を受光期間別に積算した電荷量を用いて距離を求め、当該距離を距離画像の画素値とすることを特徴とする。

この構成によれば、感光部で生成した電荷を集積する検出期間を複数設定し、各長さの検出期間で集積される電荷の電荷量が光検出素子で許容された電荷量を越えない範囲で最大になる検出期間を選択し、この検出期間における電荷量を用いて距離を求めるから、各感光部に対応する電荷量の飽和を防止することができ、しかも飽和を防止できる範囲で最大の電荷量を距離の演算に採用するからショットノイズの影響を低減することができ、結果的に距離の測定精度を高めることができる。しかも、演算単位となる各感光部の受光期間を、検出期間毎に前記位相のうちの異なる位相の受光期間に変更するとともに、複数の検出期間の電荷量を受光期間別に積算した電荷量を用いて距離を求めるから、距離を求めるために積算された電荷量は演算単位内での感光部の位置の違いによる誤差をほぼ除去することができ、得られた距離の信頼性が高くなる。

請求項２の発明では、請求項１の発明において、前記制御回路部は、複数の長さの検出期間を前記光検出素子に順に適用し、画像生成部は、異なる長さの検出期間ごとに集積された電荷のうち電荷量が規定の飽和閾値を越えない範囲で最大になる検出期間を選択することを特徴とする。

この構成によれば、複数種類の検出期間を光検出素子に適用することにより、同じ感光部について集積する電荷量を異ならせておき、同じ感光部に関する複数の電荷量のうち飽和閾値を越えない範囲で最大の電荷量を用いて距離を求めるから、飽和を防止しながらもショットノイズの影響を低減して距離の測定精度を高めることができる。

請求項３の発明では、請求項２の発明において、前記画像生成部は、変調信号の複数の位相に同期する受光期間で得られる電荷を組にして用いることにより距離を求め、組になるすべての受光期間に対応して集積された電荷について最大の電荷量が前記飽和閾値を越えない範囲で最大になる長さの検出期間を選択することを特徴とする。

この構成によれば、距離を求めるために用いる組になる複数の受光期間で得られる電荷量のすべてが飽和閾値を越えないときに、当該検出期間の電荷量を用いて距離を求めるから、飽和を防止しながらもショットノイズの影響を低減して距離の測定精度を高めることができる。

請求項４の発明では、請求項２の発明において、前記画像生成部は、変調信号の複数の位相に同期する受光期間で得られる電荷を組にして用いることにより距離を求め、組になる各受光期間に対応して集積された電荷についてそれぞれ電荷量が前記飽和閾値を越えない範囲で最大になるときの検出期間を各受光期間ごとに選択するとともに、各受光期間に対応する電荷量を検出期間の長さの比率で補正した電荷量を用いて距離を求めることを特徴とする。

この構成によれば、距離を求めるために用いる組になる複数の受光期間で得られる電荷量のそれぞれが飽和閾値を越えないときに、当該検出期間の電荷量を用い、しかも各検出期間の長さの比率で補正した電荷量を用いて距離を求めるから、できるだけ電荷量の多い検出期間を用いることができ、飽和を防止することができるのはもちろんのこと、とくにショットノイズの影響を大幅に低減して距離の測定精度を高めることができる。

請求項５の発明では、請求項２の発明において、前記画像生成部は、変調信号の複数の位相に同期する受光期間で得られる電荷を組にして用いることにより距離を求め、組になるすべての受光期間に対応して集積された電荷の平均の電荷量が前記飽和閾値を越えない範囲で最大になる長さの検出期間を選択することを特徴とする。

この構成によれば、感光部で受光した光のうち発光源から放射され対象物で反射された反射光成分とそれ以外の外光成分との平均値を飽和閾値と比較するから、反射光成分と外光成分とを総合して光検出素子が飽和するか否かを判断することができる。

請求項６の発明では、請求項１ないし請求項５の発明において、前記画像生成部は、演算単位となる前記各感光部で得られた電荷を積算する複数の検出期間において、各検出期間ごとの受光期間の回数を同回数ずつとすることを特徴とする。

この構成によれば、検出期間内では演算単位となる各感光部がそれぞれ変調信号の異なる位相に同期した受光期間に光を受光しているが、演算単位となる各感光部で得られた電荷を積算する複数の検出期間において、各検出期間ごとの受光期間の回数を同回数ずつとして積算した電荷量を用いて距離を求めるから、距離を求めるために積算された電荷量は演算単位内での感光部の位置の違いによる誤差をほぼ除去することができ、得られた距離の信頼性が高くなる。

請求項７の発明では、請求項１の発明において、前記画像生成部は、前記感光部で生成された電荷から受光光量の関数である適宜の比較値を算出し、算出した比較値を規定の閾値と比較することにより検出期間を選択することを特徴とする。

この構成によれば、受光光量の関数である適宜の比較値によって検出期間を選択するから、受光光量が少なければ長い検出期間を選択し、受光光量が多ければ短い検出期間を選択することができる。

請求項８の発明では、請求項１の発明において、前記画像生成部は、前記感光部で生成された電荷から受光光量について変調信号の整数倍周期の平均値を直流成分として抽出し、抽出した直流成分を規定の閾値と比較することにより検出期間を選択することを特徴とする。

この構成によれば、直流成分は感光部で受光した光のうち発光源からの成分とそれ以外の外光成分との平均値になるから、反射光成分と外光成分とを総合して光検出素子が飽和しない電荷を用いて距離を求めることができる。しかも、複数種類の検出期間でそれぞれ電荷を集積する必要がなく、選択する検出期間を迅速に決定することができる。

請求項９の発明では、請求項１ないし請求項８の発明において、前記画像生成部は、検出期間を選択できない画素の画素値を、代用できる他の値に置き換える異常処理を行うことを特徴とする。

この構成によれば、あらかじめ設定されている検出期間の範囲で検出期間を選択することができない場合に、当該画素の画素値として代用となる画素値を与えることによって、異常値を含まない距離画像を生成することができる。

請求項１０の発明では、請求項９の発明において、前記異常処理は、検出期間を選択できない画素の画素値を、過去の距離値で代用する処理であることを特徴とする。

この構成によれば、代用する画素値として過去の距離値を用いるから、距離変化の比較的少ない環境であれば、適切な距離値を与えることができる。

請求項１１の発明では、請求項９の発明において、前記異常処理は、検出期間を選択できない画素の画素値を、周辺の画素の画素値の平均値で代用する処理であることを特徴とする。

この構成によれば、代用する画素値として周辺の距離値の平均値を用いるから、連続性のある適切な距離値を与えることができる。

本発明の構成によれば、感光部で生成した電荷を集積する検出期間を複数設定し、各長さの検出期間で集積される電荷の電荷量が光検出素子で許容された電荷量を越えない範囲で最大になる検出期間を選択し、この検出期間における電荷量を用いて距離を求めるから、各感光部に対応する電荷量の飽和を防止することができ、しかも飽和を防止できる範囲で最大の電荷量を距離の演算に採用するからショットノイズの影響を低減することができ、結果的に距離の測定精度を高めることができるという利点がある。しかも、演算単位となる各感光部の受光期間を、検出期間毎に前記位相のうちの異なる位相の受光期間に変更するとともに、複数の検出期間の電荷量を受光期間別に積算した電荷量を用いて距離を求めるから、距離を求めるために積算された電荷量は演算単位内での感光部の位置の違いによる誤差をほぼ除去することができ、得られた距離の信頼性が高くなる。

まず本実施形態で用いる距離画像センサの基本構成について説明する。距離画像センサは、図１に示すように、対象空間に光を照射する発光源２を備えるとともに、対象空間からの光を受光し受光光量を反映した出力が得られる光検出素子１を備える。対象空間に存在する対象物Ｏｂまでの距離は、発光源２から対象空間に光が照射されてから対象物Ｏｂでの反射光が光検出素子１に入射するまでの時間（「飛行時間」と呼ぶ）によって求める。ただし、飛行時間は非常に短いから、対象空間に照射する光の強度が一定周期で周期的に変化するように変調した強度変調光を用い、強度変調光を受光したときの位相を用いて飛行時間を求める。

図２（ａ）に示すように、発光源２から空間に放射する光の強度が曲線イのように変化し、光検出素子１で受光した受光光量が曲線ロのように変化するとすれば、位相差ψは飛行時間に相当するから、位相差ψを求めることにより対象物Ｏｂまでの距離を求めることができる。また、位相差ψは、曲線イの複数のタイミングで求めた曲線ロの受光光量を用いて計算することができる。たとえば、曲線イにおける位相が０度、９０度、１８０度、２７０度の位相で求めた曲線ロの受光光量がそれぞれＡ０、Ａ１、Ａ２、Ａ３であるとする（受光光量Ａ０、Ａ１、Ａ２、Ａ３を斜線部で示している）。ただし、各位相における受光光量Ａ０、Ａ１、Ａ２、Ａ３は、瞬時値ではなく所定の受光期間Ｔｗで積算した受光光量を用いる。いま、受光光量Ａ０、Ａ１、Ａ２、Ａ３を求める間に、位相差ψが変化せず（つまり、対象物Ｏｂまでの距離が変化せず）、かつ対象物Ｏｂの反射率にも変化がないものとする。また、発光源２から放射する光の強度を正弦波で変調し、時刻ｔにおいて光検出素子１で受光される光の強度がＡ・ｓｉｎ（ωｔ＋δ）＋Ｂで表されるものとする。ここに、Ａは振幅、Ｂは直流成分（外光成分と反射光成分との平均値）、ωは角振動数、δは初期位相である。光検出素子１で受光する受光光量Ａ０、Ａ１、Ａ２、Ａ３を受光期間Ｔｗの積算値ではなく瞬時値とし、変調信号の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…）における受光光量を、Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂとすれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３は、次のように表すことができる。なお、反射光成分とは、発光源２から放射され対象物Ｏｂにより反射された後に光検出素子１に入射する光の成分を意味する。
Ａ０＝Ａ・ｓｉｎ（δ）＋Ｂ
Ａ１＝Ａ・ｓｉｎ（π／２＋δ）＋Ｂ
Ａ２＝Ａ・ｓｉｎ（π＋δ）＋Ｂ
Ａ３＝Ａ・ｓｉｎ（３π／２＋δ）＋Ｂ
図２では位相差がψであるから、光検出信号１の受光光量に関する波形の初期位相δ（時刻ｔ＝０の位相）は−ψになる。つまり、δ＝−ψであるから、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂであり、結果的に、各受光光量Ａ０、Ａ１、Ａ２、Ａ３と位相差ψとの関係は、次式のようになる。
ψ＝ｔａｎ^−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝ …（１）
（１）式では受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いているが、受光光量Ａ０、Ａ１、Ａ２、Ａ３として受光期間Ｔｗにおける積算値を用いても（１）式で位相差ψを求めることができる。

また、光検出素子１で受光される光の強度をＡ・ｃｏｓ（ωｔ＋δ）＋Ｂとする場合、つまり変調信号の周期に同期した時刻ｔ＝ｎ／ｆ（ｎ＝０、１、２、…）における受光光量を、Ａ０＝Ａ・ｃｏｓ（δ）＋Ｂとすれば、位相差ψを次式で求めることができる。
ψ＝ｔａｎ^−１｛（Ａ１−Ａ３）／（Ａ０−Ａ２）｝
この関係は、変調信号に同期させるタイミングを９０度ずらした関係である。また、距離値の符号は正であるから、位相差ψを求めたときに符号が負になる場合には、ｔａｎ^−１の括弧内の分母または分子の各項の順序を入れ換えるか括弧内の絶対値を用いるようにしてもよい。

上述のように対象空間に照射する光の強度を変調するために、発光源２としては、たとえば多数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いる。また、発光源２は、制御回路部３から出力される所定の変調周波数である変調信号によって駆動され、発光源２から放射される光は変調信号により強度が変調される。制御回路部３では、たとえば２０ＭＨｚの正弦波で発光源２から放射する光の強度を変調する。なお、発光源２から放射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波などで変調してもよく、要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。

光検出素子１は、規則的に配列された複数個の感光部１１を備える。また、感光部１１への光の入射経路には受光光学系５が配置される。感光部１１は光検出素子１において対象空間からの光が受光光学系５を通して入射する部位であって、感光部１１において受光光量に応じた量の電荷を生成する。また、感光部１１は、平面格子の格子点上に配置され、たとえば垂直方向（つまり、縦方向）と水平方向（つまり、横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。

受光光学系５は、光検出素子１から対象空間を見るときの視線方向と各感光部１１とを対応付ける。すなわち、受光光学系５を通して各感光部１１に光が入射する範囲を、受光光学系５の中心を頂点とし各感光部１１ごとに設定された頂角の小さい円錐状の視野とみなすことができる。したがって、発光源２から放射され対象空間に存在する対象物Ｏｂで反射された反射光が感光部１１に入射すれば、反射光を受光した感光部１１の位置により、受光光学系５の光軸を基準方向として対象物Ｏｂの存在する方向を知ることができる。

受光光学系５は一般に感光部１１を配列した平面に光軸を直交させるように配置されるから、受光光学系５の中心を原点とし、感光部１１を配列した平面の垂直方向と水平方向と受光光学系５の光軸とを３軸の方向とする直交座標系を設定すれば、対象空間に存在する対象物Ｏｂの位置を球座標で表したときの角度（いわゆる方位角と仰角）が各感光部１１に対応する。なお、受光光学系５は、感光部１１を配列した平面に対して光軸が９０度以外の角度で交差するように配置することも可能である。

本実施形態では、上述のように、対象物Ｏｂまでの距離を求めるために、発光源２から対象空間に照射される光の強度変化に同期する４点のタイミングで受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。したがって、目的の受光光量Ａ０、Ａ１、Ａ２、Ａ３を得るためのタイミングの制御が必要である。また、発光源２から対象空間に照射される光の強度変化の１周期において感光部１１で発生する電荷の量は少ないから、複数周期に亘って電荷を集積することが望ましい。そこで、図１のように各感光部１１で発生した電荷をそれぞれ集積する複数個の電荷集積部１３を設けるとともに、各感光部１１において利用できる電荷を生成する領域の面積を変化させることにより各感光部１１の感度をそれぞれ調節する複数個の感度制御部１２を設けている。

各感度制御部１２では、感度制御部１２に対応する感光部１１の感度を上述した４点のうちのいずれかのタイミングで高め、感度が高められた感光部１１では当該タイミングの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を主として生成するから、当該受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を当該感光部１１に対応する電荷集積部１３に集積させることができる。

ところで、感度制御部１２は感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させることにより各期間の電荷の生成量を変化させるものであるから、電荷集積部１３に集積された電荷は必ずしも受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間に生成された電荷だけではなく、他の期間に生成された電荷も混入することになる。いま、感度制御部１２において、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷を生成する期間（以下では、「受光期間」と呼ぶ）の感度をα、それ以外の期間（以下では、「保持期間」と呼ぶ）の感度をβとし、感光部１１は受光光量に比例する電荷を生成するものとする。この条件では、受光光量Ａ０に対応した電荷を集積する電荷集積部１３には、αＡ０＋β（Ａ１＋Ａ２＋Ａ３）＋βＡｘ（Ａｘは受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られる期間以外の受光光量）に比例する電荷が蓄積され、受光光量Ａ２に対応した電荷を集積する電荷集積部１３には、αＡ２＋β（Ａ０＋Ａ１＋Ａ３）＋βＡｘに比例する電荷が蓄積される。上述したように、位相差ψを求める際には（Ａ２−Ａ０）を求めており、Ａ２−Ａ０＝（α−β）（Ａ２−Ａ０）になり、同様にしてＡ１−Ａ３＝（α−β）（Ａ１−Ａ３）になるから、（Ａ２−Ａ０）／（Ａ１−Ａ３）は電荷の混入の有無によらず理論上は同じ値になるのであって、電荷が混入しても求める位相差ψは同じ値になる。

感光部１１と感度制御部１２と電荷集積部１３とを備える光検出素子１は１つの半導体装置として構成され、光検出素子１には電荷集積部１３に集積された電荷を半導体装置の外部に取り出すために電荷取出部１４が設けられる。電荷取出部１４はＣＣＤイメージセンサにおける垂直転送部および水平転送部と同様の構成を有する。

電荷取出部１４から取り出された電荷は画像生成部４に画像信号として与えられ、画像生成部４において対象空間内の対象物Ｏｂまでの距離が上述した（１）式を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３から算出されることになる。すなわち、画像生成部４では各感光部１１に対応した各方向における対象物Ｏｂまでの距離が算出され、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間の各方向に一致する画素の画素値が距離値である距離画像を生成することができる。

以下に光検出素子１の具体的構造例を説明する。図３に示す光検出素子１は、複数個（たとえば、１００×１００個）の感光部１１をマトリクス状に配列したものであって、たとえば１枚の半導体基板上に形成される。感光部１１のうち垂直方向の各列では一体に連続する半導体層２１を共用するとともに半導体層２１を垂直方向への電荷（本実施形態では、電子を用いる）の転送経路として用い、さらに各列の半導体層２１の一端から電荷を受け取って水平方向に電荷を転送するＣＣＤである水平転送部Ｔｈを半導体基板に設ける構成を採用することができる。

すなわち、図４に示すように、半導体層２１が感光部１１と電荷の転送経路とに兼用された構造であって、フレーム・トランスファ（ＦＴ）方式のＣＣＤイメージセンサと類似した構造になる。また、ＦＴ方式のＣＣＤイメージセンサと同様に、感光部１１を配列した撮像領域Ｄａに隣接して遮光された蓄積領域Ｄｂを設けてあり、蓄積領域Ｄｂに蓄積した電荷を水平転送部Ｔｈに転送する。撮像領域Ｄａから蓄積領域Ｄｂへの電荷の転送は垂直ブランキング期間に一気に行い、水平転送部Ｔｈでは１水平期間に１水平ライン分の電荷を転送する。図１に示した電荷取出部１４は、半導体層２１における垂直方向への電荷の転送経路としての機能とともに水平転送部Ｔｈを含む機能を表している。ただし、電荷集積部１３は蓄積領域Ｄｂを意味するのではなく、撮像領域Ｄａにおいて電荷を集積する機能を表している。言い換えると、蓄積領域Ｄｂは電荷取出部１４に含まれる。

半導体層２１は不純物が添加してあり、半導体層２１の主表面は酸化膜からなる絶縁膜２２により覆われ、半導体層２１に絶縁膜２２を介して複数個の制御電極２３を配置している。この光検出素子１はＭＩＳ素子として知られた構造であるが、１個の光検出素子１として機能する領域に複数個（図示例では５個）の制御電極２３を備える点が通常のＭＩＳ素子とは異なる。絶縁膜２２および制御電極２３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。図示例の半導体層２１の導電形はｎ形であり、光の照射により生成される電荷として電子ｅを利用する。図３は１個の感光部１１に対応する領域のみを示したものであり、半導体基板（図示せず）には上述したように図３の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。電荷取出部１４として設ける垂直転送部は、図３の左右方向に電荷を転送することを想定しているが、図３の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設定するのが望ましい。

この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子ｅを集積するポテンシャル井戸（空乏層）２４が形成される。つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子ｅの一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子ｅは半導体層２１の深部での再結合により消滅する。また、ポテンシャル井戸２４から離れた場所で生成された電子ｅも半導体層２１の深部での再結合により消滅する。

ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。つまり、制御電圧を印加する制御電極２３の個数を変化させることは感度制御部１２における感度の調節を意味する。たとえば、図３（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図３（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める面積が変化するのであって、図３（ａ）の状態のほうがポテンシャル井戸２４の面積が大きいから、図３（ｂ）の状態に比較して同光量に対して利用できる電荷の割合が多くなり、実質的に感光部１１の感度を高めたことになる。このように、感光部１１および感度制御部１２は半導体層２１と絶縁膜２２と制御電極２３とにより構成されていると言える。ポテンシャル井戸２４は光照射により生成された電荷を保持するから電荷集積部１３として機能する。

ポテンシャル井戸２４から電荷を取り出すには、ＦＴ方式のＣＣＤと同様の技術を採用すればよく、ポテンシャル井戸２４に電子ｅが集積された後に、電荷の集積時とは異なる印加パターンの制御電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子ｅを一方向（たとえば、図の右方向）に転送することができる。つまり、半導体層２１をＣＣＤの垂直転送部と同様に電荷の転送経路に用いることができる。さらに、電荷は図４に示した水平転送部Ｔｈを転送され、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。要するに、制御電極２３への制御電圧の印加パターンを制御することにより、各感光部１１ごとの感度を制御するとともに、光照射により生成された電荷を集積し、さらに集積された電荷を転送することができる。

本実施形態における感度制御部１２は、利用できる電荷を生成する面積を大小２段階に切り換えることにより感光部１１の感度を高低２段階に切り換えるのであって、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに対応する電荷を感光部１１で生成しようとする受光期間にのみ高感度とし（電荷を生成する面積を大きくし）、他の期間である保持期間には低感度にする。高感度にする受光期間と低感度にする保持期間とは、発光源２を駆動する変調信号に同期させて設定される。また、変調信号の複数周期に亘ってポテンシャル井戸２４に電荷を集積した後に電荷取出部１４を通して光検出素子１の外部に電荷を取り出すようにしている。変調信号の複数周期に亘って電荷を集積しているのは、変調信号の１周期内では感光部１１が利用可能な電荷を生成する期間が短く（たとえば、変調信号の周波数を２０ＭＨｚとすれば５０ｎｓの４分の１以下）、生成される電荷が少ないからである。変調信号の複数周期分の電荷を集積することにより、信号電荷（発光源２から照射された光に対応する電荷）と雑音電荷（外光成分および光検出素子１の内部で発生するショットノイズに対応する電荷）との比を大きくとることができ、大きなＳＮ比が得られる。

ところで、本実施形態では、２個の感光部１１を用いることにより、変調信号の１周期内で受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を２種類ずつ生成する構成を採用している。つまり、垂直方向に隣接する２個の感光部１１により演算単位を構成し、演算単位となる２個の感光部１１から得られる電荷を距離画像の１画素分の画素値を得るために用い、演算単位となる２個の感光部１１で受光光量Ａ０、Ａ２に対応する電荷を生成する期間と、受光光量Ａ１、Ａ３に対応する電荷を生成する期間とを設けている。さらに、受光光量Ａ０、Ａ２に対応する電荷を生成する期間については、演算単位となる２個の感光部１１の一方が受光光量Ａ０に対応する電荷を生成する期間と他方が受光光量Ａ０に対応する電荷を生成する期間との２期間に分け、受光光量Ａ１、Ａ３に対応する電荷を生成する期間については、演算単位となる２個の感光部１１の一方が受光光量Ａ１に対応する電荷を生成する期間と他方が受光光量Ａ１に対応する電荷を生成する期間との２期間に分けている。要するに、４期間ですべての感光部１１がそれぞれ受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成することになる。

以下に動作を具体的に説明する。図３に示した例では、１個の感光部１１について５個の制御電極２３を設けた例を示しているが、両側の２個の制御電極２３は、感光部１１で電荷（電子ｅ）を生成している間に隣接する感光部１１に電荷が流出するのを防止するための障壁を形成するものであって、２個の感光部１１を演算単位とする場合には隣接する感光部１１のポテンシャル井戸２４の間には、いずれかの感光部１１で障壁が形成されるから、各感光部１１には３個ずつの制御電極２３を設けるだけで足りることになる。この構成によって、感光部１１の１個当たりの占有面積が小さくなり、２個の感光部１１を演算単位としながらも視線方向の分解能の低下を抑制することが可能になる。

ここでは、図５に示すように、演算単位となる２個の感光部１１にそれぞれ設けた３個ずつの制御電極２３を区別するために各制御電極２３に（１）〜（６）の数字を付す。（１）〜（６）の数字を付与した制御電極２３を有する２個の感光部１１は、距離画像センサにおける１画素に対応する。なお、１画素ずつの感光部１１に対応付けて、それぞれオーバフロードレインを設けるのが望ましい。

図５（ａ）（ｂ）はそれぞれ制御電極２３に対して制御回路部３から異なる印加パターンで制御電圧＋Ｖを印加した状態（半導体基板に設けた図示しない基板電極と制御電極２３との間に制御電圧＋Ｖを印加した状態）を示しており、ポテンシャル井戸２４の形状からわかるように、図５（ａ）では１画素となる２個の感光部１１のうち制御電極（１）〜（３）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）のうちの中央の制御電極（５）に正の制御電圧＋Ｖを印加している。また、図５（ｂ）では制御電極（１）〜（３）のうちの中央の制御電極（２）に正の制御電圧＋Ｖを印加するとともに、残りの制御電極（４）〜（６）に正の制御電圧＋Ｖを印加している。つまり、１画素を構成する２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを交互に入れ換えている。２個の感光部１１に印加する制御電圧＋Ｖの印加パターンを入れ換えるタイミングは、変調信号における逆位相の（位相が１８０度異なる）タイミングになる。なお、各感光部１１に設けた３個の制御電極２３に同時に制御電圧＋Ｖを印加している期間以外は、各感光部１１に設けた中央部の１個の制御電極２３（つまり、制御電極（２）（５））にのみ制御電圧＋Ｖを印加し、他の制御電極２３は０Ｖに保つ状態とする。

たとえば、１画素を構成する２個の感光部１１において受光光量Ａ０、Ａ２に対応する電荷を交互に生成する場合は、図２のように、一方の感光部１１で受光光量Ａ０に対応する電荷を生成するために３個の制御電極（１）〜（３）に制御電圧＋Ｖを印加している受光期間Ｔｗに、他方の感光部１１では受光光量Ａ２に対応する電荷を保持するために１個の制御電極（５）にのみ制御電圧＋Ｖを印加する。同様にして、一方の感光部１１で受光光量Ａ２に対応する電荷を生成するために３個の制御電極（４）〜（６）に制御電圧＋Ｖを印加している受光期間Ｔｗには、他方の感光部１１では受光光量Ａ０に対応する電荷を保持するために１個の制御電極（２）にのみ制御電圧＋Ｖを印加する。また、受光光量Ａ０、Ａ２に対応する電荷を生成する受光期間Ｔｗ以外の保持期間では制御電極（２）（５）にのみ制御電圧＋Ｖを印加する。図２（ｂ）（ｃ）に受光光量Ａ０、Ａ２に対応する電荷を蓄積する際の各制御電極（１）〜（６）に制御電圧＋Ｖの印加のタイミングを示す。図において斜線部が制御電圧＋Ｖを印加している状態を示し、空白部が制御電極（１）〜（６）に電圧を印加していない状態を示している。

１画素を構成する２個の感光部１１において受光光量Ａ１、Ａ３に対応する電荷を生成する場合も同様であって、受光光量Ａ０、Ａ２に対応する電荷を生成する場合とは制御電極２３に制御電圧＋Ｖを印加するタイミングが、変調信号の位相において９０度異なる点が相違するだけである。

受光光量Ａ０、Ａ２に対応する電荷を生成する期間と、受光光量Ａ１、Ａ３に対応する電荷を生成する期間とは、ともに変調信号の１周期分以上（望ましくは複数周期分）の期間であり、この期間を検出期間として電荷を電荷集積部１３に集積する。また、検出期間毎に次の検出期間までの間の期間を読出期間として撮像領域Ｄａから蓄積領域Ｄｂに電荷を転送する。

本実施形態では、受光光量Ａ０に対応する電荷を制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積するとともに受光光量Ａ２に対応する電荷を制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積する状態と、受光光量Ａ２に対応する電荷を制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積するとともに受光光量Ａ０に対応する電荷を制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積する状態と、受光光量Ａ１に対応する電荷を制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積するとともに受光光量Ａ３に対応する電荷を制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積する状態と、受光光量Ａ３に対応する電荷を制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積するとともに受光光量Ａ１に対応する電荷を制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積する状態との４状態が選択可能になっている。つまり、制御回路部３が感度制御部１３の感度を制御（制御電極２３に印加する制御電圧を制御）することによって、各検出期間ごとに、各電荷集積部１３（ポテンシャル井戸２４）にそれぞれ集積する電荷を各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷から選択する。この動作を繰り返すことによって、４種類の受光期間Ｔｗの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を光出力素子１の外部に画像信号として取り出すことができる。取り出した画像信号は画像生成部４において位相差ψの演算に用いられ、結果的に各画素に対応する視線方向に存在する対象物Ｏｂまでの距離を求めることが可能になる。

上述の例では３個の制御電極２３（（１）〜（３）または（４）〜（６））に同時に印加する制御電圧と、１個の制御電極２３（（２）または（５））にのみ印加する制御電圧とを等しくしているから、ポテンシャル井戸２４の面積は変化するもののポテンシャル井戸２４の深さは等しくなっている。この場合、制御電圧を印加していない制御電極２３（（１）（３）または（４）（６））において生成された電荷は、同程度の確率でポテンシャル井戸２４に流れ込む。つまり、感光部１１を構成する３個の制御電極２３のうちの１個にのみ制御電圧＋Ｖを印加することによって電荷集積部１３として機能している領域と、３個の制御電極２３のすべてに制御電圧＋Ｖを印加している領域との両方に同程度の量の電荷が流れ込む。つまり、電荷を保持しているポテンシャル井戸２４に流れ込む雑音成分が比較的多いものであるから、ダイナミックレンジを低下させる原因になる。

そこで、図６のように、演算単位となる２個の感光部１１に設けた各３個の制御電極（１）〜（３）または（４）〜（６）に同時に印加する制御電圧が、１個の制御電極（２）または（５）にのみ印加する制御電圧よりも高くなるように設定し、大面積のポテンシャル井戸２４を小面積のポテンシャル井戸２４よりも深く設定するのが望ましい。このように、主として電荷（電子ｅ）を生成しているポテンシャル井戸２４を、主として電荷の保持を行っているポテンシャル井戸２４よりも深くすることにより、制御電圧を印加していない制御電極（１）（３）または（４）（６）に対応する部位で生じた電荷は、深いほうのポテンシャル井戸２４に流れ込みやすくなる。つまり、制御電極２３に一定の制御電圧＋Ｖを印加する場合に比較すると、電荷を保持するポテンシャル井戸２４に流れ込む雑音成分を低減することができる。

上述した構成の距離画像センサは、感光部１１で生成された電荷を検出期間の間は電荷集積部１３に集積しているから、感光部１１での受光光量が多くなれば光検出素子１が電荷集積部１３において飽和する可能性がある。そこで、本実施形態では検出期間を長短２種類設け、電荷集積部１３が飽和しない検出期間を選択することによって、画像生成部４で正確な距離を求めることを可能にしている。以下では、長いほうの検出期間を長検出期間と呼び、短いほうの検出期間を短検出期間と呼ぶ。なお、ここでは説明を簡単にするために検出期間を２種類のみ設けているが、長さの異なる３種類以上の検出期間を設定することも可能である。

距離演算部４では検出期間毎に光検出素子１から電荷（画像信号）が与えられ、長検出期間と短検出期間とでそれぞれ得られた電荷から選択して距離を求めるから、距離演算部４には長検出期間の画像信号と短検出期間の電荷とを一時的に保持するために、２個の信号保持部４ａ，４ｂが設けられる。また、両電荷保持部４ａ，４ｂに保持された電荷の電荷量を評価して一方の電荷保持部４ａ，４ｂに保持されている電荷を選択する選択部４ｃが設けられる。言い換えると、選択部４ｃは長検出期間と短検出期間との一方の検出期間を選択することになる。距離演算部４では、選択部４ｃで選択された電荷を用いて演算部４ｄにおいて画素ごとの距離を演算する。選択部４ｃでは、電荷保持部４ａに保持された電荷の電荷量を規定の飽和閾値と比較し電荷量が飽和閾値を越えていない場合には、長検出期間に対応する電荷保持部４ａを選択する。また、長検出期間に対応する電荷保持部４ａに保持された電荷の電荷量が飽和閾値を越えている場合には短検出期間に対応する電荷保持部４ｂを選択する。ただし、電荷保持部４ｂに保持された電荷の電荷量も飽和閾値を越えている場合には、選択部４ｃは後述する異常処理を行う異常処理部４ｅを選択する。なお、距離演算部４において光検出素子１から入力された画像信号をアナログ−デジタル変換によってデジタルデータに変換する構成を採用する場合には、デジタルデータを記憶するメモリを電荷保持部４ａ，４ｂとして設け、選択部４ｃではメモリに格納されたデジタルデータを選択する構成を採用してもよい。

本実施形態の特徴である動作は図７のようになる。まず、制御回路部３では光検出素子１における検出期間を長検出期間Ｓ１として受光光量Ａ０、２に相当する電荷を電荷集積部に集積させ、この電荷を読出期間Ｒ１に読み出して電荷保持部４ａに保持させる。次に、検出期間を短検出期間Ｓ２として受光光量Ａ０、Ａ２に相当する電荷を電荷集積部に集積させ、この電荷を読出期間Ｒ２に読み出して電荷保持部４ｂに保持させる。このように、長検出期間Ｓ１と短検出期間Ｓ２と読出期間Ｒ１、Ｒ２とを１回の作業期間Ｐ１として受光光量Ａ０、Ａ２に相当する電荷を各電荷保持部４ａ，４ｂにそれぞれ保持させる。同様にして、長検出期間Ｓ３と短検出期間Ｓ３と読出期間Ｒ３、Ｒ４とを１回の作業期間Ｐ２として受光光量Ａ１、Ａ３に相当する電荷を各電荷保持部４ａ，４ｂにそれぞれ保持させる。こうして２回の作業期間Ｐ１、Ｐ２で電荷保持部４ａ，４ｂには４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷が保持されるから、演算部４ｄでの距離の演算が可能になる。つまり、光検出素子１に関して言えば、長検出期間Ｓ１、Ｓ３または短検出期間Ｓ２、Ｓ４と読出期間Ｒ１、Ｒ２、Ｒ３、Ｒ４との一組がそれぞれフレームに相当するが、距離画像については長検出期間Ｓ１、Ｓ３または短検出期間Ｓ２、Ｓ４と読出期間Ｒ１、Ｒ２、Ｒ３、Ｒ４との全体、つまり２回の作業期間Ｐ１、Ｐ２で１画面が得られるから距離画像では２回の作業期間Ｐ１，Ｐ２が１フレームに相当し、距離画像について３０フレーム毎秒の画像を得るためには、１回の作業期間Ｐ１、Ｐ２を６０分の１秒より短い期間とする。なお、長検出期間Ｓ１、Ｓ３同士は同時間であり、また短検出期間Ｓ２、Ｓ４同士は同時間になる。さらに、読出期間Ｒ１、Ｒ２、Ｒ３、Ｒ４同士も同時間になる。

距離を求めるのに必要な４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷について長検出期間Ｓ１，Ｓ３と短検出期間Ｓ２，Ｓ４とのすべての電荷が電荷保持部４ａ，４ｂに保持された後、上述したように選択部４ｃにおいて電荷保持部４ａに保持された電荷のうち電荷量が最大であるものを飽和閾値と比較する。電荷保持部４ａに保持された電荷のうちの最大電荷量（図２に示した例では受光光量Ａ１に対応する電荷量が最大になる）が飽和閾値以下であれば、ＳＮ比の大きい画像信号を用いて距離を求めることができ、距離の測定精度が高くなる。

また、電荷保持部４ａに保持された４種類の電荷のうちの１種類でも電荷量が飽和閾値を越えている場合は、電荷保持部４ｂに保持されている電荷のうち最大であるものを飽和閾値と比較する。想定している使用環境では電荷保持部４ｂに保持された電荷量が飽和閾値を越えないように短検出期間Ｓ２，Ｓ４を設定してあり、電荷保持部４ｂが選択された場合には、ほとんどの場合には距離の演算が可能になる。この場合、電荷保持部４ａを選択した場合に比較すると距離の測定精度が低下するが、距離を求めることが可能である。ここにおいて、飽和閾値と電荷量との比較は画素毎に行い、電荷保持部４ａ，４ｂのいずれかに保持された電荷を用いて距離の演算が可能な画素については、当該画素の距離を求める。

ところで、電荷保持部４ｂに保持された電荷のうちの最大電荷量が飽和閾値を越えている場合には、電荷保持部４ａ，４ｂに保持された電荷では距離を求めることができない。そこで、以下の異常処理を行う。異常処理は、距離を求めることができない画素（検出期間を選択できない画素）の画素値を、代用できる他の値に置き換えることを意味する。代用する値は対象空間の距離の平均値のような基底値を用いることができる。あるいはまた、当該画素について過去に求めた画素値があれば、その過去値で代用することができる。ただし、対象空間に移動する対象物Ｏｂが存在する場合には、対象物Ｏｂの存在する領域では距離の演算毎に当該領域の画素値が変化するから、長時間が経過した過去値で代用しても意味のある距離が得られないから、過去値で画素値を代用する場合には、各過去値に有効期限を設定し、有効期限が経過した後の過去値は代用として用いないのが望ましい。代用する画素値としては、周辺画素の画素値の平均値を用いてもよい。すなわち、特定の画素について距離を求めることができない場合でも、周辺の画素については距離が得られていることが多いから、距離が得られている周辺の画素の画素値の平均値で画素値を代用すれば、周辺の画素値との差が極端に大きい異常値が発生せず、連続性のある距離値を代用に用いることが可能になる。画素値を代用する場合に、基底値と過去値と平均値とを優先順位で選択するようにしてもよい。

上述した動作では、各画素の距離を求めるために組にする４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷がすべて飽和閾値を越えないときにしか距離を求めることができないから、たとえば長検出期間Ｓ１において得られる受光光量Ａ０、Ａ２に対応する電荷の電荷量が飽和閾値以下であっても、長検出期間Ｓ３において得られる受光光量Ａ１、Ａ３に対応する電荷の電荷量が飽和閾値を越えているときには、短検出期間Ｓ２、Ｓ４において得られる電荷を用いなければ距離を求めることができない。ここに、感光部１１で受光する期間が短いほどショットノイズの影響が大きくなるから、短検出期間Ｓ２、Ｓ４において得られる電荷を用いて距離を求めると、長検出期間Ｓ１、Ｓ３において得られる電荷を用いて距離を求める場合よりも測定精度が低下する。

一方、長検出期間Ｓ１、Ｓ３と短検出期間Ｓ２、Ｓ４との比率は一定であるから、２種類の長さの長検出期間Ｓ１、Ｓ３と短検出期間Ｓ２、Ｓ４との一方で得られた受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷量を他方の電荷量に補正することが可能である。たとえば、上述のように、長検出期間Ｓ１の電荷量が飽和閾値以下であり、長検出期間Ｓ３の電荷量が飽和閾値以上であるときに、受光光量Ａ１、Ａ３に対応する電荷量は短検出期間Ｓ４から得たものを用いるものの、受光光量Ａ０、Ａ２に対応する電荷量は長検出期間Ｓ１から得たものを用い、両者の時間差を長検出期間Ｓ１と短検出期間Ｓ４との長さの比率によって補正するのである。時間の比率と電荷量の比率との関係はあらかじめ実験によって求めておけばよい。この構成を採用することにより、光検出素子１の飽和を防止することができるのはもちろんのこと、長検出時間Ｓ１、Ｓ３に得られた電荷量を用いることができる可能性が高くなり、ショットノイズの影響を軽減することになる。

ところで、受光光量Ａ０、Ａ１、Ａ２、Ａ３には発光源２から放射された光のほか外光成分が含まれており、外光成分の変動を無視できる程度の短時間であれば、組になる４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３の平均値は、発光源２から放射され対象物Ｏｂで反射された反射光の振幅と外光成分との合計に相当する。したがって、画像生成部４において、組になる４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷の平均の電荷量を適宜に設定した飽和閾値と比較すれば、光検出素子１が飽和しているか否かを判断することが可能になる。この判断結果に基づいて長検出期間Ｓ１、Ｓ３と短検出期間Ｓ２、Ｓ４とのどちらの電荷量を採用するかを決定してもよい。

あるいはまた、４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷量を平均するのではなく、受光光量Ａ０、Ａ１、Ａ２、Ａ３を変数とする適宜の関数を用いて受光光量Ａ０、Ａ１、Ａ２、Ａ３に応じた比較値を算出し、この比較値を飽和閾値と比較することにより、長検出期間Ｓ１、Ｓ３と短検出期間Ｓ２、Ｓ４とのどちらの電荷量を採用するかを判断してもよい。たとえば、受光光量が少ないときに長検出期間Ｓ１、Ｓ３の電荷量を採用し、受光光量が多いときに短検出期間Ｓ２、Ｓ４の電荷量を採用するように、関数および飽和閾値を設定する。

上述したように、４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷量の平均値を求めると反射光成分と外光成分とを合わせた平均値Ｂが得られ、この値は反射光成分の変化の中心ということができる（図２における曲線ロの中心線に相当）。受光光量Ａ０、Ａ１、Ａ２、Ａ３において、平均値Ｂは変調信号の数周期程度では変化しないとみなすことができ、また受光光量Ａ０、Ａ１、Ａ２、Ａ３は平均値Ｂを中心として変調信号の周期で変化するから、受光光量は平均値Ｂと変動成分ＡＣ（ｔ）との加算値として表すことができる。つまり、時刻ｔにおける受光光量Ａ（ｔ）を、Ａ（ｔ）＝ＡＣ（ｔ）＋Ｂと表すことができる。変調信号をＡｏ・ｓｉｎ（ωｔ）とし、反射光の振幅をＡ＝ｋ・Ａｏ（ｋは減衰率）とし、変調信号に対する反射光の位相差をψとすれば、ＡＣ（ｔ）はＡ・ｓｉｎ（ωｔ−ψ）で表すことができる。つまり、受光光量Ａ（ｔ）＝Ｂ＋Ａ・ｓｉｎ（ωｔ−ψ）になる。以下では、平均値Ｂを受光光量の直流成分と呼ぶ。

受光光量の直流成分Ｂは変調信号の周期の数倍程度の時間では変化しないとみなしてよいから、画像生成部４において、変調信号の整数倍周期の平均値を直流成分Ｂとして抽出することができる。この直流成分Ｂを規定の閾値と比較することによっても、長検出期間Ｓ１、Ｓ３と短検出期間Ｓ２、Ｓ４との選択が可能であり、また異常処理を行うか否かの判断も可能になる。直流成分Ｂは受光光量の平均値であるから、光検出素子１の飽和を防止する目安として適切である。また、直流成分Ｂは、変調信号の整数倍周期の時間で求めることができるから、各電荷保持部４ａ，４ｂに電荷を保持させる前に求めることができる。つまり、検出期間を選択するための期間を作業期間Ｐ１、Ｐ２に前置し、前置した期間で選択した長さの検出期間を用いるようにすれば、１回の作業期間Ｐ１、Ｐ２においては、検出期間と読出期間とを１回ずつ設けるだけでよくなる。この構成を採用することにより、光検出素子１の飽和を防止しながらも対象物Ｏｂまでの距離を短時間で求めることができ、移動する対象物Ｏｂを追跡しやすくなる。

上述の例では、受光光量の直流成分Ｂに着目しているが、変動成分の振幅Ａを用いて異常処理を行うか否かを判断してもよい。変動成分の振幅Ａは、受光光量Ａ０、Ａ１、Ａ２、Ａ３の組を用いることにより次式で求めることができる。
（１／２）・｛（Ａ０−Ａ２）^２＋（Ａ１−Ａ３）^２｝^１／２
つまり、上述したように、受光光量Ａ０、Ａ１、Ａ２、Ａ３の瞬時値を用いると、Ａ０＝−Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ１＝Ａ・ｃｏｓ（ψ）＋Ｂ、Ａ２＝Ａ・ｓｉｎ（ψ）＋Ｂ、Ａ３＝−Ａ・ｃｏｓ（ψ）＋Ｂと表すことができ、（Ａ０−Ａ２）^２＝４Ａ^２・ｓｉｎ^２（ψ）、（Ａ１−Ａ３）^２＝４Ａ^２・ｃｏｓ^２（ψ）であって、（Ａ０−Ａ２）^２＋（Ａ１−Ａ３）^２＝４Ａ^２｛ｓｉｎ^２（ψ）＋ｃｏｓ^２（ψ）｝＝４Ａ^２であるから、振幅Ａを上式で求めることができる。なお、直流成分Ｂは、たとえば、（Ａ０＋Ａ１＋Ａ２＋Ａ３）／４、（Ａ０＋Ａ２）／２、（Ａ１＋Ａ３）／２のいずれかの演算により求めることができる。なお、変調信号の整数倍周期の時間における受光光量は直流成分Ｂに比例するから、この値を用いることも可能である。

振幅Ａが大きいほど反射光成分の強度が大きいと言えるから、振幅Ａを規定の閾値と比較し、振幅Ａが閾値以下であるときには異常処理を行う。つまり、振幅Ａが閾値以下になったときには、反射光成分が少なく距離の測定結果を保証できないと判断して異常処理を行うのである。また、外光成分が存在しないか外光成分が既知である場合には、振幅Ａを用いて検出時間を選択することもできる。振幅Ａは反射光成分の情報しか持たず外光成分に関する情報を含んでいないから、外光成分が既知である場合を除いては光検出素子１が飽和するか否かを保証することができない。そこで、外光成分が既知でない場合には、受光光量の直流成分Ｂを併用することにより、外光成分を考慮した上で光検出素子１が飽和するか否かを判断すればよい。

振幅Ａと直流成分Ｂとを併せて用いることも可能である。つまり、受光光量Ａ０、Ａ１、Ａ２、Ａ３について振幅Ａと直流成分Ｂとを抽出し、振幅Ａを直流成分Ｂで除算した値を閾値と比較すれば、受光光量Ａ０、Ａ１、Ａ２、Ａ３の平均値に対する反射光成分の割合を求めたことになる。反射光成分の割合が多ければ距離の測定精度が高くなり、反射光成分の割合が少なければ距離の測定精度が低下する。言い換えると、振幅Ａを直流成分Ｂで除算した値は距離の測定精度に相当する。そこで、この値が規定の閾値以下になるときには得られた値を保証できないと判断して上述した異常処理を行う。さらに、外光成分が変動しても距離の測定精度の変化が少なくなるようにするには、振幅Ａを直流成分Ｂで除算した値を閾値と比較し、閾値以上のときには短い検出期間を用い、閾値以下のときには長い検出期間を用いるようにすればよい。ただし、この構成を採用する場合に、光検出素子１の飽和の有無を保証することはできないから、直流成分Ｂを併用することにより、光検出素子１の飽和の有無を判断する。

なお、上述した距離画像センサの構成例では、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４つの受光期間Ｔｗを変調信号の１周期内で位相の間隔が９０度ずつになるように設定しているが、変調信号に対する位相が既知であれば４つの受光期間Ｔｗは９０度以外の適宜の間隔で設定することが可能である。ただし、間隔が異なれば位相差ψを求める算式は異なる。また、４つの受光期間Ｔｗの受光光量に対応した電荷（電気出力）を取り出す周期は、対象物Ｏｂの反射率および外光成分が変化せず、かつ位相差ψも変化しない時間内であれば、変調信号の１周期内で４種類の電気出力を取り出すことも必須ではない。さらに、太陽光や照明光のような外乱光の影響があるときには、発光源２から放射される光の波長のみを透過させる光学フィルタを感光部１１の前に配置するのが望ましい。図５、図６を用いて説明した構成例では、感光部１１ごとに３個ずつの制御電極２３を対応付けているが、制御電極２３を４個以上設けるようにしてもよい。また、上述の例ではＦＴ方式のＣＣＤイメージセンサと同様の構成を採用しているが、インターライン・トランスファ（ＩＴ）方式、フレーム・インターライン・トランスファ（ＦＩＴ）方式と同様の構成を採用することも可能である。

上述した構成例では、光検出素子１において垂直方向に配列した各２個ずつの感光部１１を演算単位とし、光検出素子１から感光部１１の電気出力を１回読み出す検出期間においては、演算単位となる２個の感光部１１において受光光量Ａ０、Ａ２または受光光量Ａ１、Ａ３に相当する電気出力が得られるように制御回路部３において各感光部１１の受光期間Ｔｗを制御している。言い換えると、変調信号における規定の位相に同期して設定された４つの受光期間Ｔｗのうちの２つの受光期間Ｔｗの電気出力を一括して読み出している。この構成に対して、垂直方向に配列した各４個ずつの感光部１１を演算単位とし、変調信号の位相に同期して設定された４つの受光期間Ｔｗの電気出力が演算単位となる各感光部１１で得られるように感光部１１の受光期間Ｔｗを制御することも可能である。この場合には、受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する４つの受光期間Ｔｗの電気出力を１回の検出期間で読み出すことができる。

ところで、上述した構成例では、各作業期間Ｐ１、Ｐ２において４種類の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を生成する感光部１１が決められているから、演算した距離には感光部１１の位置の相違による誤差が含まれる可能性がある。とくに、対象物Ｏｂに段差があり、受光光量Ａ０と受光光量Ａ２とに対応する感光部１１が段差に跨る部位に一致しているとすれば、求められる距離の信頼性が低下することになる。

この種の問題を解決するには、検出期間ごとに、受光光量Ａ０に対応する電荷を制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積するとともに受光光量Ａ２に対応する電荷を制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積する状態と、受光光量Ａ２に対応する電荷を制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積するとともに受光光量Ａ０に対応する電荷を制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積する状態と、受光光量Ａ１に対応する電荷を制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積するとともに受光光量Ａ３に対応する電荷を制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積する状態と、受光光量Ａ３に対応する電荷を制御電極（１）〜（３）に対応するポテンシャル井戸２４に蓄積するとともに受光光量Ａ１に対応する電荷を制御電極（４）〜（６）に対応するポテンシャル井戸２４に蓄積する状態との４状態を循環的に切り換えればよい。つまり、各検出期間ごとに、各電荷集積部１３にそれぞれ集積する電荷を各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷から循環的に選択する。この動作を繰り返すことによって、４種類の受光期間Ｔｗの受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を４回の整数倍の読出動作で光出力素子１の外部に電気出力として取り出すことができる。ただし、長検出期間と短検出期間との両方の電荷を電荷保持部４ａ，４ｂに保持する場合には、少なくとも８回の整数倍の読出動作が必要になる。

さらに詳しく説明する。以下では、長検出期間と短検出期間との一方のみに着目して説明する。したがって、長検出期間と短検出期間との両方の電荷を電荷保持部４ａ，４ｂに保持する場合には、以下の説明における検出期間と読出期間との一組を、長検出期間と短検出期間と２回の読出期間との組に読み替える必要がある。

しかして、画像生成部４では、図８（ａ）に示すように、検出期間Ｓ１、Ｓ２、Ｓ３、Ｓ４ごとに設けた読出期間Ｒ１、Ｒ２、Ｒ３、Ｒ４において変調信号の２つの異なる位相に同期した受光期間Ｔｗに相当する電気出力が光検出素子１から与えられる。位相差ψ（もしくは距離）を求める演算には、すべての位相の受光期間Ｔｗに相当する電気出力が必要であるから、検出期間Ｓ１、Ｓ２、Ｓ３、Ｓ４の４回分の電気出力を用いて位相差ψ（もしくは距離）の演算を行う。図示例では、４回の検出期間Ｓ１、Ｓ２、Ｓ３、Ｓ４および読出期間Ｒ１、Ｒ２、Ｒ３、Ｒ４の期間Ｐ１で対象物Ｏｂまでの距離が得られるから、期間Ｐ１は画像の１フレーム分の時間に相当する。

上述した期間Ｐ１には、図８（ｂ）に示すように、受光光量Ａ０、Ａ２に相当する電気出力が得られる２回の検出期間Ｓ１、Ｓ２と、受光光量Ａ１、Ａ３に相当する電気出力が得られる２回の検出期間Ｓ３、Ｓ４とが含まれており、受光光量Ａ０、Ａ２に相当する電気出力が得られる２回の検出期間Ｓ１、Ｓ２ではそれぞれの受光光量Ａ０、Ａ２が得られた感光部１１が入れ代わり、また、受光光量Ａ１、Ａ３に相当する電気出力が得られる２回の検出期間Ｓ３、Ｓ４ではそれぞれの受光光量Ａ１、Ａ３が得られた感光部１１が入れ代わる。そこで、受光光量Ａ０、Ａ２に相当する電気出力が得られる２回の検出期間Ｓ１、Ｓ２において得られた電気出力の積算値（または平均値）を受光光量Ａ０、Ａ２ごとに求め、また、受光光量Ａ１、Ａ３に相当する電気出力が得られる２回の検出期間Ｓ３、Ｓ４において得られた電気出力の積算値（または平均値）を受光光量Ａ１、Ａ３ごとに求めて、４個の積算値（または平均値）をそれぞれ受光光量Ａ０、Ａ１、Ａ２、Ａ３に相当する値に用いて（１）式の演算を行う。このような演算により、各受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電気出力を得る際の感光部１１の位置のずれによる距離測定の信頼性の低下を低減することができる。

本発明の実施形態を示すブロック図である。 同上の動作説明図である。 同上に用いる光検出素子の要部の動作説明図である。 同上に用いる光検出素子の平面図である。 同上に用いる光検出素子の要部の動作説明図である。 同上に用いる光検出素子の要部の動作説明図である。 同上の動作説明図である。 同上の他の動作例を示す動作説明図である。

符号の説明

１ 光検出素子
２ 発光源
３ 制御回路部
４ 画像生成部
４ａ，４ｂ 電荷保持部
４ｃ 選択部
４ｄ 演算部
５ 受光光学系
１１ 感光部
Ｏｂ 対象物

Claims (11)

1. 所定周期の変調信号で強度変調された光を対象空間に照射する発光源と、対象空間からの光を受光してそれぞれ受光光量に応じた電荷を生成する複数個の感光部を有し対象空間を撮像する光検出素子と、各感光部が対象空間からの光を受光する受光期間を制御する制御回路部と、感光部で生成された電荷を用いて対象物までの距離を求めこの距離を画素値とする距離画像を生成する画像生成部とを備え、受光期間は、変調信号の位相に同期しかつ変調信号の周期よりも短く設定され、光検出素子は、複数個隣接した前記感光部を演算単位とし、複数の受光期間で得られる電荷を変調信号の１周期以上の期間である検出期間ごとに集積した電荷を画像生成部に与え、かつ演算単位となる各感光部の受光期間を、検出期間毎に前記位相のうちの異なる位相の受光期間に変更するように電荷の転送タイミングが制御回路部で制御され、制御回路部は、あらかじめ設定した異なる長さの複数の検出期間を光検出素子に適用可能であり、画像生成部は、各長さの検出期間で集積される電荷の電荷量が光検出素子に許容された電荷量を越えない範囲で最大になる検出期間を選択し、さらに選択した長さの検出期間に関して複数の検出期間の電荷量を受光期間別に積算した電荷量を用いて距離を求め、当該距離を距離画像の画素値とすることを特徴とする距離画像センサ。
2. 前記制御回路部は、複数の長さの検出期間を前記光検出素子に順に適用し、画像生成部は、異なる長さの検出期間ごとに集積された電荷のうち電荷量が規定の飽和閾値を越えない範囲で最大になる検出期間を選択することを特徴とする請求項１記載の距離画像センサ。
3. 前記画像生成部は、変調信号の複数の位相に同期する受光期間で得られる電荷を組にして用いることにより距離を求め、組になるすべての受光期間に対応して集積された電荷について最大の電荷量が前記飽和閾値を越えない範囲で最大になる長さの検出期間を選択することを特徴とする請求項２記載の距離画像センサ。
4. 前記画像生成部は、変調信号の複数の位相に同期する受光期間で得られる電荷を組にして用いることにより距離を求め、組になる各受光期間に対応して集積された電荷についてそれぞれ電荷量が前記飽和閾値を越えない範囲で最大になるときの検出期間を各受光期間ごとに選択するとともに、各受光期間に対応する電荷量を検出期間の長さの比率で補正した電荷量を用いて距離を求めることを特徴とする請求項２記載の距離画像センサ。
5. 前記画像生成部は、変調信号の複数の位相に同期する受光期間で得られる電荷を組にして用いることにより距離を求め、組になるすべての受光期間に対応して集積された電荷の平均の電荷量が前記飽和閾値を越えない範囲で最大になる長さの検出期間を選択することを特徴とする請求項２記載の距離画像センサ。
6. 前記画像生成部は、演算単位となる前記各感光部で得られた電荷を積算する複数の検出期間において、各検出期間ごとの受光期間の回数を同回数ずつとすることを特徴とする請求項１ないし請求項５のいずれか１項に記載の距離画像センサ。
7. 前記画像生成部は、前記感光部で生成された電荷から受光光量の関数である適宜の比較値を算出し、算出した比較値を規定の閾値と比較することにより検出期間を選択することを特徴とする請求項１記載の距離画像センサ。
8. 前記画像生成部は、前記感光部で生成された電荷から受光光量について変調信号の整数倍周期の平均値を直流成分として抽出し、抽出した直流成分を規定の閾値と比較することにより検出期間を選択することを特徴とする請求項１記載の距離画像センサ。
9. 前記画像生成部は、検出期間を選択できない画素の画素値を、代用できる他の値に置き換える異常処理を行うことを特徴とする請求項１ないし請求項８のいずれか１項に記載の距離画像センサ。
10. 前記異常処理は、検出期間を選択できない画素の画素値を、過去の距離値で代用する処理であることを特徴とする請求項９記載の距離画像センサ。
11. 前記異常処理は、検出期間を選択できない画素の画素値を、周辺の画素の画素値の平均値で代用する処理であることを特徴とする請求項９記載の距離画像センサ。

Images