[導入]
3次元情報を計測する3次元センサ(距離センサ)の1つに、強度変調した照射光を投射してから該照射光が測定対象で反射して戻るまでの飛行時間を検出して測定対象までの距離を求める、Time of Flight(TOF)法を用いる“TOFセンサ”が既に知られており、種々ある3次元センシング方式の中でも、その高速性の原理的優位性から、昨今さまざまな用途への開発が進められている。例えばジェスチャー認識や、ロボットや自動車などの移動体の位置制御などへの応用が期待されている。
TOF法には、直接TOF法と間接TOF法があり、一般的に間接TOF法の方が近距離測定に有利であると言われている。本発明は、間接TOF法を用いる発明であるため、以降、明記しない限り、「TOF法」とは間接TOF法のことであり、「TOFセンサ」とは間接TOF法を用いた距離センサのことである。間接TOF法の原理については、例えば特表2013−538342号公報、特表2015−5015927号公報等で説明されている。
[実施形態]
以下、本発明の一実施形態を図面に基づいて説明する。図1には、一実施形態の測距装置としての距離センサ20(TOFセンサ)を搭載した走行体1の外観が示されている。この走行体1は、荷物を目的地に無人搬送するものである。なお、本明細書では、XYZ3次元直交座標系において、路面に直交する方向をZ軸方向、走行体1の前進方向を+X方向として説明する。
ここでは、距離センサ20は、一例として、走行体1の前部に取り付けられ、走行体1の+X側(前方)の3次元情報を求める。なお、距離センサ20による測定可能な領域を測定領域ともいう。距離センサ20の出力によって、走行体の進行方向の障害物の有無及び位置情報を検出することができる。
走行体1の内部には、一例として図2に示されるように、表示装置30、位置制御装置40、メモリ50、及び音声・警報発生装置60などが備えられている。これらは、データの伝送が可能なバス70を介して電気的に接続されている。
ここでは、距離センサ20と、表示装置30と、位置制御装置40と、メモリ50と、音声・警報発生装置60とによって、走行管理装置10が構成されている。すなわち、走行管理装置10は、走行体1に搭載されている。また、走行管理装置10は、走行体1のメインコントローラ80と電気的に接続されている。
距離センサ20は、一例として図3に示されるように、投光系201、受光系202、及び制御系203などを有している。そして、これらは、筐体内に収納されている。この筐体は、投光系201から投光される光、及び測距対象の物体(以下では「対象物」とも呼ぶ)で反射され、受光系202に向かう光が通過するための窓を有し、該窓にはガラスが取り付けられている。
音声・警報発生装置は,一例として,距離センサ20が取得した3次元情報から、障害物の回避の可否を判定し、回避不可と判断された場合に周囲の人員に通知する。
投光系201は、受光系202の−Z側に配置されている。この投光系201は、一例として図4に示されるように、光源21及び光源駆動部25などを有している。
光源21は、光源駆動部25によって点灯及び消灯される。ここでは、光源21としてLEDが用いられているが、これに限らず、例えば半導体レーザ(端面発光レーザや面発光レーザ)等の他の光源を用いても良い。光源21は、+X方向に光を射出するように配置されている。なお、以下では、光源駆動部25で生成され、光源21を駆動するための信号を「光源駆動信号」と呼ぶ。
光源駆動部25は、制御系203からのパルス制御信号(図5参照)に基づいて、光源駆動信号(図6参照)を生成する。この光源駆動信号は、光源21及び制御系203に送出される。
これにより、光源21からは、制御系203から指示されたパルス幅のパルス光が射出される。なお、光源21から射出されるパルス光は、デューティ(duty)が50%以下となるように、制御系203において設定されている。また、以下では、光源21から射出される光を「照射光」とも呼ぶ。
走行体1のメインコントローラ80は、走行体1を走行させる際に、位置制御の開始要求を位置制御装置40に送出する。そして、走行体1のメインコントローラ80は、走行体1が目的位置に到達すると、位置制御の終了要求を位置制御装置40に送出する。
位置制御装置40は、位置制御の開始要求、及び位置制御の終了要求を受け取ると、制御系203に送出する。
距離センサ20から射出され物体(対象物)で反射された光の一部は、距離センサ20に戻ってくる。以下では、便宜上、物体で反射され距離センサ20に戻ってきた光を「物体からの反射光」や「対象物からの反射光」や「受信光」とも呼ぶ。
受光系202は、物体からの反射光を検出する。受光系202は、一例として図7に示されるように、結像光学系28及びイメージセンサ29(撮像素子)などを有している。
結像光学系28は、物体からの反射光の光路上に配置され、該光を集光する。ここでは、結像光学系28は1枚のレンズで構成されているが、2枚のレンズで構成されても良いし、3枚以上のレンズで構成されても良いし、ミラー光学系を用いても良い。
イメージセンサ29は、結像光学系28を介した物体からの反射光を受光する。イメージセンサ29の出力信号(アナログ信号)は、ADC(アナログデジタルコンバータ)でデジタル信号に変換され、制御系203に送られる。ここでは、イメージセンサ29として、画素毎の受光部が2次元配列されたエリアイメージセンサ(例えばCCDやCMOS)が用いられている。
イメージセンサ29は、各受光部(例えばフォトダイオードやフォトトランジスタ)に対して2つの電荷蓄積部を有しており、TX1信号がハイレベルのときは、該受光部で光電変換された電荷を一方の電荷蓄積部に蓄積し、TX2信号がハイレベルのときは、該受光部で光電変換された電荷を他方の電荷蓄積部に蓄積する。また、イメージセンサ29は、TXD信号がハイレベルのときは、電荷の蓄積を行わず、リセット信号がハイレベルになると、2つの電荷蓄積部に蓄積されている電荷量を0にする。
制御系203は、一例として図8に示されるように、TX1信号、TX2信号、TXD信号及びリセット信号をイメージセンサ29に出力する。
また、制御系203は、光源21から照射光(パルス光)を射出させ、対象物からの反射光をイメージセンサ29で電気信号(受光信号)に変換し、該電気信号を使った演算(TOF演算)によって対象物までの距離を取得する。
ところで、一般的なTOFセンサは典型的に、多位相シフトを用いて対象物までの距離を取得する。例えば、四相式TOFセンサは、照射光の変調周波数に対して、4つの位相信号(位相シフト量:0°、90°、180°、270°)を用いて距離を取得する。TOFセンサの理論的な測定可能距離範囲(測距レンジ)は照射光の変調周波数で決まる。
TOFセンサなどの距離センサを使用する上で、測距精度は非常に重要になる。一般に、TOFセンサは、取得する各位相信号の信号量、上記四相式TOFセンサであれば、0°、90°、180°、270°の4つの位相信号の信号量が大きいほど、高精度に測距できる。これは、信号量とショットノイズや回路起因ノイズなどの測定ノイズの比(SN比)が測定に影響するためである。つまり、照射光の強度が大きいほど高精度に測距できるといえる。位相信号の信号量は、特に対象物までの距離が長い場合や、対象物の反射率が低い場合に小さくなるため、アイセーフに配慮しながら、所望の測距精度に足る照射光の強度で測定する必要がある。
しかし、照射光の強度を大きくすると、撮像素子において信号量の飽和という問題が起こる。撮像素子が画素毎に蓄積可能な信号量の上限は、該画素に対応する電荷蓄積部の容量で決まり、該電荷蓄積部にその容量を超える信号量が入ると、信号量が飽和し、正確な距離を出力できなくなる。
信号量の飽和は、物体からの反射光が強くなる、該物体までの距離が短い場合や、該物体の反射率が高い場合に起こりやすい。つまり、TOFセンサで高精度に測距しようとした場合、信号量の飽和の問題が起きやすくなるため、両者はトレードオフの関係にある。
図9(a)及び図9(b)には、それぞれ本実施形態の距離センサ20のベースとなる一般的なTOFセンサ1、2の構成が示されている。
図9(a)に示されるように、TOFセンサ1は、光源及び光源駆動部を含む投光系と、撮像素子及びADC(アナログデジタルコンバータ)を含む受光系と、変調周波数制御部、TOF演算部及び出力部を含む制御系と、を備えている。
TOFセンサ1の各構成要素は、データの伝送が可能なパスを介して電気的に接続され、パッケージに収容されている。
変調周波数制御部は、TOFセンサによる測距(距離測定)の際に、投光系の光源駆動部と受光系の撮像素子を制御し、光源駆動信号のパルス幅及びデューティ比を設定する信号(パルス制御信号)を光源駆動部に送出し、該パルス幅に合わせた読み出し期間を設定する信号を撮像素子に送出する。
また、変調周波数制御部は、光源の発光と撮像素子の信号取得のタイミングの同期を行なう。
投光系では、変調周波数制御部から指示された通りに(パルス制御信号に基づいて)、光源駆動部が光源をパルス発光させる。光源には一般的に、LD(端面発光レーザ)、LED(発光ダイオード)、VCSEL(面発光レーザ)などが用いられる。
受光系では、撮像素子が、対象物からの反射光の一部を受光して生成したアナログ信号を、ADCでデジタル信号に変換し、TOF演算部に送る。撮像素子にはCMOSやCCDが用いられる。一般的なTOFセンサでは専用の撮像素子が用いられる。
一例として、TOFセンサ専用のCMOSであるTOF−CMOSについて説明する。TOF−CMOSは、1つの受光部に対して電荷を2箇所に振り分ける構造になっているものが主流である。
このような構造の一例が図35に示されている。図35に示されるように、受光部10の両側に第1及び第2電荷蓄積部20a、20bが配置されている。受光部10と第1電荷蓄積部20aとの間には第1電荷転送部30aが配置されている。受光部10と第2電荷蓄積部20bとの間には第2電荷転送部30bが配置されている。
受光部10は受光した光を信号電荷に変換する。この信号電荷の一部は第1電荷転送部30aを介して第1電荷蓄積部20aに送られ、他の一部は第2電荷転送部30bを介して第2電荷蓄積部20bに送られる。
このような構造では、例えば1度の受光で得られた信号(受光信号)を0°の位相成分と180°の位相成分に振り分けることが可能である。
原理的には、1つの受光部に対して3箇所以上に振り分ける構造にして、1度の受光で得られた信号(受光信号)を3つ以上の位相成分に振り分けることも可能ではある。しかしながら、振り分け箇所を増やすと画素領域内、電荷蓄積領域、またはそれに付属する構造体が占める割合が大きくなることで受光部面積が小さくなり、十分な感度が得られなくなる問題が生じるため、振り分け箇所の数を徒に増やすことは好ましくない。
そのため、四相式TOFセンサなど、より多位相の位相信号を取得するTOFセンサでは、しばしば、演算に必要な位相信号の数が撮像素子の各画素の電荷の振り分け先の数(電荷蓄積部の数)よりも多くなる。
このような場合、1フレームにおける信号の取得を、サブフレームと呼ばれる位相信号取得フレームに分けて行なうことで、必要な位相情報の全てを取得する方法が一般的である。
TOF演算部では、変調周波数制御部が決定した変調周波数の値と、受光部から送られる各位相信号の信号量を用いてTOF演算を行なう。TOF演算の詳細は後述する。
TOF演算部で計算された距離値は出力部から所定の形式で出力される。
図9(a)に示されるTOFセンサ1は、構成要素が全て1つのパッケージに収容されているが、図9(b)に示されるTOFセンサ2のように、投光系及び受光系のみをパッケージに収容し、制御系を例えばPC(パーソナルコンピュータ)などの他のハードウェアで構成しても良い。つまり、「TOFセンサ」は、投光系、受光系及び制御系が一体的に構成されるもののみならず、投光系、受光系及び制御系の少なくとも1つが別体であるものも含む。
まず、代表的なTOF法の測距原理の1つである正弦波変調方式について、図10を用いて説明する。
正弦波変調方式とは、受信光を時間的に3つ以上に分割して検出した各位相信号を用いて、照射光の射出タイミングに対する受信光の受光タイミングの遅延時間Tdを位相差角の演算で取得する方法である。図10には、TOFセンサによる測定の1フレームの構成内容が示されている。
図10に示されるように、1フレームは、2つのサブフレーム、すなわち0°、180°の位相信号取得フレームと、90°、270°の位相信号取得フレームに分けられる。各サブフレームは、共にreset動作から始まり、読み出し動作で終わる点は共通である。
reset動作では1度読み出し部(電荷蓄積部)にある信号を電気的に吸い上げて、リセットする。2つのサブフレーム間で、照射光のパルス幅T0とパルス周期Tと遅延時間Tdは、変化しない。
ここで、パルス周期Tは、パルス幅とデューティ比で決まり、図10には一例としてデューティ比が50%の場合が示されている。2つのサブフレーム間で大きく異なるのは、TX1信号とTX2信号のタイミングである。
TX1信号、TX2信号は、それぞれ前述のTOF−CMOS内の電荷の振り分け先である2つの電荷蓄積部を電荷蓄積部1、2とした場合に、TX1信号がハイレベルのときに電荷蓄積部1に電荷が振り分けられ、TX2がハイレベルのときに電荷蓄積部2に電荷が振り分けられる。
変調周波数制御部は、0°、180°位相信号取得フレームではTX1信号を照射光と同じタイミングで立ち上げ、TX2を照射光の立ち上りから照射光のパルス幅T0だけ遅れたタイミングで立ち上げ、受光部に繰り返し送っている。
これに対して、変調周波数制御部は、90°、270°位相信号取得フレームではTX1信号を照射光の立ち上りからT0/2だけ遅れたタイミングで立ち上げ、TX2信号を照射光の立ち上りよりT0/2だけ早いタイミングで立ち上げ、受光部に繰り返し送っている。
各サブフレームには、最後に、2箇所に振り分けられた位相信号を読み出す期間があり、2つのサブフレームで合わせて4つの位相信号が取得される。2つのサブフレームは1フレーム内の異なる時間帯であるが、1フレーム内の十分に短い間隔で実行されるため,両者の差はほとんど無いものとしてよい。
そのため、各サブフレームにおいて受信光に対してTOFセンサの取得する信号量は等しくなる。つまり、位相信号同士は次の(1)式で関連付けることができる。
A0+A180=A90+A270…(1)
例えば、図10に示される遅延時間Tdが小さくなる、TOFセンサと対象物の距離が短い場合に、A0、A90、A180、A270の4つの位相信号は、次の(2)式を満たす。
A0>A90>A270>A180…(2)
これら4つの位相信号A0、A90、A180、A270は、それぞれ照射光のパルス周期に対して,時間的に0°、90°、180°、270°の4つの位相に分割された位相信号であるため、次の(3)式を用いて位相差角φを求めることができる。
φ=Arctan{(A90−A270)/(A0−A180)}…(3)
位相差角φを用いて、遅延時間Tdは、次の(4)式から求めることができる。
Td=φ/2π×T(T=2T0、T0:照射光のパルス幅)…(4)
遅延時間Tdを用いて対象物までの距離dは、次の(5)式より求めることができる。
d=Td×c÷2(c:光速)…(5)
以上のような位相差の演算方法から、正弦波変調方式において測定性能を高める理想的な照射光波形はsin波形である。
次に、もう1つの代表的なTOF法の測距原理である矩形波変調方式について、図11を用いて説明する。矩形波変調方式とは、受光信号を時間的に分割した複数の位相信号を用いて、照射光の立ち上りに対する受信光の立ち上りの遅延時間を求める方法である。
ここでは、一例として二位相式の矩形波変調方式について図11を用いて説明する。図11に示されるフレーム構成によって、時間的に0°、180°の2つの位相に分割された位相信号(A0´、A180´)を取得し、次の(6)式を用いて受信光の遅延時間Td´を求めることができる。
Td´={A180´/(A0´+A180´)}×T0´(T0´:照射光のパルス幅)…(6)
遅延時間Td´を用いて対象物までの距離d´は上記(5)式と同様に次の(7)式より求めることができる。
d´=Td´×c÷2(c:光速)…(7)
これまで、デューティ比が50%の例で説明を進めてきており、結果として変調周波数を用いて説明しているが、TOF法の原理によれば、重要なのは照射光のパルス幅(T0、T0´)であり、ディーティ比<50%での実施を含めると、照射光の変調周波数ではなくパルス幅で規定する方が好ましい。
以上のような位相差の演算方法から、矩形波変調方式において測距性能を高める理想的な照射光波形は矩形波形である。
図12には、Td<T0/2の比較的近距離な条件における、受光輝度と各位相信号の信号量の関係が模式的に示されている。受光輝度は、露出(露光時間、絞り)や照射光強度などによって変化する値である。
ところで、TOFセンサでは、位相信号の信号量(電荷量)が測距において非常に重要になる。一般に、TOFセンサでは、取得する各位相信号の信号量が大きいほど測距精度が高くなる。これに対して、TOFセンサにおいて位相信号として蓄積可能な信号量の上限は、撮像素子の電荷蓄積部の容量で決まり、位相信号の信号量が電荷蓄積部の容量の上限(Amax)を超えると、電荷蓄積部で信号量が飽和し、距離値が正しくなくなる。
つまり、TOFセンサによる測距において、所望の測距精度を達成でき、かつ撮像素子で信号量が飽和しないように、照射光の強度を調整する必要がある。
しかし、対象物までの距離が長い場合や、対象物の反射率が低い場合に、測距精度が悪くなりやすく、逆に、対象物までの距離が短い場合や、対象物の反射率が高い場合は、信号量の飽和が起きやすいため、両者はトレードオフの関係にあり、測距精度の向上と画素の飽和抑制を両立するのは容易でない。
つまり、TOFセンサは近距離側と遠距離側の両方に測距レンジを制限する問題を抱えており、実測の測距レンジは理想よりも狭まる。TOFセンサをより広い距離範囲で使用しようとする場合、この両者のトレードオフの関係は、大きな課題である。
以下に、電荷蓄積部における信号量の飽和について、四相式TOFセンサを例に挙げて、より詳細に説明する。前述の通り、TOF法専用の撮像素子の多くは、1つの受光部に対して、電荷を2箇所に振り分ける構造になっているため、四相式TOFセンサの場合、0°、180°、90°、270°の位相信号が2つのサブフレームに分けて取得される(図10参照)。
このとき、どの位相信号の信号量が多くなるかは、照射光に対する受信光の遅延時間、すなわち対象物までの距離によって決まる。受信光が強い近距離(四相式TOFにおいて位相差角φ:0<φ<π/4)では、遅延時間が短いため、0°の位相信号A0の信号量が特に大きくなる。加えて、照射光の強度が強いと、位相信号A0の信号量が飽和する。
図12には、TOFセンサと対象物を短距離の位置に配置した場合の、受光輝度と四相式TOFの各位相信号の信号量の関係が模式的に示されている。
先ず、一のサブフレームで取得された位相信号A0、A180の信号量に注目する。図12において、位相信号A0は、破線Aより左側では受光輝度に比例して信号量が大きくなるのに対し、破線Aより右側では信号量が一定になる。つまり、破線Aの位置で位相信号A0は飽和している。
また、位相信号A180は、破線Aを境に信号の入り方(傾き)に変化がみられる。
つまり、2つの電荷の振り分け先(2つの電荷蓄積部)のうち、一方に振り分けられた位相信号の信号量が飽和すると、他方に振り分けられた位相信号にも影響するため、信号量が飽和した位相信号A0に加えて、同じサブフレームで取得された位相信号も信頼性が無くなる。
次に、別のサブフレームで取得された位相信号A90、A270に注目する。A0、A180に変化が見られた破線Aを境に、位相信号A90、A270は信号の入り方(傾き)に変化は無い。つまり、位相信号A0が飽和しても、位相信号A0が取得されたサブフレームとは異なるサブフレームで取得された位相信号A90、A270には影響がないことがわかる。つまり、位相信号A0の信号量が飽和した以降も、位相信号A90の信号量が飽和する破線Bまでは、位相信号A90、A270は継続して信頼性のある信号として取得できる。
図13には、1つの受信光(1パルス)を四相式TOFセンサが受光したときの照射光、受信光、各位相信号の関係が示されている。
図13においてApulseはTOFセンサの受信光の全信号量、A0〜A270は各位相信号の信号量を示す。Apulseは、照射光強度Fと、対象物の反射率、撮像素子の受光感度等のパラメータを含む係数Pとを用いて次の(8)式によって求めることができる。
F×P=Apulse…(8)
以下では、各位相信号、例えば四相式におけるA0、A90、A180、A270とApulseは、1つの受信光(1パルス)の全信号量として定義する場合と、1フレームで取得される、全ての受信光の全信号量を定義する場合を区別しない。
1フレームで取得される、全ての照射光による全ての受信光の全信号量の場合は、1つの照射光(1パルス)の場合の信号量の、光源の発光回数η倍の信号量になる。
四相式TOFセンサの場合、各位相信号の間には、上記(1)式が成立する。Apulseを定義すると、上記(1)式は、次の(9)式になる。
A0+A180=A90+A270=Apulse…(9)
上記(9)式の最も左の項A0+A180がApulseと等しいということは、二相式TOFセンサのA0´、A180´でも成り立つ。二相式TOFセンサでは、信号量の合計に対する、A180´の割合から遅延時間を求め、距離に換算する。四相式TOFセンサでは、二相式TOF演算を、A0、A90、A180、A270の2つの組み合わせで行なうこともできる。
この組み合わせに対して、信号量の飽和の影響を考える。飽和の影響で信頼性を失うのは、同じサブフレームで取得された位相信号であるから、A0とA180の組み合わせ又はA90とA270の組み合わせを採用すれば良い。つまり、近距離側でA0が飽和しても、A0、A180のみの問題であるため、四相式TOF演算ではなく、A90、A270を用いる二相式TOF演算を行なえば、正確な距離を出力することができる。
そこで、本実施形態の距離センサ20は、多相式TOFセンサのいずれかのサブフレームで位相信号の信号量が飽和した際に、信号量が飽和した位相信号が取得されたサブフレームとは別のサブフレームで取得された位相信号を用いてTOF演算を行なう。
図14には、四相式TOFセンサの位相信号A90、A270のみに注目した場合の関係性が示されている。
まず、距離センサ20の第1のメリットである、最も飽和の起きやすい近距離側に注目して、四相式TOFセンサの位相信号A0の信号量が飽和した場合の二相式TOF演算を説明する。
ここでは、近距離を、位相信号A0の信号量が多くなる距離、すなわち四相式TOFセンサにおいて位相差角φが0〜π/4の範囲となる距離と定義する。位相信号A0が飽和すると、位相信号A0、A180の信頼性がなくなるが、位相信号A90、A270を用いて二相式TOF演算を行うことができる。
位相信号A0の信号量が多くなる近距離では、位相差角φが大きくなるほど位相信号A90が大きくなる。つまり、図14に示されるように、位相信号A90の信号量は、Apulseよりも(T0/2−Td)分だけ少ない信号量となる。一方、位相信号A270は、Apulseよりも(T0/2+Td)分だけ少ない信号量となる。
位相信号A90、A270は、照射光のパルスと、半分(T0/2)重なっているため、距離0の場合のオフセットを考慮する必要がある。
位相信号A90、A270を用いる二相式TOF演算において遅延時間は、例えば次の(10)式、(11)式で求めることができる。
Td={A90/(A90+A270)−0.5}×T0(T0:照射光のパルス幅)…(10)
Td={(1/2×(A90−A270))/(A90+A270)}×T0(T0:照射光のパルス幅)…(11)
なお、本発明を用いた場合の細かい計算内容は上記(10)式、(11)式に制限されない。
例えば上記(10)式において、右辺の−0.5を−1/2×(A90+A270)/(A90+A270)に置き換えることもできる。
また、Apulse−A90=A270の関係式を用いて上記(10)式を次の(12)式のようにすることもできる。
Td=0.5−{A270/(A90+A270)}×T0(T0:照射光のパルス幅)…(12)
本発明における二相式TOF演算に用いる式は任意に選択されることを想定している。
本発明は、3位相以上の多位相信号を取得してTOF演算するTOFセンサに適用可能である。本発明を前述した四相式の例のように適用するための条件は、以下の通りである。
条件1:TOF演算に使用する位相信号のうち、2つ以上の位相信号が飽和の影響を受けていない。
条件2:飽和を受けていない位相信号のみの演算からApulseを求めることができる。
上記条件1、2を満たせば、本発明を適用可能である。
図15には、0°、90°、180°の位相信号を取得する三相式TOFセンサの、照射光、受信光、各位相信号の関係が示されている。
図15では、Td<T0/2の比較的近距離な条件を想定している。位相信号A0が飽和したとする。その場合でも、位相信号A90、A180を別のサブフレームで取得していれば、位相信号A90、A180から、次の(13)式を用いてApulseを求めることができるため、本発明を適用可能である。
A90−A180=Apulse/2…(13)
A90、A180の位相信号を用いる二相式TOF演算は、次の(14)式のようになる。
Td={A180/2(A90−A180)}×T0(T0:照射光のパルス幅)…(14)
以上のように、上記条件1、2を満たせば、信号量の飽和が起きても、二相式TOF演算を用いて代わりの測距を行なうことが可能である。なお、前述の通り、演算内容は上記(14)式に制限されない。
例えば、A90−Apulse/2=A180の関係式を用いて上記(14)式を次の(15)式のようにすることもできる。
Td={A90/2(A90−A180)−0.5}×T0(T0:照射パルスのパルス幅)…(15)
図16には、一般的な六相式TOFセンサの照射光、受信光、各位相信号の関係が示されている。取得する位相信号の数が多いと、位相信号を取得する時間間隔が小さくなるため、距離やTOFセンサの測定条件によっては、複数の位相信号が同時に飽和する場合が考えられる。そのような場合でも、取得する位相信号数が増えるため、本発明を使用できる。
例えば六相式TOFセンサの場合、近距離では、図16に示されるように、位相信号は信号量が大きい順にA0、A60、A300、A120、A240、A180となる。2つの位相信号A0、A60が同時に飽和したとすると、同じサブフレームで取得されるA180、A240も信頼性が無くなる。しかし、A120、A300の位相信号は、飽和の影響を受けない。また、次の(16)式より、位相信号A120、A300からApulseを求めることができる。つまり、前述の条件1、2を満たすので本発明を適用することができる。
A120+A300=Apulse…(16)
位相信号A0、A60が飽和する近距離側で、位相差角φと共に増加するのは位相信号A120である。位相信号A120と照射光のパルスとの重なりを考慮し、位相信号A120、A300による遅延時間を求める二相式TOF演算は、次の(17)式のようになる。
Td={A120/(A120+A300)−1/3}×T0(T0:照射光のパルス幅)…(17)
なお、前述の通り、TOF演算の内容は、上記(17)式に制限されない。つまり,前述の条件を満たせば、信号量が飽和する位相信号の数によらず、本発明を適用できる。近距離での位相信号の信号量の飽和を回避する本発明のTOF演算の最も簡単な方式は、四相式以上のTOFセンサの場合、次の(18)式のような二相式TOF演算になる。
Td={(A(i)/Apulse)−i/180}×T0…(18)
ここでは、近距離のため飽和は位相シフト量の小さい位相信号から起こる。上記(18)式中のA(i)は、飽和の影響を受けない位相信号のうち最も位相シフト量の少ない位相信号であり、iは照射光のパルスに対して位相信号を取得した位相シフト量(°)であり、 Apulseは、前述と同じ、TOFセンサが受信光1つを受光した場合の信号量に相当する信号量である。一般的なTOFセンサでは、次の条件に従う。
0≦i<180、A(i)+A(i+180)=Apulse
また、上記(18)式は、次の(19)式や(20)式のように変形することも可能である。
Td={((180−i)/180)−(A(i+180)/Apulse)}×T0…(19)
Td={((1−i/180)×A(i))− (i/180×A(i+180))} /Apulse×T0…(20)
上記(18)式〜(20)式は一例である。本発明を適用したことは演算内容に制限されない。
同様に、三相式TOFセンサに本発明を用いる場合の二相式TOF演算が、次の(21)式である。(21)式はあくまで一例であって、本発明は演算内容による制限を受けない。
Td={(A(i)/Apulse)−((180−i)/180)}×T0…(21)
三相式TOFセンサの場合、二相式TOF演算に用いる位相信号同士の位相シフト量の差を決めることができない。そのため、四相式以上のTOFセンサの場合と同様にA(i)を飽和の影響を受けない位相信号のうち最も位相シフト量の少ない位相信号量とし、iを取得された位相信号の照射光のパルスに対する任意の位相シフト量(°)とし、 ApulseをTOFセンサが受信光1つを受光した場合の信号量に相当する信号量とするのに加えて、演算に用いる位相信号同士の位相シフト量の差をqとすると、次の条件に従う。
0≦i<180、0<q≦180、(A(i)−A(i+q))×(180/q)=Apulse
以上より、遅延時間Tdが求まる。上記(5)式を用いて上記遅延時間Tdから距離dを求めることができる。
図17には、測距レンジ内の領域を位相差角φで定義した場合の、信号量が最も飽和する可能性の高い位相信号と、その信号量が飽和した場合の本発明のTOF演算が示されている。
ここまでは、位相信号A0の信号量が多くなる近距離での飽和を考えたが、対象物の反射率が高い場合などでも、飽和は起きると考えられる。この場合、信号量が飽和する位相信号はランダムなため、TOF演算に工夫が必要である。四相式を例にとって説明する。
四相式TOFセンサでは、対象物までの距離によって信号量が飽和する可能性の高い位相信号が変わり、位相差角φに対して、0<φ<π/4:A0、π/4<φ<3π/4:A90、3π/4<φ<5π/4:A180、5π/4<φ<7π/4:A270、7π/4<φ<2π:A0のように決まる。
φ=π/4などの定義した位相差角の間では、2つの位相信号が等しくなるため、本発明を使用できない。各位相信号の飽和に本発明を用いるには、各条件で異なる二相式TOF演算を用いれば良い。φに合わせて増加する位相信号は、飽和する位相に90°加えた位相であるから、A0が飽和した場合A90、A90が飽和した場合A180、A180が飽和した場合A270、A270が飽和した場合A0(A360=A0)と決まる。
さらに二相式TOF演算に必要なApulseは近距離の場合と同様に考えれば、計算できる。最後に、二相式TOF演算の演算結果は距離値のオフセットを持つため、そのオフセット量を考慮する。このオフセット量は、二相式TOF演算に用いる位相信号の位相シフト量と、受信光の始点に当たる180°との差分で求まる。
以上より、各位相信号の信号量の飽和に対応する本発明のTOF演算は、図17に示す通りになる。図17に遅延時間Tdを求める方法が示されているので、あとは上記(5)式を用いて距離dを求めればよい。なお、図17には、飽和する位相信号と領域の関係が示されているが、その特性や照射光のパルス波形によって、実際には理想的な場合から多少変化することが想定される。
図18には、四相式以上の多相式TOF演算において、以下で定義する定数tが変化した場合の、信号量が飽和する位相信号のうち最も位相シフト量の大きい位相信号Axtと、本発明の二相式TOF演算が示されている。本発明は、四相式以上の多相式TOFセンサであれば同様にどの位相信号が飽和しても、適用できる。取得する位相信号の数がN(Nは4以上の整数)であるN相式TOFセンサを考える。
取得する位相信号を、Ax0、Ax1、…、AxN−1、AxNとする。xは各位相信号の位相シフト量であり、x0=0、x1=360/N、…、xN−1=360(N−1)/N、xN=360(N/N)=0)となる。信号量が飽和する位相信号のうち最も位相シフト量の大きな位相信号をAxt(t=0…N)とすると、その位相シフト量xtは、xt=360t/N(xt=360のときAxt=A0)となる。位相信号Axtに対して、Axtの信号量が飽和した場合に二相式TOF演算に使用する位相信号Aytの位相シフト量ytはyt=360(t+1)/N(yt≧360のときAyt=A(yt−360))となる。信号量が飽和する位相信号Axtがt=0〜Nで変化した場合がまとめて図18に示されている。図18に遅延時間Tdを求める方法が示されているので、あとは上記(5)式を用いて距離dを求めることができる。信号量が飽和する位相信号の数は1つでなくても本発明を適用可能である。
図19には、三相式TOFセンサにおいて、本発明を用いる場合の、信号量が飽和する位相信号と本発明の二相式TOF演算が示されている。三相式TOFセンサでは、パルス周期2πを3つの位相に分ける場合は、図18の例においてN=3として、適用できる。
しかし、他の条件で三相式TOFセンサを用いる場合、図18を適用できない。取得する位相信号を位相シフト量の少ない順に、Aw1、Aw2、Aw3とする。w1、w2、w3は位相シフト量である。3つの位相信号がランダムに飽和した場合のTOF演算を式(21)の近距離に限定した場合を参考に考える。
四相以上のTOFセンサの場合と同様に、信号量が飽和する位相信号をAwn(n=1、2、3)すると、信号量が飽和した場合の二相式TOF演算は図19の通りになる。図19に遅延時間Tdを求める方法が示されているので、あとは上記(5)式を用いて距離dを求めることができる。
本発明の適用の可否は、信号量が飽和する位相信号がランダムの場合でも、前述の条件1、2を満たすか否かで判断できる。本発明で使用する演算は、これまでの例に示したものに制限されず、あくまで信号量が飽和する位相信号が取得されたサブフレームとは別のサブフレームで取得された位相信号を用いるTOF演算であれば良い。0°、45°、90°、135°、180°、225°、270°、315°を取得する八相式TOFセンサでは、位相信号A0のみの信号量が飽和した場合など条件によっては、四相式TOF演算を行なうことも可能である。
図20には、照射光のパルス幅:30ns、変調周波数:16.7MHzの、市販の四相式TOFセンサを用いて、受光輝度に対する各位相信号A0、A90、A180、A270の信号量を実測した結果が示されている。Td<T0/2の比較的近距離な条件で測定を行なった。前述の通り、遅延時間Tdが短いため、位相信号A0の信号量が特に大きくなる。加えて、照射光強度が大きいと、位相信号A0は飽和する。
図20は、四相式TOFセンサから近距離に対象物を固定して、徐々に照射光強度を強くした場合の、各位相信号の信号量の任意の測定例である。位相信号A0は破線Aより左側では、照射光強度に比例して大きくなるのに対し、破線Aより右側では一定になる。つまり、破線Aの位置で位相信号A0は飽和している。
位相信号A180は、破線Aを境に信号の入り方に変化が見られる。つまり、画素毎の複数の電荷の振り分け先のうち、1つでも飽和すると、入りきらない分の信号が、他の位相信号の増え方にも影響するため、信号量が飽和する位相信号と同じサブフレームで取得された位相信号も同様に、信頼性が無くなる。
これに対して、位相信号A0、A180に変化が見られた破線Aを境に、位相信号A90、A270の信号の入り方に変化は無い。つまり、位相信号A0が飽和しても、位相信号A0が取得されたサブフレームとは別のサブフレームで取得された位相信号には、影響がないことがわかる。
つまり、位相信号A0の信号量が飽和した以降も、破線Bで示される位相信号A90の信号量が飽和するまでは、位相信号A90、A270は継続して信頼性のある位相信号であることが実測でも確認された。
よって、本発明では破線Aから破線Bまで測距可能な受光輝度を拡大できる。実際に、A0が飽和し、A90、A270の位相信号が信頼できる上限の受光輝度で本発明を実施した。その場合、A0=28834、A90=28722、A180=9028、A270=18819であり、本発明の二相式TOF演算での出力距離は0.468mであった。この条件で、通常のTOF演算での出力距離は0.650mであり、本発明を適用した場合の方が、破線Aより左の測定条件A0=25375、A90=17714、A180=3605、A270=9976の場合の四相式TOF演算で得られる距離0.477mとの誤差が小さいことがわかる。つまり、信号量の飽和が起きるタイミングで本発明の二相式TOF演算に切り替えることで飽和の影響を回避することができる。
図21には、本発明の一実施形態に係る距離センサ20の構成が示されている。距離センサ20は、一例として図9に示されるような、一般的なTOFセンサと同様に光源及び光源駆動部を含む投光系と、撮像素子(イメージセンサ29)及びADCを含む受光系と、変調周波数制御部、TOF演算部及び出力部を含む制御系を備えているのに加えて、制御系がADCの後段に位相信号判定部を含む。
距離センサ20の各構成要素は、データの伝送が可能なパスを介して電気的に接続されている。距離センサ20において、投光系、受光系、変調周波数制御部、TOF演算部及び出力部の動作は一般的なTOFセンサと大きく変わらないが、受光系で取得された各位相信号が位相信号判定部に送られる。位相信号判定部では、各位相信号の判定を行なう。
位相信号の判定とは、該位相信号の信号量が飽和しているか否かを判定することである。TOFセンサの画素の電荷の振り分け先である電荷蓄積部の容量QmaxとADCの変換係数などで決まる係数αを用いて、容量に達した場合の位相信号の信号量Amaxを次の(22)式で求めることができる。
Amax=Qmax×α…(22)
Amaxを基準として飽和判定用の閾値Mを、次の(23)式で決めることができる。
M=Amax×β…(23)
上記(23)式のβは任意の数値であり、例えば0.9などに自由に設定できる。閾値Mは、位相信号判定部が有する記憶部(例えばメモリやハードディスク)に記憶される。位相信号判定部は、位相信号の信号量が閾値M以上である場合に「飽和している」と判定する。
図22には、図21に示される距離センサ20の変形例1の距離センサ20Aの構成が示されている。飽和判定はデジタル信号ではなく、位相信号をアナログデジタル変換する前のイメージセンサ29の出力(アナログ信号)に対して行なうことも考えられる。そこで、図22に示される変形例では、位相信号判定部がADCの前段に設けられている。すなわち、位相信号判定部は受光系内に配置される。
この場合、閾値Mは、上記(22)式のQmaxを基準にして次の(24)式で求められる。
M=Qmax×γ…(24)
上記(24)式のγはβ同様に任意の数値であり、自由に設定できる。
図9に示される一般的なTOFセンサと同様に、距離センサ20や距離センサ20Aも投光系、受光系及び制御系が一体であっても良いし、投光系、受光系及び制御系の少なくとも1つが別体であっても良い。例えば、制御系は、パーソナルコンピュータ等の外部機器とすることもできる。
図23には、一実施形態及び変形例の距離センサ20、20Aの動作フローの一例が示されている。四相式の場合を例にとって、STARTから順を追って説明する。
最初のステップS1では、距離センサは、測距に必要な位相信号を取得する。この信号取得は図21、図22に示される受光系で行なわれる。
次のステップS2では、位相信号の信号量が、予め設定された閾値より小さいか否かを判断する。すなわち、飽和判定が行なわれる。この判断は、図21、図22に示される位相信号判定部で行なわれる。ここでの判断が肯定されると(信号量が閾値より小さい場合、飽和なしと判定され)ステップS3に移行し、否定されると(信号量が閾値以上の場合、飽和ありと判定され)ステップS4に移行する。
ステップS3では、図21、図22に示されるTOF演算部で通常通りの四相式(多相式)TOF演算が行なわれ、その演算結果が図21、図22に示される出力部に送られ、出力形式に合った形で出力される。
ステップS4では、飽和のないサブフレームが存在するか否かを判断する。信号量が閾値より小さい位相信号のみのサブフレームがあり、飽和の影響を受けていない位相信号が2つ以上あれば、ここでの判断が肯定され、ステップS6に移行する。全ての信号が飽和の影響を受けている場合は、ここでの判断が否定され、ステップS7に移行する。
ステップS6では、飽和の影響を受けていない2つ以上の位相信号を用いて、図21、図22に示されるTOF演算部で、飽和の影響を回避した二相式TOF演算を行なう。すなわち、飽和と判定されなかった位相信号がTOF演算部に送られ、本発明特有の二相式TOF演算が行なわれる。
ここで、閾値との比較とTOF演算で重要なのは、同じサブフレームで取得される位相信号の1つでも信号量が飽和している場合、該サブフレームの全ての位相信号をTOF演算に使用しないことである。ステップ6が実行されるとステップS8に移行する。
ステップS7で測定エラーを出力部に伝送し、ステップS9で出力部から任意の方法(例えばモニタ表示等)で測定エラーを使用者に通知する。
ステップS8では、二相式TOF演算結果が図21、図22に示される出力部に送られ、出力形式に合った形で出力される。
図24、図25には、それぞれ本実施形態の距離センサ20の変形例2、3の距離センサ20B、20Cの構成が示されている。距離センサ20B、20Cは、飽和判定用の閾値が記憶される記憶部を有していない点を除いて、それぞれ距離センサ20、20Aと同様の構成を有している。
図26には、実施例2、3の距離センサ20B、20Cの動作フローが示されている。四相式TOFセンサを例にとってSTARTから順を追って説明する。
最初のステップS11では、距離センサ20は、測距に必要な位相信号を取得する。この信号取得は図24、図25に示される受光系で行なわれる。
次のステップS12では、取得した位相信号の信号量の比較を行う。この動作は、図24、図25に示される位相信号判定部で行なわれる。図12の飽和が起きた場合を参考に考える。
次に、サブフレームの数が最大の信号量になる位相信号の数より多いか否かを判断し(ステップS13)、その判断結果が肯定的である場合に、二相式TOF演算を行い(ステップS14)、算出した距離を出力する(ステップS15)。なお、ステップS13での判断結果が否定的である場合には、ステップS16に移行する。
具体的には、まず、取得した位相信号の信号量の大きさの順序を決める。このとき、信号量が最大になる位相信号が1つである場合は、信号量が最大になる位相信号が取得されたサブフレームとは別のサブフレームで取得された位相信号を用いて、二相式TOF演算を行なう。また、信号量が最大になる位相信号が2つ以上ある場合も、信号量が最大になる位相信号が取得されたサブフレームとは別のサブフレームで取得された位相信号があれば、その別のサブフレームで取得された位相信号を用いてTOF演算を行なう。
また、信号量が最大になる位相信号が2つ以上ある場合は、別のサブフレームで取得された位相信号がない場合(第1の場合)と、距離条件で信号量が等しい場合(第2の場合)と、同時に飽和する場合(第3の場合)が考えられる。第1〜第3の場合のいずれであるかを判定するためには、同じサブフレームで取得された2つの位相信号の信号量の差分を比較すればよい。
そこで、ステップS16では、同じサブフレームで取得された2つの位相信号の信号量の差分の絶対値が0になるか否かを判断する。ここでの判断が肯定的である場合、測定エラーを出力部に伝送し(ステップS17)、任意の形(例えばモニタ表示等)で出力部から使用者にエラーを通知する(ステップS18)。この場合、2つの位相信号で信号量が飽和しているため、本発明以外での対応を要する。ステップS16での判断が否定的である場合には、ステップS19に移行する。
ステップS19では、同じサブフレームで取得された位相信号の信号量の差分の絶対値がサブフレーム間で等しいか否かを判断する。ここでの判断が否定された場合、信号量の飽和ではなく距離条件によるものと判定されるため、任意の位相信号を選択して多相式もしくは二相式のTOF演算を行ない(ステップS20)、演算結果を出力形式に合った形で出力する(ステップS21)。ステップS19での判断が肯定された場合、測定エラーを出力部に伝送し(ステップS17)、任意の形で出力部から使用者にエラー通知する(ステップS18)。この場合、信号量の飽和によるものと判断されるため、本発明以外での対応を要する。
前述の図23の動作フローでは閾値との比較を必要としたが、図26の動作フローでは閾値との比較を動作フロー中に含まないため、位相信号判定部(IC回路)にかかる負荷を小さくできる。
図27には、図23の動作フローに信号のオフセット量を減算するステップを加えた動作フローが示されている。図28には、図26の動作フローに信号のオフセット量を減算するステップを加えた動作フローが示されている。
TOFセンサを屋外で使用する場合、信号量の飽和は信号由来ではなく、太陽光などの外乱光の影響によって起こる。本発明のいずれの二相式TOF演算においても、演算には、信号のオフセット量が含まれる。信号由来で飽和が起こる場合、SN比が大きいため、このオフセット量は測距精度に影響しない。
しかし、外乱光由来で飽和が起きる場合は、信号のオフセット量の測距精度に対する影響が大きくなる。屋外のように明らかに信号のオフセット量が大きくなる条件で、本発明の距離センサを使用する場合、TOF演算部に画素ごとのオフセット量を記憶する記憶部(例えばメモリやハードディスク)を持たせ、取得した位相信号から予めオフセット量を減算してから二相式TOF演算を行なうことにより、測距精度の低下を抑制することができる。
図27、図28の動作フローにおいて、オフセット量の減算は取得された位相信号を位相信号判定部に送った後で行なわれる。除算に用いるオフセット量は、実測値である場合と、計算値である場合など、特に制限されない。計算値の場合、記憶部に計算式を記憶させてもよい。
オフセット量の計算の一例を以下に示す。例えば四相式TOFにおいて、位相信号A0が飽和した場合を考える。位相信号A0が飽和した場合、上記(9)式に示される各位相信号の合計の関係は、次の(25)式のようになる。
A0+A180≠A90+A270=Apulse …(25)
つまり、信号量が飽和する位相信号A0の影響でA0+A180はApulseに一致しなくなる。図12より、位相信号A0の信号量が飽和後の位相信号A180の信号の入り方を見ると、傾きは変わっているが、飽和後も照射光の受光輝度には比例することが分かる。つまり、飽和前の理想的な信号の入り方に対して、係数C倍の信号が入るとみなせる。この係数Cは位相差角φに依存して変化すると考えられC(φ)として、位相差角の条件によって変化する値を用いても良いし、Cの変化量が十分に小さい場合は、定数Cとしても良い。以下では、定数Cを用いる。
以上より、位相信号A0が信号量の上限を超えて入ったと仮定して、上記(9)式を用いて逆算すると、次の(26)式が得られる。
A0´=A90+A270−1/C×A180…(26)
ここでA0´はA0が容量Qmaxに関係なく入り続けた場合の推定量である。1/C×A180をA180´として、再度各位相信号の合計量を考えると、次の(27)式のようになる。
A0´+A180´=A90+A270=Apulse…(27)。
以上のような位相信号の関係を踏まえて、オフセット量の計算を行う。各位相信号の信号量は、オフセット量を含んだ状態である。これを信号量Sとオフセット量Nに分けて考えると、次の(28)式のようになる。
A0´+A180´=A90+A270=S0´+S180´+2N=S90+S270+2N…(28)
ここで、各位相信号の信号量に対するオフセット量は一定としている。上記(28)式の中の、S0´+S180´とS90+S270は位相信号のうちで、対象物からの反射光のみに由来する信号量である。
距離センサの信号で表した場合の受光輝度をQとすると、Q=S0´+S180´=S90+S270である。照射光のパルス波形がsin波と一致する場合、Qは別の方法でも求めることができる。その場合のQをQ´とすると、以下の(29)式を用いてQ´を求めることができる。
Q´=√{(A0−A180)2+(A90−A270)2}=√{(S0−S180)2+(S90−S270)2}…(29)
つまり、上記(28)式と(29)式より、次の(30)式のようにオフセット量が計算できる。
{A0´+A180´−Q´}/2={A90+A270−Q´}/2=N…(30)
照射光のパルス波形がsin波と異なる場合にはQ´は、Qに、ある相関関数Hを掛けた値になる。相関関数Hは位相差角φの関数H(φ)である。TOFセンサの製造過程にこの関数H(φ)を求める工程を組み込むことも考えられる。この工程で発光フレームと非発光フレームを取得することで、直接的にSを取得することができるので関数H(φ)を取得できる。上記(30)式は、関数H(φ)を用いて次の(30)´式のようになる。
{A0´+A180´−Q´/H(φ)}/2={A90+A270−Q´/H(φ)}/2=N…(30)´
以上より、オフセット量Nの概算が可能である。以上のオフセット量に関する式は一例であって、オフセット量の決め方を制限するものではない。
図29には、一例として四相式の距離センサのフレーム構成に、信号のオフセット量取得用の非発光フレームを加えたフレーム構成が示されている。
周囲の温度変化が大きい場合など、測距中に経時的に信号のオフセット量が変化することもあり得る。このオフセット量の経時変化に対応するには、測距と平行して、オフセット量の取得も行なえばよい。そこで、測定フレーム(発光フレーム)の前に非発光フレームを用意する。
図29に示されるように、非発光フレームは、光源を発光させずに、信号の読み出しを行なう。その場合、取得する信号は、各位相での信号のオフセット量であるので、測定フレームごとに位相信号からオフセット量を減算すれば、距離センサは測定環境が変わりやすい条件でも対応可能になる。
図30には、一般的な四相式のTOFセンサのフレーム構成例と、本発明の四相式の距離センサのフレーム構成例が示されている。
図30(a)は一般的な四相式TOFセンサのフレーム構成である。TOF演算を行い、距離値を出力するまでの1フレームあたりの時間は、信号の取得期間とデータの転送期間で決まる。
本発明の四相式距離センサのフレーム構成が図30(b)に示されている。本発明の距離センサでも、位相信号取得期間と転送期間の長さは一般的なTOFセンサと変わらない。本発明の大きな特徴は、転送期間の後に、次の位相信号取得期間と並行して、既に取得した位相信号の飽和判定を行なう点である。A0、A180に飽和が確認された場合、A90、A270の位相信号の転送期間の後に行なわれるTOF演算を、本発明の飽和を回避したTOF演算に変更する。本発明のTOFセンサはフレーム構成が、一般的なTOFセンサと変わらないため、フレームレートを落とさずにTOF法の特長である高速性を保ったまま使用することができる。
図31には、本発明の距離センサを用いて、出力の高精度化を行なうための、フレーム構成例が示されている。
本発明の距離センサでは、飽和の影響を回避したTOF演算が複数の組み合わせでできる場合、それら全てでTOF演算を行なうことができる。この場合、距離センサのTOF演算部内に演算結果を一時的に記憶する、記憶部(例えばメモリやハードディスク)を持たせる構成にすれば、演算結果同士の演算や比較を行ない、より距離センサの目的に合う結果になる演算結果を選択し、出力することもできる。
例えば、図31(a)に示されるように画素ごとの複数の二相式TOF演算の結果の平均を出力することや、図23(b)に示されるように画素ごとの複数の二相式TOF演算の結果の中央値を出力することや、図23(c)に示されるように任意の測定フレーム間で信号量の標準偏差や差分を取り、最も信号量の標準偏差や差分の小さい二相式TOF演算の組み合わせの演算結果を出力することが可能になる。標準偏差を取るフレーム数は任意に変えることができる。
図32には、本発明の使用を確認するために実施される測定フレームが示されている。本発明の使用を確認するための方法を以下に示す。一例として簡単のために、四相式TOFセンサに加えて、照射光波形を矩形波、位相差角がπ/8進んだ距離で測定すると仮定する。この場合、位相信号量は受信光の信号量を1.0として、理想的にはA0=0.875、A90=0.625、A180=0.125、A270=0.375になり、信号量の比は、次の(31)式のようになる。
A0:A90:A180:A270=7:5:1:3…(31)
実測では様々な測定ノイズの影響を受けるが、この関係から大きく外れることは無い。この距離条件で徐々に照射光を強めると、まず位相信号A0が飽和する。一般のTOFセンサで飽和して距離値にエラーが生じるまでの光量の大きさを決めているのは位相信号A0の信号量である。
これに対して、本発明を使用した場合、位相信号A0が飽和した後も正確な距離値が出力される。本発明の距離センサにおいて信号量の飽和により距離値にエラーを生じるのは次に大きな位相信号A90が入り、その信号量が飽和した場合である。つまり、本発明を使用したかどうかを確認するには、距離センサの受光量を徐々に大きくしていった場合に、どの位相信号の飽和が距離の出力に影響するかを確認すればよい。
この確認方法の一例として考えられるのは,サブフレームごとに照射光強度を変えて測定する方法である。例えば、上記(31)式の距離条件のまま、位相信号A90、A270のサブフレームのみ、照射光強度を1.2倍にする。
図32には、一例として四相式TOFセンサの2つのサブフレームの照射光強度を、90°、270°の位相信号取得フレームの照射光強度Qが0°、180°の位相信号取得フレームの照射光強度Q(0)の1.2倍になるように変えた場合が示されている。その場合、各位相信号の比は、次の(32)式のようになる。
A0:A90:A180:A270=7:6:1:3.6…(32)
ここで重要なのは、距離条件で決まる最も信号が大きくなる位相信号を取得するサブフレームとは別のサブフレームの照射光強度を変えることと、照射光を強くした場合にも、その最も信号が大きくなる位相信号は変わらないことである。強度の倍率は1.2倍に限定されない。本発明を使用しない場合、照射光強度を変える前後を比較しても、信号量の飽和の影響が出る強度は、位相信号A0が飽和する強度であるから変化はない。しかし、本発明を用いていると、照射光強度を変えると位相信号A90の飽和が早まるので、距離値に飽和の影響が出るのが早まる。つまり、信号量が飽和するまでの照射光強度が1/(フレーム間の照射光強度の倍率)になるので、本発明の使用の有無を確認できる。
以上の説明から分かるように、本発明を使用しない距離センサは、対象物の反射率が高い場合や物体までの距離が近い場合等、信号量が大きく飽和が起きる場合、誤測距することが懸念される。
これに対して本発明の距離センサでは、信号量の飽和が起きた際にも、正確な測距を継続できる可能性(確率)が非常に高く、対象物までの距離を安定して得ることができる。
以上説明した一実施形態及び変形例1〜3の距離センサ20、20A、20B、20Cは、光源21と、該光源21から射出され物体で反射された光を受光するイメージセンサ29(撮像素子)と、光源21の発光タイミングとイメージセンサ29の受光タイミングの時間差を算出し、該時間差から物体までの距離を求める制御系と、を備え、イメージセンサ29は、受光した光を電気信号に変換する複数の受光部と、受光部毎に設けられ、電気信号が時間的に分割された複数の位相信号をそれぞれ一時的に蓄積する複数の電荷蓄積部(蓄積部)と、を有し、制御系は、位相信号の信号量が蓄積部で飽和しているか否かを判定する位相信号判定部(判定手段)と、該位相信号判定部での判定結果に基づいて、時間差の算出に用いる位相信号を選択する位相信号選択部(選択手段)を有するTOF演算部(図33、図34参照)と、を含む。なお、図33、図34には、それぞれ位相信号判定部とTOF演算部の構成例1、2がブロック図で示されている。
この場合、遠距離物体や低反射物体の測距精度が低下しない程度の比較的大きな光量の光を光源から射出したときに近距離物体や高反射物体の測距で位相信号の信号量が飽和しても、その飽和の影響を受けない位相信号を用いて時間差、さらには距離を算出できる。
この結果、遠距離物体や低反射物体に対する測距精度の低下を抑制しつつ、近距離物体や高反射物体に対して高精度な測距をより安定して行うことができる。
また、位相信号選択部は、信号量が飽和している位相信号がある場合に、信号量が飽和していない少なくとも2つの位相信号を選択することが好ましい。この場合、信号量の飽和の影響を回避して物体までの距離を求めることができる。
また、位相信号判定部は、複数の位相信号を取得する位相信号取得部(図34参照)と、位相信号の信号量の閾値が保存された記憶部(図34参照)と、位相信号の信号量と閾値を比較し、その比較結果を位相信号選択部に出力する位相信号比較部(図34参照)と、を含み、位相信号取得部は、複数の位相信号を取得する時間帯を1フレームとしたときに、複数の位相信号の少なくとも2つの位相信号からそれぞれが成る複数の位相信号群を1フレーム内の異なる時間帯である複数のサブフレームで取得し、位相信号選択部は、信号量が閾値以上の位相信号がある場合に該位相信号が取得されたサブフレームとは異なるサブフレームで取得された位相信号群を選択しても良い。
また、位相信号判定部は、複数の位相信号を取得する位相信号取得部(図33参照)と、複数の位相信号の信号量を比較し、その比較結果を位相信号選択部に出力する位相信号比較部(図33参照)と、を含み、位相信号取得部は、複数の位相信号を取得する時間帯を1フレームとしたときに、複数の位相信号の少なくとも2つの位相信号からそれぞれが成る複数の位相信号群を1フレーム内の異なる時間帯である複数のサブフレームで取得し、位相信号選択部は、最大の信号量になる位相信号の数が1フレーム内のサブフレームの数より少ない場合に、最大の信号量になる位相信号とは別のサブフレームで取得された位相信号群を選択しても良い。この場合、閾値を記憶するための記憶部が必要ない。
また、一実施形態及び変形例1〜3の距離センサは、位相信号選択部により選択された位相信号を用いて時間差を算出し、該時間差から距離を求める演算部(図33、図34参照)を更に備えることが好ましい。
また、位相信号判定部は、複数の位相信号を取得する位相信号取得部を含み、複数の位相信号を位相信号取得部が取得する時間帯を1フレームとしたときに、該1フレームには光源を発光しない時間帯である非発光サブフレームが含まれ、演算部は、位相信号選択部で選択された位相信号から、非発光サブフレームで取得したオフセット量を減算することが好ましい。この場合、外乱による測距精度の低下を抑制できる。
また、演算部は、演算に必要な最少の位相信号の数が2である二相式TOF演算により時間差を算出する。この場合、飽和発生時のロバスト性が高い。
また、演算部は、位相信号選択部により選択された位相信号群が複数ある場合に、複数の位相信号群をそれぞれ用いて複数の距離を求め、該複数の距離の平均値を出力しても良い。この場合、測距精度の時間的なばらつきを抑制できる。
また、演算部は、位相信号選択部により選択された位相信号群が複数ある場合に、複数の位相信号群をそれぞれ用いて複数の距離を求め、該複数の距離の中央値を出力しても良い。この場合、測距精度の時間的なばらつきを抑制できる。
また、演算部は、位相信号選択部により選択された位相信号群が複数ある場合に、複数の位相信号群をそれぞれ用いて複数の距離を求め、複数の距離の差分もしくは標準偏差が最も小さくなる距離を選択して出力しても良い。この場合、測距精度の時間的なばらつきを抑制できる。
また、一実施形態及び変形例1〜3の距離センサは、受光部毎に位相信号のオフセット量が保存される記憶部(記憶媒体)を更に備え、演算部は、記憶部に保存されたオフセット量から、位相信号選択部により選択された位相信号のオフセット量を決定し、該位相信号から該オフセット量の減算を行ない、該減算後の位相信号を用いて時間差を算出することが好ましい。この場合、測距精度を向上できる。
また、位相信号判定部による判定と位相信号選択部による選択と演算部による演算の少なくとも2つが並行して行われることが好ましい。この場合、経時的な測定条件の変化に対応することができる。
また、一実施形態及び変形例1〜3の距離センサのいずれかを有する移動体によれば、衝突安全性に優れた移動体を提供できる。
また、一実施形態及び各変形例の測距方法は、光を射出する工程と、該射出する工程で射出され物体で反射された光を受光し、受光した光を電気信号に変換し、該電気信号を時間的に分割し複数の位相信号に振り分けてそれぞれ一時的に蓄積する工程と、光の射出タイミングと受光タイミングの時間差を算出し、該時間差から物体までの距離を求める工程と、を含み、求める工程は、位相信号の信号量が飽和しているか否かを判定するサブ工程と、判定するサブ工程での判定結果に基づいて、時間差の算出に用いる位相信号を選択するサブ工程と、を含む。
この場合、遠距離物体や低反射物体の測距精度が低下しない程度の比較的大きさ光量の光を光源から射出したときに近距離物体や高反射物体の測距で位相信号の信号量が飽和しても、その飽和の影響を受けない位相信号を用いて時間差、さらには距離を算出できる。
この結果、遠距離物体や低反射物体に対する測距精度の低下を抑制しつつ、近距離物体や高反射物体に対して高精度な測距をより安定して行うことができる。
また、求める工程は、選択された位相信号を用いて時間差を算出するサブ工程と、時間差から距離を算出するサブ工程と、を含むことが好ましい。
また、選択するサブ工程では、信号量が飽和している位相信号がある場合に、信号量が飽和していない少なくとも2つの位相信号を選択することが好ましい。この場合、信号量の飽和の影響を回避して物体までの距離を求めることができる。
なお、上記実施形態及び各変形例では、投光系が非走査型であるが、光偏向器(例えばポリゴンミラー、ガルバノミラー、MEMSミラー等)を含む走査型であっても良い。この場合、例えば、一方向に配列された複数の発光部(ライン光源)からそれぞれ射出された複数の光を、発光部の配列方向に非平行な方向(例えば垂直な方向)に走査して、複数の発光部に対応して該配列方向に平行に配列された複数の受光部(ラインイメージセンサ)で受光しても良い。また、単一の発光部からの光を光偏向手段で2次元走査して、物体からの反射光をエリアイメージセンサで受光しても良い。
また、上記実施形態及び各変形例では、単一のLED(発光部)をパルス発光させ、物体からの反射光をエリアイメージセンサで受光する場合について説明したが、これに限定されるものではない。
例えば、2次元配列された複数の発光部を順次パルス点灯させ、各発光パルスの物体からの反射光を単一の受光部で順次受光しても良い。
また、例えば、物体の3次元情報ではなく、単にある物体までの距離を測定する場合には、投光系の光源及び受光系の受光部は、いずれも単数であっても良い。
また、上記実施形態及び各変形例において、制御系203での処理の一部を位置制御装置40が行っても良いし、位置制御装置40での処理の一部を制御系203が行っても良い。
また、上記実施形態及び各変形例では、走行管理装置10が1つの距離センサを備える場合について説明したが、これに限定されるものではない。走行体の大きさ、測定領域などに応じて、複数の距離センサを備えても良い。
また、上記実施形態及び各変形例では、距離センサが走行体の進行方向を監視する走行管理装置10に用いられる場合について説明したが、これに限定されるものではない。例えば、走行体の後方や側面を監視する装置に用いられても良い。
また、上記実施形態及び各変形例では、距離センサが走行体(移動体)に用いられる場合について説明したが、これに限定されるものではない。例えば、距離センサは、有人航空機、無人航空機(例えばドローン)、船舶等の移動体や、自身の位置を確認しながら自律的に移動するロボットや、物体の3次元形状を測定する3次元計測装置に用いられても良い。
以上の説明から分かるように、本発明の測距装置及び測距方法は、間接TOF法を利用した測距技術全般に広く適用することが可能である。
すなわち、本発明の測距装置及び測距方法は、物体の2次元情報の取得や、物体の有無の検出にも用いることができる。
また、上記実施形態及び各変形例の説明で用いた数値、形状等は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
以下に、発明者らが上記実施形態及び各変形例を発案するに至った思考プロセスを説明する。
3次元センサの1つに、強度変調した照射光を投射し測定対象で反射されて戻ってくるまでの飛行時間を検出して測定対象までの距離を求める、Time of Flight(TOF)法を用いた“TOFセンサ”が既に知られており、種々ある3次元センシング方式の中でも、その高速性の原理的優位性から、昨今さまざまな用途への開発が進められている。例えば、ジェスチャー認識や、ロボットや自動車などの移動体の位置制御などへの応用が期待されている。
TOF法には、直接TOF法と間接TOF法があり、一般的に間接TOF法の方が近距離測定に有利であると言われている。
間接TOF法を用いるTOFセンサは、高精度に測定するためには照射光強度を大きくする必要がある。しかし、遠距離にある物体や反射率の低い物体と、近距離にある物体や反射率の高い物体とを同時に測定する場合、遠距離にある物体や反射率の低い物体を高精度に測定をするために照射光強度を大きくすると、近距離にある物体や反射率の高い物体からの反射光の強度が大きくなりすぎるために、信号量の飽和が起こるという課題があった。
そこで、特許文献1(特許5743390号公報)には、近距離側での信号の飽和と遠距離側での信号の不足による測距精度の悪化を抑制する目的で、出力距離に上下2つの閾値を持たせ、閾値を超えるもしくは下回ったときに照射光強度を変えて近距離でも測定可能かつ遠距離で測定精度を保つ測距装置が開示されている。
しかし、特許文献1では、調整前後で対象物が動いた場合や、調整後に反射率の高い物体が新しく測定面内に侵入した場合など、調整後の環境の変化による信号の飽和について改善の余地がある。またレンズの絞りの駆動機構など、ハードウェアに工夫が必要であり、信号の飽和に対応する前に1度所定の条件での測定を行なうことを必要とするのでリアルタイム性という観点で改善の余地がある。すなわち、特許文献1では、特に近距離側で高精度な測距を安定して行うという観点で改善の余地がある。
そこで、発明者らは、近距離側で高精度な測距を安定して行うという課題を解決すべく、上記実施形態及び各変形例を発案するに至った。