JP6727539B2 - 距離センサ、走行体、ロボット及び３次元計測装置 - Google Patents

Description

本発明は、距離センサ、走行体、ロボット及び３次元計測装置に係り、更に詳しくは、光によって物体までの距離を計測するための距離センサ、該距離センサを有する走行体、ロボット及び３次元計測装置に関する。

近年、物体までの距離を計測するための距離センサの開発が盛んに行われている。

この距離センサとして、強度変調された光（参照光）を射出し、該光が物体で反射して戻ってくるまでの時間（以下では、「遅延時間」ともいう）に基づいて物体までの距離を求める、いわゆるＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）演算方式を用いた距離センサがある。

この距離センサを用いると、所定の空間領域内にある物体の情報（物体情報）を取得することが可能であり、自動車やロボットなどの位置制御への応用が期待されている。

ところで、特許文献１には、被写体を撮像することにより、当該被写体の立体形状を画像形式で表した第１の距離画像を算出するための基準画像を生成する第１の撮像部と、第１の撮像部と異なる位置から被写体を撮像することにより、第１の距離画像を算出するための参照画像を生成する第２の撮像部と、基準画像と参照画像との間における対応画素を探索する対応画素探索部と、対応画素から視差を算出して第１の距離画像を生成する第１の距離画像生成部と、強度変調された赤外光を被写体に向けて照射する光源と、強度変調と同期した同期信号を第１の撮像部に供給する同期信号供給部とを備え、第１の撮像部は、強度変調された赤外光が被写体から反射した反射光を、同期信号に基づいて受光することにより、被写体の反射点からの距離情報を含む第２の距離画像をさらに生成する立体撮像装置が開示されている。

ＴＯＦ演算方式には、遅延時間を直接検出する方式（以下では、「直接ＴＯＦ法」ともいう）と、受光信号を使った演算から遅延時間を検出する方式（以下では、「間接ＴＯＦ法」ともいう）とがある。

ところで、近距離にある物体までの距離測定（以下では、単に「近距離測定」ともいう）に関しては、間接ＴＯＦ法の方が直接ＴＯＦ法よりも測定精度に優れていると言われている。そして、間接ＴＯＦ法では、光源から射出される光の強度変調周波数が高いほど測定距離の分解能が向上する。

一般的に、ＴＯＦ演算方式では、物体で反射した光（以下では、単に「反射光」ともいう）が、光源から射出される光の強度変調周波数における１周期以上分遅れて戻ってきた場合、それが何周期分遅れたのかを判別することができない。すなわち、ＴＯＦ演算方式では、遅延時間が光源から射出される光の強度変調周波数における１周期内に収まる距離が測定可能距離となる。

しかしながら、ＴＯＦ演算方式を用いた従来の距離センサでは、測定距離の分解能向上を狙って光源から射出される光の強度変調周波数を高くすると、測定可能距離が短くなるという不都合があった。

本発明は、パルス光を射出する光源と、前記光源から射出され物体で反射された光を受光して電気信号に変換する撮像素子を有する複数の受光手段と、前記複数の受光手段の出力に基づいて、前記物体までの距離を求める距離取得部とを備え、前記複数の受光手段における前記撮像素子は、それぞれ前記物体に対する視点が互いに異なるように配置され、該複数の撮像素子は、前記電気信号を時間的に複数の信号に分割して前記距離取得部に出力し、前記距離取得部は、前記複数の信号からＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）演算方式を用いて、前記パルス光に対する前記電気信号の遅延時間を算出するとともに、前記複数の受光手段に対する複数の距離画像情報を算出し、該複数の距離画像情報に基づいて視差情報を求め、該視差情報に基づいて前記遅延時間を補正する、距離センサである。

本発明の距離センサによれば、測定距離の分解能向上と測定可能距離の増大を両立させることができる。

本発明の一実施形態に係る距離センサを搭載した走行体の外観図である。 走行管理装置の構成を説明するためのブロック図である。 距離センサの構成を説明するための図である。 光射出系を説明するための図である。 パルス制御信号を説明するための図である。 光源駆動信号を説明するための図である。 第１の検出系を説明するための図である。 第２の検出系を説明するための図である。 ３次元情報取得部の構成を説明するためのブロック図である。 ３次元情報取得部の制御部と各イメージセンサとの間の信号を説明するための図である。 ４位相式の正弦波変調方式におけるＴＸ１信号、ＴＸ２信号、ＴＸＤ信号及びリセット信号を説明するためのタイミングチャートである。 図１１におけるサブフレームＡを説明するためのタイミングチャートである。 図１１におけるサブフレームＢを説明するためのタイミングチャートである。 位相角差φを説明するための図である。 遅延時間Ｔｄを説明するための図である。 ２位相式のパルス変調方式におけるＴＸ１信号、ＴＸ２信号、ＴＸＤ信号及びリセット信号を説明するためのタイミングチャートである。 エイリアシングを説明するための図である。 周期判定を説明するための図（その１）である。 周期判定を説明するための図（その２）である。 視差と測距値との関係を説明するための図である。 図２１（Ａ）は、従来のＴＯＦ演算方式を用いた場合のフレーム構成を説明するための概略図であり、図２１（Ｂ）は、本実施形態におけるフレーム構成を説明するための概略図である。 音声・警報発生装置の構成を説明するためのブロック図である。 変形例を説明するための図（その１）である。 変形例を説明するための図（その２）である。 変形例におけるフレーム構成を説明するための概略図である。

以下、本発明の一実施形態を図１〜図２２に基づいて説明する。図１には、一実施形態に係る距離センサ２０を搭載した走行体１の外観が示されている。この走行体１は、荷物を目的地に無人搬送するものである。なお、本明細書では、ＸＹＺ３次元直交座標系を用い、路面に直交する方向をＺ軸方向、走行体１の前進方向を＋Ｘ方向として説明する。

ここでは、距離センサ２０は、一例として、走行体１の前部に取り付けられ、走行体１の＋Ｘ側（前方）の３次元情報を求める。なお、距離センサ２０による測定可能な領域を測定領域ともいう。

走行体１の内部には、一例として図２に示されるように、表示装置３０、位置制御装置４０、メモリ５０、及び音声・警報発生装置６０などが備えられている。これらは、データの伝送が可能なバス７０を介して電気的に接続されている。

ここでは、距離センサ２０と、表示装置３０と、位置制御装置４０と、メモリ５０と、音声・警報発生装置６０とによって、走行管理装置１０が構成されている。すなわち、走行管理装置１０は、走行体１に搭載されている。また、走行管理装置１０は、走行体１のメインコントローラ８０と電気的に接続されている。

距離センサ２０は、一例として図３に示されるように、光射出系２０１、第１の光検出系２０２、３次元情報取得部２０３、第２の光検出系２０４、及び変調周波数制御部２０５などを有している。そして、これらは、筐体内に収納されている。この筐体は、光射出系２０１から射出される光及び、物体で反射され、第１の光検出系２０２及び第２の光検出系２０４に向かう光が通過するための窓を有し、該窓にはガラスが取り付けられている。

変調周波数制御部２０５は、３次元情報取得部２０３の指示により、光射出系２０１から射出される光の強度変調周波数を制御するための信号（以下では、「パルス制御信号」ともいう）を生成する。このパルス制御信号は、光射出系２０１、第１の光検出系２０２及び第２の光検出系２０４、並びに３次元情報取得部２０３に出力される。

光射出系２０１は、Ｘ軸方向に直交する方向に関して、第１の光検出系２０２と第２の光検出系２０４との間に配置されている。なお、図３では、光射出系２０１がＺ軸方向に関して第１の光検出系２０２と第２の光検出系２０４との間に配置されている場合について示されているが、これに限定されるものではなく、例えば、光射出系２０１がＹ軸方向に関して第１の光検出系２０２と第２の光検出系２０４との間に配置されていても良い。

この光射出系２０１は、一例として図４に示されるように、光源２１及び光源駆動部２５などを有している。

光源２１は、光源駆動部２５によって点灯及び消灯される。ここでは、光源２１としてＬＥＤが用いられているが、これに限定されるものではない。光源２１は、＋Ｘ方向に光を射出するように配置されている。なお、以下では、光源駆動部２５で生成され、光源２１を駆動するための信号を「光源駆動信号」という。

光源駆動部２５は、変調周波数制御部２０５からのパルス制御信号（図５参照）に基づいて、光源駆動信号（図６参照）を生成する。この光源駆動信号は、光源２１に送出される。

これにより、光源２１からは、変調周波数制御部２０５から指示されたパルス幅のパルス光が光源２１から射出される。なお、以下では、光源２１から射出される光を「検出光」ともいう。

図２に戻り、走行体１のメインコントローラ８０は、走行体１を走行させる際に、位置制御の開始要求を位置制御装置４０に送出する。そして、走行体１のメインコントローラ８０は、走行体１が目的位置に到達すると、位置制御の終了要求を位置制御装置４０に送出する。

位置制御装置４０は、位置制御の開始要求、及び位置制御の終了要求を受け取ると、距離センサ２０に通知する。距離センサ２０では、３次元情報取得部２０３が、該通知を受信する。

距離センサ２０から射出され物体で反射された光の一部は、距離センサ２０に戻ってくる。以下では、便宜上、物体で反射され距離センサ２０に戻ってくる光を「物体からの反射光」ともいう。

第１の光検出系２０２及び第２の光検出系２０４は、物体からの反射光を検出する。第１の光検出系２０２は、一例として図７に示されるように、第１の結像光学系２８ａ及び第１のイメージセンサ２９ａなどを有している。第２の光検出系２０４は、一例として図８に示されるように、第２の結像光学系２８ｂ及び第２のイメージセンサ２９ｂなどを有している。

結像光学系２８ａ及び結像光学系２８ｂは、物体からの反射光の光路上に配置され、該光を集光する。ここでは、各結像光学系は１枚のレンズで構成されているが、２枚のレンズで構成されても良いし、３枚以上のレンズで構成されても良い。また、各結像光学系として、ミラー光学系が用いられても良い。

イメージセンサ２９ａは、結像光学系２８ａを介した物体からの反射光を受光する。イメージセンサ２９ｂは、結像光学系２８ｂを介した物体からの反射光を受光する。ここでは、各イメージセンサとして、ＣＭＯＳ撮像素子を用いている。そして、第１の光検出系２０２及び第２の光検出系２０４は、イメージセンサ２９ａの物体に対する視点とイメージセンサ２９ｂの物体に対する視点とが互いに異なるように配置されている。

３次元情報取得部２０３は、一例として図９に示されるように、２つのＡＤＣ（３０１、３０２）、ＴＯＦ演算部３０３、視差演算部３０４、周期判定部３０５、出力部３０６、制御部３０７、及び距離算出部３０８などを有している。

ＡＤＣ３０１は、イメージセンサ２９ａの出力をＡＤ変換する。ＡＤＣ３０２は、イメージセンサ２９ｂの出力をＡＤ変換する。

ＴＯＦ演算部３０３は、ＡＤＣ３０１の出力に基づいてＴＯＦ演算を行う。視差演算部３０４は、ＡＤＣ３０１の出力とＡＤＣ３０２の出力とに基づいて、物体に対する視差を求める。

周期判定部３０５は、視差演算部３０４の出力から周期を判定する。なお、この周期判定部３０５の詳細については後述する。

距離算出部３０８は、ＴＯＦ演算部３０３の出力と周期判定部３０５の出力とから、物体までの距離を求める。なお、この距離算出部３０８の詳細については後述する。

出力部３０６は、距離算出部３０８の出力（３次元情報）をバス７０を介して位置制御装置４０に送出する。制御部３０７は、３次元情報取得部２０３の全体を制御する。

ここでは、ＴＯＦ演算部３０３、視差演算部３０４、周期判定部３０５、制御部３０７、及び距離算出部３０８は、ＣＰＵとプログラムとによって実現されている。なお、ＣＰＵとプログラムとによって実現される処理の一部をハードウェアで実現しても良い。

制御部３０７は、一例として図１０に示されるように、ＴＸ１信号、ＴＸ２信号、ＴＸＤ信号及びリセット信号をイメージセンサ２９ａ及びイメージセンサ２９ｂに出力する。

イメージセンサ２９ａ及びイメージセンサ２９ｂは、２つの電荷蓄積部を有しており、ＴＸ１信号がハイレベルのときは、一方の電荷蓄積部に電荷を蓄積し、ＴＸ２信号がハイレベルのときは、他方の電荷蓄積部に電荷を蓄積する。また、イメージセンサ２９ａ及びイメージセンサ２９ｂは、ＴＸＤ信号がハイレベルのときは、電荷の蓄積を行わず、リセット信号がハイレベルになると、２つの電荷蓄積部に蓄積されている電荷量を０にする。

ここで、ＴＯＦ演算方式で用いられる正弦波変調方式及びパルス変調方式について説明する。

先ず、正弦波変調方式について説明する。正弦波変調方式とは、入射する光を時間的に３つ以上に分割して検出した各信号を用いて位相差角を演算し、発光パルスに対する受光パルスの遅延時間Ｔｄを求める方法である。

一例として４位相式の正弦波変調方式について図１１〜図１３を用いて説明する。なお、光源２１の発光周期をＴ_１とし、発光パルス幅をＴ_０とする。そこで、デューティ（ｄｕｔｙ）は、（Ｔ_０／Ｔ_１）×１００である。ここでは、一例として、デューティを５０％としているが、これに限定されるものではない。

図１１には、４位相式の正弦波変調方式におけるＴＸ１信号、ＴＸ２信号、ＴＸＤ信号及びリセット信号のタイミングチャートが示されている。ここでは、１フレームは、サブフレームＡとサブフレームＢとからなっている。

図１２には、図１１におけるサブフレームＡの部分が示されている。このサブフレームＡでは、ＴＸ１信号は、光源２１から射出されるパルス光に対する位相が０°の読み出し信号である。また、ＴＸ２信号は、光源２１から射出されるパルス光に対する位相が１８０°の読み出し信号である。

図１３には、図１１におけるサブフレームＢの部分が示されている。このサブフレームＢでは、ＴＸ１信号は、光源２１から射出されるパルス光に対する位相が９０°の読み出し信号である。また、ＴＸ２信号は、光源２１から射出されるパルス光に対する位相が２７０°の読み出し信号である。

ここでは、サブフレームＡにおける、ＴＸ１信号によるイメージセンサ２９の出力信号（電圧）をＶ０とし、ＴＸ２信号によるイメージセンサ２９の出力信号（電圧）をＶ１８０とする。また、サブフレームＢにおける、ＴＸ１信号によるイメージセンサ２９の出力信号（電圧）をＶ９０とし、ＴＸ２信号によるイメージセンサ２９の出力信号（電圧）をＶ２７０とする。

ＴＯＦ演算部３０３は、画素毎に次の（１）式を用いて位相角差φ（図１４参照）を求める。
φ＝ａｒｃｔａｎ｛（Ｖ９０−Ｖ２７０）／（Ｖ０−Ｖ１８０）｝ ……（１）

さらに、ＴＯＦ演算部３０３は、次の（２）式を用いて発光パルスに対する受光パルスの遅延時間Ｔｄ（図１５参照）を求める。
Ｔｄ＝（φ／２π）×２Ｔ_０ ……（２）

次に、パルス変調方式について説明する。パルス変調方式とは、入射する光を時間的に２つ以上に分割して検出した各信号を用いて、発光パルスに対する受光パルスの遅延時間Ｔｄを求める方法である。

一例として２位相式のパルス変調方式について図１６を用いて説明する。図１６には、２位相式のパルス変調方式におけるＴＸ１信号、ＴＸ２信号、ＴＸＤ信号及びリセット信号のタイミングチャートが示されている。ＴＸ１信号は、光源２１から射出されるパルス光に対する位相が０°の読み出し信号である。また、ＴＸ２信号は、光源２１から射出されるパルス光に対する位相が１８０°の読み出し信号である。

ＴＯＦ演算部３０３は、次の（３）式を用いて発光パルスに対する受光パルスの遅延時間Ｔｄを求める。
Ｔｄ＝｛Ｖ１８０／（Ｖ０＋Ｖ１８０）｝×Ｔ_０ ……（３）

ところで、ＴＯＦ演算方式では、物体からの反射光が、検出光における変調周波数の１周期以上分遅れて戻ってきた場合、それが何周期分遅れて来たのかを判別することができない。すなわち、ＴＯＦ演算方式では、一般的に１周期の遅延内に収まる距離が測定可能距離となる。

ここで、エイリアシングについて、図１７を用いて説明する。距離センサ２０からの距離がｄ（ｏｂｊ）の位置に物体があるとする。そして、ＴＯＦ演算部３０３によって、発光パルスに対する受光パルスの遅延時間ＴｄとしてＴｄ_１（ｏｂｊ）が得られたものとする。しかし、Ｔｄ_１（ｏｂｊ）は変調周波数の周期以上の遅れが含まれているため、物体までの距離がｄＡと誤判定されてしまう。なお、測定可能距離の最大値ｄ１は、光速をｃとすると、次の（４）式で示される。
ｄ１＝２Ｔ_０×ｃ／２ ……（４）

次に、視差演算について説明する。ここでは、画像情報として輝度信号を用いる場合について説明する。この場合、各イメージセンサから出力される信号から、Ｖ０＋Ｖ１８０、及びＶ９０＋Ｖ２７０を用いて、検出光による物体の輝度情報を得ることができる。そして、イメージセンサ２９ａ及びイメージセンサ２９ｂのそれぞれで取得された輝度情報を用いて二次元マップを作成することにより、それぞれの視野内の輝度画像を得ることができる。

視差演算部３０４は、イメージセンサ２９ａ及びイメージセンサ２９ｂで得られた２つの輝度画像に対して、視差演算を行う。ここで行う視差演算は、いわゆるステレオ法を用いている。

ステレオ法は、異なる場所に位置する２つ以上の撮像手段により測定対象を撮像し、得られたそれぞれの画像情報において対応点を求め、三角測量の原理で測定対象までの距離を求める手法である。対応点探索手法（パターンマッチング手法）として、様々な手法が提案されているが、大別すると特徴ベースマッチングと領域ベースマッチングに分けられる。

特徴ベースマッチングは、画像からエッジやコーナー等の特徴点を抽出し、特徴点についてのみ対応点探索を行う手法である。疎な対応付けとなるが、計算コストが非常に低い点が特徴である。局所特徴量としては、ＳＩＦＴやＳＵＲＦといった指標が提案されている。

領域ベースマッチングは、任意の領域をウインドウで区切って、類似尺度（ＳＡＤ、ＳＳＤ、ＰＯＣ等）を用いて対応点を探索する手法である。密な対応付けとなり、計算コストが高くなる点が特徴である。

また、対応点探索の前処理として、撮像手段の内部パラメータ（焦点距離、ディストーションなど）、及び外部パラメータ（撮像手段間の位置関係など）を用いた画像平行化処理を行うことが一般的であり、様々な手法が提案されている。

画像平行化処理を行った場合、ステレオ法による測距値ｄｓは、次の（５）式から求められる。ここで、ｆは焦点距離、ｄは基線長、ｄｉｓは対応点探索より求められた視差である。
ｄｓ＝ｆ×ｄ／ｄｉｓ ……（５）

周期判定部３０５は、視差演算部３０４で算出された距離情報（視差情報）に基づいて、ＴＯＦ演算部３０３の出力に対する周期判定を行う。視差演算による測距の場合、ＴＯＦ演算方式による測距とは異なり。演算結果の折り返しは生じない。このため視差演算による測距結果を用いて、ＴＯＦ演算部３０３の出力に対する周期判定が可能である。なお、周期判定部３０５は、一例として図１８に示されるように、変調周波数の周期を単位とするパルス発光からの経過時間と視差演算による測距結果との関係を示す情報（以下では、便宜上、「周期−距離対応情報」ともいう）を有している。

例えば、図１９に示されるように、視差演算部３０４で算出された距離ｄｓ（ｏｂｊ）が、２周期目の測距範囲内であると、距離算出部３０８は、次の（６）式を用いて、ＴＯＦ演算部３０３で得られた遅延時間Ｔｄを補正し、補正された遅延時間ＴＤを求める。
ＴＤ＝Ｔ_１＋Ｔｄ ……（６）

すなわち、距離算出部３０８は、物体で反射した光が、パルス光の強度変調周波数における周期に対して、ｎ（ｎは自然数）周期分遅れて受光され、ＴＯＦ演算部３０３で得られた遅延時間がＴｄのとき、パルス光の強度変調周波数における周期をＴ_１とすると、ｎ×Ｔ_１＋Ｔｄを、補正された遅延時間ＴＤとする。

そして、距離算出部３０８は、補正された遅延時間ＴＤを用いて物体までの距離ｄ（ｏｂｊ）を求める。

なお、ここでは、距離算出部３０８は、物体までの距離ｄ（ｏｂｊ）を含む物体の位置に関する３次元情報を出力部３０６に出力する。

ここで、本実施形態の一構成例をより具体的に説明する。ＴＯＦ演算方式を用いた距離の測定では、変調周波数が高いほど、高い測距分解能を得ることが可能である。なお、以下では、距離測定の分解能を「測距分解能」ともいう。ここでは、変調周波数を８０ＭＨｚ、パルス発光のデューティを５０％とする。この場合、数ｍｍの測距分解能を実現することができる。

このとき、パルス幅Ｔ_０は６．２５ｎｓｅｃであり、４位相式の正弦波変調方式を用いる場合、測定可能距離は１．８７５ｍである。

ところで、測定可能距離として５ｍ程度が確保できると、ロボットビジョンやヒューマンマシンインターフェイスなどの様々な分野への展開が期待できる。この場合、読み出し信号における位相の繰り返しが最大３回発生するため、視差演算ではこれらにおける周期判別が実現できれば良い。

各イメージセンサとして用いているＣＭＯＳ撮像素子は、現在は、一般的な撮像素子と比べて低画素が主流である。ここでは３２０×２４０ｐｘ（ピクセル）のＱＶＧＡタイプを用いるものとする。撮像画角を全角５０度、基線長１５０ｍｍとしたときの視差と視差演算による測距値との関係が図２０に示されている。

視差演算では、対応点探索を行うことで対象物の視差を求めるが、求めた視差がＡ〜Ｃのいずれの範囲に位置しているかを求めれば周期判別ができ、対応点探索の探索精度としては比較的低精度で構わない。また、対象物のエッジやコーナー等の特徴点を用いた疎なマッチングでよく。計算コストが低い特徴ベースマッチング手法を用いるのが望ましい。

以上の構成をとることで、数ｍｍの測距分解能を５ｍ以上にわたって確保することが可能となり、測定可能距離に関して３倍の拡大効果が得られる。

従来のＴＯＦ演算方式を用いた場合のフレーム構成が図２１（Ａ）に概略的に示され、本実施形態におけるフレーム構成が図２１（Ｂ）に概略的に示されている。従来のＴＯＦ演算方式を用いた場合、ＴＯＦ演算までに４つの出力信号を取得する。本実施形態の場合、ＴＯＦ演算に加えて視差演算を行うが、視差演算には４つの出力信号を用いる必要はなく、また、ＴＯＦ演算を行うための出力信号と同じものを用いることができる。そのため、視差演算のための新たな信号取得の必要はない。また、視差演算は、Ｖ０，Ｖ１８０を取得した直後から行えば良く、Ｖ９０、Ｖ２７０の取得及びＴＯＦ演算と並行して処理を進めることができる。これより、従来と比較しても高速性に対する影響は小さい。すなわち、ＴＯＦ演算方式の特長である高速性を犠牲にすることなく、高い距離分解能と測定可能距離の拡大を両立することが可能となる。

図２に戻り、位置制御装置４０は、３次元情報取得部２０３から３次元情報を受け取ると、該３次元情報を表示装置３０に表示する。また、位置制御装置４０は、３次元情報に基づいて、走行体１の位置が所定の位置となるように、位置制御を行う。

音声・警報発生装置６０は、一例として図２２に示されるように、音声合成装置６１、警報信号生成装置６２及びスピーカ６３などを有している。

音声合成装置６１は、複数の音声データを有しており、位置制御装置４０から危険有りの情報を受け取ると、対応する音声データを選択し、スピーカ６３に出力する。

警報信号生成装置６２は、位置制御装置４０から危険有りの情報を受け取ると、対応する警報信号を生成し、スピーカ６３に出力する。

以上の説明から明らかなように、本実施形態に係る距離センサ２０では、第１の光検出系２０２と第２の光検出系２０４によって、本発明の距離センサにおける複数の受光手段が構成されている。また、３次元情報取得部２０３によって、本発明の距離センサにおける距離取得部が構成されている。

以上説明したように、本実施形態に係る距離センサ２０は、光射出系２０１、第１の光検出系２０２、３次元情報取得部２０３、第２の光検出系２０４、及び変調周波数制御部２０５を有している。第１の光検出系２０２は、イメージセンサ２９ａを有し、第２の光検出系２０４は、イメージセンサ２９ｂを有している。各イメージセンサは、ＣＭＯＳ撮像素子である。

３次元情報取得部２０３は、２つのＡＤＣ（３０１、３０２）、ＴＯＦ演算部３０３、視差演算部３０４、周期判定部３０５、出力部３０６、制御部３０７、及び距離算出部３０８などを有している。

ＴＯＦ演算部３０３は、イメージセンサ２９ａの出力を用いて、発光パルスに対する受光パルスの遅延時間Ｔｄを求める。視差演算部３０４は、イメージセンサ２９ａの出力とイメージセンサ２９ｂの出力とを用いて、物体の視差を求める。周期判定部３０５は、視差演算部３０４の演算結果から、物体で反射した光が、検出光の強度変調周波数における周期に対して、何周期分遅れて受光されたのかを判別し、距離算出部３０８は、周期判定部３０５での判別結果に基づいて、ＴＯＦ演算部３０３での演算結果を補正する。この場合は、物体までの距離がＴＯＦ演算方式における従来の測定可能距離よりも長くても、物体までの距離を高い分解能で求めることができる。

また、視差演算部３０４での視差演算は、Ｖ９０、Ｖ２７０の取得及びＴＯＦ演算と並行して行うことができる。

そこで、本実施形態に係る距離センサ２０によると、高速性を損なうことなく、測定距離の分解能向上と測定可能距離の増大を両立させることができる。

そして、走行体１は、距離センサ２０を有しているため、信頼性に優れた走行ができる。

なお、上記実施形態では、視差演算部３０４において、各イメージセンサで得られた２つの輝度画像に対して、視差演算を行う場合について説明したが、これに限定されるものではなく、各イメージセンサで得られた２つの距離画像に対して、視差演算を行っても良い。

ここでの距離画像とは、各画素に測距値が格納された二次元画像を指す。距離画像であっても、輝度画像と同様に測定物体のエッジやコーナー等の特徴点は得られるため、上述の視差演算及び周期判別が可能となる。

ところで、光源波長に対する対象物体の反射率と背景物体の反射率とが同程度である場合、輝度画像においては対象物体の特徴点の抽出が困難な場合がある。そのような場合において、対象物体と背景物体の間では測距値の差があるため、距離画像においては特徴点が抽出しやすい。そこで、光源波長に対する対象物体の反射率と背景物体の反射率とが同程度である場合、視差演算に距離画像を用いることで、視差演算の確実性が増し、周期判別の高精度化を図ることができる。

また、２つの輝度画像を用いた視差演算結果と２つの距離画像を用いた視差演算結果とを比較し、視差演算の信頼性判定や、視差演算の補間などを行うと、更なる高精度化を図ることができる。

なお、上記実施形態では、各イメージセンサがいずれもＣＭＯＳ撮像素子である場合について説明したが、これに限定されるものではない。イメージセンサ２９ａ及びイメージセンサ２９ｂのいずれかが、ＲＧＢ撮像素子であっても良い。

変形例として、イメージセンサ２９ｂがＲＧＢ撮像素子の場合について説明する。この変形例では、図２３に示されるように、変調周波数制御部２０５からのパルス制御信号は、第２の光検出系２０４では不要である。また、図２４に示されるように、イメージセンサ２９ｂへのＴＸ１信号、ＴＸ２信号、ＴＸＤ信号、リセット信号の送出も不要である。

この場合、ＴＯＦ演算部３０３では、イメージセンサ２９ａの出力信号を用いて遅延時間Ｔｄを求めることができる。そして、視差演算部３０４では、イメージセンサ２９ａからの輝度画像又は距離画像と、イメージセンサ２９ｂ（ＲＧＢ撮像素子）からのＲＧＢ輝度画像を用いて視差演算を行う。このように異なる画像情報であっても、対象物体のエッジやコーナー等の特徴点は得られるため、周期判定部３０５では、周期判定を行うことができる。

図２５には、この変形例におけるフレーム構成が概略的に示されている。Ｖ０、Ｖ１８０の取得とＲＧＢ輝度信号の取得とが並行して行われる。また、Ｖ９０、Ｖ２７０の取得及びＴＯＦ演算と並行して視差演算の処理を進めることができる。これより、従来と比較しても高速性に対する影響は小さい。すなわち、ＴＯＦ演算方式の特長である高速性を犠牲にすることなく、高い距離分解能と測定可能距離の拡大を両立することが可能となる。

この変形例では、対象物体の三次元構造及びＲＧＢ輝度情報を同時に取得することができ、対象物体の三次元モデリングとテクスチャー情報の取り込みなどに利用することができる。

また、上記実施形態では、距離センサ２０が２つの光検出系を有する場合について説明したが、これに限定されるものではない。距離センサ２０が３つ以上の光検出系を有していても良い。但し、少なくとも１つの光検出系は、上記実施形態におけるイメージセンサと同様な撮像素子を有している必要がある。

また、上記実施形態では、距離センサ２０において、光源２１から射出されるパルス光のデューティが５０％の場合について説明したが、これに限定されるものではない。

また、上記実施形態において、３次元情報取得部２０３での処理の一部を位置制御装置４０が行っても良いし、位置制御装置４０での処理の一部を３次元情報取得部２０３が行っても良い。

また、上記実施形態では、走行管理装置１０が１つの距離センサ２０を備える場合について説明したが、これに限定されるものではない。走行体の大きさ、測定領域などに応じて、複数の距離センサ２０を備えても良い。

また、上記実施形態では、距離センサ２０が走行体の進行方向を監視する走行管理装置１０に用いられる場合について説明したが、これに限定されるものではない。例えば、走行体の後方や側面を監視する装置に用いられても良い。

また、上記実施形態では、距離センサ２０が走行体に用いられる場合について説明したが、これに限定されるものではない。例えば、距離センサ２０が自身の位置を確認しながら自律的に移動するロボットや、物体の３次元形状を測定する３次元測定装置に用いられても良い。

１…走行体、１０…走行管理装置、２０…距離センサ、２１…光源、２５…光源駆動部、２８ａ…第１の結像光学系、２８ｂ…第２の結像光学系、２９ａ…第１のイメージセンサ、２９ｂ…第２のイメージセンサ、４０…位置制御装置、５０…メモリ、６０…音声・警報発生装置、８０…メインコントローラ、２０１…光射出系、２０２…第１の光検出系（複数の受光手段の一部）、２０３…３次元情報取得部（距離取得部）、２０４…第２の光検出系（複数の受光手段の一部）、２０５…変調周波数制御部、３０１…ＡＤＣ、３０２…ＡＤＣ、３０３…ＴＯＦ演算部、３０４…視差演算部、３０５…周期判定部、３０６…出力部、３０７…制御部、３０８…距離算出部、Ｔ_０…発光パルス幅、Ｔ_１…発光周期。

ＷＯ２０１２／１３７４３４号公報

Claims (9)

1. パルス光を射出する光源と、
   前記光源から射出され物体で反射された光を受光して電気信号に変換する撮像素子を有する複数の受光手段と、
   前記複数の受光手段の出力に基づいて、前記物体までの距離を求める距離取得部とを備え、
   前記複数の受光手段における前記撮像素子は、それぞれ前記物体に対する視点が互いに異なるように配置され、該複数の撮像素子は、前記電気信号を時間的に複数の信号に分割して前記距離取得部に出力し、
   前記距離取得部は、前記複数の信号からＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）演算方式を用いて、前記パルス光に対する前記電気信号の遅延時間を算出するとともに、前記複数の受光手段に対する複数の距離画像情報を算出し、該複数の距離画像情報に基づいて視差情報を求め、該視差情報に基づいて前記遅延時間を補正する、距離センサ。
2. 前記距離取得部は、前記視差情報に基づいて、前記物体で反射した光が、前記パルス光の強度変調周波数における周期に対して、何周期分遅れて受光されたのかを判別し、前記遅延時間を補正することを特徴とする請求項１に記載の距離センサ。
3. 前記距離取得部は、前記物体で反射した光が、前記パルス光の強度変調周波数における周期に対して、ｎ（ｎは自然数）周期分遅れて受光され、前記遅延時間がＴｄのとき、前記パルス光の強度変調周波数における周期をＴ_１とすると、ｎ×Ｔ_１＋Ｔｄを、補正された遅延時間とすることを特徴とする請求項２に記載の距離センサ。
4. 前記距離取得部は、前記視差情報を求める処理と、前記電気信号を時間的に複数の信号に分割する前記撮像素子の出力を取得する処理を、時間的に並行して行うことを特徴とする請求項１〜３のいずれか一項に記載の距離センサ。
5. 前記距離取得部は、前記光源から射出されるパルス光に対する位相が互いに異なる複数の読み出し信号を前記複数の受光手段の撮像素子に出力することを特徴とする請求項１〜４のいずれか一項に記載の距離センサ。
6. 前記複数の撮像素子は、ＣＭＯＳ撮像素子であることを特徴とする請求項１〜５のいずれか一項に記載の距離センサ。
7. 請求項１〜６のいずれか一項に記載の距離センサを有する走行体。
8. 請求項１〜６のいずれか一項に記載の距離センサを有するロボット。
9. 請求項１〜６のいずれか一項に記載の距離センサを有する３次元計測装置。
   

Images