JP7369094B2 - 距離計測システム、及び距離計測方法 - Google Patents

Description

本発明は、距離計測システム、及び距離計測方法に関する。

例えば、特許文献１には、測距機能及び撮像機能を備える測距センサ（ステレオカメラ等）の対を仮想ステレオカメラとして、２台のそれぞれで撮像された画像上に存在する同一の物体までの距離を計測するステレオカメラシステムが記載されている。該ステレオカメラシステムによれば、測距センサ単体での測距可能範囲の外の物体を測距することができる。

特開２０２０－５１９０３号公報

測距センサの対を仮想ステレオカメラとする場合、測距センサが複数存在すると、仮想ステレオカメラを構成するための測距センサの対の組み合わせは複数考えられる。

一般に、ステレオカメラは、２台のカメラ間の距離である基線長が長いほど、より遠くの対象物を測距できる。また、基線長が異なる複数のステレオカメラで同一の距離に位置する対象物を測距した場合、基線長の長い方が測距の精度が高い。ただし、基線長が長い場合、近距離の対象物を測距できないこともある。よって、測距センサの対を仮想ステレオカメラとする場合には、最適な測距センサの対を選択する必要がある。

本発明は、上記の点に鑑みてなされたものであって、仮想ステレオカメラを構成するための最適な測距センサの対を選択できるようにすることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。

上記課題を解決するため、本発明の一態様に係る距離計測システムは、自己の画角範囲を撮像する撮像機能及び前記画角範囲内の対象物までの距離を計測する測距機能を有する３台以上の測距センサと、前記３台以上の測距センサを２台ずつ組み合わせた前記測距センサの対を複数設定するセンサ対設定部と、前記対象物の位置に応じて、設定された複数の前記測距センサの対のいずれかを選択するセンサ対選択部と、選択された前記測距センサの対を仮想ステレオカメラとし、選択された前記測距センサの対それぞれにより共通の前記対象物を撮像して得られた２枚の画像を用いた三角法により前記対象物までの距離を演算する距離演算部と、を備えることを特徴とする。

本発明によれば、仮想ステレオカメラを構成するための最適な測距センサの対を選択することが可能となる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

図１は、本発明の第１の実施形態に係る距離計測システムの構成例を示す図である。 図２は、複数の測距センサの配置例を示す図である。 図３は、仮想ステレオカメラを構成する測距センサの対の例を示す図である。 図４は、距離計測システムによる距離計測処理の第１の例を説明するフローチャートである。 図５は、測距センサの列と直交する方向に空間を区分して複数の領域を設けた場合の例を示す図である。 図６は、距離計測システムによる距離計測処理の第２の例を説明するフローチャートである。 図７は、測距センサの列に平行な方向に空間を区分して複数の領域を設けた例を示す図である。 図８は、測距センサの列に平行な方向及び直交する方向に空間を区分して複数の領域を設けた例を示す図である。 図９は、本発明の第２の実施形態に係る距離計測システムの構成例を示す図である。 図１０は、本発明の第３の実施形態に係る距離計測システムの構成例を示す図である。

以下、本発明の複数の実施形態について図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

＜本発明の第１の実施形態に係る距離計測システム１０の構成例＞
図１は、本発明の第１の実施形態に係る距離計測システム１０の構成例を示している。

距離計測システム１０は、複数の測距センサ２０_１～２０_Ｎ（Ｎは３以上の整数）、及び３次元画像処理装置３０を備える。以下、測距センサ２０_１～２０_Ｎを個々に区別する必要がない場合、単に測距センサ２０と称する。

測距センサ２０は、自己の画角範囲に位置する対象物までの距離を計測する測距機能と、自己の画角範囲を撮像する撮像機能とを有する。測距センサ２０は、例えば、ステレオカメラ、ＴｏＦ(Time of Flight)カメラ、測距機能付単眼カメラ等が想定される。

測距センサ２０は、３次元画像処理装置３０からの制御に従って測距を行い、その計測結果を３次元画像処理装置３０に出力する。また、測距センサ２０は、撮影した画像を３次元画像処理装置３０に出力する。例えば、測距センサ２０がステレオカメラである場合、測距の際に撮像した２枚の画像の一方を３次元画像処理装置３０に出力すればよい。

３次元画像処理装置３０は、Ｎ台の測距センサ２０のうちの２台の測距センサ２０によって仮想ステレオカメラを構成し、ステレオ視（三角法）により対象物までの距離を演算する。

３次元画像処理装置３０は、ＣＰＵ(Central Processing Unit)等のプロセッサ、ＤＲＡＭ(Dynamic Random Access Memory)等のメモリ、ＨＤＤ(Hard Disk Drive)やＳＳＤ(Solid State Drive)等のストレージ、通信インターフェース、及びユーザインターフェースを備えるパーソナルコンピュータ等のコンピュータによって実現される。

３次元画像処理装置３０は、センサ対設定部３１、センサ対選択部３２、画像取得部３３、距離演算部３４、及び測距画像生成部３５の機能ブロックを有する。これらの機能ブロックは、３次元画像処理装置３０を実現するコンピュータのプロセッサが所定のプログラムを実行することによって実現される。

センサ対設定部３１は、Ｎ台の測距センサ２０の位置情報を予め保持しており、Ｎ台の測距センサ２０を２台ずつ組み合わせた対を設定する。例えば、Ｎが３である場合、３種類の測距センサ２０の対を設定する。センサ対設定部３１は、設定した測距センサ２０の対毎に、その位置と基線長（２台の測距センサ２０の間の距離）をセンサ対選択部３２に出力する。

センサ対選択部３２は、Ｎ台の測距センサ２０のうち、対象物を測距可能な測距センサ２０に対して対象物までの距離及び方向の少なくとも一方を計測させる。また、センサ対選択部３２は、１台の測距センサ２０によって計測された対象物の距離及び方向の少なくとも一方に基づき、センサ対設定部３１によって設定された複数の測距センサ２０の対のうち、仮想ステレオカメラを構成するための最適な対を選択する。

画像取得部３３は、センサ対選択部３２によって選択された測距センサ２０の対それぞれから、測距の際に撮像した画像を１枚ずつ取得して距離演算部３４に出力する。なお、測距センサ２０がステレオカメラである場合、測距の際に同時に２枚の画像を撮像するので、そのうちの一方を取得すればよい。また、ＴｏＦカメラ、測距機能付単眼カメラ等のように、測距センサ２０が測距に際に撮像しない場合には、撮像させて、その結果得られる画像を取得すればよい。

距離演算部３４は、選択された測距センサ２０の対の間の距離を基線長Ｂとし、選択された測距センサ２０の対それぞれが撮像した、合計２枚の画像における同一の対象物の視差Ｓを検出し、測距センサ２０の焦点距離ｆを用い、次式（１）を用いて対象物までの距離Ｄを演算する。
Ｄ＝Ｂ×ｆ／Ｓ ・・・（１）

測距画像生成部３５は、各測距センサ２０の画角範囲２１内に複数のサンプル点を設定し、サンプル点を対象物と見做して測距した値を画素値とする測距画像を生成する。さらに、測距画像生成部３５は、各測距センサ２０に対応する測距画像を結合することにより、すべての測距センサ２０の画角範囲２１に対応する測距画像（以下、３次元画像と称する）を生成する。

次に、図２は、測距センサ２０_１～２０_Ｎの配置例を示している。ただし、同図の場合は測距センサ２０の数Ｎが３の場合を示している。

同図の例では、３台の測距センサ２０_１～２０_３が直線状、且つ、等間隔で配置されている。なお、測距センサ２０の配置は、直線状、且つ、等間隔に限らない。例えば、円弧状に配置されてもよいし、非等間隔で配置されてもよい。

測距センサ２０_１は、一点鎖線で表す扇形の画角範囲２１_１を有する。測距センサ２０_２，２０_３についても同様である。

次に、図３は、センサ対設定部３１が設定するＮ台の測距センサ２０うちの２台を組み合わせた対の例を示している。

Ｎ台の測距センサ２０を２台ずつ対にする場合、Ｎ！／（（Ｎ－２）！・２！）種類の対が設定できる。

同図の最上段に示すように測距センサ２０の数Ｎが３である場合、設定可能な測距センサ２０の対は、測距センサ２０_１と測距センサ２０_２、測距センサ２０_１と測距センサ２０_３、及び、測距センサ２０_２と測距センサ２０_３の３種類となる。

＜距離計測システム１０による距離計測処理の第１の例＞
次に、図４は、距離計測システム１０による距離計測処理の第１の例を説明するフローである。

図５は、距離計測処理の第１の例を説明するための図であり、測距センサ２０の列と平行な線（または面）により測距センサ２０の列と直交する方向（本発明の距離方向に相当）に空間を区分して複数の領域（同図の場合、領域ａ，ｂ，ｃ）を設けた場合の例を示している。なお、同図の場合、区分線を測距センサ２０の画角範囲２１が交差する位置に設けているが、区分線の位置はこれに限らない。また、区分数は３に限らず、２または４以上であってもよい。

距離計測処理の前提として、既に、センサ対設定部３１により、Ｎ台の測距センサ２０を２台ずつ組み合わせたＮ！／（（Ｎ－２）！・２！）種類の対が設定済みであるとする。

距離計測処理は、例えば、３次元画像処理装置３０に対するユーザからの所定の操作に応じて開始される。

始めに、センサ対選択部３２が、Ｎ台の測距センサ２０に対象物までの大まかな距離を測距させる（ステップＳ１）。なお、２台以上の測距センサ２０によって対象物が測距できた場合、その統計値（例えば、平均値、最大値、最小値等）を、対象物までの大まかな距離に採用すればよい。

次に、センサ対選択部３２が、ステップＳ１で測距された対象物の大まかな距離に基づき、対象物が位置する領域を判断する。そして、センサ対選択部３２が、対象物が位置する領域（領域ａ，ｂ，ｃのいずれか）に応じて、仮想ステレオカメラを構成するための最適な測距センサ２０の対を選択する（ステップＳ２）。この選択は、基本的には、対象物が撮像できることを条件に、基線長が長くなる対を選択するようにする。

例えば、図５に示される対象物Ｘ_１のように、測距センサ２０の列から最も遠い領域ａに位置しており、３台すべての測距センサ２０によって測距されている場合、基線長が最も長くなる測距センサ２０_１，２０_３の対を選択する。

また例えば、図５に示される対象物Ｘ_２のように、領域ａに位置しており、測距センサ２０_１では画角範囲２１_１から外れているために測距できず、測距センサ２０_２，２０_３で測距できている場合、測距センサ２０_２，２０_３の対を選択する。

また例えば、図５に示される対象物Ｘ_３のように、測距センサ２０の列から２番目に遠い領域ｂに位置しており、測距センサ２０_３では画角範囲２１_３から外れているために測距できず、測距センサ２０_１，２０_２で測距できている場合、測距センサ２０_１，２０_２の対を選択する。

ただし、例えば、図５に示される対象物Ｘ_４のように、測距センサ２０の列から最も近い領域ｃに位置しており、測距センサ２０_３でのみ測距及び撮像ができる場合、測距センサ２０の対は選択されず、測距センサ２０_３によって測距された距離が採用されて距離計測処理は終了される。

次に、画像取得部３３が、センサ対選択部３２によって選択された測距センサ２０の対それぞれから、対象物を撮像した画像を１枚ずつ取得し、合計２枚の画像を距離演算部３４に出力する（ステップＳ３）。

次に、距離演算部３４が、選択された測距センサ２０の対の間の距離を基線長Ｂとし、２枚の画像における同一の対象物の視差Ｓを検出し、測距センサ２０の焦点距離ｆを用い、式（１）を用いて対象物までの距離Ｄを演算する。

以上で、距離計測システム１０による距離計測処理は終了される。距離計測処理の第１の例によれば、対象物が遠くに位置するほど、基線長が長くなる対を選択して仮想ステレオカメラを構成するので、測距センサ２０単体で測距する場合に比べて、高い精度で測距することが可能となる。

なお、上述した距離計測処理を、各測距センサ２０の画角範囲２１内に設定した複数のサンプル点を対象物と見做して繰り返し実行し、その結果を用いることにより、測距画像生成部３５が測距画像を生成できる。さらに、各測距センサ２０に対応する測距画像を結合し、３次元画像を生成できる。

＜距離計測システム１０による距離計測処理の第２の例＞
次に、図６は、距離計測システム１０による距離計測処理の第２の例を説明するフローである。

図７は、距離計測処理の第２の例を説明するための図であり、測距センサ２０の列と直交する線（または面）により測距センサ２０の列に平行な方向（本発明の距離方向に直交する方向に相当）に空間を区分して複数の領域（同図の場合、領域１，２，３）を設けた場合の例を示している。なお、同図の場合、区分線を測距センサ２０の正面方向に設けているが、区分線の位置はこれに限らない。また、区分数は３に限らず、２または４以上であってもよい。

距離計測処理の前提として、センサ対設定部３１が、Ｎ台の測距センサ２０を２台ずつ組み合わせたＮ！／（（Ｎ－２）！・２！）種類の対を設定済みであるとする。

距離計測処理は、例えば、３次元画像処理装置３０に対するユーザからの所定の操作に応じて開始される。

始めに、センサ対選択部３２が、Ｎ台の測距センサ２０に対象物までの角度（各測距センサ２０の正面を基準とする角度）を大まかに計測させる（ステップＳ１１）。なお、実際には、Ｎ台のうちの少なくとも１台の測距センサ２０が対象物までの角度を大まかに計測できればよい。

次に、センサ対選択部３２が、ステップＳ１１で計測された対象物の大まかな角度に基づき、対象物が位置する領域を判断する。そして、センサ対選択部３２が、対象物が位置する領域に応じて、仮想ステレオカメラを構成するための最適な対を選択する（ステップＳ１２）。対象物が撮像できることを条件に、基線長が長くなる対を選択するようにする。

なお、２台以上の測距センサ２０が対象物の大まかな角度を計測できた場合、２方向から対象物までの大まかな角度に基づいて対象物までの大まかな距離を幾何学的に計算し、対象物の大まかな方向及び距離に基づいて対象物が位置する領域を判断してもよい。

例えば、図７に示される対象物Ｘ_１のように、すべての測距センサ２０の画角範囲２１が重複する領域２に位置している場合、基線長が最も長くなる測距センサ２０_１，２０_３の対を選択する。

また例えば、図７に示される対象物Ｘ_２のように、測距センサ２０_１の画角範囲２１_１と測距センサ２０_２の画角範囲２１_２とが重複し得る領域１に位置している場合、測距センサ２０_１，２０_２の対を選択する。

また、例えば、図７に示される対象物Ｘ_３のように、測距センサ２０_２の画角範囲２１_２と測距センサ２０_３の画角範囲２１_３とが重複し得る領域３に位置している場合、測距センサ２０_２，２０_３の対を選択する。

ただし、対象物Ｘ_４のように、領域３の位置しているものの、測距センサ２０_２の画角範囲２１_２にだけ位置し、測距センサ２０_３の画角範囲２１_３には位置していないこともある。このような場合には、測距センサ２０_３によって測距される距離を採用すればよい。

次に、画像取得部３３が、センサ対選択部３２によって選択された測距センサ２０の対それぞれに対象物を撮像させ、対のそれぞれから１枚ずつ対象物の画像を取得し、合計２枚の画像を距離演算部３４に出力する（ステップＳ１３）。

次に、距離演算部３４が、選択された測距センサ２０の対の間の距離を基線長Ｂとし、測距センサ２０の対それぞれから取得された合計２枚の画像における同一の対象物の視差Ｓを検出し、測距センサ２０の焦点距離ｆを用い、式（１）を用いて対象物までの距離Ｄを演算する。

以上で、距離計測システム１０による距離計測処理は終了される。距離計測処理の第２の例によれば、第１の例を同様の作用、効果を得ることができる。

なお、上述した距離計測処理を、各測距センサ２０の画角範囲２１内に設定した複数のサンプル点を対象物と見做して繰り返し実行し、その結果を用いることにより、測距画像生成部３５が測距画像を生成できる。さらに、各測距センサ２０に対応する測距画像を結合し、３次元画像を生成できる。

なお、上述した距離計測処理の第１の例と第２の例とを組み合わせてもよい。図８は、距離計測処理の第１の例と第２の例とを組み合わせた場合を説明するための図であり、測距センサ２０の列と平行な方向及び直交する方向に空間を区分して複数の領域（同図の場合、領域ａ１，ｂ１，ｃ１，ａ２，ｂ２，ｃ２，ａ３，ｂ３，ｃ３）を設けた場合の例を示している。

同図に示されるように、空間を測距センサ２０の列と平行な方向及び直交する方向に空間を区分して複数の領域を設定すれば、仮想ステレオカメラを構成するより適切な測距センサ２０の対を選択でき、測距の精度を向上させることが可能となる。

＜本発明の第２の実施形態に係る距離計測システム９０の構成例＞
次に、図９は、本発明の第２の実施形態に係る距離計測システム９０の構成例を示している。距離計測システム９０は、距離計測システム１０（図１）にセンサ対選択記憶部９１を追加したものである。距離計測システム９０と距離計測システム１０とで共通する構成要素については、同一の符号を付してその説明を省略する。

センサ対選択記憶部９１は、上述した対象物が位置する領域と、選択された測距センサ２０の対を対応付けたテーブルを記憶する。この場合、センサ対選択部３２は、対象物が位置する領域を判断した後、センサ対選択記憶部９１に記録されているテーブルを参照することにより、速やかに測距センサ２０の対を選択することができる。よって、距離計測処理の高速化が可能となる。

＜本発明の第３の実施形態に係る距離計測システム１００の構成例＞
次に、図１０は、本発明の第３の実施形態に係る距離計測システム１００の構成例を示している。距離計測システム１００は、距離計測システム９０（図９）にセンサ対記憶更新判別部１０１を追加したものである。距離計測システム１００と距離計測システム９０とで共通する構成要素については、同一の符号を付してその説明を省略する。

センサ対記憶更新判別部１０１は、所定の判断基準に基づき、センサ対選択記憶部９１が記憶するテーブルの更新が必要であるか否か判断する。所定の判断基準は、例えば、外部から入力してよいし、周期的に必要と判断するようにしてもよい。そして、センサ対記憶更新判別部１０１は、テーブルの更新が必要であると判断した場合、センサ対設定部３１、及びセンサ対選択部３２からの情報に基づいて、記憶しているテーブルを更新する。

センサ対選択記憶部９１に記録されているテーブルを更新することで、より高い精度の可能となる。

本発明は、上述した実施形態に限定されるものではなく、様々な変形が可能である。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えたり、追加したりすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０・・・距離計測システム、２０・・・測距センサ、２１・・・画角範囲、３０・・・３次元画像処理装置、３１・・・センサ対設定部、３２・・・センサ対選択部、３３・・・画像取得部、３４・・・距離演算部、３５・・・測距画像生成部、９０・・・距離計測システム、９１・・・センサ対選択記憶部、１００・・・距離計測システム、１０１・・・センサ対記憶更新判別部

Claims (8)

1. 自己の画角範囲を撮像する撮像機能及び前記画角範囲内の対象物までの距離を計測する測距機能を有する３台以上の測距センサと、
   前記３台以上の測距センサを２台ずつ組み合わせた前記測距センサの対を複数設定するセンサ対設定部と、
   前記対象物の位置に応じて、設定された複数の前記測距センサの対のいずれかを選択するセンサ対選択部と、
   選択された前記測距センサの対を仮想ステレオカメラとし、選択された前記測距センサの対それぞれにより共通の前記対象物を撮像して得られた２枚の画像を用いた三角法により前記対象物までの距離を演算する距離演算部と、
   前記対象物の位置と、選択された前記測距センサの対とを対応付けた情報を記憶するセンサ対選択記憶部と、
   前記センサ対選択記憶部の情報を更新するセンサ対記憶更新判別部と、を備え、
   前記センサ対選択部は、前記センサ対選択記憶部の情報を参照して、前記測距センサの対を選択する
   ことを特徴とする距離計測システム。
2. 請求項1に記載の距離計測システムであって、
   前記センサ対選択部は、前記測距センサによって計測された前記対象物までの距離及び方向の少なくとも一方に基づき、前記対象物が位置する領域に応じて、設定された複数の前記測距センサの対のいずれかを選択する
   ことを特徴とする距離計測システム。
3. 請求項２に記載の距離計測システムであって、
   前記センサ対選択部は、前記測距センサから距離方向に空間を区分した複数の領域のいずれに前記対象物が位置するかに応じて、設定された複数の前記測距センサの対のいずれかを選択する
   ことを特徴とする距離計測システム。
4. 請求項２に記載の距離計測システムであって、
   前記センサ対選択部は、前記測距センサから距離方向に直交する方向に空間を区分した複数の領域のいずれに前記対象物が位置するかに応じて、設定された複数の前記測距センサの対のいずれかを選択する
   ことを特徴とする距離計測システム。
5. 請求項２に記載の距離計測システムであって、
   前記センサ対選択部は、前記測距センサから距離方向及び前記距離方向に直交する方向に空間を区分した複数の領域のいずれに前記対象物が位置するかに応じて、設定された複数の前記測距センサの対のいずれかを選択する
   ことを特徴とする距離計測システム。
6. 請求項１に記載の距離計測システムであって、
   前記３台以上の測距センサは、直線状に配置されている
   ことを特徴とする距離計測システム。
7. 請求項１に記載の距離計測システムであって、
   演算された前記対象物までの距離に基づいて測距画像を生成する測距画像生成部、
   を備えることを特徴とする距離計測システム。
8. 自己の画角範囲を撮像する撮像機能及び前記画角範囲内の対象物までの距離を計測する測距機能を有する３台以上の測距センサ、を備える処理計測システムの距離計測方法であって、
   前記３台以上の測距センサを２台ずつ組み合わせた前記測距センサの対を複数設定するセンサ対設定ステップと、
   前記対象物の位置に応じて、設定された複数の前記測距センサの対のいずれかを選択するセンサ対選択ステップと、
   選択された前記測距センサの対を仮想ステレオカメラとし、選択された前記測距センサの対それぞれにより共通の前記対象物を撮像して得られた２枚の画像を用いた三角法により前記対象物までの距離を演算する距離演算ステップと、
   前記対象物の位置と、選択された前記測距センサの対とを対応付けた情報をセンサ対選択記憶部に記録する記録ステップと、
   前記センサ対選択記憶部の情報を更新するセンサ対記憶更新判別ステップと、を含み、
   前記センサ対選択ステップは、前記センサ対選択記憶部の情報を参照して、前記測距センサの対を選択する
   ことを特徴とする距離計測方法。

Images