JP2024079592A - 測距システム及びプログラム - Google Patents

Abstract

【課題】複数の受光部それぞれの出力に基づく距離情報の補正精度に優れた測距システム及びプログラムを提供する。【解決手段】開示の一態様に係る測距システムは、投射光を投光する投光部と、物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、前記距離情報を補正する補正部と、を備え、前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、前記複数の受光部の数は、３つ以上であり、３つ以上の前記受光部により、前記重複領域は、少なくとも２つ形成され、前記補正部は、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力に基づき、前記距離情報の補正を行う。【選択図】 図１

Description

本開示は、測距システム及びプログラムに関する。

光を投光してから反射光を受光するまでの時間に基づき物体までの距離を測定するＴｏＦ（Time of Flight）方式の測距システム、測距装置及び測距方法が知られている。

また、複数の第１種デバイスと、複数の第２種デバイスと、を備えた複合入出射装置が開示されている（例えば、特許文献１参照）。この装置では、複数の第２種デバイス等の複数の受光部のそれぞれによる測定範囲が隣接する受光部による測定範囲に重なり合うように、複数の受光部が配置されている。この装置は、複数の受光部の出力に基づき物体を測定した場合の測定範囲に生じるずれを補正する。

しかしながら、特許文献１の装置では、複数の受光部それぞれの出力に基づく距離の測定範囲等の距離情報の補正精度に改善の余地がある。

開示の技術は、複数の受光部それぞれの出力に基づく距離情報の補正精度に優れた測距システム及びプログラムを提供することを目的とする。

開示の技術の一態様に係る測距システムは、投射光を投光する投光部と、物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、前記距離情報を補正する補正部と、を備え、前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、前記複数の受光部の数は、３つ以上であり、３つ以上の前記受光部により、前記重複領域は、少なくとも２つ形成され、前記補正部は、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力に基づき、前記距離情報の補正を行う。

開示の技術によれば、複数の受光部それぞれの出力に基づく距離情報の補正精度に優れた測距システム及びプログラムを提供することができる。

図１は、第１実施形態の測距装置の構成の一例を示す図である。 図２は、第１実施形態の測距装置の概略構成の一例を示す図である。 図３は、第１実施形態の光学系の配置の一例を示す図である。 図４は、第１実施形態の測距装置のハードウェア構成の例を示すブロック図である。 図５は、第１実施形態の測距装置の機能構成の一例を示すブロック図である。 図６は、第１実施形態の測距装置における測距プロセスを説明する図である。 図７は、ＴｏＦセンサの画角と計測対象物の位置関係を示す模式図である。 図８は、ＴｏＦセンサを用いて取得された距離画像の例を示す模式図である。 図９は、第２実施形態の測距装置の機能構成例を示すブロック図である。 図１０は、第３実施形態の測距システムの機能構成例を示すブロック図である。 図１１は、ＴｏＦセンサの画角と計測対象物の位置関係を示す模式図である。

以下、図面を参照して発明を実施するための形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。

［第１実施形態］
＜全体構成＞
図１から図３を参照して、第１実施形態の測距システムの一例である撮像装置の構成を説明する。図１は、第１実施形態の撮像装置１００の構成を示す外観斜視図、図２は、撮像装置１００の概略構成の一例を示す図である。図３は、第１実施形態の光学系の配置の一例を示す図である。

本実施形態では、撮像装置１００は、ＴоＦ方式の測距機能と、輝度カメラ（ＲＧＢカメラや白黒カメラ）としての機能を有する。また、撮像装置１００は、全天球画像を撮影することができる。なお、以下、撮像装置１００の測距装置としての機能を中心に説明するため、「撮像装置１００」を「測距装置１００」と言い換える場合がある。

図１及び図２に示すように、測距装置１００は、投光ユニット２１と、ＴｏＦ受光ユニット６１と、輝度受光ユニット３５と、基板と、を備える。また、投光ユニット２１とＴｏＦ受光ユニット６１とがＴｏＦ方式の測距装置を構成する。すなわち、投光ユニット２１とＴｏＦ受光ユニット６１とが、ＴｏＦカメラとして機能する。また、輝度受光ユニット３５が輝度カメラとして機能する。

投光ユニット２１は、計測対象領域に向けて測距光（赤外光等）を照射する。投光ユニット２１は、赤外光を放出する光源２１０と、発散角を広げる光学素子からなるＴоＦ投光系１１１（投射光学系）を含む。光源２１０からの光が、ＴＯＦ投光系１１１の光学素子を介して広角に出射される。

図２及び図３に示すＴоＦ投光系１１１の光学素子は、例えば、レンズ、回折光学素子（DOE: Diffractive Optical Element）、拡散板等を含む。光源２１０は、例えば、２次元アレイの垂直共振器型面発光レーザ（ＶＣＳＥＬ；Vertical Cavity Surface Emitting Laser）である。本実施形態の測距装置１００は、互いに反対方向を向いて配置された２個の投光ユニット２１を有している。

投光ユニット２１から出射された測距光は、計測対象領域に存在する物体（計測対象物）で反射される。ＴоＦ受光ユニット６１は、計測対象領域の物体からの反射光を受光する。ＴоＦ受光ユニット６１は、測距光に感度を有するＴоＦセンサ１１０と、入射光をＴоＦセンサ１１０へ導く光学素子からなるＴоＦ受光光学系１１２（第１受光光学系）を含む。

図２及び図３に示すＴоＦ受光光学系１１２の光学素子は、例えばレンズを含む。これに対して、ＴｏＦセンサ１１０は受光画素が二次元に配列した受光素子（ＣＭＯＳ撮像素子等）であり、各画素が計測対象領域内の各位置と対応している。そのため、ＴｏＦ受光ユニット６１は、計測対象領域内の各位置からの光を個別に受光することができる。本実施形態の測距装置１００は、互いに異なる方向を向いて配置された４個のＴоＦ受光ユニット６１を有している。

輝度受光ユニット３５は、ＣＭＯＳセンサ３３により２次元画像を取得する。輝度受光ユニット３５は、輝度画像（ＲＧＢ画像や白黒画像）を撮影するためのＣＭＯＳセンサ３３と、入射光をＣＭＯＳセンサ３３へ導く光学素子からなる輝度受光光学系１１３（第２受光光学系）を含む。輝度受光光学系１１３の光学素子は、例えばレンズを含む。

基板は、投光ユニット２１とＴоＦ受光ユニット６１と輝度受光ユニット３５とを駆動または制御するための基板である。基板は、例えばＣＭＯＳ基板、光源基板、メイン基板を含み、光源２１０、ＴоＦセンサ１１０、ＣＭＯＳセンサ３３のそれぞれとケーブル等を介して接続される。基板に形成された回路により制御部１２０が構成される。

ここで、投光ユニット２１は、投射光を投光する投光部の一例である。ＴоＦ受光ユニット６１のＴｏＦセンサ１１０は、物体で反射された投射光を含む光が入射する「受光部」の一例である。

本実施形態では、図１及び図２に示すように、測距装置１００はＺ軸方向に長い長手形状である。測距装置１００の最も＋Ｚ方向側に配設される一段目には、各々の画角が１２０度以上の４つのＴоＦ受光光学系１１２が、ＸＹ平面内の３方向と＋Ｚ方向である１方向を向くよう配置されている。

図２及び図３に示すように、測距装置１００の一段目より－Ｚ方向側に配設される二段目には、各々の画角が１８０度以上の２つのＴоＦ投光系１１１と、各々の画角が１８０度の２つの輝度受光光学系１１３とが配置されている。２つのＴоＦ投光系１１１はそれぞれ反対方向（＋Ｘ方向と－Ｘ方向）を向き、２つの輝度受光光学系１１３もそれぞれ反対方向（＋Ｙ方向と－Ｙ方向）を向いている。

測距装置１００の－Ｚ方向側の下段には、制御部１２０、バッテリー１３０が配置されている。これにより、全天球をカバーする光学系をコンパクトに配置し、測距装置を小型化することができる。

制御部１２０は、投光ユニット２１（投光部）が投光するタイミングを制御するとともに、ＴоＦ受光ユニット６１による受光を検出する。まず、制御部１２０は、光源２１０を駆動するタイミングを制御し、計測対象領域に向かって光を照射させる。さらに、ＴоＦセンサ１１０で受光した光を光電変換し、距離に関する情報を含む画像（以下、「距離画像」という）として出力する。同時に、ＣＭＯＳセンサ３３による撮像を行い、輝度画像を出力する。

ここで、ＴоＦセンサ１１０として直接ＴоＦセンサを用いた場合は、各画素での受光タイミングに基づく距離画像が出力される。一方、ＴоＦセンサ１１０として間接ＴоＦセンサを用いる場合、詳細は後述するが、異なる４つの位相において各画素での受光量に基づく位相画像が出力される。４つの位相画像から距離画像を生成することができる。

＜測距装置のハードウェア構成＞
次に、図４を参照して、第１実施形態の測距装置１００のハードウェア構成の一例を説明する。図４は、第１実施形態の測距装置１００のハードウェア構成の例を示すブロック図である。図４に示されるように、本実施形態の測距装置１００における制御部１２０は、ＣＰＵ（Central Processing Unit）２４１と、ＲＯＭ（Read Only Memory）２４２と、ＲＡＭ（Random Access Memory）２４３と、Ｉ／Ｏポート２４４とを備えている。

ＣＰＵ２４１は、ＲＯＭ２４２等の記憶媒体に記憶されたプログラムを実行することにより、順次、分岐及び反復処理等を実行する演算装置である。ＲＯＭ２４２は、ＣＰＵ２４１で実行されるプログラム等が記憶された不揮発性記憶装置である。ＲＡＭ２４３は、ＣＰＵ２４１の動作のワークエリア（作業領域）として機能するメモリである。Ｉ／Ｏポート２４４は、各種信号の入出力を行うインターフェースである。また、これらは、バスを介して相互に接続される。プログラムは、ＲＯＭ２４２以外の記録媒体に記憶させていてもよい。記録媒体の例として、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ－ＲＯＭ、メモリーカード等が挙げられる。また、プログラムは、通信回線を介して、ＲＯＭ２４２にインストールされてもよい。なお、測距装置１００の制御部１２０は、「コンピュータ」の一例である。

＜測距装置の機能構成＞
次に、図５を参照して、第１実施形態の測距装置１００の機能構成の一例を説明する。図５は、第１実施形態の測距装置１００の機能構成例を示すブロック図である。測距装置１００は、前述のプログラムを実行することで、以下の機能を実現するための各種処理、ステップを実行する。

図５に示されるように、測距装置１００は、光源２１０、ＴｏＦセンサ１１０、温度測定部２３、制御部１２０を有する。制御部１２０は、光源２１０、ＴｏＦセンサ１１０の各種動作を制御する。また、制御部１２０は、投光制御部１２、受光制御部２２、制御演算部３０、補正部４０等を有する。

投光制御部１２は、所定のタイミングに基づいて測距光ＬＯを投光するよう、光源２１０の駆動を制御する。また、投光制御部１２は、投光のタイミングとともに測距光ＬＯの変調周波数、露光時間、繰り返し回数などの情報を光源２１０に出力する。光源２１０は、投光制御部１２から出力されるこれらの情報に基づき、計測対象物Ｏに測距光ＬＯを投光する。なお、本実施形態の投光制御部１２は、ＣＰＵ２４１等によって実現される。

受光制御部２２は、計測対象物Ｏにより反射され、ＴｏＦセンサ１１０で受光される反射光ＬＲの受光タイミングを制御する。ここで、ＴｏＦセンサ１１０の受光センサ面は複数の「電荷蓄積窓」を有する。受光制御部２２は、電荷蓄積窓の開閉を個別に制御するタイミングをＴｏＦセンサ１１０に出力し、このタイミングに基づき反射光ＬＲの受光が行われる。ＴｏＦセンサ１１０は、各電荷蓄積窓の開閉のタイミングで、受光した反射光に応じた電荷を蓄積する。なお、本実施形態の受光制御部２２は、ＣＰＵ２４１等によって実現される。

ＴｏＦセンサ１１０は、受光した反射光ＬＲに係る電荷蓄積窓ごとの蓄積電荷量の情報を制御演算部３０に出力する。電荷蓄積窓ごとの蓄積電荷量の情報を受けた制御演算部３０は、測距に必要な演算を行う。すなわち、制御演算部３０は、ＴｏＦセンサ１１０からの出力に基づいて計測対象物Ｏの距離情報を算出する。制御演算部３０は、「測距処理部」の一例である。なお、本実施形態の制御演算部３０は、ＣＰＵ２４１等によって実現される。

温度測定部２３は、ＴｏＦセンサ１１０付近に配置され、ＴｏＦセンサ１１０の測距時の温度を検出する。温度測定部２３の例として、サーミスター等の温度センサが挙げられる。

補正部４０は、制御演算部３０で演算された計測対象物Ｏの距離情報を補正する。例えば、補正部４０は、あらかじめ温度に対する測距値の変化を関数またはテーブル情報として取得し、測距時に、温度測定部２３から出力されるＴｏＦセンサ１１０の温度情報を用いて距離情報を補正してもよい。ただし、補正部４０による距離情報の補正は、測距時のＴｏＦセンサ１１０の温度情報以外の情報に基づくものであってもよい。なお、本実施形態の補正部４０は、ＣＰＵ２４１等によって実現される。また、直接ＴｏＦセンサを備える測距装置では、ＴｏＦセンサ１１０からの出力に基づき算出される受光タイミング（受光時間）を補正する。

位相制御部１４は、投光制御部１２を介して光源２１０の発光タイミングのシフトによる位相の制御を行う。なお、本実施形態の位相制御部１４は、ＣＰＵ２４１等によって実現される。

＜測距プロセス＞
次に、図６を参照して、第１実施形態の測距装置１００における測距プロセスの一例を説明する。図６は、第１実施形態の測距装置１００における測距プロセスを説明する図である。まず、測距装置１００の測距プロセスでは、測距光ＬＯの光量変化が「理想的な矩形形状」である場合を想定する。なお、測距装置１００の測距プロセスは、間接ＴｏＦ方式に基づくプロセスである。ただし、測距プロセスは、間接ＴｏＦ方式に限られず、直接ＴｏＦ方式であってもよい。

図６に示されるように、測距装置１００の測距プロセスは、反射光ＬＲを４つの電荷蓄積窓の開閉により４つの電荷蓄積によりサンプリングする。ここで、図５の最上位の「Ｏｕｔｐｕｔ」に、投光される測距光ＬＯのパルス幅が示される。測距光ＬＯは、パルス幅πを有し、位相０で投光される。なお、測距光ＬＯのパルス幅は、投光制御部１２から出力される「変調周波数ｆ_ｍｏｄ」により定まる。

図６の「Ｒｅｆｌｅｃｔ」に、計測対象物Ｏから反射された反射光ＬＲのパルス幅が示される。反射光ＬＲは、測距光ＬＯの光量変化に応じて矩形形状を有する。また、反射光ＬＲは、パルス幅πを有する。

図６の「Ｎ０」に、第１の電荷蓄積窓の開閉タイミングが示される。また、「Ｎ１」に、第２の電荷蓄積窓の開閉タイミングが示される。また、「Ｎ２」に、第３の電荷蓄積窓の開閉タイミングが示される。また、「Ｎ３」に、第４の電荷蓄積窓の開閉タイミングが示される。

図６に示される「Ｄｅｐｔｈ」は、測距光ＬＯが投光されてから、計測対象物Ｏに反射されてＴｏＦセンサ１１０により受光が開始されるまでの時間間隔に対応する「位相差」である。測距されるべき距離は、このＤｅｐｔｈに対応する位相差の「１／２の位相差に対応する距離」である。ＴｏＦセンサ１１０の受光面は、前述のＮ０からＮ３の４つの「電荷蓄積窓」を有し、これら４つの電荷蓄積窓が受光制御部２２から与えられるタイミングで順次に開閉し、受光量に応じた電荷の蓄積を行う。

具体的には、ＴｏＦ方式における測距プロセスでは、投射光が計測対象物Ｏに当たり戻ってくるまでの時間差τ_ｄに対し、光速ｃ、光源２１０から計測対象物Ｏまでの距離ｄｓと計測対象物ＯからＴｏＦセンサ１１０までの距離ｄｒとすると、合計距離ｄについて
ｄ＝（ｄｓ＋ｄｒ）＝ｃτ_ｄ・・・（１）
が成立する。本実施形態における測距プロセスで用いる間接ＴｏＦ方式では、直接的に時間差τ_ｄを測定するのではなく、光源２１０からの出力信号と、受光信号間の位相差φから距離を求める。

ＴｏＦセンサ１１０によって検出されるのはあくまで光源２１０から出射された測距光ＬＯが通った距離なので、測定結果である合計距離ｄは、一般的な装置における、「装置から計測対象物Ｏまでの距離Ｄ」の２倍の数値となる。ここでは、光源２１０とＴｏＦセンサ１１０とが対称な場所に位置し、ｄｓ＝ｄｒとみなせる場合を仮定する。

このとき、
ｄ＝２Ｄ＝（ｃ／２πｆ_ｍｏｄ）×φ・・・式（２）
より、
Ｄ＝（ｃ／４πｆ_ｍｏｄ）×φ・・・式（３）
である。

計測対象物Ｏで反射した反射光ＬＲは、ＴｏＦセンサ１１０の受光面に到達すると、「電荷蓄積窓」の開閉によって対応する位相の時間内に飛んできた反射光ＬＲの強度に応じた電荷量を蓄積する。すなわち、電荷蓄積窓Ｎ０では、投光された測距光ＬＯの投光開始と同時に電荷蓄積窓が開いて「位相πまでの受光による電荷」を蓄積する。同様に、電荷蓄積窓Ｎ１では、位相π/２から３π/２まで、電荷蓄積窓Ｎ２では、位相πから２πまで、電荷蓄積窓Ｎ３では、位相３π/２から５π/２まで、受光による電荷の蓄積を行う。

すなわち、各電荷蓄積窓が開閉するタイミングは、位相差π/２で４段階にシフトする。「各サンプリングで蓄積された電荷量」を上記電荷蓄積窓Ｎ０、Ｎ１、Ｎ２、Ｎ３に応じて、ｎ０、ｎ１、ｎ２、ｎ３で表すと、離散フーリエ変換により、位相差Ｄｅｐｔｈに対応する距離Ｄが、次式（４）のように求められる。
Ｄ＝（１／４πｆ_ｍｏｄ）×ａｒｃｔａｎ｛（ｎ１－ｎ３）／（ｎ０－ｎ２）｝・・・式（４）

＜補正の原理＞
次に、第１実施形態における距離情報の補正の原理を説明する。補正の原理を説明する際、必要に応じて、図７を参照する。図７は、ＴｏＦセンサ１１０の画角と計測対象物の位置関係を示す模式図である。

図７に示すように、本実施形態では、ＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂ、及びＴｏＦセンサ１１０ｃが、異なる３方向に、例えば互いに１２０度異なる方向を向いた状態で配置され、全体として３６０度の画角が形成されている。ＴｏＦセンサ１１０ａは、「第１の受光部」の一例である。ＴｏＦセンサ１１０ｂは、「第２の受光部」の一例である。ＴｏＦセンサ１１０ｃは、「第３の受光部」の一例である。また、ＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂ、及びＴｏＦセンサ１１０ｃは、ＴｏＦセンサ１１０ａとＴｏＦセンサ１１０ｂの画角の重複領域Ｓ、ＴｏＦセンサ１１０ｂとＴｏＦセンサ１１０ｃの画角の重複領域Ｓ'、ＴｏＦセンサ１１０ｃとＴｏＦセンサ１１０ａの画角の重複領域Ｓ''が生じるように配置されている。ＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂ、及びＴｏＦセンサ１１０ｃの受光画素の二次元配列のうち一部の領域が、重複領域Ｓ、重複領域Ｓ'又は重複領域Ｓ''に対応する受光領域となる。

重複領域Ｓは、「第１の重複領域」の一例である。重複領域Ｓ'は、「第２の重複領域」の一例である。重複領域Ｓ''は、「第３の重複領域」の一例である。重複領域Ｓ、重複領域Ｓ'、重複領域Ｓ''を総称して、「重複領域」という。図７に示す受光領域ＪＲ１は、ＴｏＦセンサ１１０ａの重複領域Ｓに対応する受光領域である。受光領域ＪＲ２は、ＴｏＦセンサ１１０ｂの重複領域Ｓに対応する受光領域である。受光領域ＪＲ３は、ＴｏＦセンサ１１０ｂの重複領域Ｓ'に対応する受光領域である。受光領域ＪＲ４は、ＴｏＦセンサ１１０ｃの重複領域Ｓ'に対応する受光領域である。受光領域ＪＲ５は、ＴｏＦセンサ１１０ｃの重複領域Ｓ''に対応する受光領域である。受光領域ＪＲ６は、ＴｏＦセンサ１１０ａの重複領域Ｓ''に対応する受光領域である。受光領域ＪＲ１、受光領域ＪＲ２、受光領域ＪＲ３、受光領域ＪＲ４、受光領域ＪＲ５、受光領域ＪＲ６を総称して、「重複領域に対応する受光領域」という。

距離Ｄは、各電荷蓄積窓の電荷量と三角比で決まるが、実際に、ＴｏＦセンサ１１０を用いて測定される測距値（距離情報）Ｄ_ａｃｔは、真の距離（真値）Ｄと誤差項Ｄ'を用いて、次式でモデル立てできる。

Ｄ_ａｃｔ＝Ｄ＋Ｄ'・・・（５）

ここで、誤差項Ｄ'は、ＴｏＦセンサ１１０の温度や個体差等、様々な要因から生じる。その中でも、温度に起因する誤差項Ｄ'は、使用時の環境によって変化し、測距値への影響が大きい。そのため、以下、誤差項Ｄ'を温度に基づく誤差として説明する。

図７に示されるように、計測対象物１，２が、ＴｏＦセンサ１１０ａの画角内（検出可能な入射光の入射範囲）に含まれるよう配置されている。また、計測対象物２，３が、ＴｏＦセンサ１１０ｂの画角内に含まれるよう配置されている。計測対象物２が、重複領域Ｓに含まれる。各々のＴｏＦセンサ１１０は、少なくとも、重複領域に対応する受光領域で受光した結果を出力し、これらの出力により測距値が算出される。

このとき、ＴｏＦセンサ１１０ａ及びＴｏＦセンサ１１０ｂを用いて測定される測距値は、以下のようになる。なお、この例では、各々のＴｏＦセンサ１１０は、重複領域外を含めたセンサ全領域の受光結果を出力するものとする。

Ｄ_ａｃｔ１１＝Ｄ１＋Ｄ１'・・・（６）
Ｄ_ａｃｔ１２＝Ｄ２＋Ｄ１'・・・（７）
Ｄ_ａｃｔ２２＝Ｄ２＋Ｄ２'・・・（８）
Ｄ_ａｃｔ２３＝Ｄ３＋Ｄ２'・・・（９）

ここで、Ｄ_ａｃｔ１１は、ＴｏＦセンサ１１０ａを用いて計測対象物１を測定した測距値である。また、Ｄ_ａｃｔ１２は、ＴｏＦセンサ１１０ａを用いて計測対象物２を測定した測距値である。また、Ｄ_ａｃｔ２２は、ＴｏＦセンサ１１０ｂを用いて計測対象物２を測定した測距値である。また、Ｄ_ａｃｔ２３は、ＴｏＦセンサ１１０ｂを用いて計測対象物３を測定した測距値である。また、Ｄ１～Ｄ３は、計測対象物１～３の理想的な測距値である。また、Ｄ１'は、ＴｏＦセンサ１１０ａの温度誤差項である。また、Ｄ２'は、ＴｏＦセンサ１１０ｂの温度誤差項である。

隣り合うＴｏＦセンサ１１０ａ及びＴｏＦセンサ１１０ｂの画角に含まれる計測対象物２に着目する。上式（７）及び式（８）において、Ｄ２は等しいため、以下の式（９）が得られる。

Ｄ_ａｃｔ１２－Ｄ１'＝Ｄ_ａｃｔ２２－Ｄ２'・・・（９）
式（９）を変形すると、式（１０）が得られる。

Ｄ_ａｃｔ１２＝Ｄ_ａｃｔ２２＋Ｄ１'－Ｄ２'・・・（１０）

式（１０）によれば、仮に、ＴｏＦセンサ１１０ａ及びＴｏＦセンサ１１０ｂの温度誤差項が既知であれば、ＴｏＦセンサ１１０ｂを用いた測距値を補正して、ＴｏＦセンサ１１０ａを用いた測距値と等しくすることができる。一方、いずれの誤差項Ｄ'も既知でない場合のＤ１'やＤ２'等の誤差項の算出方法として、例えば、各ＴｏＦセンサ１１０の誤差項と、複数のＴｏＦセンサ１１０のうちの２つのＴｏＦセンサ１１０の測距値の差とを関係づける行列の疑似逆行列を解析的な手法で求め、求められた疑似逆行列に基づき最も確からしい誤差項（Ｄ１'、Ｄ２'等）の数値を得る等の方法が挙げられる。

また、式（９）から、式（１１）を得ることができる。

Ｄ２'＝Ｄ_ａｃｔ２２－Ｄ_ａｃｔ１２＋Ｄ１'・・・（１１）

式（１１）によれば、ＴｏＦセンサ１１０ａの温度誤差項Ｄ１'が既知であれば、ＴｏＦセンサ１１０ｂの温度誤差項Ｄ２'を求めることができる。すなわち、例えば、事前実験等によって、予め１つのＴｏＦセンサ１１０（例えば、ＴｏＦセンサ１１０ａ）の温度と測距値の誤差とを対応付け、ＴｏＦセンサ１１０ａにおける温度と誤差との関数や補正テーブル等を作成しておく。そうすれば、測距時、温度測定部２３で検出されたＴｏＦセンサ１１０ａの温度から誤差を求め、更に、上式（１１）を用いて、別のＴｏＦセンサ１１０（例えば、ＴｏＦセンサ１１０ｂ）の誤差を求めることができる。最終的には、上式（１０）を用いて、ＴｏＦセンサ１１０ｂを用いた測距値を、ＴｏＦセンサ１１０ａを用いた測距値と等しくなるよう補正することができる。なお、この例は、温度に基づく誤差に関するものであるが、他の要因に基づく誤差に関しても同様である。

また、この例は、ＴｏＦセンサ１１０ａとＴｏＦセンサ１１０ｂに関するものであるが、他のＴｏＦセンサ１１０同士の関係（ＴｏＦセンサ１１０ｂとＴｏＦセンサ１１０ｃの関係、ＴｏＦセンサ１１０ｃとＴｏＦセンサ１１０ａの関係等）においても同様である。例えば、ＴｏＦセンサ１１０ｂとＴｏＦセンサ１１０ｃの重複領域Ｓ'から式（１１）と同様に、温度誤差項Ｄ２'を式に含む温度誤差項Ｄ３'が導出され、温度誤差項Ｄ１'が既知であれば、式（１１）により、温度誤差項Ｄ２'を求めることが可能であるため、結果として、温度誤差項Ｄ３'も求めることができる。これにより、すべてのＴｏＦセンサ１１０の誤差項Ｄ'を決定することができる。さらに、重複領域Ｓ''の結果を利用することで、全体として誤差が少なく、すべてのＴｏＦセンサ１１０間での連続性が保たれた距離画像を出力することができる。本実施形態では、３つのＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂ、及びＴｏＦセンサ１１０ｃの例を示したが、４つ以上のＴｏＦセンサ１１０を用いても、隣り合うＴｏＦセンサ１１０の画角の重複領域があれば、複数のＴｏＦセンサ１１０の誤差項Ｄ'のうちのいずれか１つを知ることで、他のＴｏＦセンサ１１０の誤差項Ｄ'を導出することができる。このとき、各々のＴｏＦセンサ１１０が、少なくとも１つの重複領域を有するように、複数のＴｏＦセンサ１１０の数より１つ小さい数以上の重複領域を設けることが好ましい。また、図７に示すように、複数のＴｏＦセンサ１１０によって、３６０度の画角を形成する場合は、ＴｏＦセンサ１１０の数と同数以上の重複領域を設けることが好ましい。

本実施形態では、複数の重複領域のそれぞれに、計測対象物１、計測対象物２、計測対象物３等の計測対象物が配置された状態で同時に投受光を行って測定してもよいし、所定の回動機構を用いて測距装置１００自体を回転させたり、測距装置１００が備える回動部によりＴｏＦセンサ１１０を回転させたりすることで、それぞれの重複領域を同一の計測対象物へ順に向けることで複数回の投受光を行って測定してもよい。

＜距離情報の補正＞
図７及び図８を参照して、第１実施形態の測距装置１００における距離情報の補正を説明する。図７は、ＴｏＦセンサ１１０の画角と計測対象物の位置関係を示す模式図である。図８（ａ）は、ＴｏＦセンサ１１０ａを用いて取得された距離画像の例である。また、図８（ｂ）は、ＴｏＦセンサ１１０ｂを用いて取得された距離画像の例である。

図７に示されるように、隣り合うＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂの画角の重複範囲に、計測対象物２が含まれる。このとき、図８（ａ）に示されるように、計測対象物１，２が、ＴｏＦセンサ１１０ａの出力に基づく距離画像に含まれる。また、図８（ｂ）に示されるように、計測対象物２，３が、ＴｏＦセンサ１１０ｂの出力に基づく距離画像に含まれる。すなわち、計測対象物２が、双方の距離画像に含まれる。

測距装置１００の補正部４０は、例えば、上式（１１）、温度測定部２３から出力されるＴｏＦセンサ１１０ａ近傍の温度情報、及び温度情報に基づくＴｏＦセンサ１１０ａの温度誤差を用いて、ＴｏＦセンサ１１０ａとＴｏＦセンサ１１０ｂの温度誤差を関連付ける。また、補正部４０は、上式（１０）を用いて、ＴｏＦセンサ１１０ａとＴｏＦセンサ１１０ｂとの測距値が等しくなるよう補正する。

これにより、隣り合うＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂの画角の重複領域を利用して、双方のＴｏＦセンサ１１０の出力に基づく距離画像の連続性を保つことができる。また、本実施形態によれば、複数のＴｏＦセンサ１１０の全てに対して、温度測定部２３を設ける必要がない。そのため、装置構成を簡略化し、省スペース化を図ることができる。

ところで、一般に、ＴｏＦセンサ１１０の画角の周辺部に位置する計測対象物の測距値の誤差は、ＴｏＦセンサ１１０の画角の中央部（中央領域）に位置する計測対象物の測距値の誤差に比べて大きい。すなわち、測距値の誤差は、ＴｏＦセンサ１１０の画角内の計測対象物の位置によって変わる。そのため、計測対象物が、ＴｏＦセンサ１１０の画角の中央部に位置するときの測距値に基づいて補正する方法では、隣り合うＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂからの出力に基づく距離画像の連続性が保たれない場合がある。

このような事態を避けるため、本実施形態では、隣り合うＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂの画角の周辺部に画角の重複領域Ｓが設けられるよう、双方のＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂの画角の範囲や位置を調整する。その結果、隣り合うＴｏＦセンサ１１０ａ、ＴｏＦセンサ１１０ｂの出力に基づく距離画像の連続性を保つことができる。

また、距離画像の連続性を保ちつつ、ＴｏＦセンサ１１０の画角の中央部での誤差を低減するため、ＴｏＦセンサ１１０の画角の周辺部から中央部に亘るサイズを有する計測対象物からの測距値を用いて補正を行ってもよい。例えば、計測対象物までの距離が、ＴｏＦセンサ１１０の画角の中央部から周辺部まで変化しないという仮定のもと、ＴｏＦセンサ１１０の画角の中央部内の中心（レンズ中心）で得られた測距値に、画角の各位置で得られた測距値が一致するように、ＴｏＦセンサ１１０の画角の中央部から周辺部に亘って連続的に補正を行ってもよい。また、他の方法として、重複領域で計測対象物を測定したときの測距値と、測距装置１００の位置を変えずに、測距装置１００を回転させて、ＴｏＦセンサ１１０の画角の中央部で計測対象物を測定したときの測距値と、に基づき補正を行ってもよい。例えば、重複領域での測距値と、ＴｏＦセンサ１１０の画角の中央部での測距値との平均値を求めてもよいし、ＴｏＦセンサ１１０の画角の中央部での測距値に一致させるよう、重複領域での測距値を補正してもよい。このとき、ＴｏＦセンサ１１０の画角の中央部の値を真値として、重複領域での誤差項Ｄ'を決定してもよい。なお、このとき、前述の回動機構や回動部を用いてＴｏＦセンサ１１０を回転させ、ＴｏＦセンサ１１０の画角の周辺部での測距値と中央部での測距値を得てもよい。

測距装置１００は、工場出荷前に予め行われる距離情報の補正によって、距離情報の補正値を取得してもよく、出荷後の使用時に距離情報の補正値を取得してもよい。また、測距装置１００は、異なる温度環境下での複数回の測定により、温度誤差項の数値（補正値）を得てもよい。

［第２実施形態］
次に、図９を参照して、第２実施形態の測距装置を説明する。図９は、第２実施形態の測距装置１００ａの機能構成例を示すブロック図である。

図９に示されるように、第２実施形態に係る測距装置１００ａの制御部１２０ａは、測距タイミング制御部５０と、通知部６０と、を更に有する。

測距タイミング制御部５０は、例えば、温度測定部２３で測定されたＴｏＦセンサ１１０の温度が所定値以上となった場合に、距離情報を補正するための測距を行うよう投光制御部１２を制御する。測距タイミング制御部５０を設けることで、測距値の温度誤差が大きくなる状況を適切に検出し、精度の高い補正を行うことができる。

通知部６０は、距離情報の補正を行う際に、隣り合うＴｏＦセンサ１１０ａとＴｏＦセンサ１１０ｂの画角の重複領域に計測対象物が位置せず、測距を行うことができない場合に、補正エラーをユーザに通知する。通知部６０を設けることで、補正エラーが生じたことをユーザに確実に伝達することができる。

［第３実施形態］
次に、図１０を参照して、第３実施形態の測距システムを説明する。図１０は、第３実施形態の測距システム２００の機能構成例を示すブロック図である。

本実施形態の制御演算部３０や補正部４０の機能は、測距装置３００とは別の情報処理装置で実現するようにしてもよい。

具体的には、図１０に示すように、測距システム２００は、光源２１０、ＴｏＦセンサ１１０、温度測定部２３、制御部３２０等を有する測距装置３００と、制御演算部３０、補正部４０等を有する情報処理装置４００と、を備える。制御演算部３０及び補正部４０が測距装置３００の外部の情報処理装置４００に備えられる点が第１実施形態及び第２実施形態と異なる。情報処理装置４００は、例えば、ＰＣ（Personal Computer）等の端末装置や、ネットワークを介して接続されたサーバ等を用いることができる。

測距装置３００は、ＴｏＦセンサ１１０の蓄積電荷量に関する情報等のデータを情報処理装置４００へ出力する。このとき、測距装置３００から情報処理装置４００へ有線または無線による接続で直接データを送信してもよいし、情報処理装置４００とは異なる端末装置（ＰＣ等）を介して送信してもよい。また、蓄積電荷量に関する情報に加えて、温度測定部２３から出力されるＴｏＦセンサ１１０の温度情報を出力してもよい。距離情報の算出や、距離情報の補正は第１実施形態及び第２実施形態と同様である。また、測距装置３００の制御部３２０は、第２実施形態と同様に、測距タイミング制御部５０と、通知部６０とを備えてもよい。

以上、実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。例えば、実施形態では、ＴｏＦ受光光学系１１２は、４眼の光学系で構成されていたが、図１１に示されるように、２眼の光学系で構成されていてもよい。また、実施形態では、光源２１０が、全方位状に投射光を投光していたが、ビーム状に絞られた挟角の投射光を走査するようにしてもよい。また、制御演算部（測距処理部）３０や補正部４０の機能を測距装置１００とは別の情報処理装置で実現するようにしてもよい。この場合、互いに通信可能に接続される測距装置１００と情報処理装置とで測距システムが構成される。

本発明の態様は、例えば、以下のとおりである。
＜１＞ 投射光を投光する投光部と、
物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、
各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正する補正部と、
を備え、
前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、
前記複数の受光部の数は、３つ以上であり、
３つ以上の前記受光部により、前記重複領域は、少なくとも２つ形成され、
前記補正部は、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力に基づき、前記距離情報の補正を行う、測距システム。
＜２＞ 少なくとも２つの前記重複領域は、前記複数の受光部のうちの第１の受光部と第２の受光部により形成される第１の重複領域と、前記複数の受光部のうちの前記第２の受光部と第３の受光部により形成される第２の重複領域と、を含み、
前記補正部は、前記第１の受光部の前記第１の重複領域に対応する受光領域からの第１の出力と、前記第２の受光部の前記第１の重複領域に対応する受光領域からの第２の出力と、前記第２の受光部の前記第２の重複領域に対応する受光領域からの第３の出力と、前記第３の受光部の前記第２の重複領域に対応する受光領域からの第４の出力と、に基づき、前記第１の受光部、前記第２の受光部及び前記第３の受光部からの出力に基づく前記距離情報の補正を行う、前記＜１＞に記載の測距システム。
＜３＞ 前記複数の受光部により、３６０度の画角が形成され、
前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる前記重複領域を複数含み、
前記重複領域は、前記複数の受光部の数と同数以上形成され、
前記補正部は、前記複数の受光部のそれぞれの前記重複領域に対応する受光領域からの６つ以上の出力に基づき前記距離情報の補正を行う、前記＜１＞又は前記＜２＞に記載の測距システム。
＜４＞ 前記複数の受光部の少なくとも１つの受光部の温度を測定し温度情報を出力する温度測定部をさらに有する、前記＜１＞から前記＜３＞のいずれか１つに記載の測距システム。
＜５＞ 投射光を投光する投光部と、
物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、
前記複数の受光部の少なくとも１つの受光部の温度を測定し温度情報を出力する温度測定部と、
各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、
前記距離情報を補正する補正部と、
を備え、
前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、
前記補正部は、前記温度情報と、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力と、に基づき前記距離情報の補正を行う、測距システム。
＜６＞ 前記重複領域は、前記複数の受光部のうちの第１の受光部と第２の受光部により形成される第１の重複領域を含み、
前記温度測定部は、前記第１の受光部の温度を測定し、
前記補正部は、前記第１の受光部の前記温度情報と、前記第１の受光部の前記第１の重複領域に対応する受光領域からの第１の出力と、前記第２の受光部の前記第１の重複領域に対応する受光領域からの第２の出力と、に基づき、前記距離情報の補正を行う、前記＜４＞又は前記＜５＞に記載の測距システム。
＜７＞ 前記受光部の温度が所定値以上となった場合に、前記距離情報を補正するための測距を行うよう制御する測距タイミング制御部を更に有する、前記＜４＞から前記＜６＞のいずれか１つに記載の測距システム。
＜８＞ 前記補正部は、前記重複領域に対応する受光領域からの出力と、前記入射範囲の前記重複領域よりも中央側の中央領域に対応する受光領域の出力とに基づき前記距離情報を補正する、前記＜１＞から前記＜７＞のいずれか１つに記載の測距システム。
＜９＞ 前記重複領域に計測対象物が存在しない場合に通知を行う通知部を更に有する、前記＜１＞から前記＜８＞のいずれか１つに記載の測距システム。
＜１０＞ 複数の受光部から各々の前記受光部の出力が入力されるステップと、
各々の前記受光部の出力に基づき距離情報を出力するステップと、
前記距離情報を補正するステップと、
を、コンピュータに実行させ、
前記複数の受光部の数は、３つ以上であり、３つ以上の前記受光部により、前記複数の受光部の各々の前記受光部における光の入射範囲が他の前記受光部の前記光の入射範囲と重なる重複領域が、少なくとも２つ形成され、前記受光部の出力が入力されるステップにおいて、各々の前記受光部の出力は、少なくとも、２つの前記重複領域に対応する受光領域からの出力を含み、
前記補正するステップにおいて、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する前記受光領域からの出力に基づき、前記距離情報の補正を行う処理を前記コンピュータに実行させる、プログラム。
＜１１＞ 複数の受光部から各々の前記受光部の出力が入力されるステップと、
前記複数の受光部の少なくとも１つの受光部で測定された温度の温度情報が入力されるステップと、
各々の前記受光部の出力に基づき距離情報を出力するステップと、
前記距離情報を補正するステップと、
を、コンピュータに実行させ、
前記受光部の出力が入力されるステップにおいて、各々の前記受光部の出力は、前記複数の受光部の各々の前記受光部における光の入射範囲が他の前記受光部の前記光の入射範囲と重なる重複領域に対応する受光領域からの出力を含み、
前記補正するステップにおいて、前記温度情報と、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する前記受光領域からの出力と、に基づき前記距離情報の補正を行う処理を前記コンピュータに実行させる、プログラム。

１００，１００ａ 撮像装置（測距装置）
１２ 投光制御部
１４ 位相制御部
２１ 投光ユニット
４０ 補正部
５０ 測距タイミング制御部
６０ 通知部
６１ 受光ユニット
１１０，１１０ａ，１１０ｂ，１１０ｃ ＴｏＦセンサ
１２０，１２０ａ 制御部
２１０ 光源

国際公開第２０２０／１６１８７１号

Claims (11)

1. 投射光を投光する投光部と、
   物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、
   各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、
   前記距離情報を補正する補正部と、
   を備え、
   前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、
   前記複数の受光部の数は、３つ以上であり、
   ３つ以上の前記受光部により、前記重複領域は、少なくとも２つ形成され、
   前記補正部は、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力に基づき、前記距離情報の補正を行う、測距システム。
2. 少なくとも２つの前記重複領域は、前記複数の受光部のうちの第１の受光部と第２の受光部により形成される第１の重複領域と、前記複数の受光部のうちの前記第２の受光部と第３の受光部により形成される第２の重複領域と、を含み、
   前記補正部は、前記第１の受光部の前記第１の重複領域に対応する受光領域からの第１の出力と、前記第２の受光部の前記第１の重複領域に対応する受光領域からの第２の出力と、前記第２の受光部の前記第２の重複領域に対応する受光領域からの第３の出力と、前記第３の受光部の前記第２の重複領域に対応する受光領域からの第４の出力と、に基づき、前記第１の受光部、前記第２の受光部及び前記第３の受光部からの出力に基づく前記距離情報の補正を行う、請求項１に記載の測距システム。
3. 前記複数の受光部により、３６０度の画角が形成され、
   前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる前記重複領域を複数含み、
   前記重複領域は、前記複数の受光部の数と同数以上形成され、
   前記補正部は、前記複数の受光部のそれぞれの前記重複領域に対応する受光領域からの６つ以上の出力に基づき前記距離情報の補正を行う、請求項１又は請求項２に記載の測距システム。
4. 前記複数の受光部の少なくとも１つの受光部の温度を測定し温度情報を出力する温度測定部をさらに有する、請求項１に記載の測距システム。
5. 投射光を投光する投光部と、
   物体で反射された前記投射光を含む光をそれぞれ受光する複数の受光部と、
   前記複数の受光部の少なくとも１つの受光部の温度を測定し温度情報を出力する温度測定部と、
   各々の前記受光部の出力に基づき距離情報を出力する測距処理部と、
   前記距離情報を補正する補正部と、
   を備え、
   前記複数の受光部の各々の前記受光部における前記光の入射範囲は、他の前記受光部の前記光の入射範囲と重なる重複領域を含み、
   前記補正部は、前記温度情報と、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する受光領域からの出力と、に基づき前記距離情報の補正を行う、測距システム。
6. 前記重複領域は、前記複数の受光部のうちの第１の受光部と第２の受光部により形成される第１の重複領域を含み、
   前記温度測定部は、前記第１の受光部の温度を測定し、
   前記補正部は、前記第１の受光部の前記温度情報と、前記第１の受光部の前記第１の重複領域に対応する受光領域からの第１の出力と、前記第２の受光部の前記第１の重複領域に対応する受光領域からの第２の出力と、に基づき、前記距離情報の補正を行う、請求項４又は請求項５に記載の測距システム。
7. 前記受光部の温度が所定値以上となった場合に、前記距離情報を補正するための測距を行うよう制御する測距タイミング制御部を更に有する、請求項４又は請求項５に記載の測距システム。
8. 前記補正部は、前記重複領域に対応する受光領域からの出力と、前記入射範囲の前記重複領域よりも中央側の中央領域に対応する受光領域の出力とに基づき前記距離情報を補正する、請求項１、請求項２、請求項４又は請求項５に記載の測距システム。
9. 前記重複領域に計測対象物が存在しない場合に通知を行う通知部を更に有する、請求項１、請求項２、請求項４又は請求項５に記載の測距システム。
10. 複数の受光部から各々の前記受光部の出力が入力されるステップと、
    各々の前記受光部の出力に基づき距離情報を出力するステップと、
    前記距離情報を補正するステップと、
    を、コンピュータに実行させ、
    前記複数の受光部の数は、３つ以上であり、３つ以上の前記受光部により、前記複数の受光部の各々の前記受光部における光の入射範囲が他の前記受光部の前記光の入射範囲と重なる重複領域が、少なくとも２つ形成され、前記受光部の出力が入力されるステップにおいて、各々の前記受光部の出力は、少なくとも、２つの前記重複領域に対応する受光領域からの出力を含み、
    前記補正するステップにおいて、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する前記受光領域からの出力に基づき、前記距離情報の補正を行う処理を前記コンピュータに実行させる、プログラム。
11. 複数の受光部から各々の前記受光部の出力が入力されるステップと、
    前記複数の受光部の少なくとも１つの受光部で測定された温度の温度情報が入力されるステップと、
    各々の前記受光部の出力に基づき距離情報を出力するステップと、
    前記距離情報を補正するステップと、
    を、コンピュータに実行させ、
    前記受光部の出力が入力されるステップにおいて、各々の前記受光部の出力は、前記複数の受光部の各々の前記受光部における光の入射範囲が他の前記受光部の前記光の入射範囲と重なる重複領域に対応する受光領域からの出力を含み、
    前記補正するステップにおいて、前記温度情報と、前記複数の受光部の各々の前記受光部の、前記重複領域に対応する前記受光領域からの出力と、に基づき前記距離情報の補正を行う処理を前記コンピュータに実行させる、プログラム。

Images