JP6894775B2 - 測距システム及びその制御方法 - Google Patents

Description

本発明は、測距システムにおける消費電力の低減技術に関するものである。

近年、測距カメラ等を用いて撮影対象までの距離情報を取得するとともに、取得した距離情報を２次元画像と組み合わせて３次元画像を生成する技術が実現されている。このような測距技術は、ロボット等のマシンビジョンによる物体認識、ドローン搭載カメラ、自動運転システム等への応用が期待されている。

測距システムにおいて測距精度をより向上させるためには、測距方式が異なる複数の測距装置を組み合わせて用いることが有効である。しかし、複数の測距装置を併用すると、距離情報を含む画像の生成負荷及び処理負荷が増加して消費電力の増加を招いてしまう。そこで、特許文献１では、対象物か否かを判断する情報を残しながらも情報量を低減させて、距離画像を用いた対象物の検出における処理負荷を低減している。

特開２０１１−１８５６６４号公報

特許文献１に記載の技術では、測距システムにおけるデータ量を低減して画像の処理負荷を低減することはできるものの、測距装置を駆動して距離情報を含む画像を生成する際の負荷については殆ど低減することができない。そこで本発明は、距離情報を含む画像を取得する測距装置の消費電力を低減し得る測距システム及びその制御方法を提供することを目的とする。

本発明の一観点によれば、撮影対象に関する距離情報を取得する測距装置と、撮影対象が画像において認識できなくなる離反時間を、距離情報に基づいて推定する演算部と、離反時間が第１の閾値以上である場合は、離反時間に応じて画像の取得頻度を制御する省電力モードに測距装置を設定し、離反時間が第１の閾値未満である場合は、離反時間とは独立に画像の取得頻度を制御する通常モードに測距装置を設定する制御部と、を備えることを特徴とする測距システムが提供される。

本発明の別観点によれば、撮影対象に関する距離情報を取得する測距装置を備えた測距システムの制御方法であって、撮影対象が画像において認識できなくなる離反時間を、距離情報に基づいて推定する演算ステップと、離反時間が第１の閾値以上である場合は、離反時間に応じて画像の取得頻度を制御する省電力モードに測距装置を設定し、離反時間が第１の閾値未満である場合は、離反時間とは独立に画像の取得頻度を制御する通常モードに測距装置を設定する制御ステップと、を有することを特徴とする制御方法が提供される。

本発明によれば、距離情報を含む画像を取得する測距装置の消費電力を低減し得る測距システム及びその制御方法を提供することができる。

第１実施形態に係る測距システムの構成を概略的に示すブロック図である。 第１実施形態に係る測距システムの制御方法を示すフローチャートである。 視差を利用して撮影対象までの距離情報を取得する方法の例を示す図である。 第１実施形態に係る測距システムの適用例を示す第１の図である。 第１実施形態に係る測距システムの適用例を示す第２の図である。 第２実施形態に係る測距システムの構成を概略的に示すブロック図である。 １画素のＳＰＡＤセンサの構成及び動作を概略的に示す図である。 ＴＯＦ方式により撮影対象までの距離を測定する方法を示す第１の図である。 ＴＯＦ方式により撮影対象までの距離を測定する方法を示す第２の図である。 第２実施形態に係る測距装置の動作を概略的に示す第１のタイミングチャートである。 第２実施形態に係る測距装置の動作を概略的に示す第２のタイミングチャートである。 第３実施形態に係る測距システムの構成を概略的に示すブロック図である。 ＦＭＣＷ方式により撮影対象までの距離を測定する方法を示す第１の図である。 ＦＭＣＷ方式により撮影対象までの距離を測定する方法を示す第２の図である。 第４実施形態に係る測距システムの構成を概略的に示すブロック図である。 第５実施形態に係る測距システムの構成を概略的に示すブロック図である。 第５実施形態に係る測距システムの制御方法を示すフローチャートである。 第５実施形態に係る測距システムの適用例を示す図である。 第６実施形態に係る測距システムの構成を概略的に示すブロック図である。 第６実施形態に係る測距システムの制御方法を示すフローチャートである。 第６実施形態に係る測距システムの適用例を示す図である。 第６実施形態に係る測距システムの構成を概略的に示すブロック図である。 第７実施形態に係る測距システムの制御方法を示すフローチャートである。

（第１実施形態）
図１は、第１実施形態に係る測距システムの構成を概略的に示すブロック図である。本実施形態の測距システムは、測距装置１、データ保持部２、距離演算部３、物体認識部４、比較部５、及び測距モード設定部６を備えて構成される。ここで、測距装置１は、ステレオカメラ１００及び駆動部２００を有している。以下、これらの構成要素の具体的な動作について、図２を用いて説明する。

図２は、第１実施形態に係る測距システムの制御方法を示すフローチャートである。ステップＳ１０１において、駆動部２００は、ステレオカメラ１００を駆動して測距動作を開始する。この際、駆動部２００がステレオカメラ１００を駆動する周期等は、測距モード設定部６によって設定される。ステップＳ１０２において、ステレオカメラ１００は、撮影対象までの距離情報を含む画像を視差を利用して取得する。視差を利用した測距方法については、この後、図３を用いて説明する。

その後、測距装置１は、距離情報が含まれる画像を、データ保持部２に記憶する。データ保持部２は、例えば半導体メモリ、ＨＤＤ、ＳＳＤ等のように、データの書き込み／読み出しが可能なものであればよい。ステップＳ１０３において、距離演算部３は、データ保持部２に保持された画像に含まれる距離情報に基づいて、測距装置１から撮影対象までの距離を算出する。またステップＳ１０４において、物体認識部４は、距離演算部３が算出した撮影対象までの距離に基づいて、撮影対象の速度を算出する。

撮影対象の移動速度は、例えば、所定の撮影周期で撮影した一連のフレーム画像上において撮影対象が移動した距離を、撮影周期で除算して算出することが可能である。ここで、フレーム画像上において撮影対象が移動した距離は、距離演算部３により算出した撮影対象までの距離に基づいて算出される。この際、後述の第５〜第７実施形態で説明するように、撮影対象に対して測距装置１が移動していてもよい。この場合、測距装置１に対する撮影対象の相対速度が算出される。なお、撮影対象の速度を求める方法は上述の方法に限定されず、別の方法で求めてもよい。

物体認識部４は、画像内に複数の撮影対象が存在する場合でも、それぞれの撮影対象を分離して認識し、それぞれの撮影対象の速度を求めることが可能である。また、物体認識部４は、認識した撮影対象に関する情報を距離演算部３にフィードバックして、特定の撮影対象のみの距離情報を演算する機能等を有していてもよい。

ステップＳ１０５において、比較部５は、距離演算部３及び物体認識部４で算出した撮影対象の距離及び速度を含む情報に基づいて、ステレオカメラ１００の視野領域において撮影対象が認識できなくなるまでの離反時間を推定する。この離反時間は、例えば、撮影対象がステレオカメラ１００に近づいてカメラ死角に隠れたり、撮影対象がステレオカメラ１００から離れて測距装置１によって認識できなくなるまでの時間として推定される。

ステップＳ１０６において、比較部５は、ステップＳ１０５で推定された離反時間が所定の第１の閾値以上であるか否かを判定する。離反時間が第１の閾値以上（Ｙｅｓ）である場合はステップＳ１０８に進み、離反時間が第１の閾値未満（Ｎｏ）である場合はステップＳ１０７に進む。ここで、第１の閾値は、撮影対象が認識できなくなる状況の種類ごとに別々の値を設定してもよい。例えば、撮影対象がステレオカメラ１００に近づいている場合と、撮影対象がステレオカメラ１００から離れている場合とで、それぞれ異なる第１の閾値を設定してもよい。

ステップＳ１０７において、測距モード設定部６は、撮影対象がステレオカメラ１００の視野領域において認識できなくなりつつあると判断する。そして、測距装置１の動作モードを通常モードのまま維持する。通常モードにおいては、距離情報を含む画像の取得頻度が、ステップＳ１０５で推定された離反時間とは独立に比較的早い頻度に設定される。この結果、例えば撮影対象が視野領域において早く移動しているような場合でも、撮影対象が視野領域において認識できなくなるまでに、撮影対象の画像を十分に残すことができる。

一方、ステップＳ１０８では、測距モード設定部６は、ステレオカメラ１００の視野領域において撮影対象が直ちに認識されなくなる恐れはないと判断する。そして、測距装置１の動作モードを省電力モードに設定する。省電力モードにおいては、距離情報を含む画像の取得頻度を、ステップＳ１０５で推定された離反時間に応じて比較的遅い頻度に設定する。より具体的には、ステレオカメラ１００の駆動周期を、通常モードにおけるステレオカメラ１００の駆動周期よりも遅くしたり、ステレオカメラ１００の駆動のオンとオフを所定の周期ごとに交互に切り替えたりする。

例えば撮影対象が視野領域においてゆっくり移動しているような場合には、撮影対象が視野領域において認識できなくなるまでに時間があるので、測距装置１の動作モードを省電力モードに設定しても、撮影対象の画像を十分に残すことができる。この結果、省電力モードにおいては、距離情報を含む画像の処理負荷だけでなく、測距装置１を駆動して距離情報を含む画像を生成する負荷も低減される。

図３は、視差を利用して撮影対象１１までの距離情報を取得する方法の例を示す図である。ステレオカメラ１００は、固定部１２に固定された２台のカメラ１０１、１０２を有している。カメラ１０１とカメラ１０２は、互いに基線長Ｒの距離を離して配置されている。これにより、図３（ａ）に示すように、カメラ１０１から撮影対象１１を見たときの撮影対象１１の位置は点Ａとなり、カメラ１０２から撮影対象１１を見たときの撮影対象１１の位置は点Ｂとなる。

この撮影対象１１の見かけの位置の差が、ステレオカメラ１００によって視差として観測される。この視差は、２台のカメラ１０１、１０２の間隔である基線長Ｒに起因する。測距装置１から撮影対象１１までの距離Ｌは、ステレオカメラ１００の光学系の焦点距離ｆ、点Ａと点Ｂの距離ｒを用いて、下式（１）で求められる。
Ｌ＝Ｒｆ／ｒ （１）

上式（１）より、基線長Ｒが長いほど、より遠くの撮影対象１１までの距離Ｌを測定可能であることが分かる。なお、図３では、ステレオカメラ１００が２台のカメラ１０１、１０２で構成される場合の例を示したが、カメラ内のイメージセンサの画素間の基線長Ｒを十分に確保できれば、１台のカメラで構成することも可能である。また、図３では、カメラ１０１、１０２と撮影対象１１が同一平面上に位置している場合の例を示したが、これらが３次元状上に位置している場合でも、計算は複雑となるものの同様の手法を用いて撮影対象１１までの距離Ｌを求めることができる。

図４Ａ及び図４Ｂは、第１実施形態に係る測距システムの適用例を示す図である。図４Ａは、図２のステップＳ１０５で推定した離反時間が第１の閾値未満である場合の例を示している。本実施形態の測距システムを適用した監視カメラ１０３の視野領域（カメラ画角）には、撮影対象１１ａ、１１ｂ、１１ｃが存在している。ここで、撮影対象１１ａは犯罪等に関係した要注意人物であって逃走中であるものとする。

逃走中の撮影対象１１ａは、移動速度が大きいため、他の撮影対象１１ｂ、１１ｃよりも早く監視カメラ１０３の死角に入って、監視カメラ１０３によって撮影された画像において認識されなくなってしまう。このような移動速度が大きい撮影対象１１ａは要注意人物である可能性が高いため、図４Ａに示すような状況では、撮影対象１１ａの人相や挙動等の画像情報を十分に残しておくために、画像の取得頻度を速いまま維持することが望ましい。

一方、図４Ｂは、図２のステップＳ１０５で推定した離反時間が第１の閾値以上である場合の例を示している。本実施形態の測距システムを適用した監視カメラ１０３の視野領域（カメラ画角）には、撮影対象１１ｄ、１１ｅ、１１ｆが存在している。撮影対象１１ｄ、１１ｅ、１１ｆは、いずれも犯罪等には関係しておらず、監視カメラ１０３の視野領域をゆっくりと歩いている。

撮影対象１１ｄ、１１ｅ、１１ｆは、いずれも移動速度が小さいため、監視カメラ１０３によって撮影された画像において直ちに認識されなくなってしまう恐れはない。このため、画像の取得頻度を遅くしても撮影対象１１ｄ、１１ｅ、１１ｆの人相や挙動等の画像情報を十分に残しておくことが可能である。反対に、図４Ｂに示すような状況において画像の取得頻度を速いまま維持することは、距離情報を含む画像を取得したり生成したりするための電力を必要以上に消費することになるため望ましくない。

そこで、本実施形態の測距システムの演算部（距離演算部３、物体認識部４）は、撮影対象１１の距離及び速度に基づいて、撮影対象１１が画像において認識できなくなるまでの撮影対象１１の離反時間を推定する。そして、本実施形態の測距システムの制御部（比較部５、測距モード設定部６）は、離反時間が所定の第１の閾値以上である場合に、画像の取得頻度を通常モードよりも低くして測距装置１を省電力モードに設定する。

より具体的には、制御部は、省電力モードにおける測距装置１の駆動周期を、通常モードにおける測距装置１の駆動周期よりも遅くする。或いは、省電力モードにおいて、測距装置１の駆動のオンとオフを所定の周期ごとに交互に切り替える。これにより、撮影対象１１ｄ、１１ｅ、１１ｆの人相や挙動等の画像情報を十分に残しつつ、撮影対象１１までの距離情報を取得する測距装置１の消費電力を低減することが可能となる。

撮影対象１１の離反時間は、前述のように、例えば撮影対象１１がステレオカメラ１００に近づいてカメラ死角に隠れたり、撮影対象１１がステレオカメラ１００から離れて測距装置１によって認識できなくなるまでの時間として推定される。ここで第１の閾値は、撮影対象１１が認識できなくなる状況の種類ごとに別々の値を設定してもよい。

なお、本実施形態の測距システムは、ステレオカメラ１００とは別に、距離情報を含まない画像を撮影するための撮像装置を有していてもよい。また、要注意人物を自動的に検出する画像認識システムを有していてもよく、監視カメラ１０３の視野領域に収まるように要注意人物を自動追従する機能を更に有していてもよい。

（第２実施形態）
図５は、第２実施形態に係る測距システムの構成を概略的に示すブロック図である。図５に示す本実施形態の測距システムは、先の図１に示した第１実施形態の測距システムと、測距装置１ｂの構成が主に異なっている。本実施形態の測距装置１ｂは、ＳＰＡＤカメラ３００、光源３０１、及び駆動部２００を有している。その他の構成については、第１実施形態と概ね同じである。また、本実施形態の測距システムの制御方法も、測距装置１ｂの測距方式が異なる以外は、先の図２に示した第１の実施形態のフローチャートと概ね同じである。以下、第１実施形態と異なる点を中心に説明する。

光源３０１は、撮影対象１１に向けて光パルスを照射する。ＳＰＡＤカメラ３００は、距離情報を含む画像を取得可能な１眼の測距カメラであって、測距方式としてＴＯＦ（Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）方式を用いる。すなわち、ＳＰＡＤカメラ３００は、光源３０１から照射された光パルスが撮影対象１１で反射されて戻ってくるまでの遅延時間を測定して、測距装置１ｂから撮影対象１１までの距離を算出する。駆動部２００は、光源３０１及びＳＰＡＤカメラ３００を駆動する。

以下、ＳＰＡＤカメラ３００について説明する。ＳＰＡＤカメラ３００は、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｅ Ｄｉｏｄｅ）センサを内蔵しており、検出した光子数をデジタル値として出力する。図６は、１画素のＳＰＡＤセンサの構成及び動作を概略的に示す図である。図６（ａ）には、ＳＰＡＤセンサの等価回路を示している。ＳＰＡＤセンサは、光子を検出するためのフォトダイオード３０２、なだれ電流を電圧に変換するためのクエンチ抵抗３０３、電圧変換された信号を波形整形するためのインバータ３０４を有している。

フォトダイオード３０２のＰＮ接合には、ガイガーモードと呼ばれるなだれ増幅が起きる寸前の状態になるまで逆バイアスＢｉａｓが印加されている。通常の撮影装置に用いられる光電変換素子では、光子１個が入射すると、電子１個が価電子帯から伝導帯に励起されて検出されるが、ＳＰＡＤセンサでは、光子１個が入射すると、なだれ増幅により数十万個の電子が発生する。このため、ＳＰＡＤセンサでは、光子を１個単位で検出することが可能である。

図６（ｂ）には、図６（ａ）の点Ａ、Ｂにおける出力波形Ｓａ、Ｓｂをそれぞれ示している。光子がフォトダイオード３０２に入射することによって発生するなだれ電流は、クエンチ抵抗３０３により電圧に変換される。フォトダイオード３０２とクエンチ抵抗３０３の間の点Ａにおける出力波形Ｓａは、インバータ３０４を通過させることで、図６（ｂ）に示す出力波形Ｓｂのようなパルス波形に整形されて点Ｂに出力される。出力波形Ｓａ、Ｓｂの幅は、フォトダイオード３０２の容量とクエンチ抵抗３０３の時定数により決定される。この時定数で決まる時間をデッドタイム（不感時間）と呼び、ＳＰＡＤセンサはこのデッドタイムの間に入射した光子を検出することができない。

図７及び図８は、ＴＯＦ方式により撮影対象１１までの距離を測定する方法を示す図である。図７に示すように、光源３０１は、撮影対象１１に向けて光パルスＦを照射する。ＳＰＡＤカメラ３００は、撮影対象１１により反射された反射光Ｒを検出する。

図８は、測距開始から光検出までのタイミングチャートを示している。時刻ｔ１前に測距システムの測距開始信号が出力されると、測距装置１は測距開始信号に同期して測距動作を開始する。時刻ｔ１において、光源３０１は撮影対象１１に向けて光パルスＦを照射する。光パルスＦの照射タイミングは、測距開始信号の出力タイミングと同一のタイミングであってもよい。時刻ｔ２において、ＳＰＡＤカメラ３００は、撮影対象１１により反射された反射光Ｒを検出してセンサ出力を出力する。

光の速度ｃ［ｍ／ｓ］は一定であるため、測距装置１ｂから撮影対象１１までの距離Ｌは、光パルスＦを照射した時刻ｔ１から反射光Ｒを検出した時刻ｔ２までの時間差Δｔ［ｓ］を測定することで、下式（２）により求められる。
Ｌ＝ｃΔｔ／２ （２）

撮影対象１１が測距装置１に対して相対的に移動している場合は、光パルスＦを所定の周期Ｔ［ｓ］で照射して撮影対象１１までの距離Ｌの変化を測定することにより、撮影対象１１の速度ｖ［ｍ／ｓ］が求められる。例えば、光パルスＦの１周期Ｔ［ｓ］の間に撮影対象１１がΔＬ［ｍ］だけ移動した場合には、撮影対象１１の速度ｖ［ｍ／ｓ］は、下式（３）で求められる。実際には、３次元空間における速度ベクトルが算出される。
ｖ＝ΔＬ／Ｔ （３）

ＳＰＡＤセンサを用いた直接ＴＯＦ計測法では、ＳＰＡＤセンサに入射した光子を高速にデジタル値に変換して検出することができるため、高い距離精度を得ることが可能である。例えば、光パルスＦの計測時間分解能が６．６［ｐｓ］の場合には、１［ｍｍ］相当の距離分解能を得ることができる。このように、ＳＰＡＤセンサを用いて撮影対象１１を高速かつ高精度に測定して認識することで、測距装置１ｂを高速かつ高精度に動作させることができる。

なお、図７及び図８では、１画素のＳＰＡＤセンサを用いたＴＯＦ方式による測距方法について説明したが、複数のＳＰＡＤセンサを２次元状に配列させることで、撮影対象１１の像を２次元画像として取得することが可能である。

図９及び図１０は、第２実施形態に係る測距装置１ｂの動作を概略的に示すタイミングチャートである。図９（ａ）は、撮影対象１１の離反時間が第１の閾値未満である場合に設定される通常モードにおける、測距装置１ｂの駆動方法の例を示している。通常モードにおいては、予めユーザ等によって設定された所定のフレームレートで、距離情報を含む画像が取得される。図９（ａ）に示す第１〜第４フレームの各フレーム周期では、図８のタイミングチャートと同様にして測距装置１が駆動される。これにより、撮影対象１１ａの移動速度が大きい場合でも、撮影対象１１の画像を十分に残すことができる。

一方、図９（ｂ）は、撮影対象１１の離反時間が第１の閾値以上である場合に設定される省電力モードにおける、測距装置１ｂの駆動方法の例を示している。省電力モードにおいては、通常モードのフレームレートよりも遅いフレームレートで、距離情報を含む画像が取得される。図９（ｂ）では、測距装置１ｂの駆動周期を、通常モードにおける測距装置１ｂの駆動周期の２倍に遅くしている。これにより、撮影対象１１の画像を取得しつつ、距離情報を含む画像の生成負荷及び処理負荷を低減することが可能となる。

ＳＰＡＤカメラ３００では、フォトダイオード３０２をガイガーモードにするために大きな逆バイアスＢｉａｓを印加するのに加え、なだれ増幅によって大きな電流が流れる。このため、ＳＰＡＤカメラ３００では、反射光Ｒを検出するごとに大きな電力が消費される。図９（ｂ）に示す省電力モードでは、光源３０１が光パルスＦを照射する頻度が１／２となるため、ＳＰＡＤカメラ３００が反射光Ｒを検出してなだれ増幅を発生する頻度も１／２となる。したがって、測距装置１ｂの消費電力を大きく低減することができる。

但し、光源３０１以外の周辺の街灯や太陽光等による外光の影響が大きい場合は、ＳＰＡＤセンサがこのような外光に反応して、測距装置１ｂの消費電力を増大させてしまう。これは、ＳＰＡＤセンサのなだれ増幅が、光励起された電子を起因として発生するだけでなく、暗電子のような欠陥準位等から熱励起された電子を起因としても発生するためである。このような熱励起された電子によるセンサ出力は擬信号として検出されるが、なだれ電流が発生することで測距装置１ｂの消費電力を増大させてしまう。

そこで、図１０（ｂ）では、省電力モードにおいて、ＳＰＡＤカメラ３００の駆動のオンとオフをフレーム周期ごとに交互に切り替えている。より具体的には、ＳＰＡＤセンサがガイガーモードとなるバイアス電圧Ｖ２を印加する奇数フレーム期間と、ＳＰＡＤセンサがガイガーモードとはならないバイアス電圧Ｖ１を印加する偶数フレーム期間とを、交互に切り替えている。これにより、偶数フレーム期間においては、外光が大きい場合でもなだれ増幅が発生しないため、ＳＰＡＤカメラ３００の消費電力をより低減することができる。

なお、図９（ｂ）の省電力モードでは、測距装置１の駆動周期を遅くし、図１０（ｂ）の省電力モードでは、測距装置１の駆動のオンとオフを所定の周期ごとに交互に切り替えたが、これらの方法は組み合わせて用いることも可能である。また、本実施形態の測距システムは、ＳＰＡＤカメラ３００とは別に、距離情報を含まない画像を撮影するための撮像装置を有していてもよい。

（第３実施形態）
図１１は、第３実施形態に係る測距システムの構成を概略的に示すブロック図である。図１１に示す本実施形態の測距システムは、先の図１に示した第１実施形態の測距システムと、測距装置１ｃの構成が主に異なっている。本実施形態の測距装置１ｃは、ミリ波レーダー４００、ミリ波発生器４０１、及び駆動部２００を有している。その他の構成については、第１実施形態と概ね同じである。また、本実施形態の測距システムの制御方法も、測距装置１ｃの測距方式が異なる以外は、先の図２に示した第１の実施形態のフローチャートと概ね同じである。以下、第１実施形態と異なる点を中心に説明する。

ミリ波発生器４０１は、撮影対象１１に対してミリ波帯の電波を送信する。ミリ波レーダー４００は、距離情報を含む画像を取得可能な測距カメラであって、測距方式として、一般的に車載用途に採用されているＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式を用いる。先の第２実施形態のパルス・レーダーでは、反射波が戻ってくるまでの遅延時間を測定して、測距装置１ｂから撮影対象１１までの距離を算出した。これに対し、本実施形態のＦＭＣＷレーダーでは、送信波ＷＦと受信波ＷＲを合成したときに生じるビート波を測定して、測距装置１ｃから撮影対象１１までの距離を算出する。駆動部２００は、ミリ波発生器４０１及びミリ波レーダー４００を駆動する。

図１２及び図１３は、ＦＭＣＷ方式により撮影対象１１までの距離を測定する方法を示す図である。図１２に示すように、ミリ波発生器４０１は、撮影対象１１に向けてミリ波帯の送信波ＷＦを送信する。ミリ波レーダー４００は、撮影対象１１により反射された受信波ＷＲを受信する。

図１３は、ミリ波レーダー４００による測距方式の例を示している。図１３（ａ）には、周波数ｆ０を中心に周波数変調された送信波ＷＦの周波数の時間変化を実線で示し、撮影対象１１によって反射された受信波ＷＲの周波数の時間変化を破線で示している。また、図１３（ｂ）には、送信波ＷＦと受信波ＷＲを合成することで生じるビート波の周波数の時間変化を示している。図１３（ｂ）に示すビート波の周波数ｆ１、ｆ２は、下式（４）、（５）を満たす。
ｆ１＝４ΔｆＬ／ｃＴ＋２ｆ０ｖ／ｃ （４）
ｆ２＝４ΔｆＬ／ｃＴ−２ｆ０ｖ／ｃ （５）

ここで、送信波ＷＦの周波数の変調の範囲Δｆ、変調の周期Ｔ、撮影対象１１までの距離Ｌ、撮影対象１１の速度ｖ、光の速度ｃを用いた。上式（４）、（５）から、撮影対象１１までの距離Ｌ、撮影対象１１の速度ｖを、下式（６）、（７）で求めることができる。
Ｌ＝ｃＴ（ｆ１＋ｆ２）／８Δｆ （６）
ｖ＝ｃＴ（ｆ１−ｆ２）／４ｆ０ （７）

本実施形態では、上述の実施形態とは異なり、撮影対象１１までの距離Ｌの変化から撮影対象１１の速度ｖ［ｍ／ｓ］を算出しなくてもよいので、データ保持部２は省略することも可能である。このような構成によっても、上述の実施形態と同様の効果を得ることができる。なお、本実施形態の測距システムは、ミリ波レーダー４００とは別に、距離情報を含まない画像を撮影するための撮像装置を有していてもよい。

（第４実施形態）
図１４は、第４実施形態に係る測距システムの構成を概略的に示すブロック図である。図１４に示す本実施形態の測距システムは、上述の実施形態の測距システムと、測距装置１ｄの構成が主に異なっている。本実施形態の測距装置１ｄは、先の第１〜第３実施形態で説明した測距装置１〜１ｃのうちの２以上を有している。その他の構成については、上述の実施形態と概ね同じである。

前述のように、測距システムにおいて測距精度をより向上させるためには、測距方式が異なる複数の測距装置１〜１ｃを組み合わせて用いることが有効である。しかし、複数の測距装置１〜１ｃを併用すると、距離情報を含む画像の生成負荷及び処理負荷が増加して消費電力の増加を招いてしまう。

そこで、本実施形態では、先の第１〜第３実施形態で説明した測距装置１〜１ｃのうちの２以上を有する測距装置１ｄを用いて、距離情報を含む画像を取得するとともに、図２に示したフローチャートを、測距装置１ｄに対して適用する。すなわち、撮影対象１１の離反時間が所定の第１の閾値以上である場合に、画像の取得頻度を通常モードよりも低くして測距装置１を省電力モードに設定する。

このような構成によれば、測距方式が異なる複数の測距装置１〜１ｃを併用して距離情報を取得する場合でも、測距精度を更に向上させつつ、測距装置１の消費電力を低減することができる。なお、本実施形態の省電力モードは、第１〜第３実施形態で説明した省電力モードのいずれか１つ以上を実現するものであればよい。

（第５実施形態）
図１５は、第５実施形態に係る測距システムの構成を概略的に示すブロック図である。図１５に示す本実施形態の測距システムは、先の図１に示した第１実施形態の測距システムに加えて、動力制御部８、動力部９を更に備えている。動力部９は、測距装置１を搭載する移動体を駆動して移動させる。動力制御部８は、動力部９を介して測距装置１を搭載する移動体の移動速度を制御する。その他の構成については、第１実施形態と概ね同じである。なお、本実施形態の測距装置１は、上述の実施形態で説明した測距装置１〜１ｄのいずれであってもよいが、本実施形態では簡略化して測距装置１と表記する。

図１６は、第５実施形態に係る測距システムの制御方法を示すフローチャートである。本実施形態の測距システムは、先の図２に示したフローチャートに加えて、図１６に示すフローチャートに従って測距システムを制御する。

ステップＳ５０１において、動力制御部８は、測距システムが搭載された移動体の移動速度が、所定の第２の閾値未満であるか否かを判定する。移動速度が第２の閾値未満（Ｙｅｓ）である場合はステップＳ５０３に進み、移動速度が第２の閾値以上（Ｎｏ）である場合はステップＳ５０２に進む。

ステップＳ５０３において、測距モード設定部６は、撮影対象１１が測距装置１に対して低速度で相対移動しており、ステレオカメラ１００の視野領域において撮影対象１１が直ちに認識されなくなる恐れはないと判断する。そして、測距装置１の動作モードを省電力モードに設定する。

一方、ステップＳ５０２では、測距モード設定部６は、撮影対象１１が測距装置１に対して高速度で相対移動しており、撮影対象１１がステレオカメラ１００の視野領域において認識できなくなりつつあると判断する。そして、測距装置１の動作モードを通常モードのまま維持する。

このとき、先の図２に示したような撮影対象１１の離反時間に基づく判定処理と、図１６に示すような移動体の移動速度に基づく判定処理とを組み合わせて行ってもよい。これにより、測距装置１の消費電力を更に低減することができる。

図１７は、第５実施形態に係る測距システムの適用例を示す図である。図１７には、本実施形態の測距システムを適用した自走ロボット５００を示している。自走ロボット５００は、測距システム５０１、ロボットのボディ５０２、及びボディ５０２を移動させるための車輪５０３を備えて構成される。車輪５０３を駆動する動力部９、及び動力部９を制御する動力制御部８は、ロボットのボディ５０２に内蔵されている。

図１７は、人が入り込めないような災害現場において、自走ロボット５００が救助活動を行うようなシチュエーションを想定している。自走ロボット５００は、がれき等の障害物である撮影対象１１ｇが散在する災害現場を、例えば時速５ｋｍで走行しているものとする。このような状況では、先の第１実施形態とは異なり、測距装置１を搭載した自走ロボット５００が、静止している撮影対象１１ｇに対して相対的に移動することになる。この相対速度は、自走ロボット５００の走行速度と同じ時速５ｋｍとなる。

時速５ｋｍで走行している自走ロボット５００は、例えば２倍の時速１０ｋｍで走行している場合と比較して、撮影対象１１ｇの画像を取得できる時間の長さが２倍となる。すなわち、測距装置１が撮影対象１１ｇを認識するために取得する画像のデータ量に２倍の差が生じる。

このような自走ロボット５００の走行速度が遅い状況において、画像の取得頻度を速いまま維持することは、距離情報を含む画像を取得したり生成したりするための電力を必要以上に消費することになるため望ましくない。特に、自走ロボット５００は内部バッテリから動力源を得ていることが一般的である。内部バッテリ容量には限りがあるため、測距システムで消費する電力は極力低減されることが望ましい。

そこで、本実施形態では、測距装置１が搭載された移動体の移動速度が所定の第２の閾値未満である場合に、画像の取得頻度を通常モードよりも遅くする。これにより、測距装置１の消費電力を低減することができる。なお、図１７では、車輪５０３を有して陸上を走行する自走ロボット５００の例を挙げたが、自走ロボット５００の代わりに車両等の大型の移動体であってもよいし、プロペラ等を有して空を飛ぶ飛行体であってもよい。

（第６実施形態）
図１８は、第６実施形態に係る測距システムの構成を概略的に示すブロック図である。図１８に示す本実施形態の測距システムは、先の図１５に示した第５実施形態の測距システムに加えて、モード切替部７を更に備えている。モード切替部７は、動力制御部８が設定する移動体の設定速度に応じて、測距システムを第１モードと第２モードとに切替える。

ここで、第１モードとは、省電力モードへの移行を行わないモードであって、画像に含まれる距離情報に基づいて推定した離反時間に関わらず、測距装置１を常に通常モードに設定するモードである。一方、第２モードとは、省電力モードのへの移行を可能としたモードであって、先の第１〜第５実施形態で説明したように、撮影対象１１の離反時間に応じて測距装置１を省電力モードに設定するモードである。

第１モードは、測距システムが搭載された移動体が、住宅街等の一般道路を走行している場合等に、安全性の面から、離反時間に関わらず省電力モードへの移行を行わない方がよい場合において有効である。一方、第２モードは、先の第１〜第５実施形態で説明したように、測距装置１の消費電力を低減したい場合において有効である。その他の構成については、第５実施形態と概ね同じである。なお、本実施形態の測距装置１は、上述の実施形態で説明した測距装置１〜１ｄのいずれであってもよいが、本実施形態では簡略化して測距装置１と表記している。

図１９は、第６実施形態に係る測距システムの制御方法を示すフローチャートである。本実施形態の測距システムは、先の図２に示したフローチャートに加えて、図１９に示すフローチャートに従って測距システムを制御する。

ステップＳ６０１において、モード切替部７は、動力制御部８によって設定される移動体の設定速度が、所定の第３の閾値以上であるか否かを判定する。ここで、動力制御部８は、移動体の速度が設定速度となるように、測距システムが搭載された移動体の速度を制御する。設定速度が第３の閾値以上（Ｙｅｓ）である場合はステップＳ６０３に進み、設定速度が第３の閾値未満（Ｎｏ）である場合はステップＳ６０２に進む。ステップＳ６０３において、モード切替部７は、測距システムを第２モードに設定する。一方、ステップＳ６０２では、モード切替部７は、測距システムを第１モードに設定する。

図２０は、第６実施形態に係る測距システムの適用例を示す図である。図２０には、本実施形態の測距システムを適用した車両６００を示している。道路６０２を走行中の車両６００の前方には、別の車両６０１が走行している。ここで、車両６００に対する車両６０１の相対速度は、車両６００自身の走行速度と比較して小さいものとする。

図２０（ａ）は、例えば車両６００が一般道を走行中の場合のように、前方の車両６０１との車両間隔が比較的小さい場合の例を示している。図２０（ａ）に示すような状況では、画像の取得頻度を遅くすると、前方を走行する車両６０１が急停止や急ハンドルをした場合等に対応が遅れる恐れがあるため、安全性の面から、測距装置１の動作モードを常に通常モードに維持することが望ましい。

一方、図２０（ｂ）は、例えば車両６００が高速道路を走行中の場合のように、前方の車両６０１との車両間隔が比較的に大きい場合の例を示している。図２０（ｂ）に示すような状況では、前方の車両６０１との車間距離は十分に確保され、かつ高速道路には信号がないため、前方を走行する車両６０１の周囲の状況が急変化するような恐れは小さい。そこで、測距装置１の動作モードを、画像に含まれる距離情報に基づいて推定した離反時間に応じて省電力モードにし、測距装置１の消費電力を低減する。

近年は、モーターを動力の一部として用いる自動車が増えてきている。この自動車はモーターを駆動するバッテリを搭載している。このバッテリの容量は自動車の走行距離に直結するため、モーターの駆動以外の電力を必要以上に消費するのは好ましくない。

また、自動車の運転制御の一部を人間に代わりシステムが行う技術が開発されている（自動運転技術）。自動運転技術においては、自車両の周囲の状況を把握する上で測距システムはなくてはならない。しかし、人間が判断していた部分を測距システムが行うため、測距システム以外のシステムを含め、車両内部で処理するデータ量は多くなることは必然である。

そこで、本実施形態の構成によれば、安全性を考慮しつつ、測距装置１の消費電力を低減して、自動車の走行距離を向上させることができる。なお、上述の第１〜第３の閾値は、自動車の安全性を考えて設定されることが望ましい。また、本実施形態では、車両６００の前方に存在する車両６０１までの距離を測定する場合の例を挙げたが、同様の手法を用いて、車両６００の前方以外に存在する撮影対象１１までの距離を測定することも可能である。

（第７実施形態）
図２１は、第７実施形態に係る測距システムの構成を概略的に示すブロック図である。図２１に示す本実施形態の測距システムは、先の図１８に示した第６実施形態の測距システムに加えて、ＥＴＣ端末１０を更に備えている。ＥＴＣ端末１０は、車両６００が高速道路を走行中であるか否かを、例えば高速道路料金が発生した否かによって検知する。その他の構成については、第６実施形態と概ね同じである。なお、本実施形態の測距装置１は、上述の実施形態で説明した測距装置１〜１ｄのいずれであってもよいが、本実施形態では簡略化して測距装置１と表記している。

図２２は、第７実施形態に係る測距システムの制御方法を示すフローチャートである。本実施形態の測距システムは、先の図２に示したフローチャートに加えて、図２２に示すフローチャートに従って測距システムを制御する。先の第６の実施形態では、動力制御部８によって設定される移動体の設定速度に応じて、第１モードと第２モードを切り替えた。これに対し、本実施形態では車両６００が高速道路を走行中であるか否かに応じて、第１モードと第２モードを切り替える。

ステップＳ７０１において、モード切替部７は、車両６００が高速道路を走行中であるか否かを、例えば高速道路料金が発生した否かによって判定する。高速道路料金が発生した場合（Ｙｅｓ）は、ステップＳ７０３に進み、高速道路料金が発生していない場合（Ｎｏ）は、ステップＳ７０２に進む。

ステップＳ７０３において、モード切替部７は、車両６００が高速道路を走行中であると判断して、測距システムを第２モードに設定する。一方、ステップＳ７０２では、モード切替部７は、車両６００が高速道路を走行中でないと判断して、測距システムを第１モードに設定する。前述のように、高速道路走行時は、住宅街等の一般道路走行時と比べて、車両６００の周囲の状況の変化が小さい。従って、車両６００が高速道路を走行中の場合は、測距システムを第２モードに設定することで、安全性を考慮しつつ、測距装置１の消費電力を低減して、自動車の走行距離を向上させることができる。

（その他の実施形態）
なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。例えば、上述の各実施形態の構成は、組み合わせて適用することも可能である。また、上述の実施形態の測距システムは、第１実施形態で述べたように３次元空間の測距に対応している。そのため、撮影対象１１の距離及び速度を空間的に分離する機能があってもよい。

１ ：測距装置
２ ：データ保持部
３ ：距離演算部
４ ：物体認識部
５ ：比較部
６ ：測距モード設定部
７ ：モード切替部
８ ：動力制御部
９ ：動力部
１０ ：ＥＴＣ端末
１１ ：撮影対象
１００ ：ステレオカメラ
１０３ ：監視カメラ
２００ ：駆動部
３００ ：ＳＰＡＤカメラ
３０１ ：光源
４００ ：ミリ波レーダー
４０１ ：ミリ波発生器

Claims (15)

1. 撮影対象に関する距離情報を取得する測距装置と、
   前記撮影対象が画像において認識できなくなる離反時間を、前記距離情報に基づいて推定する演算部と、
   前記離反時間が第１の閾値以上である場合は、前記離反時間に応じて前記画像の取得頻度を制御する省電力モードに前記測距装置を設定し、前記離反時間が前記第１の閾値未満である場合は、前記離反時間とは独立に前記画像の取得頻度を制御する通常モードに前記測距装置を設定する制御部と、
   を備えることを特徴とする測距システム。
2. 前記制御部は、前記省電力モードにおける前記測距装置の駆動周期を、前記通常モードにおける前記測距装置の駆動周期よりも遅くする
   ことを特徴とする請求項１に記載の測距システム。
3. 前記制御部は、前記省電力モードにおいて、前記測距装置の駆動のオンとオフを所定の周期ごとに交互に切り替える
   ことを特徴とする請求項１又は２に記載の測距システム。
4. 前記測距装置は、視差を利用して前記距離情報を取得する
   ことを特徴とする請求項１から３のいずれか１項に記載の測距システム。
5. 前記測距装置は、ＴＯＦ（Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ）方式により前記距離情報を取得する
   ことを特徴とする請求項１から４のいずれか１項に記載の測距システム。
6. 前記測距装置は、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｅ Ｄｉｏｄｅ）センサを用いて前記撮影対象からの反射光を検出して、前記撮影対象までの距離を算出する
   ことを特徴とする請求項５に記載の測距システム。
7. 前記測距装置は、前記省電力モードにおいて、前記ＳＰＡＤセンサがガイガーモードとなるバイアス電圧Ｖ２と、前記ＳＰＡＤセンサがガイガーモードとならないバイアス電圧Ｖ１を、所定の周期ごとに交互に前記ＳＰＡＤセンサに印加する
   ことを特徴とする請求項６に記載の測距システム。
8. 前記測距装置は、ミリ波帯の電波を利用して前記距離情報を取得する
   ことを特徴とする請求項１から７のいずれか１項に記載の測距システム。
9. 前記測距装置は、ＦＭＣＷ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｅｄ Ｃｏｎｔｉｎｕｏｕｓ Ｗａｖｅ）方式により前記撮影対象までの距離及び速度を取得する
   ことを特徴とする請求項８に記載の測距システム。
10. 測距方式が異なる複数の前記測距装置を併用して前記距離情報を取得する
    ことを特徴とする請求項１から９のいずれか１項に記載の測距システム。
11. 前記測距装置は移動体に搭載され、
    前記制御部は、前記移動体の移動速度が第２の閾値未満である場合に、前記測距装置を前記省電力モードに設定する
    ことを特徴とする請求項１から１０のいずれか１項に記載の測距システム。
12. 前記測距装置は移動体に搭載され、
    前記離反時間に関わらず前記測距装置を前記通常モードに設定する第１モードと、前記離反時間に応じて前記測距装置を前記省電力モードに設定する第２モードと、を切替える切替部を備え、
    前記切替部は、前記移動体の設定速度が第３の閾値以上である場合に、前記第２モードに切替え、前記移動体の設定速度が前記第３の閾値未満である場合に、前記第１モードに切替える
    ことを特徴とする請求項１から１０のいずれか１項に記載の測距システム。
13. ＥＴＣ端末を備え、
    前記切替部は、前記移動体が高速道路を走行中であることを前記ＥＴＣ端末によって検知した場合に、前記第２モードに切替える
    ことを特徴とする請求項１２に記載の測距システム。
14. 請求項１１から１３のいずれか１項に記載の測距システムを搭載した移動体。
15. 撮影対象に関する距離情報を取得する測距装置を備えた測距システムの制御方法であって、
    前記撮影対象が画像において認識できなくなる離反時間を、前記距離情報に基づいて推定する演算ステップと、
    前記離反時間が第１の閾値以上である場合は、前記離反時間に応じて前記画像の取得頻度を制御する省電力モードに前記測距装置を設定し、前記離反時間が前記第１の閾値未満である場合は、前記離反時間とは独立に前記画像の取得頻度を制御する通常モードに前記測距装置を設定する制御ステップと、
    を有することを特徴とする制御方法。

Images